CN101155269B - 摄像设备、其控制方法以及摄像系统 - Google Patents

摄像设备、其控制方法以及摄像系统 Download PDF

Info

Publication number
CN101155269B
CN101155269B CN2007101523957A CN200710152395A CN101155269B CN 101155269 B CN101155269 B CN 101155269B CN 2007101523957 A CN2007101523957 A CN 2007101523957A CN 200710152395 A CN200710152395 A CN 200710152395A CN 101155269 B CN101155269 B CN 101155269B
Authority
CN
China
Prior art keywords
row
pattern
read
charge storage
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007101523957A
Other languages
English (en)
Other versions
CN101155269A (zh
Inventor
信冈幸助
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101155269A publication Critical patent/CN101155269A/zh
Application granted granted Critical
Publication of CN101155269B publication Critical patent/CN101155269B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/155—Control of the image-sensor operation, e.g. image processing within the image-sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

一种摄像设备、其控制方法以及摄像系统。该摄像设备包括多个像素、驱动单元和控制单元，所述多个像素中的每一个具有光电转换单元和用于复位光电转换单元的复位单元，所述驱动单元被配置成在每个预定行相继复位储存在光电转换单元中的信号电荷，并且在每个预定行相继读出基于信号电荷的信号。控制单元具有第一模式和第二模式，在所述第一模式中，像素的开始读出行是固定的，在所述第二模式中，像素的开始读出行是可以基于输入控制信息改变的。在第二模式中，控制单元改变开始读出行的像素的复位定时，使得在第二模式中，第二电荷储存期短于或者等于第一电荷储存期。

Description

摄像设备、其控制方法以及摄像系统
技术领域
本发明涉及一种包括光电转换元件的摄像设备、其控制方法以及摄像系统。具体来说，本发明涉及一种使用滚动快门的摄像设备、其控制方法以及摄像系统。 
背景技术
随着设备逐渐小型化，或者诸如光学倍率的光学设计技术的提高，诸如电子照相机或者摄像机(video camera)的摄像设备通常使用校正所谓的照相机抖动的技术。照相机抖动校正技术大致分为光学照相机抖动校正技术和电子照相机抖动校正技术。光学照相机抖动校正技术根据照相机抖动引起的摄像设备的运动，对排列在摄像光学系统中的诸如移动镜头(shift lens)的光路改变装置进行控制。电子照相机抖动校正技术显示基于摄像设备的加速度信息提取的部分感测图像，从而消除显示图像的模糊。电子照相机抖动校正技术包括存储型照相机抖动校正方法和提取型照相机抖动校正方法。存储型照相机抖动校正方法将从摄像元件读取的图像记录在存储器中，并且改变从存储器读出的读出范围。提取型照相机抖动校正方法改变从摄像元件读取的读出范围。 
下面将对这些照相机抖动校正技术的特性特征进行描述。 
光学照相机抖动校正技术昂贵，因为摄像设备引入光路改变装置。此外，摄像光学系统的尺寸大，导致摄像设备庞大。但是，由于图像尺寸没有改变，所以感测图像的质量高。相反，存储型照相机抖动校正方法可以降低摄像设备的尺寸，而且可以基于来自感测图像的加速度信息进行前馈控制。因此，易于 形成电子照相机抖动校正系统。但是，总是必须读出比显示像素更多的像素，并且以高速驱动摄像元件。提取型照相机抖动校正方法的优点也有利于降低摄像设备的尺寸。由于仅需要读出数量等于显示像素的像素，所以不需要以与在存储型照相机抖动校正方法中的一样快速的方式驱动摄像元件。但是，这种方法不能基于来自感测图像的加速度信息进行前馈控制。因此，必须通过采用困难的反馈控制或者单独使用诸如陀螺仪的加速度传感器以形成电子照相机抖动校正系统。 
如上所述，每种照相机抖动校正方法都具有优点和缺点。摄像设备根据其价格和销售对象，采用方法中的一种。例如，昂贵的高端型照相机有时通过组合多种方法来形成高性能照相机抖动校正系统。 
最近，诸如数字照相机或者摄像机的许多摄像设备包括CMOS图像传感器，以取代CCD图像传感器。CMOS图像传感器促使浮动扩散放大器将光电二极管产生的信号电荷转换为电压信号。根据来自垂直扫描电路的行选择信号，针对每条水平行将电压信号读出到列信号行，并且根据来自水平扫描电路的水平驱动信号，将所述电压信号依次读出到外部。 
由于上述CMOS图像传感器执行电压转换以及针对每条水平行的读出，所以它不可避免地采用滚动快门方案，在所述滚动快门方案中，针对每条水平行，像素中电荷储存的开始时间和结束时间依次移动。但是，在进行控制，以使每条水平行中储存电荷的读出定时(timing)与用于驱动摄像元件的垂直同步信号的定时匹配时，读出的感测图像以与垂直同步信号同步的方式被显示。使用这样的滚动快门型CMOS图像传感器的上述提取型照相机抖动校正系统存在下面的问题。 
使用CMOS图像传感器的提取型照相机抖动校正系统根据 加速度信息改变开始读出行。但是，改变后的开始读出行的读出定时必须改变为例如垂直同步信号的开始位置。此外，为维持像素的恒定储存时间，必须将开始读出行的电荷复位定时设置为开始读出行的读出定时之后的预定定时。如果没有这些改变，则显示图像的垂直位置和储存时间移动。因此，使用CMOS图像传感器的摄像设备不采用提取型照相机抖动校正方法。 
日本特开2000-350101公开一种根据开始读出行的设置，将开始读出行的电荷复位和读出定时调整到预定位置的技术。 
摄像机基于诸如NTS C的图像格式，驱动摄像元件。例如，在NTSC中，场周期是1/16秒＝16.7毫秒。因为这个原因，在正常感测条件(在充分照明下进行感测)下，摄像元件的储存时间被设置为16.7毫秒。光学系统、摄像元件以及信号处理系统被设计成使从摄像元件读出的信号可以获得作为最终显示图像的足够高的图像质量。因此，在从预定行的光电转换元件的电荷读出结束时，该行的光电转换元件中的电荷被立即复位。然后，开始电荷储存，以准备在下一个场中的读出。 
如图9A所示，假定在这项技术中要检查对于每个场的开始读出行变化的情况。根据在日本特开2000-350101公开的技术，开始读出行的读出定时被调整到垂直同步信号的定时，并且开始读出行的电荷复位定时被改变，以确保16.7毫秒的电荷储存期。如图9B所示，在这种情况下，必须在先前场中的开始读出行的储存期间，复位下一个场中的电荷。 
如上所述，提取型照相机抖动校正系统以几乎相等的方式设置单元场(或者单元帧)更新期和电荷储存期。因为这个原因，不可能根据照相机抖动信息，针对每个单元场(或者单元帧)改变开始读出行。 
发明内容
本发明被提供，以在改变读出的开始读出行时，防止复位定时与电荷储存期的重叠。 
根据本发明的第一个方面，提供了一种摄像设备，所述设备包括多个像素、驱动单元和控制单元，所述多个像素中的每一个具有光电转换单元和用于复位所述光电转换单元的复位单元，所述驱动单元被配置成在每个预定行相继复位储存在所述光电转换单元中的信号电荷，并且在每个预定行相继读出基于所述信号电荷的信号，所述控制单元具有第一模式和第二模式，在所述第一模式中，所述像素的开始读出行是固定的，在所述第二模式中，所述像素的所述开始读出行是可以基于输入控制信息改变的；并且在第二模式中，所述控制单元改变所述开始读出行的所述像素的复位定时，使得在所述第二模式中的第二电荷储存期短于或者等于在所述第一模式中的第一电荷储存期。其中，所述控制单元被配置成基于所述第一电荷储存期与所述第二电荷储存期之间的差，限定在所述第二模式中所述开始读出行的改变范围；并且，所述改变范围由公式Dmax≤(T1-T2)/Tout给出，其中，Dmax是所述改变范围，T1是所述第一电荷储存期，T2是所述第二电荷储存期，Tout是每行的所述像素所储存电荷的输出期。 
根据本发明的第二个方面，提供了一种摄像系统，所述摄像系统包括光学系统以及如上所限定的摄像设备。 
根据本发明的第三方面，提供了一种用于控制摄像设备的方法，所述摄像设备包括多个像素、驱动单元和控制单元，所述多个像素中的每一个具有光电转换单元和用于复位所述光电转换单元的复位单元，所述驱动单元被配置成在每个预定行相继复位储存在所述光电转换单元中的信号电荷，并且在每个预 定行相继读出基于所述信号电荷的信号，所述控制单元具有第一模式和第二模式，在所述第一模式中，所述像素的开始读出行是固定的，在所述第二模式中，所述像素的所述开始读出行是可以基于输入控制信息改变的。所述方法包括这样的步骤，即，在所述第二模式中，改变所述开始读出行的所述像素的复位定时，使得在所述第二模式中的第二电荷储存期短于或者等于在所述第一模式中的第一电荷储存期。其中，所述控制单元被配置成基于所述第一电荷储存期与所述第二电荷储存期之间的差，限定在所述第二模式中所述开始读出行的改变范围；并且，所述改变范围由公式Dmax≤(T1-T2)/Tout给出，其中，Dmax是所述改变范围，T1是所述第一电荷储存期，T2是所述第二电荷储存期，Tout是每行的所述像素所储存电荷的输出期。 
根据下面参考附图对示例性实施例所做的描述，本发明的更多特征将变得显而易见。 
附图说明
图1是示出根据本发明的优选第一实施例的摄像系统的示意配置的整体图。 
图2是示出根据本发明的优选第一实施例的CMOS图像传感器的内部配置的整体电路框图。 
图3是示出如图2所示的像素的示意配置例子的电路框图。 
图4A是示出在没有照相机抖动校正的模式中的操作定时的图。 
图4B是示出在没有照相机抖动校正的模式中的操作定时的图。 
图4C是示出在没有照相机抖动校正的模式中的操作定时的图。 
图5是示出在具有照相机抖动校正的模式中的读出操作的流程图。 
图6A是示出在具有照相机抖动校正的模式中的操作定时的图。 
图6B是示出在具有照相机抖动校正的模式中的操作定时的图。 
图7是示出根据本发明的优选第二实施例的摄像系统的示意配置的整体图。 
图8A是示出电子变焦模式中的操作定时的图。 
图8B是示出电子变焦模式中的操作定时的图。 
图9A是示出现有技术的问题的图。 
图9B是示出现有技术的问题的图。 
具体实施方式
第一实施例
图1是示出根据本发明的优选第一实施例的摄像系统的示意配置的整体图。参考图1，参考编号101表示充当光学系统的摄像镜头；102表示CMOS图像传感器；103表示模拟/数字转换器(下面称为“ADC”)；104表示充当驱动装置的同步信号发生电路(下面称为“SSG”)；105表示充当控制装置的CPU；106表示陀螺传感器；107表示由双端口SRAM形成的FIFO；108表示照相机信号处理电路；109表示记录信号处理电路；110表示诸如液晶板的显示装置；以及，111表示诸如DVD盘的记录介质。 
图2是示出根据本发明的优选第一实施例的CMOS图像传感器的内部配置的整体电路框图。参考图2，参考编号201表示图3中的像素(下面描述)；202表示浮动扩散放大器(下面称为FD放大器)；203表示行读出控制行(在图2中，203-20至203-23被用来表示第20至第23个行读出控制行)；204表示行复位控制行(在图2中，204-20至204-23被用来表示第20至第23个行复位控制行)；205表示行选择行(在图2中，205-20至205-23被用来表示第20至第23个行选择行)；206表示列信号行；207表示列放大器；208表示垂直扫描电路；209表示水平扫描电路；210表示列信号缓冲电容；211表示列选择行；212表示列选择开关；213表示水平信号行；214表示输出缓冲放大器；215表示视频输出终端；216表示垂直同步信号输入端；217表示开始读出行设置输入终端；以及，218表示水平同步信号输入终端。 
图3是示出如图2所示的像素201的示意配置例子的电路框图。参考图3，参考编号301表示充当光电转换装置的光电二极 管(下面称为“PD”)；302表示行读出控制输入行(所述行读出控制输入行被连接到图2中的行读出控制行203)；303表示行读出晶体管；304表示充当储存装置的浮动扩散器(下面称为“FD”)；305表示行复位控制输入行(所述行复位控制输入行被连接到图2中的行复位控制行204)；306表示充当复位装置的行复位晶体管；307表示复位电平输入行；308表示行选择控制输入行(所述行选择控制输入行被连接到图2中的行选择行205)；309表示行选择晶体管；以及，310表示像素输出终端。 
接着，将对根据本发明的优选第一实施例的摄像系统的操作进行描述。当光通过摄像镜头101在CMOS图像传感器102的光接收表面上形成光学图像时，CMOS图像传感器102中的PD产生与入射到该像素的光量相对应的信号电荷。根据SSG104产生的同步信号和CPU105设置的开始读出行设置，CMOS图像传感器102的内部驱动电路被驱动。输出终端以预定顺序输出像素中产生的信号电荷，作为输出视频电压信号。ADC103将输出视频电压信号转换为数字信号，并且将它输入到FIFO107。SSG104对FIFO107执行地址控制。FIFO107根据CPU105设置的FIFO开始读出像素的设置进行工作。CPU105基于加速度信息，设置开始读出行和FIFO开始读出像素，所述加速度信息在图1中的摄像设备中被产生，并且被陀螺传感器106检测到。开始读出行反映来自陀螺传感器106的垂直加速度信息。FIFO开始读出像素的设置反映水平加速度信息。由于对本实施例的操作的描述与开始读出行的控制相关，所以假定来自陀螺传感器106的加速度信息是垂直加速度信息。 
接着，将参考图2和3对图1中的CMOS图像传感器102的操作进行描述。图3中的FD304包括电容，而且产生与储存在其中的信号电荷相对应的电压。首先，行复位控制输入行305改变 为高电平，以使行复位晶体管306导通。连接到复位电平输入行307的电源VDD使FD304复位到复位电平(例如，电源电压VDD)。PD301储存与入射到像素的光量相对应的信号电荷。在行读出控制输入行302改变为高电平，以使行读出晶体管303导通时，储存在PD301中的信号电荷被转移到FD304。此时，在FD304中，与从PD301转移的信号电荷相对应的电压电平与复位电平相叠加。这是读出像素的信号电平。在行选择控制输入行308改变为高电平，以使行选择晶体管309导通时，连接到像素输出终端310的FD放大器202将FD304的信号电平转换为像素电压信号。号传递通过列信号行206。列放大器207放大信号。列信号缓冲电容210储存经列放大器207放大后的信号。结果，列信号缓冲电容210储存通过放大来自一行的FD304的输出信号获得的电压信号。在水平扫描电路209根据预定定时和顺序将控制信号供应给列选择行211时，列选择开关212被依次导通/断开。通过水平信号行213和输出缓冲放大器214，视频输出终端215依次输出储存在列信号缓冲电容210中的一行的信号。 
如图4A到4C(没有照相机抖动校正的模式)或者图6A和6B(具有照相机抖动校正的模式)中所示，控制上述读出操作，从而执行全屏幕读出操作。 
首先，将参考图4A到4C对在没有照相机抖动校正的模式中的读出操作进行描述。假定摄像元件在垂直方向上的行数是200，读出场周期是1/60秒(16.7毫秒)，输出一行像素信号所需的时间是0.1毫秒，读出行数是100，剩余的100行与照相机抖动校正的可移动范围相对应。读出100行需要10毫秒。垂直消隐期是6.7毫秒(＝16.7毫秒(场周期)-10毫秒(读出时间))。这些值仅是例子，并且本发明并不局限于这些值。 
如图4A所示，在没有照相机抖动校正的模式中，位于从第 1至第200行的所有行的中心的100行(第51至第150行)被读出。图4B示出水平同步信号与行读出控制信号、行复位控制信号、行选择控制信号以及视频输出信号的作用之间的关系。 
从输入到水平同步信号输入端218的水平同步信号的上升时间t0开始第51行的读出驱动。 
在时间t0至t1，进行行读出51，以执行第51行的读出。更具体地，行读出控制行203-51改变为高电平，以使图3中的行读出晶体管303导通，从而将储存在PD301中的信号电荷被转移到FD304。 
在时间t1至t2，进行行选择51。列放大器207放大第51行的像素电压信号。列信号缓冲电容210储存信号。更具体地，行选择行205-51改变为高电平，以使图3中的行选择晶体管309导通。图2中的FD放大器202将FD304的信号电平转换为像素电压信号。信号传递通过列信号行206。列放大器207放大信号。列信号缓冲电容210储存经列放大器207放大后的信号。 
在时间t2至t3，进行行复位51，以同时将第51行的PD301和FD304的电位复位到复位电平(例如，电源电压VDD)。PD301储存信号电荷，直到在下一个场或者下一个帧中执行第51行的读出。更具体地，行复位控制行204-51改变为高电平，以使图3中的行读出晶体管303和行复位晶体管306导通。连接到复位电平输入行307的电源VDD同时将PD301和FD304复位到复位电平。 
时间t3至t4是水平扫描电路209的水平读出期。 
t0至t4的时间段与上述的0.1毫秒相对应。以类似的方式依次执行第52至第54行的行读出、行选择以及行复位。如图4C所示，各行的上述读出驱动被依次执行，直到第150行。从作为开始读出行的第51行的行读出时间t2开始到第150行的行读出结 束，经历10毫秒的时间。类似地，从第51行的行复位时间t4开始到第150行的行复位结束，经历10毫秒的时间。在经历6.7毫秒的垂直消隐期之后，在下一个场中，作为开始读出行的第51行的行读出再次开始。每行像素中的电荷储存甚至在垂直消隐期间仍然继续，并且因此，需要16.7毫秒(但是，该时间缩短了与时间t2至t4(应该是t0至t3？)的时间段相对应的几毫秒)。 
接着，将参考图5对在具有照相机抖动校正的模式中的读出操作进行描述。图5是示出在具有照相机抖动校正的模式中的读出操作的流程图。图1中的CPU105从预定储存介质读出程序代码，以执行在图5中所示出的过程。 
在步骤S501中，CPU105从图1中的陀螺传感器106获取陀螺传感器信息Dj。陀螺传感器信息Dj是来自诸如陀螺的加速度传感器的加速度信息。 
在步骤S502中，CPU105从垂直扫描电路208获取照相机抖动校正剩余行数Dr。照相机抖动校正剩余行数Dr与来自陀螺传感器106的提取位置指定值(例如，图6B中的+90、+10或者-100)与用于下一个场的开始读出行设置的差值相对应。 
在步骤S503中，CPU105确定是否Dj+Dr≥0。如果Dj+Dr≥0(步骤S503中的“是”)，则该过程前进到步骤S504。如果Dj+Dr＜0(步骤S503中的“否”)，则该过程前进到步骤S508。 
在步骤S504中，CPU105从没有照相机抖动校正的模式中的电荷储存期T2中减去具有照相机抖动校正的模式中的电荷储存期T1，从而获得T3(＝T2-T1)。CPU105将T3除以输出一行的像素信号所需的时间Tout，并且确定是否Dj+Dr≤T3/Tout的商。如果Dj+Dr≤T3/Tout(步骤S504中的“是”)，则该处理前进到步骤S505。如果Dj+Dr＞T3/Tout(步骤S504中的“否”)，则该过程前进到步骤S507。 
在步骤S505中，CPU105将照相机抖动校正剩余行数Dr设置为0，并且将ΔD设置为Dj+Dr。 
在步骤S506中，CPU105将在步骤S505中设置的ΔD与开始读出行的初始值Vst0(通常＝1)相加，并且将和设置为开始读出行Vst。 
在步骤S507中，CPU105将照相机抖动校正剩余行数Dr设置为Dj+Dr-T3/Tout，并且将ΔD设置为T3/Tout。 
在步骤S508中，CPU105确定是否绝对值|Dj+Dr|≤T3/Tout。如果|Dj+Dr|≤T3/Tout(步骤S508中的“是”)，则该处理前进到步骤S509。如果|Dj+Dr|＞T3/Tout(步骤S508中的“否”)，则该处理前进到步骤S510。 
在步骤S509中，CPU105将照相机抖动校正剩余行数Dr设置为0，并且将ΔD设置为Dj+Dr。 
在步骤S510中，CPU105将照相机抖动校正剩余行数Dr设置为Dj+Dr+T3/Tout，并且将ΔD设置为-(T3/Tout)。 
接着，将参考图6A和6B对在具有照相机抖动校正的模式中的读出操作进行描述。在具有照相机抖动校正的模式中，为了应对用于改变后的开始读出行的照相机抖动校正操作，将每行的像素的电荷储存期设置为1/100秒。如上所述，在本实施例中，输出一行的像素信号所需的时间是0.1毫秒，而没有照相机抖动校正的模式中的电荷储存期是16.7毫秒。因此，开始读出行改变范围Dmax由以下不等式给出： 
Dmax≤(T0-T1)/Tout 
＝(16.7毫秒-10毫秒)/0.1毫秒＝67...(1) 
通过使用上述数值，开始读出行改变范围Dmax被限定为，例如，67行或者更小。 
如图6B所示，图1中的陀螺传感器106独立于摄像元件的驱 动，累加由照相机抖动所导致的摄像设备本身的加速度信息。在图6B中的行读出开始时间t16、t18和t20，从陀螺传感器信息Dj获取下一个场中的开始读出行。在时间t16，开始读出行被指定为+90行。在时间t18，开始读出行被指定为+10行。在时间t20，开始读出行被指定为-100行。考虑到不等式(1)的限制，即，Dmax≤67行，以及通过图2中的开始读出行设置输入终端217对垂直扫描电路208所做的设置，根据图5中的流程，判定开始读出行。从开始读出行的行读出、行选择以及行复位与在没有照相机抖动校正的模式中的上述操作相同，并且对其的描述将被省略。 
在从图6B中的时间t16开始的第一场中，从第一行开始读出。由于读出一行花费0.1毫秒，所以直到第68行读出结束，共经历6.7毫秒的时间。每行的电荷储存期被设置为10毫秒，并且一个场中的电荷储存期被设置为16.7毫秒。因此，在第二场中的读出过程中，不可能确保10毫秒的储存时间，除非复位第二场的开始读出行，并且在结束第68行的读出之后的时间t17开始储存。第二场的开始读出行是在时间t16获得的第91行(＝第一行+90行)。但是，由于在时间t17，第一场的储存(读出之前)正在进行，所以不能将第91行设置为第二场的开始读出行(图5中的步骤S504中的“否”)。因此，第二场的开始读出行被设置为在时间t16获得的第68行(＝第1行+67行)(与图5中的步骤S507相对应)。在时间t17，开始第68行的复位和储存。第二场的照相机抖动校正剩余行数变为+23行。 
在图6B中的时间t18，由于第二场的开始读出行变化了+67行，所以从第68行开始读出。如在第一场中的一样，一行的读出时间是0.1毫秒，并且电荷储存期是10毫秒。因为这个原因，必须复位第三场的开始读出行，并且在第135行(＝第68行+67行) 的读出结束的时间t19，开始储存。在第三场中，在时间t18获得的+10行与第二场的照相机抖动校正剩余行数的+23行相加，并且将该和，即，+33行与作为第二场的开始读出行的第68行相加。因此，第三场的开始读出行是第101行。在时间t19，由于第二场的第101行的读出已经结束，所以可以将第三场的开始读出行设置为第101行。在第三场中，照相机抖动校正剩余行数是0。 
在图6B中的时间t20，由于第三场的开始读出行改变，所以从第101行开始读出。在第168行(＝第101行+67行)的读出结束之后的时间t21，第四场的开始读出行被复位，并且储存开始。关于第四场的开始读出行，将在时间t20获得的-100行(与图5中的步骤S501相对应)与第三场的照相机抖动校正剩余行数的0行相加(与图5中的步骤S502相对应)。将该和，即，-100行与作为第三场的开始读出行的第101行相加。因此，开始读出行是第一行。在时间t21，没有执行第三场的第一行的读出。因此，可以将第四场的开始读出行设置为第一行。但是，由于在改变第二场的开始读出行时，改变范围被限定为+67行，所以第四场的改变范围被限定为-67行，以维持照相机抖动校正效果方向上的对称(图5中的步骤S508中的“否”)。第四场的开始读出行被设置为第101行-67行＝第34行(与图5中的步骤S510相对应)。在时间t21，第34行没有在第三场中读出。因此，可以设置第四场的开始读出行。第四场的校正剩余行数是-33行。 
以这种方式，通过基于陀螺传感器信息Dj设置开始读出行，可以在连续场中执行垂直方向上的照相机抖动校正。还可以提供在每个读出行中以1/100秒＝10毫秒的储存时间储存的图像信号。请注意，通过将具有照相机抖动校正的模式中的储存时间设置成短于在这个实施例中描述的场周期，并且根据不等式(1) 限定开始读出行的改变范围，该方法可以应用于任意场或帧周期或者任意储存时间。如上所述，通过基于来自陀螺传感器106的水平加速度信息，控制FIFO107的开始读出像素，可以进行水平方向上的照相机抖动校正。在照相机抖动校正之后，照相机信号处理电路108执行照相机信号处理。显示装置110显示图像。感测图像通过记录信号处理电路109，被记录在记录介质111中。 
如上所述，根据本实施例，可以防止在改变开始读出行时复位时间与电荷储存期的重叠。因此，与使用滚动快门型CMOS图像传感器的常规摄像设备不同，可以采用提取型照相机抖动校正系统。 
第二实施例
图7是示出根据本发明的优选第二实施例的摄像系统的示意配置的整体图。参考图7，参考编号701表示充当光学系统的摄像镜头；702表示CMOS图像传感器；703表示ADC；704表示SSG；705表示CPU；706表示变焦操纵杆；707表示照相机信号处理电路；708表示由双端口SRAM形成的FIFO；709表示扩大(enlarge)处理电路；710表示记录信号处理电路；711表示诸如液晶板的显示装置；以及，712表示诸如DVD盘的记录介质。CMOS图像传感器702的内部配置与图2和3中的相同，并且对其的描述将被省略。 
接着，将对根据本发明的优选第二实施例的摄像系统的操作进行描述。摄像镜头701、CMOS图像传感器702、ADC703、SSG704以及CPU705的操作与在第一实施例中的相同，并且对其的描述将被省略。在本实施例的摄像系统的用户操作变焦操纵杆706时，CPU705计算与变焦操纵杆706的设置位置相对应的每个单元场的电子变焦信息。电子变焦信息包含水平电子变 焦倍率和垂直电子变焦倍率。CPU705基于垂直电子变焦倍率，计算CMOS图像传感器702的开始读出行和结束读出行。CPU705基于水平电子变焦倍率，计算FIFO708的开始读出像素位置和结束读出像素位置。开始读出行以依赖于CMOS图像传感器702的储存时间设置的方式被限定。因为该原因，在确定开始读出行以计算FIFO708的开始读出像素和结束像素，并且设置扩大处理电路709之后，将重新计算电子变焦倍率。 
CPU705在SSG704和扩大处理电路709中设置FIFO708的开始读出像素位置和结束读出像素位置，并且在SSG704中设置CMOS图像传感器702的开始读出行和结束读出行。根据设置的开始行和结束行，CMOS图像传感器702的读出操作以与第一实施例中的相似的方式被执行。 
本实施例的摄像系统具有包括电子变焦的模式和没有电子变焦的模式。在没有电子变焦的模式中，从第1至第100行的100行在每个场中被读出。如第一实施例的操作中的一样，当CMOS图像传感器702每行的读出时间是0.1毫秒时，读出100行占用10毫秒。当垂直消隐期被设置为6.7毫秒时，在16.7毫秒内驱动一个场。如在第一实施例中的一样，没有电子变焦的模式中的第二储存时间也被设置为16.7毫秒。 
在具有电子变焦的模式中，第一储存时间被设置为15毫秒。如图8A所示，在第一场中，读出在时间t1从第一行开始，并且持续，直至第100行。当第二场中的电子变焦倍率被设置为2×时，第二场的开始读出行是第25行。由于第二储存时间与第一储存时间的差值是1.7毫秒，所以必须在从时间t1开始经历1.7毫秒之后的时间t2复位第25行。但是，在时间t2，第一场的储存正在进行。在时间t2，因为1.7毫秒/0.1毫秒＝17，所以第1至第17行已经被读出。因此，第17行被设置为第二场的开始读出 行。结果，第二场中的电子变焦倍率不是2×，而是1.5×＝100行/(100行-17行×2)＝100/66。通过使用1.5×电子变焦倍率，计算FIFO708的开始读出像素和结束像素，并且设置扩大处理电路709。 
在第二场中，读出在时间t3从第17行开始，并且持续，直至第83行＝100行-17行。如果第三场的电子变焦倍率仍为2×，则第三场的开始读出行是第25行。必须在从时间t3开始经历1.7毫秒的时间之后的时间t4，复位第25行。在时间t4，从作为第二场的开始读出行的第17行到第34行的17行(＝1.7毫秒/0.1毫秒)已经被读出。因此，可以复位第25行。因此，第三场的电子变焦倍率是2×。通过使用2×电子变焦倍率，计算FIFO708的开始读出像素和结束像素，并且设置扩大处理电路709。 
在第三场中，读出在时间t5从第25行开始，并且持续，直至第75行＝100行-25行。如果第四场的电子变焦倍率被设置为1×，则第四场的开始读出行是第一行。必须在从时间t5开始经历1.7毫秒的时间之后的时间t6，复位第一行。由于第一行在第三场中没有被读出，所以可以复位第一行。因此，第四场的电子变焦倍率是1×。通过使用1×电子变焦倍率，计算FIFO708的开始读出像素和结束像素，并且设置扩大处理电路709。 
在第四场中，读出在时间t7从第一行开始，并且持续，直至第100行。 
如上所述，在具有电子变焦的模式中，储存时间缩短了1.7毫秒，从而可以在17行的范围内改变开始读出行。在本实施例中，可以设置任意储存时间，只要具有电子变焦的模式中的储存时间等于或者小于没有电子变焦的模式中的储存时间。 
还可以重新计算每个场中的开始读出行和电子变焦倍率，使得在每个场中，FIFO708中的输出图像具有期望的像素大小。 通过重新计算每个场中的开始读出行和电子变焦倍率，扩大处理电路709可以执行期望的扩大处理，并且输出扩大后的图像。如在第一实施例中的一样，扩大后的图像被供应到记录信号处理电路710、显示装置711以及记录介质712。 
尽管已经参考示例性实施例对本发明进行了描述，但是应该理解，本发明并不局限于所公开的示例性实施例。以下权利要求书的范围符合最宽的解释，以包含所有这样的修改以及等同结构和功能。 

Claims (5)

1.一种摄像设备，包括：
多个像素，所述多个像素中的每一个具有光电转换单元和用于复位所述光电转换单元的复位单元；
驱动单元，被配置成在每个预定行相继复位储存在所述光电转换单元中的信号电荷，并且在每个预定行相继读出基于所述信号电荷的信号；以及
控制单元，其具有第一模式和第二模式，在所述第一模式中，所述像素的开始读出行是固定的，在所述第二模式中，所述像素的所述开始读出行是可基于输入控制信息改变的；在所述第二模式中，所述控制单元改变所述开始读出行的所述像素的复位定时，使得在所述第二模式中的第二电荷储存期短于或者等于在所述第一模式中的第一电荷储存期，其中
所述控制单元被配置成基于所述第一电荷储存期与所述第二电荷储存期之间的差，限定在所述第二模式中所述开始读出行的改变范围，且所述改变范围由公式Dmax≤(T1-T2)/Tout给出，其中，Dmax是所述改变范围，T1是所述第一电荷储存期，T2是所述第二电荷储存期，Tout是每行的所述像素所储存电荷的输出期。
2.根据权利要求1所述的摄像设备，其特征在于，所述第二模式是照相机抖动校正模式，所述控制信息是所述摄像设备的照相机抖动信息。
3.根据权利要求1所述的摄像设备，其特征在于，所述第二模式是电子变焦模式，所述控制信息是电子变焦倍率。
4.一种摄像系统，包括：
光学系统；以及
根据权利要求1所述的摄像设备。
5.一种用于控制摄像设备的方法，所述摄像设备包括：多个像素，所述多个像素中的每一个具有光电转换单元和用于复位所述光电转换单元的复位单元；驱动单元，被配置成在每个预定行相继复位储存在所述光电转换单元中的信号电荷，并且在每个预定行相继读出基于所述信号电荷的信号；以及控制单元，
所述控制单元具有第一模式和第二模式，在所述第一模式中，所述像素的开始读出行是固定的，在所述第二模式中，所述像素的所述开始读出行是可基于输入控制信息改变的，
所述方法包括以下步骤：
在所述第二模式中，改变所述开始读出行的所述像素的复位定时，使得在所述第二模式中的第二电荷储存期短于或者等于在所述第一模式中的第一电荷储存期，其中
所述控制单元被配置成基于所述第一电荷储存期与所述第二电荷储存期之间的差，限定在所述第二模式中所述开始读出行的改变范围，且所述改变范围由公式Dmax≤(T1-T2)/Tout给出，其中，Dmax是所述改变范围，T1是所述第一电荷储存期，T2是所述第二电荷储存期，Tout是每行的所述像素所储存电荷的输出期。
CN2007101523957A 2006-09-28 2007-09-28 摄像设备、其控制方法以及摄像系统 Expired - Fee Related CN101155269B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006265424 2006-09-28
JP2006265424A JP4789767B2 (ja) 2006-09-28 2006-09-28 撮像装置及びその制御方法
JP2006-265424 2006-09-28

Publications (2)

Publication Number Publication Date
CN101155269A CN101155269A (zh) 2008-04-02
CN101155269B true CN101155269B (zh) 2011-12-14

Family

ID=39256672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101523957A Expired - Fee Related CN101155269B (zh) 2006-09-28 2007-09-28 摄像设备、其控制方法以及摄像系统

Country Status (3)

Country Link
US (1) US7978226B2 (zh)
JP (1) JP4789767B2 (zh)
CN (1) CN101155269B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4956401B2 (ja) * 2007-12-18 2012-06-20 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP5014168B2 (ja) * 2008-01-15 2012-08-29 キヤノン株式会社 撮像システム及び撮像システムの制御方法
JP5139150B2 (ja) * 2008-05-23 2013-02-06 オリンパスイメージング株式会社 撮像装置
JP5251926B2 (ja) * 2010-06-16 2013-07-31 セイコーエプソン株式会社 撮影装置およびタイミング制御回路
CN102655566B (zh) * 2011-03-04 2014-04-23 华晶科技股份有限公司 摄像装置
JP5734082B2 (ja) * 2011-05-11 2015-06-10 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
CN103188426A (zh) * 2011-12-29 2013-07-03 亚洲光学股份有限公司 偏移误差的补偿装置
CN102833497B (zh) 2012-08-03 2014-11-19 昆山锐芯微电子有限公司 图像传感器及图像处理系统
JP5755204B2 (ja) * 2012-09-12 2015-07-29 キヤノン株式会社 撮像装置およびその制御方法、並びにレンズユニットおよびその制御方法
JPWO2014069394A1 (ja) * 2012-10-30 2016-09-08 株式会社島津製作所 リニアイメージセンサ及びその駆動方法
JP5929712B2 (ja) * 2012-11-06 2016-06-08 セイコーエプソン株式会社 撮影装置、撮影装置の制御方法
FR2999735B1 (fr) * 2012-12-17 2018-08-31 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede et dispositif d'acquisition d'image
JP6151930B2 (ja) * 2013-02-19 2017-06-21 キヤノン株式会社 撮像装置およびその制御方法
JP6547266B2 (ja) * 2013-10-01 2019-07-24 株式会社ニコン 電子機器、電子機器の制御方法、及び制御プログラム電子機器
US8988509B1 (en) 2014-03-20 2015-03-24 Gopro, Inc. Auto-alignment of image sensors in a multi-camera system
US9197885B2 (en) 2014-03-20 2015-11-24 Gopro, Inc. Target-less auto-alignment of image sensors in a multi-camera system
JP6578677B2 (ja) 2015-03-06 2019-09-25 セイコーエプソン株式会社 撮影装置
WO2018043428A1 (ja) * 2016-09-05 2018-03-08 オリンパス株式会社 内視鏡および内視鏡システム
US10999539B2 (en) 2017-12-26 2021-05-04 Waymo Llc Adjustable vertical field of view

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005057902A2 (en) * 2003-12-11 2005-06-23 Advasense Technologies (2004) Ltd Method and apparatus for camera shake compensation
CN1816111A (zh) * 2005-02-01 2006-08-09 株式会社日立制作所 摄像装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3758205B2 (ja) * 1995-06-07 2006-03-22 ソニー株式会社 固体撮像装置及びこれを用いたビデオカメラ、並びにｘ‐ｙアドレス型固体撮像装置の駆動方法
JP2000023024A (ja) * 1998-06-30 2000-01-21 Toshiba Corp 画像入力装置
JP2000350101A (ja) * 1999-03-31 2000-12-15 Toshiba Corp 固体撮像装置及び画像情報取得装置
JP4756960B2 (ja) * 2005-09-02 2011-08-24 キヤノン株式会社 撮像装置及びその制御方法、コンピュータプログラム及び記憶媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005057902A2 (en) * 2003-12-11 2005-06-23 Advasense Technologies (2004) Ltd Method and apparatus for camera shake compensation
CN1816111A (zh) * 2005-02-01 2006-08-09 株式会社日立制作所 摄像装置

Also Published As

Publication number Publication date
US20080079814A1 (en) 2008-04-03
JP4789767B2 (ja) 2011-10-12
JP2008085859A (ja) 2008-04-10
CN101155269A (zh) 2008-04-02
US7978226B2 (en) 2011-07-12

Similar Documents

Publication Publication Date Title
CN101155269B (zh) 摄像设备、其控制方法以及摄像系统
JP4208904B2 (ja) 撮像装置及びその制御方法並びに撮像システム
JP4687322B2 (ja) 撮像装置
US8189085B2 (en) Image sensing apparatus and its control method
JP6234054B2 (ja) 撮像装置および撮像装置の制御方法
US20130038757A1 (en) Image pickup apparatus
JP5224925B2 (ja) 撮像装置
US8508636B2 (en) Image sensing apparatus
JP2006352843A (ja) 撮像装置及び制御方法
CN103139494B (zh) 摄像装置
JP5105843B2 (ja) 撮像装置及び判定方法
JP2019068351A (ja) 撮像装置、撮像装置の制御方法
JP6947590B2 (ja) 撮像装置、撮像装置の制御方法
JP5014168B2 (ja) 撮像システム及び撮像システムの制御方法
JP2009027238A (ja) 固体撮像装置
US8339476B2 (en) Image sensing apparatus and control method for same, and image sensing system
JP2010088019A (ja) 撮像装置
JP4334950B2 (ja) 固体撮像装置
JP7292962B2 (ja) 撮像装置およびその制御方法
JP5127510B2 (ja) 撮像装置、及び撮像装置の制御方法
JP4769589B2 (ja) 撮像装置及びその制御方法
JP2009225341A (ja) 固体撮像装置及びその駆動方法
JP2004347977A (ja) デジタルスチルカメラ
JP2018014656A (ja) 撮像装置
JP2009071394A (ja) 撮像装置、駆動方式切り替え方法、および駆動方式切り替えプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20111214

Termination date: 20180928