CN102833488A - 图像摄取装置、图像摄取装置控制方法和程序 - Google Patents

图像摄取装置、图像摄取装置控制方法和程序 Download PDF

Info

Publication number
CN102833488A
CN102833488A CN2012101887668A CN201210188766A CN102833488A CN 102833488 A CN102833488 A CN 102833488A CN 2012101887668 A CN2012101887668 A CN 2012101887668A CN 201210188766 A CN201210188766 A CN 201210188766A CN 102833488 A CN102833488 A CN 102833488A
Authority
CN
China
Prior art keywords
exposure
unit
image
time
control data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012101887668A
Other languages
English (en)
Inventor
海津俊
光永知生
城坚诚
栗田哲平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102833488A publication Critical patent/CN102833488A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明公开了图像摄取装置、图像摄取装置控制方法和程序。该图像摄取装置包括控制单元和图像传感器，控制单元生成曝光时间控制数据，在曝光时间控制数据中以像素区域为单位设置了图像传感器的曝光时间，图像传感器输入曝光时间控制数据并且执行基于以像素区域为单位的曝光时间控制的图像获取。控制单元基于形成前一摄取图像的一部分的像素区域单位的亮度信息按顺序依次生成以区域为单位的曝光时间控制数据，并且将曝光时间控制数据输出到图像传感器。图像传感器从控制单元输入以区域为单位的曝光时间控制数据，并且按顺序依次使用输入的曝光时间控制数据来执行基于以像素区域为单位的曝光时间控制的图像获取。

Description

图像摄取装置、图像摄取装置控制方法和程序
技术领域
本发明涉及一种图像摄取装置、图像摄取装置控制方法和程序。更详细地说，本发明涉及一种执行以区域(region)为单位的曝光控制的图像摄取装置、图像摄取装置控制方法和程序。
背景技术
以下参考图1对以图像传感器为示例的一个CMOS(互补金属氧化物半导体)图像传感器的配置和图像摄取过程的示例进行描述。图1是示出了图像传感器(CMOS图像传感器)101的部分配置的示图。图像传感器(CMOS图像传感器)101包括垂直扫描电路102、水平扫描电路103和设置成阵列的多个像素104。
当执行曝光过程以摄取一对象(subject)的图像时，电荷在每个像素104内部的光电二极管中积聚。积聚在每个像素的光电二极管中的电荷通过放大晶体管和转移晶体管被输出到垂直信号线113。输出到垂直信号线113的信号电流还提供给水平扫描电路103，并且在经过指定的信号处理之后，通过信号输出线114被输出到外围。
因为每个垂直信号线113通常连接到在垂直方向上对齐的像素，因此为了读出单个像素的信号，必须保证每次只能将一个像素的信号输出到垂直信号线113。
通过图像传感器(CMOS图像传感器)101，可以分别从单个像素读出信号，例如，首先从在底行上排列的各个像素104d读出信号，如图2A所示，然后从另一行像素104c读出信号，如图2B所示，然后按顺序更换读取行以读出信号。例如，用于这种像素读取的控制信号被从连接到图1中示出的垂直扫描电路102的水平复位线111和水平选择线112输出。
在积聚电荷的读取过程完成之后，构成图像传感器(CMOS图像传感器)101的个别像素104立即再次开始曝光。也就是说，开始了下一图像帧的曝光过程。
这样，当读出过程以行为单位按顺序执行并且随后立即开始曝光过程时，曝光开始时间和结束时间将不同，也就是说，第一行上的光电二极管104a与最后一行上的光电二极管104d在曝光时间(或曝光周期)上会有所不同。这是快门操作的特有现象，称为“焦面快门”或“滚动快门”。注意，虽然附图中只示出4行104a到104d，这是因为图中只能示出图像传感器的一部分，而实际的图像传感器将有很多行，诸如几百到几千行，信号同样需要以行为单位按顺序读出。
现有的图像传感器一般会使用能确保每个像素的曝光时间都相同的配置，曝光时间是指从曝光开始到结束的时间。然而，近年来，已经提出了一种根据对象亮度控制图像传感器上个别像素的曝光时间的配置。通过执行这种曝光控制，可以增大摄取图像的动态范围。
现在，将对一种通过控制曝光时间(以下简称“快门控制”)来扩展动态范围的方法进行描述。如果在亮对象区域内增加曝光时间，那么像素内将充满积聚电荷，这阻碍了获得精确像素值。同时，如果在暗对象区域内增加曝光时间，就比较容易获得对应于对象亮度的精确像素值。
因此，在对象明亮的区域中，获取曝光时间减少的像素的像素值作为有效像素值。同时，在对象较暗的区域中，获取曝光时间增加的像素的像素值作为有效像素值。一种扩展动态范围的方法是通过合并曝光时间减少和曝光时间增加的区域来生成输出图像。注意，当输出最后的像素值时，基于相应的曝光时间来执行像素值调整过程。
在日本特开2010-136205号专利公开说明书和Jenwei Gu等人的“Coded Rolling Shutter Photography：Flexible Space-Time Sampling”(Computational Photography(ICCP)，2010)中，公开了一种通过为图像传感器上每一行像素设置不同的曝光时间而扩展摄取图像的动态范围的技术。一个示例是针对图像传感器上的各行像素交替地设置短曝光行和长曝光行的配置。
例如，2010-136205号公开说明书和Jenwei Gu等人的文章公开了一种执行以行为单位的曝光时间控制从而设置以行为单位的曝光时间以符合屏幕上的像素亮度的方法。2010-136205号公开说明书和Jenwei Gu等人的文章中的配置使用具有电子快门的配置来执行以图像区域为单位的曝光时间控制。
一种适应性地设置曝光时间以符合对象亮度的算法已有人描述，例如，“A New Algorithm for Exposure Control Based on Fuzzy Logic ForVideo Cameras”(Shuji Shimizu等人，IEEE Transactions on ConsumerElectronics，Vol.38-3，(1992))。这样就说明，已公开了以区域(诸如行)为单位控制曝光时间以符合对象亮度的配置。然而，为了执行符合对象亮度的曝光控制，必须在图像摄取开始之前，确定以像素为单位的曝光时间。这里存在的一个问题是，在下列两个过程之间会产生延迟。
过程1：获取前一(在前，preceding)图像的过程，该前一图像将用于确定以像素为单位的曝光时间的过程，以及
过程2：在过程1之后的图像摄取过程，执行反映过程1所产生的信息的曝光控制。
上述延迟越长，越难以追踪亮度变化。结果就存在这样的问题：有时候在亮度变化之后，将会获取太亮或者太暗的图像。具体地说，当针对诸如行单位或像素单位的区域执行曝光控制时，与过去在整个屏幕上执行曝光控制相比，有必要执行更加严格的曝光控制。当过去为整个屏幕确定单个曝光时间时，物体的局部移动仅会造成极其微小的亮度变化。然而，当在逐区域基础上执行曝光控制时，就必须要追踪物体的这种局部移动，且此追踪中的延迟会造成比以前更大的影响。
现在，将参照图3和4对曝光控制中反映运动的延迟进行描述。在图3和4中，横轴表示时间，纵轴表示像素的行。例如，在图3中，图中以虚线151a、151b示出了以行为单位的电荷读取定时的变化。
图3中示出的多个矩形块示出了单个摄取图像帧的曝光时间，并且表示行块单元的曝光时间，每个行块单元由一行或多行组成。在前一摄取图像帧的读取线151a表示的定时后立即开始曝光过程。如读取线151a所示，曝光开始时间以行为单位逐渐变化。如图3中的图表所示，上面的行较早便开始曝光，但是靠近底部的行要经过增加的延迟之后才开始曝光。对于在最顶部的行而言，时间(t1)为曝光开始时间，而对于最底部的行而言，时间(t2)为曝光开始时间。
图3示出的多个矩形块的右端是对曝光图像执行读出过程的定时，并且在读取线151b示出的定时读取每行像素的积聚电荷。在这个示例中，因为曝光结束时间近似等于读出过程时间，如图3中的读取线151b所示，因此从第一行开始按顺序对各行像素执行读出过程。
对于最顶部的行而言，时间(t2)为曝光结束时间，而对于最底部的行而言，时间(t3)为曝光结束时间。注意，在这个示例中，因为各个行的曝光开始和曝光结束都以行为单位作出等量的变化，所以每行的曝光时间都是相同的。
在图4中，示出了在视频图像的图像摄取过程中对应于三个连续的图像摄取帧(编号为N到N+2)的曝光过程和读出定时。在读出第N帧中的最后一行之后，开始读出第N+1帧中的第一行。第N帧的整个图像可以在最后一行的读出定时获取。然而，由于在此时已经开始曝光第N+1帧，第N+1帧的曝光控制不可能反映对第N帧获取的图像，并且这种控制对于之后的第N+2帧(即，延迟两帧)才可能实现。
然而，因为从读出第N帧的最后一行到开始曝光第N+2帧的第一行的间隔较短，所以如果曝光时间的计算和控制数据的通信花费了一些时间，那就不可能在第N+2帧的曝光控制中反映第N帧，这造成更长的延迟。
这样，如果根据对象亮度执行曝光控制，在下列两个过程之间就会产生延迟。
过程1：获取前一图像的过程，该前一图像将用于确定以像素为单位的曝光时间的过程，以及
过程2：在过程1之后的图像摄取过程，执行反映过程1所产生的信息的曝光控制。
由于这种延迟，存在的问题是：不可能实现最优的曝光控制。
发明内容
本公开旨在提供一种能够实现具有很短延迟的曝光时间控制的图像摄取装置、图像摄取装置控制方法和程序。
根据本公开的一个实施例，提供了一种图像摄取装置，包括控制单元和图像传感器，控制单元生成曝光时间控制数据，在曝光时间控制数据中以像素区域为单位设置了图像传感器的曝光时间，图像传感器输入曝光时间控制数据并且执行基于以像素区域为单位的曝光时间控制的图像获取。控制单元基于形成前一摄取图像的一部分的像素区域单位的亮度信息按顺序依次生成以区域为单位的曝光时间控制数据，并且将曝光时间控制数据输出到图像传感器。图像传感器从控制单元输入以区域为单位的曝光时间控制数据，并且按顺序依次使用输入的曝光时间控制数据来执行基于以像素区域为单位的曝光时间控制的图像获取。
在根据本公开的图像摄取装置的实施例中，控制单元基于以前一摄取图像的至少一行为单位的亮度信息按顺序依次生成以区域为单位的曝光时间控制数据，并且将曝光时间控制数据输出到图像传感器，并且图像传感器从控制单元输入以区域为单位的曝光时间控制数据，并且基于以至少一行为单位的曝光时间控制按顺序依次使用输入的曝光时间控制数据来执行图像获取。
在根据本公开的图像摄取装置的实施例中，控制单元通过仅参照一个块作为像素区域的计算生成曝光时间控制数据并且将曝光时间控制数据输出到图像传感器，该像素区域是用于获取前一摄取图像的亮度信息的单位，并且图像传感器基于使用曝光时间控制数据的曝光时间控制来执行图像获取。
在根据本公开的图像摄取装置的实施例中，控制单元生成第一曝光时间控制数据和第二曝光时间控制数据并且将第一曝光时间控制数据和第二曝光时间控制数据输出到图像传感器，第一曝光时间控制数据是通过仅参照一个块作为用于获取前一摄取图像的亮度信息的单位的像素区域计算得到的，第二曝光时间控制数据是通过参照多个块计算得到的，并且图像传感器基于选择性使用第一曝光时间控制数据和第二曝光时间控制数据中的一个的曝光时间控制来执行图像获取。
在根据本公开的图像摄取装置的实施例中，当选择性使用第一曝光时间控制数据和第二曝光时间控制数据来执行图像获取时，图像传感器可操作来执行积聚的像素电荷的复位过程以设置选择性使用的曝光时间。
在根据本公开的图像摄取装置的实施例中，控制单元基于以像素区域为单位的亮度信息按顺序依次生成以区域为单位的曝光时间控制数据并且将曝光时间控制数据输出到图像传感器，其中像素区域形成作为前一摄取图像的图像帧N的一部分，并且图像传感器从控制单元输入以区域为单位的曝光时间控制数据，并且按顺序依次使用输入的曝光时间控制数据来执行图像帧N+1的以像素区域为单位的曝光时间控制，其中图像帧N+1是继图像帧N之后连续摄取的图像。
在根据本公开的图像摄取装置的实施例中，图像摄取装置还包括高动态范围处理单元，该高动态范围处理单元基于长曝光像素和短曝光像素的像素信息生成高动态范围图像。
根据本公开的一个实施例，提供了一种由图像摄取装置执行的图像摄取装置控制方法，包括：通过控制单元生成曝光时间控制数据，在曝光时间控制数据中以像素区域为单位设置了图像传感器的曝光时间；以及通过图像传感器输入曝光时间控制数据并且基于以像素区域为单位的曝光时间控制来执行图像获取。在生成步骤中，基于以像素区域为单位的亮度信息按顺序依次生成以区域为单位的曝光时间控制数据并且将曝光时间控制数据输出到图像传感器，其中像素区域的单位形成前一摄取图像的一部分，并且在输入步骤中，从控制单元输入以区域为单位的曝光时间控制数据，并且基于以像素区域为单位的曝光时间控制按顺序依次使用输入的曝光时间控制数据来执行图像获取。
根据本公开的一个实施例，提供了一种使图像摄取装置执行图像摄取控制过程的程序，包括：通过控制单元生成曝光时间控制数据，在曝光时间控制数据中以像素区域为单位设置了图像传感器的曝光时间；以及通过图像传感器输入曝光时间控制数据并且基于以像素区域为单位的曝光时间控制来执行图像获取。在生成步骤中，基于以像素区域为单位的亮度信息按顺序依次生成以区域为单位的曝光时间控制数据并且将曝光时间控制数据输出到图像传感器，其中像素区域的单位形成前一摄取图像的一部分，并且在输入步骤中，从控制单元输入以区域为单位的曝光时间控制数据，并且基于以像素区域为单位的曝光时间控制按顺序依次使用输入的曝光时间控制数据来执行图像获取。
注意，根据本公开的程序是一个例如通过存储介质提供给能执行多种程序代码的信息处理装置或计算机系统的程序。通过此种信息处理装置或计算机系统中的程序执行单元来执行该程序，可实现根据该程序的处理。
结合下文中对实施例和附图的详细描述，将会使根据本发明的技术的其他目的、特征和优点易于理解。注意，本说明书中的“系统“一词是指多个装置的逻辑组合，并不限于在单个机壳内设置不同的多个装置。
根据本公开如上所述的实施例，以图像的像素区域为单位控制曝光时间的配置可实现延迟减少的曝光时间控制过程。更具体地说，包括控制单元和图像传感器，控制单元生成曝光时间控制数据，在曝光时间控制数据中以像素区域为单位设置了图像传感器的曝光时间，图像传感器输入曝光时间控制数据并且基于以像素区域为单位的曝光时间控制来执行图像获取。控制单元基于形成前一摄取图像的一部分的像素区域单位的亮度信息按顺序依次生成以区域为单位的曝光时间控制数据，并且将曝光时间控制数据输出到图像传感器。图像传感器从控制单元输入以区域为单位的曝光时间控制数据，并且基于以像素区域为单位的曝光时间控制按顺序依次使用输入的曝光时间控制数据来执行图像获取。通过执行连续使用以区域为单位的曝光时间控制数据的过程，可实现延迟减少的曝光时间控制过程。
附图说明
图1是用于说明图像传感器的配置和图像摄取过程的示图；
图2A和2B是用于说明图像传感器的配置和图像摄取过程的示图；
图3是用于说明图像摄取处理顺序的示图；
图4是用于说明图像摄取处理顺序的示图；
图5是用于说明图像摄取装置的配置和处理过程的示图；
图6是用于说明图像传感器的配置和图像摄取处理过程的示图；
图7是用于说明图像摄取处理顺序的示图；
图8是用于说明控制单元的曝光时间计算过程的配置的示图；
图9是用于说明控制单元的曝光时间计算过程的配置的示图；
图10A-10C是用于说明通过分析亮度执行的曝光时间设置过程的示例的示图；
图11是用于说明曝光时间控制单元的配置和处理过程的示图；
图12是用于说明曝光时间锁存单元的配置和示例处理过程的示图；
图13A-13E是示出了图12所示的曝光时间锁存单元的操作顺序的示例的定时图；
图14是用于说明垂直扫描电路的示例配置的示图；
图15是用于说明读取定时生成单元的处理过程的示图；
图16是用于说明任意一行的读取定时、复位定时和曝光时间之间的关系的示图；
图17A和17B是用于说明现有的曝光时间控制顺序的示图；
图18A和18B是用于说明根据本发明的一个实施例的图像摄取装置的曝光时间控制顺序的示图；
图19是示出了用作曝光控制的单位的块的示例设置的示图；
图20是示出了用作曝光控制的单位的块的示例设置的示图；
图21A-21C是用于说明曝光控制过程的示例的示图；
图22A和22B是用于说明图像摄取装置的曝光时间控制顺序的问题的示图；
图23是用于说明曝光时间锁存单元的配置和示例处理过程的示图；
图24A和24B是用于说明根据本发明的一个实施例的图像摄取装置的曝光时间控制顺序的示例的示图；以及
图25A和25B是用于说明根据本发明的一个实施例的图像摄取装置的曝光时间控制顺序的示例的示图。
具体实施方式
以下，将参照附图对本发明的优选实施例进行详细描述。注意，在本说明书和附图中，功能和结构大体上相同的结构元件以相同的参考标号表示，并且对这些结构元件不作重复的说明。
现在，将参照附图对根据本公开的图像摄取装置、图像摄取装置控制方法以及程序进行详细描述。下面将按以下顺序作出说明。
1.图像摄取装置的配置和处理
2.以区域为单位的曝光时间控制过程
3.根据以区域为单位的曝光控制的图像传感器的示例性操作
4.根据本公开的一个实施例的曝光控制过程与现有的曝光控制过程的比较
5.变形例
6.基于参照多个块的过程的曝光控制的配置
7.总结
1.图像摄取装置的配置和处理
首先，将参照图5对图像摄取装置的示例性配置进行描述。如图5所示，该图像摄取装置包括光学透镜201、由CMOS图像传感器等制成的图像传感器202、高动态范围(HDR)处理单元204、信号处理单元206以及控制单元208。图5中示出的图像摄取装置被配置为通过在逐区域(region-by-region)基础上改变曝光时间的同时摄取图像以执行高动态范围(HDR)图像摄取。
该图像摄取装置是能够摄取视频和/或静态图像并且可根据对象亮度实现以区域为单位的曝光时间控制的图像摄取装置。例如，当摄取视频图像时，针对前一图像帧以区域为单位获取亮度信息，并且基于测量得到的这些区域单元的亮度信息针对下一摄取帧以区域为单位执行曝光时间控制。当摄取静态图像时，利用紧邻要摄取的当前图像之前的摄取的一图像获取区域单位的亮度信息，并且当摄取当前静态图像时，基于测量得到的这些区域单元的亮度信息执行以区域为单位的曝光时间控制。
图像传感器202将通过光学透镜201的入射光进行光电变换以获得摄取图像203。在HDR处理单元204中，校正由于以像素区域为单位的曝光时间的差异造成的灵敏度差异，以获得HDR图像205。
注意，曝光时间控制具体地为亮对象区域设置短曝光时间并且为暗对象区域设置长曝光时间。因此，摄取图像203中各个像素的像素值即为符合不同曝光时间的像素值。在HDR处理单元204中，通过参照各个像素的曝光时间，计算在所有的像素具有相同的曝光时间的情况下的像素值，并且生成设置有这些计算得到的像素值的HDR图像205。信号处理单元206执行改善图像质量的处理，从而获得输出图像207。
控制单元208对图像摄取装置的多个过程执行控制。例如，基于先前获取的图像的亮度信息以像素区域为单位计算最优曝光时间，并且将最优曝光时间输出到图像传感器202作为控制数据209。图像传感器202利用电子快门并根据以区域为单位的曝光时间控制，基于控制数据209执行图像摄取过程(电荷积聚)。注意，控制单元208根据例如存储在存储器(未示出)中的程序全面控制各个组成元件。
图像传感器202例如由CMOS图像传感器制成的，并且是能够以指定的像素区域为单位进行曝光控制的图像传感器。图6中示出了一个具体的示例性配置。图6是示出了图像传感器(CMOS图像传感器)202的部分配置的示图。如图6所示，图像传感器(CMOS图像传感器)202由以下元件构成：曝光时间控制单元202a(从控制单元208输出的控制数据209被输入到曝光时间控制单元202a中)、垂直扫描电路202b、水平扫描电路202c和设置成阵列的多个像素202d。
由于要执行曝光过程以摄取对象图像，电荷在每个像素202d的光电二极管中积聚。积聚在每个像素的光电二极管中的电荷通过放大晶体管和转移晶体管输出到垂直信号线202g。输出到垂直信号线202g的信号电流还提供给水平扫描电路202c，并且在经过指定的信号处理之后，通过信号输出线202h输出到外围。
例如，如图7所示，图像传感器202是一种曝光时间可以行为单位任意控制的CMOS图像传感器。例如，在上文提及的Jenwei Gu等人的文章中描述了此类图像传感器202的配置。
如上所述，HDR处理单元204校正由于以像素区域为单位的曝光时间的差异造成的灵敏度差异，以获得HDR图像205。更具体地说，通过将摄取图像203的各个像素值乘以各区域中的曝光时间的倒数，生成了具有线性亮度特征的图像，并且将该图像设置为HDR图像205。
在图5示出的图像摄取装置中，控制单元208基于以像素区域为单位的亮度信息(这些像素区域形成前一摄取图像的一部分)按顺序依次生成以区域为单位的曝光时间控制数据(即，控制数据209)，并且将此曝光时间控制数据输出到图像传感器202。图像传感器202从控制单元208输入以区域为单位的曝光时间控制数据，并且基于以像素区域为单位的曝光时间控制按顺序依次使用输入的曝光时间控制数据以执行图像获取。
2.以区域为单位的曝光时间控制过程
接下来，将参照图8-10C对通过控制单元208执行的符合对象亮度的以区域为单位的曝光时间控制过程进行描述。图8是示出了由控制单元208执行的曝光时间控制过程的示例性配置的示图。亮度计算单元211输入由HDR处理单元204基于前一摄取的图像生成的HDR图像205，并且从输入图像计算以像素区域为单位的亮度。
例如，如图9所示，构成HDR图像205的2×2像素区域被设置为用于亮度计算的像素区域单元215。发现R、G和B(其中，R是R(红色)像素的像素值，G是G(绿色)像素的平均值(Gr+Gb)/2，B是B(蓝色)像素的像素值)的最大值(MAX)，并且此最大值被设置为用于亮度计算的像素区域单元215的亮度L。
块亮度统计值计算单元212计算每一块的亮度统计值，如图10B所示，其中每一块又由图10A中所示的多个行组成。在图10B中，纵轴表示行，而横轴表示每一行块的亮度统计值。
块曝光时间计算单元213基于每一块的亮度统计值，计算针对图10C中每一行块将要设置的曝光时间(Tex1到TexM)。通过在亮区域中设置短曝光时间，抑制了像素值的饱和。通过较暗区域中设置长曝光时间，执行了提高S/N比值的控制。此处理过程使摄取具有宽动态范围和良好的S/N比值的图像成为可能。
根据本配置，当对每个区域执行曝光控制时，可以仅通过参照此区域的外围来确定曝光时间。也就是说，例如，为了计算第1块的曝光时间Tex1，只需用到第1块的图像信息。可以仅使用以块为单位的信息来设置每个块的曝光时间，而不用执行参照一帧的整个图像或者参照覆盖该帧的大部分的图像区域的过程。这意味着，控制单元208可以立即将来自曝光时间的计算已完成的块的控制数据209依次地输出到例如由CMOS图像传感器构成的图像传感器202。
也就是说，如上所述，控制单元208基于以像素区域为单位(即以块为单位，例如以行为单位或以多个行为单位)的亮度信息(该像素区域形成前一摄取的图像的一部分)按顺序依次生成以块为单位的曝光时间控制数据，并且将曝光时间控制数据输出到图像传感器202。图像传感器202从控制单元208输入以块为单位的曝光时间控制数据，并且基于以块为单位的曝光时间控制(按顺序依次使用输入的曝光时间控制数据)执行图像获取。
3.根据以区域为单位的曝光控制的图像传感器的示例性操作
接下来，将对图像传感器202输入从控制单元208输出的控制数据209并且通过执行以区域为单位的曝光控制来执行图像摄取过程的示例性操作进行描述。图11是用于说明图像传感器202的曝光时间控制单元202a的示例性配置的示图。图像传感器202的曝光时间控制单元202a从控制单元208输入由以区域为单位的曝光时间设置信息组成的控制数据209，并且控制垂直扫描电路202b以图像区域为单位(以块为单位(例如，以行为单位))设置曝光时间。
解码器221从控制单元208输入由以区域为单位的曝光时间设置信息组成的控制数据209，并且生成以块为单位的曝光时间数据222。
行计数器226使用定时生成单元223生成的垂直同步信号224和水平同步信号225来生成表示当前处理目标的行号。
曝光时间锁存单元227输入行计数器226生成的行号，生成每一块(像素区域)的曝光时间锁存定时，并且在每一块(像素区域)的不同定时将曝光时间数据222输出到垂直扫描电路202b。
垂直扫描电路202b根据曝光时间锁存单元227输出的以块(像素区域)为单位的曝光时间数据执行以块(像素区域)为单位的电子快门控制。更具体地说，例如，垂直扫描电路202b生成以行为单位的行复位及行选择信号，并且执行电子快门控制以实现以行为单位的曝光时间控制。
图12是示出了一个块的曝光时间锁存单元227的详细配置的示例的示图。对应于一个块的曝光时间锁存单元227将一块的曝光时间控制信号输出到垂直扫描电路202b。例如，如果块是一行，那么就以行为单位执行曝光时间控制过程。
如图12所示，曝光时间锁存单元227将解码器221生成的以块为单位的曝光时间数据(输入)222in取入存储单元234中，并且输入行计数器226生成的当前行号231。
曝光时间锁存单元227存储利用此特定曝光时间锁存单元227控制的行的锁存行号232，并在匹配检测单元233中确定从行计数器226输入的行号231是否与利用此曝光时间锁存单元227控制的行的锁存行号232相匹配。如果检测到了匹配，则曝光时间数据(输出)222out被从存储单元234输出到垂直扫描电路202b，并且与曝光时间数据222一致地以块为单位执行曝光时间控制。注意，当通过逻辑电路实施时，存储单元234可以使用例如具有使能端口的D触发器电路来实现。
图13是用于说明图12中示出的曝光时间锁存单元227的操作顺序的定时图。横轴表示时间(t)，因此，下文所述的数据变化均体现在时间轴上。
(a)输入曝光时间锁存单元227中的“曝光时间数据(输入)222in”
(b)输入曝光时间锁存单元227中的“当前行号231”
(c)存储在曝光时间锁存单元227中的“锁存行号232”
(d)匹配检测单元233的“匹配检测信号输出”
(e)存储单元234的输出(即，曝光时间数据(输出)222out)
注意，为了简化说明，将每帧的行的数目设置为10。在图13中，在执行第N帧的第0-9行以及第N+1帧的第0-9行的曝光时间设置过程的时间段中，示出了用于处理第5行的单个曝光时间锁存单元227的处理顺序。
在(d)匹配检测单元233的“匹配检测信号输出”检测到(b)输入曝光时间锁存单元227中的“当前行号231”与(c)由曝光时间锁存单元227存储的“锁存行号232”相匹配的定时，(a)输入曝光时间锁存单元227中的“曝光时间数据(输入)222in”被取入，并且被从存储单元234输出到垂直扫描电路202b并存储在存储单元234中直到下一帧的相同定时。
图14示出了垂直扫描电路202b的示例性配置。解码器251用于从外围提供的控制数据209中提取定时数据252。例如，用于定时目的所需的信息(诸如图像的输出行的编号)被提取作为定时数据252。
读取定时生成单元253基于定时数据252将读取时间连续(接连)输出到每行的水平(行)选择线202f。更具体地说，例如，如图15所示，在读取定时生成单元253内生成对应于每行的读取定时，并且读取定时被连续输出到每行的水平(行)选择线202f。
复位定时生成单元254输入读取定时生成单元253生成的对应于各行的读取定时，基于从曝光时间锁存单元227输入的曝光时间数据(输出)222out计算以行为单位的复位时间作为曝光开始时间，以控制曝光开始时间从而设置输入的曝光时间数据中给出的曝光时间，生成以行为单位的复位信号，并且将复位信号输出到水平(行)复位线202e。
图16示出了任意一行的读取定时、复位定时和曝光时间之间的关系。图16中示出的复位定时(Treset)是像素的电荷开始积聚的曝光开始时刻，而读取定时(Tread)是读出积聚信号时的曝光结束时刻。也就是说，建立了曝光时间(Texp)＝(Tread)-(Treset)的关系。
因为已经获得了曝光时间数据241和读取定时，所以复位定时生成单元254使用复位定时(Treset)＝Tread-Texp的关系生成复位定时，并且将根据复位定时的复位信号逐行输出到水平(行)复位线202e。
4.根据本发明的一个实施例的曝光控制过程与现有的曝光控制过程的比较
接下来，将参照图17A-18B将根据本发明的一个实施例的曝光控制过程和现有的曝光控制过程进行比较。图17A和17B是用于说明根据现有的曝光控制的图像传感器(CMOS图像传感器)的示例性操作的示图。图18A和18B是用于说明根据本发明的一个实施例的图像摄取装置的图像传感器(CMOS图像传感器)的示例性操作的示图。
首先，将参照图17A和17B对根据现有的曝光控制的图像传感器(CMOS图像传感器)的示例性操作进行描述。图17A和17B示出了连续摄取的编号为N到N+2的三个帧的图像摄取过程中执行的曝光控制顺序。在示出了曝光定时的图17A的图表中，纵轴表示行，横轴表示时间，以行为单位的曝光时间针对每行示出为一个矩形区域。如上所述(参照图3和4)，从顶部的行起到底部的行，曝光时间设置有指定时间的延迟。
图17B示出了使用第N帧的图像的曝光控制过程的时间轴上的曝光控制过程顺序。编号为301到305的过程按时间顺序执行。这些过程的内容如下：
测量获取301：第N帧的图像被输出的定时。
曝光时间计算302：基于测量获取301获取的图像计算曝光时间的定时。
曝光时间传输303：在曝光时间计算302中计算得到的曝光时间被输出到图像传感器(图像传感器)的定时。
曝光时间锁存定时304：通过曝光时间传输303输入的曝光时间数据被锁存在图像传感器(图像传感器)内部的定时。这里，先生成锁存定时，再开始第一行的曝光。
根据复位控制的曝光时间控制305：基于锁存在曝光时间锁存定时304中的数据生成复位定时，并且复位定时是执行曝光控制的周期。
虽然过程301到305中的处理是基于第N帧的摄取图像执行的曝光时间控制，但是第N+1帧的图像摄取已经在根据复位控制的曝光时间控制305的开始时间开始了。因此，根据复位控制的曝光时间控制305并没有应用到第N+1帧的图像摄取过程。结果，对第N+2帧的图像执行根据具有此曝光控制的图像摄取的图像获取306。
这样，在图17A-B示出的曝光时间控制中，根据使用曝光时间控制数据(该曝光时间控制数据是基于第N帧的摄取图像生成的)的曝光时间控制的图像摄取过程不能对紧邻其后摄取的帧(第N+1帧)执行，而只能对第N帧之后两个帧的第N+2帧执行。这样，用现有的方法就产生了至少两个帧的延迟。
图18A和18B是用于说明根据本实施例的图像摄取装置中的图像传感
(CMOS图像传感器)的示例性操作的示图。与图17A和17B一样，图18A和18B示出了连续摄取的编号为N到N+2的三个帧的图像摄取过程中执行的曝光控制顺序。
在示出了曝光定时的图18A的图表中，纵轴表示行，横轴表示时间，以行为单位的曝光时间针对每行示出为一个矩形区域。
图18B示出了使用第N帧的图像的曝光控制过程的时间轴上的以区域(块)为单位的曝光控制过程顺序。在根据本实施例的处理中，通过在图像的指定单位区域(在当前实施例中指的是“行”)中分别执行曝光时间控制的计算、传输和锁存，可减少延迟时间。
在图18A和18B中，作为在后的图像摄取帧的第N+1帧的曝光控制是利用作为前一图像摄取帧的第N帧的图像实现的。此曝光控制以像素区域(块)为单位执行。在本实施例中，以行为单位执行曝光控制。在图18A和18B中，作为代表性示例，示出了以下处理示例：基于第N帧的第1块(第1行)的图像信息对第N+1帧的第1块(第1行)执行曝光控制(曝光时间设置)，并且基于第N帧的第M块(第M行)的图像信息对第N+1帧的第M块(第M行)执行曝光控制(曝光时间设置)。
与图17B一样，在图18B中示出了使用第N帧的图像的曝光控制过程在时间轴上的曝光控制处理顺序。编号为311到316的过程按时间顺序执行。注意，对于第1块和第M块而言，二者的处理过程以相同的顺序进行。这些过程的内容如下：
测量获取311：第N帧中的块的图像被输出的定时。
曝光时间计算312：基于测量获取311获取的图像(第N帧中的一块，在本实施例中是以一行为单位的图像)计算块(行)的曝光时间的定时。
曝光时间传输313：在曝光时间计算312中计算得到的块的曝光时间被传输的定时。
曝光时间锁存定时314：通过曝光时间传输313传输的一个处理块的曝光时间数据被锁存在图像传感器(图像传感器)内部的定时。这里，先生成锁存定时，再开始曝光此块。
曝光时间控制315：基于曝光时间锁存定时314以块(行)为单位生成复位定时，并且复位定时是执行曝光控制(开始曝光的控制)的定时。
图像获取316：通过如上所述的曝光控制315执行的以块(行)为单位的曝光控制获得当前受到控制的块(行)的图像的时间。
对于图18A示出的第1块、第M块以及所有其他的块(行)而言，根据如上所述的相同顺序执行处理。
与图17A和17B不同，通过图18A和18B示出的根据本实施例的配置，可针对指定单位计算曝光时间控制数据，指定单位也就是像素区域(或者“块”，或者本实施例中的行)的单位，并且曝光控制可以像素区域为单位按顺序开始。根据此处理过程，实现了将基于前一摄取图像的曝光控制数据应用于下一(在后)图像摄取帧以执行曝光控制的配置。
在图18A和18B示出的曝光时间控制中，根据使用曝光时间控制数据(该曝光时间控制数据是基于第N帧的摄取图像生成的)的曝光时间控制的图像摄取过程可对紧邻其后的图像摄取帧(第N+1帧)执行，这意味着可以没有延迟地执行曝光控制。
为了实现图18A和18B示出的控制，图像传感器202具有能够对每个图像区域(或块(例如，行))进行曝光控制并且还可以对每个指定单元执行按不同定时取出控制数据的控制的配置。
5.变形例
现在，将对如上所述的实施例的变形例进行描述。在如上所述的实施例中，描述了图像摄取装置的示例性配置(参照图5)。图5示出的配置仅仅是一个示例，其他的配置也是可能的。例如，在图5示出的所有处理过程在图像传感器内部执行的情况下，有可能使用另一种配置。
根据本实施例的图像摄取装置被配置为执行在每个区域中设置不同的曝光时间的曝光控制，例如，上文所述的以行为单位执行曝光控制的示例性配置(参照图7)。然而，作为曝光控制单位的区域(块)并不限于以行为单位或者以多个行为单位，还可以按不同的方式设置。
例如，如图19所示，可以使用以矩形区域的块为单位执行曝光控制的配置。同时，如图20所示，还可以使用这样一种配置：除基于前一摄取图像执行曝光控制之外，还设置了短曝光块和长曝光块以循环地执行多个灵敏度的控制，并基于得到的图像生成HDR图像。另外，也可以使用这样一种装置：除基于前一摄取图像执行曝光控制之外，还对每个区域均执行短曝光图像摄取过程和长曝光图像摄取过程(如图21A-21C所示)，并基于得到的图像生成HDR图像。
此外，在如上所述的实施例中，作为图像传感器的曝光控制配置的一个示例，描述了曝光时间锁存单元227的示例性配置(参照图12)。在上述描述中，描述了曝光时间锁存单元227存储表示将要由此特定曝光时间锁存单元227控制的块的锁存行号232的示例。然而，锁存行号232无须固定，并且可以设置为按图像的亮度统计值进行改变。此改变过程可以动态改变受控块。
6.基于参照多个块的过程的曝光控制的配置
在如上所述的实施例中，使用了如上所述的基于以块(例如，行)为单位的前一摄取图像的亮度信息设置曝光时间的配置(参照图18A-B)，并且执行了对于下一摄取图像中的相应块的曝光时间控制。
也就是说，描述了这样一种配置，控制单元208基于前一摄取图像的以单个块为单位的亮度信息连续将曝光时间控制数据以块为单位输出到图像传感器202，并且图像传感器202基于以块为单位的曝光时间控制按顺序接连(依次)使用以单个块为单位的曝光时间控制数据以执行图像获取。
也就是说，在图18A-B示出的示例中，对于图像中设置的第1块到第M块，执行对应于这些块的曝光控制，以便根据基于第N帧的第1块的图像区域的曝光控制数据执行第N+1帧的第1块的图像区域的曝光控制，根据基于第N帧的第2块的图像区域的曝光控制数据执行第N+1帧的第2块的图像区域的曝光控制，...，并且根据基于第N帧的第M块的图像区域的曝光控制数据执行第N+1帧的第M块的图像区域的曝光控制。
然而，如果以此方式通过仅参照局部信息执行曝光控制，那么在诸如明亮的物体进行大幅运动的情况下，相同的对象可能没出现在第N帧和第N+1帧的相同块区域中。在此种情况下，基于前一摄取图像设置的曝光时间就不再合适了，并且还可能发生像素值饱和的问题。
为了解决此问题，有时候有效的是：不仅要参照局部信息而且还要参照较宽区域(例如，多个块)来设置曝光时间。也就是说，通过利用参照多个块来设置曝光时间的配置，可以准确地预测亮度变化。然而，当参照较宽区域时，存在的问题是：图像获取很耗时。
首先将参照图22A和22B对上述问题进行描述，然后将参照图23A-25B对解决该问题的配置和处理顺序进行描述。
首先，将参照图22A和22B对上述问题(即当参照较宽区域时，图像获取很耗时的问题)进行描述。图22A是当计算图18A中第1块的曝光控制数据时参照多个块(即第1块到第3块)进行设置的情况下的定时图。图22B示出了连续摄取的编号为N和N+1的两个帧的图像摄取过程中执行的曝光控制顺序。
在示出了曝光定时的图22A中的图表中，纵轴表示行，横轴表示时间，以行为单位的曝光时间针对每行示出为一个矩形区域。图22B示出了使用第N帧的图像的曝光控制过程在时间轴上的以区域(块)为单位的曝光控制过程顺序。注意，编号1到M是摄取图像中像素区域(或块，在本示例中为“多行”)的标识符。
与参照图18A和18B描述的示例一样，图22A和22B中示出的设置使曝光控制可以指定单位连续开始，指定单位也就是像素区域(或“块”，在本示例中为行)的单位。通过执行此处理，此配置通过将基于前一摄取图像的曝光控制数据应用于在后的图像摄取帧来执行曝光控制。
然而，对应于每个块的曝光时间控制数据的计算过程参照多个块。即，基于多个块的图像信息来确定一个块的曝光时间。图22B示出的示例是通过参照前一图像摄取帧中的三个块来确定在后图像摄取帧中的一个块的曝光时间的示例。
与图18B一样，在图22B中示出了作为一个块(行)的第1块(第1行)的曝光控制过程的示例。图22B示出的过程311到316与之前描述的图18B中的过程311到316相同。然而，在图22B示出的示例中，参照前一图像摄取帧的三个块确定下一图像摄取帧的一个块的曝光时间。相应过程的内容描述如下：
图像获取311：第N帧的块的图像被输出的定时。在此定时，从图像传感器输出三个连续的块的图像，即第1像素区域(第1块)到第3像素区域(第3块)的图像，其中所述三个连续的块是形成第N摄取图像的一部分的图像区域。
曝光时间计算312：基于图像获取311获取的图像(第N帧中的三个块，在本示例中为以行为单位的图像)计算经曝光控制的在后帧的一个块(行)的曝光时间的定时。计算在后摄取图像的第1块的曝光时间。
曝光时间传输313：由曝光时间计算312计算得到的块的曝光时间被传输的定时。
曝光时间锁存定时314：通过曝光时间传输313过程传输的一个处理块的曝光时间数据被锁存在图像传感器(图像传感器)内部的定时。这里，先生成锁存定时，再开始此块的曝光。
曝光时间控制315：基于曝光时间锁存定时314以块(行)为单位生成复位定时，并且复位定时是执行曝光控制(开始曝光的控制)的定时。
图像获取316：通过如上所述的曝光控制315执行的以块(行)为单位的曝光控制获得当前受到控制的块(行)的图像的时间。
在此示例中，图像获取311与第N帧的第3块的输出相重叠。结果，与图18B的设置相比，曝光时间计算312和曝光时间传输313都有延迟。结果，如果曝光时间锁存定时314和曝光时间控制315都设置成和图18B中的一样，那么曝光时间锁存定时314和曝光时间控制315可能会设置在比曝光时间传输313早的时间。在实际中，无法执行此处理过程。即，通过图22A-B示出的顺序，基于第N帧中的图像的曝光控制无法在下一帧第N+1帧上执行，基于第N帧中的多个块的图像计算得到的曝光时间无法在第N+1帧的图像摄取过程中使用，只能在处理过程进行到第N+2帧的图像摄取之后使用。
现在，将参照图23对解决此问题的曝光时间锁存单元227的配置进行描述。图23示出的曝光时间锁存单元227是之前描述的图11示出的曝光时间控制单元202a的一个曝光时间锁存单元227的配置。通过使用诸如图23中所示的曝光时间锁存单元227来替代图12所述的曝光时间锁存单元227，可以解决上文所述的问题(参照图22A和22B)。
图23示出的曝光时间锁存单元227在多个不同定时接收对应于相应块的曝光控制时间数据，将曝光控制时间数据存储在存储单元245和246中，并且通过选择器249将曝光控制时间数据输出到垂直扫描电路202b。
更具体地说，(1)仅从前一摄取图像帧中的一个块的图像数据计算得到的第一曝光控制时间数据被从图23示出的第一存储单元245输出。(2)从前一摄取图像帧中的多个块的图像数据计算得到的第二曝光控制时间数据被从图23示出的第二存储单元246输出。生成并且选择性使用此曝光时间控制数据。数据(1)与之前给出的实施例中描述的数据相同。
例如，当对象亮度没有变化时，就执行仅使用第一存储单元245的处理过程，即，之前参照图12描述的相同处理过程。同时，在下一曝光过程中对象亮度将发生变化并且将发生饱和的预期情况下，发送从多个块的图像数据计算得到的第二曝光控制时间数据(曝光时间数据222)，第二存储单元246在第二锁存行号242的定时锁存此数据，并且根据基于多个块计算得到的曝光时间执行曝光控制。
例如，如果将要利用此指定曝光时间锁存单元227进行处理的块是第一行，那么设置图23示出的第X块的第一锁存行号241以使行号是1。此外，如果第二存储单元246中存储的曝光时间数据是基于以多个块(例如，三个块(三行))为单位的图像计算得到的曝光时间数据，那么设置图23示出的第X块的第二锁存行号242以使行号是3。
注意，由于当第一存储单元245和第二存储单元246中的曝光时间数据不同时，垂直扫描电路102可能需要再次执行复位控制，因此匹配检测单元247检测匹配并且输出表示匹配的信息。
图24A和25A是与图22A相似的定时图，并且是使用具有图23示出配置的曝光时间锁存单元227的处理过程的定时图。与图22B一样，图24B和25B示出了连续摄取的编号为N和N+1的两个帧的图像摄取过程中的曝光控制顺序。
在示出了曝光定时的图24A和25A中的图表中，纵轴表示行，横轴表示时间，以行为单位的曝光时间针对每行示出为一个矩形区域。图24B和25B示出了使用第N帧的图像的曝光控制过程在时间轴上的以区域(块)为单位的曝光控制处理顺序。注意，编号1到M是摄取图像中像素区域(或“块”，在本示例中为“多行”)的标识符。
与参照图18A和18B描述的示例一样，图24A-25B示出的设置使曝光控制可以指定单位连续开始，指定单位也就是像素区域(或“块”，在本示例中为行)的单位。通过执行此处理过程，此配置通过将基于前一摄取图像的曝光控制数据应用于下一图像摄取帧来执行曝光控制。
现在，将对图24B和25B示出的处理顺序进行简要描述。首先，仅参照一个块确定曝光时间，此曝光时间作为第一数据被从第一存储单元245通过选择器249输出到垂直扫描电路202b。此后，参照较大的块确定曝光时间，在图24B和25B的示例中为三个块，并且如果例如可能出现了饱和，此曝光时间作为第二数据被从第二存储单元246通过选择器249输出到垂直扫描电路202b。
图24B是表示曝光控制过程的示例的定时图，该曝光控制过程在下一帧图像摄取的过程中舍弃了通过仅参照一个块确定的曝光时间并且改为使用通过参照三个块确定的曝光时间。图25B是表示曝光控制过程的示例的定时图，该曝光控制过程被设置为使用通过仅参照一个块确定的曝光时间而不使用通过参照三个块确定的曝光时间。
现在，将对图24B示出的处理过程进行描述。图24B是表示曝光控制过程的示例的定时图，该曝光控制过程在下一帧的图像摄取的过程中舍弃了通过仅参照一个块确定的曝光时间、并且改为使用通过参照三个块确定的曝光时间。
在图24B示出的使用第N帧的图像的曝光控制中，示出了一个处理示例，该处理示例在下一帧图像摄取的过程中舍弃了通过仅参照作为“第一曝光控制”执行的第N帧的一个块(即，行1)确定的曝光时间，并且使用通过参照作为“第二曝光控制”执行的三个块(即，行1至3)得到的曝光时间计算结果。
现在，将对作为“第一曝光控制”执行的过程311到325进行描述。
图像获取311：第N帧的第1块(即，第1行)的图像被输出的定时。在此定时，从图像传感器输出第1块(第1行)的图像，其中第1块是形成第N摄取图像的一部分的像素区域。
曝光时间计算312：基于图像获取311获取的图像(第N帧中的一个块，在本示例中为第1行)计算经曝光控制的下一帧的一个块(行)的曝光时间的定时。这里，计算下一摄取图像的第1块的曝光时间。
曝光时间传输313：由曝光时间计算312计算得到的块的曝光时间被传输的定时。
曝光时间锁存定时314：通过曝光时间传输313过程传输的一个处理块的曝光时间数据被锁存在图像传感器(图像传感器)内部的定时。这里，先生成锁存定时，再开始此块的曝光。
第一曝光时间控制325：基于曝光时间锁存定时314以块(行)为单位生成复位定时，并且复位定时是执行曝光控制(开始曝光的控制)的定时。到目前为止，该处理对应于“第一曝光控制”。
与此处理并行，执行图24B底部示出的“第二曝光控制”。在此过程中，通过参照多个块(在本示例中为第1块到第3块(第1行到第3行))确定的曝光时间被用作下一帧第N+1帧的第1块(第1行)的曝光控制时间。
图像获取321：第N帧的块的图像被输出的定时。在此定时，从图像传感器输出三个连续块的图像，即第1像素区域(第1块)到第3像素区域(第3块)的图像，其中所述三个连续的块是形成第N摄取图像的一部分的图像区域。
曝光时间计算322：基于图像获取311获取的图像(第N帧中的三个块，在本示例中为以行为单位的图像)计算经曝光控制的下一帧的一个块(行)的曝光时间的定时。这里，计算下一摄取图像的第1块的曝光时间。
曝光时间传输323：由曝光时间计算322计算得到的块的曝光时间被传输的定时。
曝光时间锁存定时324：通过曝光时间传输323过程传输的一个处理块的曝光时间数据被锁存在图像传感器(图像传感器)内部的定时。这里，先生成锁存定时，再开始此块的曝光。
第二曝光时间控制327：基于曝光时间锁存定时324以块(行)为单位生成复位定时，并且复位定时是执行曝光控制(开始曝光的控制)的定时。
图像获取328：通过如上所述的曝光控制327执行的以块(行)为单位的曝光控制获得当前受到控制的块(行)的图像的时间。此过程被执行为基于第二曝光控制的下一图像摄取帧的曝光控制，即基于参照多个块确定的曝光时间的控制。
接下来，将参照图25B对曝光控制过程的示例进行描述，该曝光控制过程被设置为使用通过仅参照一个块确定的曝光时间而不使用通过参照三个块确定的曝光时间。
在图25B中，作为使用第N帧的图像的曝光控制，示出了一种示例，该示例在下一曝光时间控制中使用作为“第一曝光控制”执行的通过仅参照第N帧的一个块(第1行)确定的曝光时间，并且停止作为“第二曝光控制”执行的、参照三个块(第1行到第3行)的曝光时间计算过程。
现在，将对作为“第一曝光控制”执行的过程311到328进行描述。
图像获取311：第N帧的第1块(即，第1行)的图像被输出的定时。在此定时，从图像传感器输出第1块(第1行)的图像，其中第1块是形成第N摄取图像的一部分的像素区域。
曝光时间计算312：基于图像获取311获取的图像(第N帧中的一个块，在本示例中为第1行)计算经曝光控制的下一帧的一个块(行)的曝光时间的定时。这里，计算下一摄取图像的第1块的曝光时间。
曝光时间传输313：由曝光时间计算312计算得到的块的曝光时间被传输的定时。
曝光时间锁存定时314：通过曝光时间传输313过程传输的一个处理块的曝光时间数据被锁存在图像传感器(图像传感器)内部的定时。这里，先生成锁存定时，再开始此块的曝光。
第一曝光时间控制325：基于曝光时间锁存定时314以块(行)为单位生成复位定时，并且复位定时是执行曝光控制(开始曝光的控制)的定时。
图像获取328：使用第二曝光控制确定的曝光时间摄取的第N+1帧的第1块(第1行)的图像获取过程。到目前为止，该过程对应于“第一曝光控制”。
与此处理过程并行，执行图25B底部示出的“第二曝光控制”。在此过程中，通过参照多个块(在本示例中为第1块到第3块(第1行到第3行))确定的曝光时间被用作下一帧第N+1帧的第1块(第1行)的曝光控制时间。
图像获取321：第N帧的块的图像被输出的定时。在此定时，从图像传感器输出三个连续的块的图像，即第1像素区域(第1块)到第3像素区域(第3块)的图像，其中所述三个连续的块是形成第N摄取图像的一部分的像素区域。
曝光时间计算322：基于图像获取311过程获取的图像(第N帧的三个块，在本示例中为以行为单位的图像)计算经曝光控制的下一帧的一个块(行)的曝光时间的定时。这里，计算下一摄取图像的第1块的曝光时间。此时，因为将基于第一曝光控制开始第N+1帧的图像摄取，所以取消第二曝光控制的处理过程。
在参照图24B和25B描述的处理过程中，曝光控制信号输出定时被设置为两个不同的定时。一个是输出通过参照一个块计算得到的曝光控制数据的定时，另一个是输出通过参照多个块计算得到的曝光控制数据的定时。对应于通过参照多个块生成的曝光时间的第二控制信号的输出定时比对应于通过参照单个块生成的曝光时间的第一控制信号输出定时晚。
例如，如果对象亮度没有变化，像之前参照图12所述一样，执行使用通过参照单个块计算得到的曝光控制数据的输出的过程，即，仅使用图23示出的第一存储单元245的过程。同时，如果在下一曝光过程中对象亮度发生变化并且预计可能会发生饱和，在第二锁存行号242的定时锁存基于多个块计算得到的曝光控制数据(即来自图23中示出的第二存储单元246的数据)，并且根据基于多个块计算得到的曝光时间执行曝光控制。
通过执行此控制，即使因对象移动等造成了连续摄取图像帧中的相同像素区域的亮度变化，也可以基于多个块的信息计算亮度并且设置曝光时间，从而实现适当的曝光控制。
7.总结
以上已参照指定实施例对本发明的配置进行了详细描述。本领域技术人员应当理解，只要是在权利要求或者其等效内容的范围内，可根据设计要求和其他因素进行各种变形、组合、子组合和变动。
另外，本说明书中公开的技术可以按如下配置：
(1)一种图像摄取装置，包括：
控制单元，该控制单元生成曝光时间控制数据，在所述曝光时间控制数据中以像素区域为单位设置了图像传感器的曝光时间；以及
图像传感器，该图像传感器输入所述曝光时间控制数据并且执行基于以像素区域为单位的曝光时间控制的图像获取，
其中所述控制单元按顺序依次生成基于形成在先摄取图像的一部分的像素区域单位的亮度信息的、以区域为单位的曝光时间控制数据，并且将所述曝光时间控制数据输出到所述图像传感器，并且
所述图像传感器从所述控制单元输入以区域为单位的曝光时间控制数据，并且按顺序依次使用输入的曝光时间控制数据来执行基于以像素区域为单位的曝光时间控制的图像获取。
(2)根据(1)所述的图像摄取装置，
其中所述控制单元按顺序依次生成基于以在先摄取图像的至少一行为单位的亮度信息的、以区域为单位的曝光时间控制数据，并且将所述曝光时间控制数据输出到所述图像传感器，并且
所述图像传感器从所述控制单元输入以区域为单位的曝光时间控制数据，并且按顺序依次使用输入的曝光时间控制数据来执行基于以至少一行为单位的曝光时间控制的图像获取。
(3)根据(1)或(2)所述的图像摄取装置，
其中所述控制单元生成通过仅参照作为像素区域的一个块计算出的曝光时间控制数据并且将所述曝光时间控制数据输出到所述图像传感器，所述像素区域是用于获取在先摄取图像的亮度信息的单位，以及
所述图像传感器执行基于使用了所述曝光时间控制数据的曝光时间控制的图像获取。
(4)根据(1)至(3)中的任一项所述的图像摄取装置，
其中所述控制单元生成第一曝光时间控制数据和第二曝光时间控制数据并且将所述第一曝光时间控制数据和所述第二曝光时间控制数据输出到所述图像传感器，所述第一曝光时间控制数据是通过仅参照作为像素区域的一个块计算得到的，所述第二曝光时间控制数据是通过参照多个块计算得到的，所述像素区域是用于获取在先摄取图像的亮度信息的单位，并且
所述图像传感器执行基于选择性使用了所述第一曝光时间控制数据和所述第二曝光时间控制数据中的一者的曝光时间控制的图像获取。
(5)根据(4)所述的图像摄取装置，
其中当执行基于选择性使用所述第一曝光时间控制数据和所述第二曝光时间控制数据的图像获取时，所述图像传感器可操作来执行积聚的像素电荷的复位处理过程以设置选择性使用的曝光时间。
(6)根据(1)至(5)中的任一项所述的图像摄取装置，
其中所述控制单元按顺序依次生成基于以像素区域为单位的亮度信息的、以区域为单位的曝光时间控制数据并且将所述曝光时间控制数据输出到所述图像传感器，其中所述像素区域形成作为在先摄取图像的图像帧N的一部分，并且
所述图像传感器从所述控制单元输入以区域为单位的曝光时间控制数据，并且按顺序依次使用输入的曝光时间控制数据来对图像帧N+1执行以像素区域为单位的曝光时间控制，其中所述图像帧N+1是继图像帧N之后连续摄取的图像。
(7)根据(1)至(6)中的任一项所述的图像摄取装置，还包括：
高动态范围处理单元，该高动态范围处理单元生成基于长曝光像素和短曝光像素的各像素信息的高动态范围图像。
此外，本发明的配置中还包括一种用于上述装置等的处理方法以及执行该处理过程的程序。
此外，本说明书中描述的一系列过程可以通过硬件、软件或两者相结合的方式来执行。在执行基于软件的处理过程时，存储处理序列的程序可以安装在嵌入在专用硬件内的计算机中的存储器中并且执行，或者该程序可以安装在能执行多种程序的通用计算机中并且执行。例如，该程序可以预先存储在记录介质中。除从记录介质将程序安装在计算机中之外，该程序可以通过诸如LAN(局域网)或国际互联网络的网络接收并且安装在诸如嵌入式硬盘等的记录介质中。
另外，本说明书中描述的多个过程不仅可以根据描述按时间顺序执行，而且还可以根据执行过程的装置的处理能力并行或单独执行或者视情况而定。此外，本说明书中的系统是多个装置的逻辑组合，而且相应配置的装置不必设置在一个机壳中。
如上所述，根据本发明的实施例，通过控制图像每个像素区域的控制曝光时间的配置可实现延迟减少的曝光时间控制过程。
更具体地说，在上述配置中，包括控制单元和图像传感器，控制单元生成曝光时间控制数据，在曝光时间控制数据中以像素区域为单位设置了图像传感器的曝光时间，图像传感器输入曝光时间控制数据并且基于以像素区域为单位的曝光时间控制来执行图像获取。控制单元基于形成前一摄取图像的一部分的像素区域单位的亮度信息按顺序依次生成以区域为单位的曝光时间控制数据，并且将曝光时间控制数据输出到图像传感器。图像传感器从控制单元输入以区域为单位的曝光时间控制数据，并且基于以像素区域为单位的曝光时间控制按顺序依次使用输入的曝光时间控制数据来执行图像获取。
通过执行连续使用以区域为单位的曝光时间控制信息的过程，可实现延迟减少的曝光时间控制过程。
本发明包含与2011年6月13日提交日本专利局的日本优先权专利申请JP 2011-131116相关的内容，其全部内容通过引用结合在本文中。

Claims (9)

1.一种图像摄取装置，包括：
控制单元，该控制单元生成曝光时间控制数据，在所述曝光时间控制数据中以像素区域为单位设置了图像传感器的曝光时间；以及
图像传感器，该图像传感器输入所述曝光时间控制数据并且执行基于以像素区域为单位的曝光时间控制的图像获取，
其中所述控制单元基于形成前一摄取图像的一部分的像素区域单位的亮度信息按顺序依次生成以区域为单位的曝光时间控制数据，并且将所述曝光时间控制数据输出到所述图像传感器，并且
所述图像传感器从所述控制单元输入以区域为单位的曝光时间控制数据，并且按顺序依次使用输入的曝光时间控制数据来执行基于以像素区域为单位的曝光时间控制的图像获取。
2.根据权利要求1所述的图像摄取装置，
其中所述控制单元基于以所述前一摄取图像的至少一行为单位的亮度信息按顺序依次生成以区域为单位的曝光时间控制数据，并且将所述曝光时间控制数据输出到所述图像传感器，并且
所述图像传感器从所述控制单元输入以区域为单位的曝光时间控制数据，并且按顺序依次使用输入的曝光时间控制数据来执行基于以至少一行为单位的曝光时间控制的图像获取。
3.根据权利要求1所述的图像摄取装置，
其中所述控制单元生成通过仅参照作为像素区域的一个块计算出的曝光时间控制数据并且将所述曝光时间控制数据输出到所述图像传感器，所述像素区域是用于获取所述前一摄取图像的亮度信息的单位，并且
所述图像传感器执行基于使用了所述曝光时间控制数据的曝光时间控制的图像获取。
4.根据权利要求1所述的图像摄取装置，
其中所述控制单元生成第一曝光时间控制数据和第二曝光时间控制数据并且将所述第一曝光时间控制数据和所述第二曝光时间控制数据输出到所述图像传感器，所述第一曝光时间控制数据是通过仅参照作为像素区域的一个块计算得到的，所述第二曝光时间控制数据是通过参照多个块计算得到的，所述像素区域是用于获取所述前一摄取图像的亮度信息的单位，并且
所述图像传感器执行基于选择性使用了所述第一曝光时间控制数据和所述第二曝光时间控制数据中的一者的曝光时间控制的图像获取。
5.根据权利要求4所述的图像摄取装置，
其中当执行基于选择性使用所述第一曝光时间控制数据和所述第二曝光时间控制数据的图像获取时，所述图像传感器可操作来执行积聚的像素电荷的复位处理过程以设置选择性使用的曝光时间。
6.根据权利要求1所述的图像摄取装置，
其中所述控制单元基于以像素区域为单位的亮度信息按顺序依次生成以区域为单位的曝光时间控制数据并且将所述曝光时间控制数据输出到所述图像传感器，其中所述像素区域形成作为前一摄取图像的图像帧N的一部分，并且
所述图像传感器从所述控制单元输入以区域为单位的曝光时间控制数据，并且按顺序依次使用输入的曝光时间控制数据来对图像帧N+1执行以像素区域为单位的曝光时间控制，其中所述图像帧N+1是继图像帧N之后连续摄取的图像。
7.根据权利要求1所述的图像摄取装置，还包括：
高动态范围处理单元，该高动态范围处理单元生成基于长曝光像素和短曝光像素的各像素信息的高动态范围图像。
8.一种由图像摄取装置执行的图像摄取装置控制方法，包括：
通过控制单元生成曝光时间控制数据，在所述曝光时间控制数据中以像素区域为单位设置了图像传感器的曝光时间；以及
通过图像传感器输入所述曝光时间控制数据并且执行基于以像素区域为单位的曝光时间控制的图像获取，
其中，在生成步骤中，基于以像素区域为单位的亮度信息按顺序依次生成以区域为单位的曝光时间控制数据并且将曝光时间控制数据输出到所述图像传感器，其中所述像素区域的单位形成前一摄取图像的一部分，并且
在输入步骤中，从所述控制单元输入以区域为单位的曝光时间控制数据，并且按顺序依次使用输入的曝光时间控制数据来执行基于以像素区域为单位的曝光时间控制的图像获取。
9.一种使图像摄取装置执行图像摄取控制过程的程序，包括：
通过控制单元生成曝光时间控制数据，在所述曝光时间控制数据中以像素区域为单位设置了图像传感器的曝光时间；以及
通过图像传感器输入所述曝光时间控制数据并且执行基于以像素区域为单位的曝光时间控制的图像获取，
其中，在生成步骤中，基于以像素区域为单位的亮度信息按顺序依次生成以区域为单位的曝光时间控制数据并且将曝光时间控制数据输出到所述图像传感器，其中所述像素区域的单位形成前一摄取图像的一部分，并且
在输入步骤中，从所述控制单元输入以区域为单位的曝光时间控制数据，并且按顺序依次使用输入的曝光时间控制数据来执行基于以像素区域为单位的曝光时间控制的图像获取。
CN2012101887668A 2011-06-13 2012-06-06 图像摄取装置、图像摄取装置控制方法和程序 Pending CN102833488A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011131116A JP2013005017A (ja) 2011-06-13 2011-06-13 撮像装置、および撮像装置制御方法、並びにプログラム
JP2011-131116 2011-06-13

Publications (1)

Publication Number Publication Date
CN102833488A true CN102833488A (zh) 2012-12-19

Family

ID=47292893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012101887668A Pending CN102833488A (zh) 2011-06-13 2012-06-06 图像摄取装置、图像摄取装置控制方法和程序

Country Status (3)

Country Link
US (1) US9204056B2 (zh)
JP (1) JP2013005017A (zh)
CN (1) CN102833488A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104284104A (zh) * 2014-10-30 2015-01-14 北京思比科微电子技术股份有限公司 Cmos图像传感器中实现小于1行曝光的方法
CN105190424A (zh) * 2013-01-15 2015-12-23 威智伦公司 具有场景自适应自动曝光补偿的成像装置
CN105580351A (zh) * 2013-10-21 2016-05-11 索尼公司 固态摄像元件和电子装置
TWI694722B (zh) * 2018-01-09 2020-05-21 美商豪威科技股份有限公司 用於高動態範圍成像的曝光位準控制、系統和方法
CN112004036A (zh) * 2019-05-27 2020-11-27 联咏科技股份有限公司 取得图像数据的方法及其图像感测系统

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011053678A1 (en) 2009-10-28 2011-05-05 The Trustees Of Columbia University In The City Of New York Methods and systems for coded rolling shutter
EP2678740B1 (en) 2011-02-25 2020-12-23 Sony Corporation Systems, methods, and media for reconstructing a space-time volume from a coded image
JP2013066140A (ja) 2011-08-31 2013-04-11 Sony Corp 撮像装置、および信号処理方法、並びにプログラム
US8994859B2 (en) * 2011-09-30 2015-03-31 Semiconductor Components Industries, Llc Methods and devices for improving dynamic range in image sensors
JP5895504B2 (ja) 2011-12-15 2016-03-30 ソニー株式会社 撮像パネルおよび撮像処理システム
US9413976B2 (en) * 2012-08-08 2016-08-09 Intuitive Surgical Operations, Inc. Auto exposure of a camera in a surgical robot
EP2911384A4 (en) * 2012-10-30 2015-11-04 Shimadzu Corp LINEAR IMAGE SENSOR AND CONTROL METHOD THEREFOR
WO2014099320A1 (en) 2012-12-17 2014-06-26 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for high dynamic range imaging
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
JP2014165527A (ja) * 2013-02-21 2014-09-08 Kyocera Corp 撮像装置及び制御プログラム並びに露出量制御方法
CN111314632B (zh) 2013-03-14 2023-04-21 株式会社尼康 摄像单元及摄像装置
JP2014220644A (ja) * 2013-05-08 2014-11-20 コニカミノルタ株式会社 固体撮像装置
JP6111860B2 (ja) * 2013-05-22 2017-04-12 コニカミノルタ株式会社 固体撮像装置
CN104937924B (zh) * 2013-05-31 2019-01-04 株式会社尼康 电子设备及控制方法
TWI644568B (zh) 2013-07-23 2018-12-11 新力股份有限公司 攝像元件、攝像方法及攝像程式
JP6248468B2 (ja) * 2013-08-23 2017-12-20 株式会社ニコン 撮像装置および電子機器
JPWO2015050118A1 (ja) * 2013-10-01 2017-03-09 株式会社ニコン 電子機器
US10104318B2 (en) 2013-12-04 2018-10-16 Rambus Inc. High dynamic-range image sensor
JP6047686B2 (ja) * 2014-03-24 2016-12-21 富士フイルム株式会社 撮影装置
US10070067B2 (en) 2014-04-15 2018-09-04 Sony Corporation Systems, methods, and media for extracting information and a display image from two captured images
KR20160019215A (ko) * 2014-08-11 2016-02-19 삼성전자주식회사 촬영 장치 및 그 촬영 방법
EP3298773A4 (en) * 2015-05-19 2018-05-16 Magic Leap, Inc. Semi-global shutter imager
US9521351B1 (en) * 2015-09-21 2016-12-13 Rambus Inc. Fractional-readout oversampled image sensor
CN105430275A (zh) * 2015-12-18 2016-03-23 广东欧珀移动通信有限公司 图像传感器的像素切换方法、拍照装置和终端
CN105578075A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 高动态范围图像的生成方法、拍照装置和终端
CN105611152A (zh) * 2015-12-18 2016-05-25 广东欧珀移动通信有限公司 图像传感器的像素切换方法、拍照装置和终端
CN105592265A (zh) * 2015-12-18 2016-05-18 广东欧珀移动通信有限公司 图像传感器的像素切换方法、拍照装置和终端
CN105430274A (zh) * 2015-12-18 2016-03-23 广东欧珀移动通信有限公司 图像传感器的像素切换方法、拍照装置和终端
JP6451669B2 (ja) * 2016-03-04 2019-01-16 ソニー株式会社 評価装置、評価方法およびカメラシステム
US20170264831A1 (en) * 2016-03-14 2017-09-14 Kabushiki Kaisha Toshiba Image processor and image processing method
JP6584639B2 (ja) 2016-03-24 2019-10-02 富士フイルム株式会社 固体電子撮像装置の制御装置およびその制御方法
KR20180133076A (ko) * 2017-06-05 2018-12-13 삼성전자주식회사 이미지 센서 및 이를 구비하는 전자 장치
WO2018223394A1 (zh) 2017-06-09 2018-12-13 华为技术有限公司 一种图像拍摄方法及装置
US10630903B2 (en) * 2018-01-12 2020-04-21 Qualcomm Incorporated Systems and methods for image exposure
EP3844945B1 (en) * 2018-10-25 2023-11-29 Samsung Electronics Co., Ltd. Method and apparatus for dynamic image capturing based on motion information in image
KR102708718B1 (ko) * 2018-10-25 2024-09-23 삼성전자주식회사 이미지 내의 동작 정보에 기초한 동적 이미지 캡처 방법 및 장치
JP2020096232A (ja) * 2018-12-10 2020-06-18 キヤノン株式会社 撮像装置
US10855896B1 (en) 2018-12-13 2020-12-01 Facebook Technologies, Llc Depth determination using time-of-flight and camera assembly with augmented pixels
US10791286B2 (en) 2018-12-13 2020-09-29 Facebook Technologies, Llc Differentiated imaging using camera assembly with augmented pixels
US10791282B2 (en) * 2018-12-13 2020-09-29 Fenwick & West LLP High dynamic range camera assembly with augmented pixels
WO2020227980A1 (zh) * 2019-05-15 2020-11-19 合刃科技（深圳）有限公司 图像传感器、光强感知系统及方法
US10902623B1 (en) 2019-11-19 2021-01-26 Facebook Technologies, Llc Three-dimensional imaging with spatial and temporal coding for depth camera assembly
US11194160B1 (en) 2020-01-21 2021-12-07 Facebook Technologies, Llc High frame rate reconstruction with N-tap camera sensor
JP2023002047A (ja) 2021-06-22 2023-01-10 キヤノン株式会社 撮像装置、画像処理システム、及び撮像装置の制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1894954A (zh) * 2003-12-26 2007-01-10 三洋电机株式会社 电子照相机
CN101057493A (zh) * 2004-11-02 2007-10-17 松下电器产业株式会社 图像传感器
US20080253758A1 (en) * 2007-04-13 2008-10-16 Choon Hwee Yap Image processing method
US20100020198A1 (en) * 2008-07-28 2010-01-28 Fujifilm Corporation Digital Still Camera and Method of Controlling Same

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6665010B1 (en) * 1998-07-21 2003-12-16 Intel Corporation Controlling integration times of pixel sensors
US6486915B2 (en) * 1999-04-20 2002-11-26 Intel Corporation Determining a final exposure setting automatically for a solid state camera without a separate light metering circuit
KR100495415B1 (ko) * 1999-12-30 2005-06-14 매그나칩 반도체 유한회사 이미지 센서에서의 자동 노출 장치
JP3938833B2 (ja) * 2000-04-27 2007-06-27 株式会社リコー 露出制御装置
JP3949903B2 (ja) * 2001-04-09 2007-07-25 東芝エルエスアイシステムサポート株式会社 撮像装置及び撮像信号処理方法
JP2003319250A (ja) * 2002-04-22 2003-11-07 Toshiba Lsi System Support Kk 撮像装置および撮像方法
KR100557219B1 (ko) * 2004-07-06 2006-03-07 삼성전자주식회사 자동 노출 보정 방법 및 보정 장치
JP2006050337A (ja) * 2004-08-05 2006-02-16 Sony Corp 撮像装置、撮像方法および撮像制御プログラム
JP4289259B2 (ja) * 2004-08-31 2009-07-01 カシオ計算機株式会社 撮像装置及び露出制御方法
JP4618100B2 (ja) * 2005-11-04 2011-01-26 ソニー株式会社 撮像装置、撮像方法、およびプログラム
TWI285047B (en) * 2005-11-24 2007-08-01 Sunplus Technology Co Ltd Method of automatic exposure control and automatic exposure compensated apparatus
JP4888081B2 (ja) * 2006-01-23 2012-02-29 セイコーエプソン株式会社 撮像装置、撮像方法、撮像システム及び画像処理装置
US8107762B2 (en) * 2006-03-17 2012-01-31 Qualcomm Incorporated Systems, methods, and apparatus for exposure control
JP4656657B2 (ja) * 2006-07-31 2011-03-23 キヤノン株式会社 撮像装置及びその制御方法
DE102006041462B3 (de) * 2006-09-04 2008-01-03 Chromasens Gmbh Verfahren und Vorrichtung zum optischen Abtasten einer Vorlage mit einer Zeilenkamera
JP2008087707A (ja) * 2006-10-04 2008-04-17 Ichikoh Ind Ltd 車両用アウトサイドミラー装置
JP2008219523A (ja) * 2007-03-05 2008-09-18 Canon Inc 撮像装置及びその制御方法
JP5063234B2 (ja) * 2007-07-20 2012-10-31 キヤノン株式会社 撮像装置、撮像システム、及び、撮像装置の動作方法
KR101424717B1 (ko) * 2007-09-13 2014-08-01 삼성전자주식회사 노출 시간 설정 장치 및 방법
JP5094607B2 (ja) * 2008-07-16 2012-12-12 キヤノン株式会社 撮像装置、その制御方法及びプログラム
JP5247397B2 (ja) 2008-12-05 2013-07-24 キヤノン株式会社 撮像装置及び撮像方法
US8339475B2 (en) * 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
US8525900B2 (en) * 2009-04-23 2013-09-03 Csr Technology Inc. Multiple exposure high dynamic range image capture
JP2011015222A (ja) * 2009-07-02 2011-01-20 Fujifilm Corp 撮像装置及び撮像制御方法
JP2011061672A (ja) * 2009-09-14 2011-03-24 Casio Computer Co Ltd 撮像装置及び撮像装置のプログラム
KR101633460B1 (ko) * 2009-10-21 2016-06-24 삼성전자주식회사 다중 노출 제어 장치 및 그 방법
KR101133733B1 (ko) * 2009-12-10 2012-04-09 삼성전자주식회사 전자 셔터를 이용한 다단계 노출 방법 및 이를 이용한 촬영 장치
KR20110076729A (ko) * 2009-12-18 2011-07-06 삼성전자주식회사 전자 셔터를 이용한 다단계 노출 이미지 획득 방법 및 이를 이용한 촬영 장치
US8488033B2 (en) * 2009-12-22 2013-07-16 Samsung Electronics Co., Ltd. Photographing apparatus and photographing method
JP5569359B2 (ja) * 2010-11-26 2014-08-13 富士通セミコンダクター株式会社 撮像制御装置、撮像装置、及び撮像装置の制御方法
JP5701664B2 (ja) * 2011-04-07 2015-04-15 オリンパス株式会社 撮像装置
JP2012235332A (ja) * 2011-05-02 2012-11-29 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
JP5968068B2 (ja) * 2011-05-24 2016-08-10 キヤノン株式会社 露出制御を行う撮像装置、撮像装置の制御方法、プログラム及び記録媒体
JP2013083876A (ja) * 2011-10-12 2013-05-09 Toshiba Corp 固体撮像装置及びカメラモジュール
KR101582153B1 (ko) * 2012-02-06 2016-01-04 네이버 주식회사 이미지 자동 보정을 위한 구도 기반 노출 측정 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1894954A (zh) * 2003-12-26 2007-01-10 三洋电机株式会社 电子照相机
CN101057493A (zh) * 2004-11-02 2007-10-17 松下电器产业株式会社 图像传感器
US20080253758A1 (en) * 2007-04-13 2008-10-16 Choon Hwee Yap Image processing method
US20100020198A1 (en) * 2008-07-28 2010-01-28 Fujifilm Corporation Digital Still Camera and Method of Controlling Same

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105190424A (zh) * 2013-01-15 2015-12-23 威智伦公司 具有场景自适应自动曝光补偿的成像装置
CN105190424B (zh) * 2013-01-15 2018-06-01 威智伦公司 具有场景自适应自动曝光补偿的成像装置
CN105580351A (zh) * 2013-10-21 2016-05-11 索尼公司 固态摄像元件和电子装置
CN105580351B (zh) * 2013-10-21 2019-08-09 索尼半导体解决方案公司 固态摄像元件和电子装置
CN104284104A (zh) * 2014-10-30 2015-01-14 北京思比科微电子技术股份有限公司 Cmos图像传感器中实现小于1行曝光的方法
TWI694722B (zh) * 2018-01-09 2020-05-21 美商豪威科技股份有限公司 用於高動態範圍成像的曝光位準控制、系統和方法
CN112004036A (zh) * 2019-05-27 2020-11-27 联咏科技股份有限公司 取得图像数据的方法及其图像感测系统

Also Published As

Publication number Publication date
US20120314124A1 (en) 2012-12-13
JP2013005017A (ja) 2013-01-07
US9204056B2 (en) 2015-12-01

Similar Documents

Publication Publication Date Title
CN102833488A (zh) 图像摄取装置、图像摄取装置控制方法和程序
CN104038702B (zh) 摄像设备及其控制方法
US7839444B2 (en) Solid-state image-pickup device, method of driving solid-state image-pickup device and image-pickup apparatus
US9060134B2 (en) Imaging apparatus, image sensor, imaging control method, and program
JP4619375B2 (ja) 固体撮像装置および撮像装置
JP5979961B2 (ja) 焦点検出装置、焦点検出方法及び撮像装置
JP5490514B2 (ja) 撮像装置及び撮像方法
TWI432019B (zh) An image processing apparatus, an image pickup apparatus, an image processing method, and an image processing program
KR20190029615A (ko) 촬상 장치 및 촬상 장치의 제어 방법
US20170163873A1 (en) Photographing apparatus and focus detection method using the same
JP5781351B2 (ja) 撮像装置、その画素出力レベル補正方法、赤外線カメラシステム及び交換可能なレンズシステム
JP5850680B2 (ja) 撮像装置及びその制御方法
CN103002290A (zh) 图像捕获设备、图像捕获设备控制方法和程序
CN107950017B (zh) 图像处理设备、图像处理方法以及摄像设备
KR101889932B1 (ko) 촬영 장치 및 이에 적용되는 촬영 방법
CN105814877A (zh) 电子装置和控制该电子装置的方法
JP2018031907A (ja) 撮像装置及びその制御方法、プログラム
US20200145641A1 (en) Image processing apparatus and method
CN103139494A (zh) 摄像装置
CN103581563A (zh) 图像捕获设备、图像捕获设备控制方法和程序
CA2970908C (en) Image capture having improved temporal resolution and perceived image sharpness
JP2018019296A (ja) 撮像装置およびその制御方法
WO2021014921A1 (ja) 撮像装置およびその制御方法
JP5219933B2 (ja) 撮像装置およびその制御方法
JP2016111568A (ja) 像ぶれ補正制御装置、撮像装置およびそれらの制御方法、プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121219