CN102547164B - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN102547164B
CN102547164B CN201110294348.2A CN201110294348A CN102547164B CN 102547164 B CN102547164 B CN 102547164B CN 201110294348 A CN201110294348 A CN 201110294348A CN 102547164 B CN102547164 B CN 102547164B
Authority
CN
China
Prior art keywords
pattern
electric charge
water valve
exposure
multiexposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110294348.2A
Other languages
English (en)
Other versions
CN102547164A (zh
Inventor
川口贵义
松本卓也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102547164A publication Critical patent/CN102547164A/zh
Application granted granted Critical
Publication of CN102547164B publication Critical patent/CN102547164B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本发明公开了图像处理装置和图像处理方法。一种图像处理装置，包括：像素阵列部件，其中，各自具有将光转换成电荷的光电转换元件的单位像素被二维地布置在矩阵中；以及信号处理部件，该信号处理部件通过利用水门模式和多次曝光模式中的任一种来确定信号电平，水门模式是如下的模式，其中，根据基于在第一曝光时段中在单位像素中累积的、大于或等于规定累积电荷的电荷的第一电荷量或者根据基于在包括第一曝光时段的第二曝光时段中在单位像素中累积的所有电荷的第二电荷量来确定信号电平，多次曝光模式是如下的模式，其中，根据基于在多个曝光时段中在单位像素中累积的所有电荷的多个电荷量来确定信号电平。

Description

图像处理装置和图像处理方法
技术领域
本发明涉及图像处理装置、图像处理方法和图像处理程序。
背景技术
具有CMOS图像传感器的图像拾取设备(诸如，视频相机或数字静止相机)被用于在诸如室内、室外、白天和夜间之类的各种环境中拍摄图片。根据接收到的光的变化，控制在CMOS图像传感器中的电荷累积时段的电子快门通过调节曝光时间来将感光度(sensitivity)设置在最佳值。
为了通过使用CMOS图像传感器来拓宽动态范围，存在通过高速释放电子快门来调节曝光时间的方法、高速拍摄多个帧的图片并叠加(superimpose)成像结果的方法，以及其他方法。
在公开号为2008-99158的日本未审查专利申请中，已公开了一种技术，该技术使得可以在低照度(illumination)下获取具有高信噪比的线性信号而不会窄化正常的饱和水平，并使得可以加宽动态范围同时在线性区域针对其水平高于或等于正常饱和水平的入射光实现令人满意的信噪比。在该方法中，如图9所示，例如，在t4和t5之间的时间被设置为一帧的曝光时间t0到t6的1/16。然后，在时间t4处，大于或等于累积电荷dM的电荷被重置，曝光再次在t4和t5之间执行，并且，在时间t5处，大于或等于累积电荷dM的电荷被重置。基于在t4和t5之间曝光的电荷量d3-dM以及在一帧的曝光时间(t0到t6)内曝光的电荷量d4，计算在一帧中通过曝光获得的电荷量。以下，该方法被称为水门方法。
发明内容
上述的水门方法是宽动态范围方法，通过该方法在黑暗部分的信噪比被提高，因为在黑暗的拍摄场景中使用了长曝光时间(例如，图9中的曝 光时间t0到t6)。但是，通过该方法不可以无限制地改变曝光时间，因为一帧累积的电荷的原始量是基于在图9的示例中的在曝光时间t4到t5和一帧的曝光时间t0到t6之间的比例被估计的。作为其结果，该方法通过窄化图像拾取设备的光圈(iris)(光阑)的开口来处理明亮的拍摄场景。
但是，利用光圈的曝光控制使得光圈的开口在明亮的拍摄场景中更小。作为其结果，由于光衍射(所谓的衍射现象)，模糊出现在整个图像中，使得很难调整焦点。
希望提供新的和改进的图像处理装置、图像处理方法和图像处理程序，其可在黑暗的拍摄场景中实现具有改进的信噪比的宽动态范围而无需在明亮的拍摄场景中利用光圈来执行曝光控制。
根据本公开的实施例，提供了一种图像处理装置，包括：像素阵列部件，其中，各自具有将光转换成电荷的光电转换元件的单位像素被二维地布置在矩阵中；以及信号处理部件，该信号处理部件通过利用水门模式和多次曝光模式中的任一种来确定信号电平，水门模式是如下的模式，其中，根据基于在第一曝光时段中在单位像素中累积的、大于或等于所规定的累积电荷的电荷的第一电荷量或者根据基于在包括第一曝光时段的第二曝光时段中在单位像素中累积的所有电荷的第二电荷量来确定信号电平，多次曝光模式是如下的模式，其中，根据基于在多个曝光时段中在单位像素中累积的所有电荷的多个电荷量来确定信号电平。
信号处理部件可根据基于电荷的检测值来确定调节信号电平的增益，并且，基于增益，将模式切换到水门模式和多次曝光模式中的任一种。
当模式是水门模式时，当增益变为0时，信号处理部件可将模式切换到多次曝光模式。另外，当模式是多次曝光模式时，当增益变为大于或等于之前所设置的迟滞(hysteresis)时，信号处理部件将模式切换到水门模式。
另外，根据本公开的另一实施例，提供了一种用于处理图像的方法，包括：利用像素阵列部件来将光转换成电荷，在该像素阵列部件中，各自具有光电转换元件的单位像素被二维地布置在矩阵中；以及由信号处理部件通过利用水门模式和多次曝光模式中的任一种来确定信号电平，水门模 式是如下的模式，其中，根据基于在第一曝光时段中在单位像素中累积的、大于或等于规定累积电荷的电荷的第一电荷量或者根据基于在包括第一曝光时段的第二曝光时段中在单位像素中累积的所有电荷的第二电荷量来确定信号电平，多次曝光模式是如下的模式，其中，根据基于在多个曝光时段中在单位像素中累积的所有电荷的多个电荷量来确定信号电平。
另外，根据本公开的又一实施例，提供了一种使得计算机执行如下处理的程序：通过利用像素阵列部件来将光转换成电荷，在该像素阵列部件中，各自具有光电转换元件的单位像素被二维地布置在矩阵中；以及由信号处理部件通过利用水门模式和多次曝光模式中的任一种来确定信号电平，水门模式是如下的模式，其中，根据基于在第一曝光时段中在单位像素中累积的、大于或等于规定累积电荷的电荷的第一电荷量或者根据基于在包括第一曝光时段的第二曝光时段中在单位像素中累积的所有电荷的第二电荷量来确定信号电平，多次曝光模式是如下的模式，其中，根据基于在多个曝光时段中在单位像素中累积的所有电荷的多个电荷量来确定信号电平。
如上所示，根据本公开的实施例，可以在黑暗的拍摄场景中实现具有改善的信噪比的宽动态范围，而无需在明亮的拍摄场景中利用光圈来执行曝光控制。
附图说明
图1是示出了根据本公开的实施例的CMOS图像传感器的配置示例的系统配置图；
图2是示出了单位像素的配置示例的电路图；
图3是示出了驱动器电路的配置示例的电路图；
图4是用于说明在正常读出中的操作的定时图；
图5是用于说明用以提高信噪比和加宽动态范围的操作的定时图；
图6是示出了当多个电压被选择性地提供到转移晶体管的控制电极时在像素中的电势的示例的电势图；
图7是示出了在多次曝光模式下累积电荷与时间之间的关系的示图；
图8是示出了在多次曝光模式下累积电荷与时间之间的关系的示图，该示图示出了照度低于图7的照度的情形；
图9是示出了在水门模式下累积电荷与时间之间的关系的示图；
图10是示出了在水门模式下累积电荷与时间之间的关系的示图，该示图示出了照度低于图9的照度的情形；
图11是示出了在水门模式下累积电荷与时间之间的关系的示图，该示图示出了照度低于图10的照度的情形；
图12是示出了在水门模式下累积电荷与时间之间的关系的示图，该示图示出了照度低于图11的照度的情形；
图13是示出了增益和照度之间的关系以及光圈和照度之间的关系的示图，该示图示出了现有技术的曝光控制转换；
图14是示出了增益和照度之间的关系以及光圈和照度之间的关系的示图，该示图示出了本公开的实施例的曝光控制转换；
图15是示出了增益和照度之间的关系以及光圈和照度之间的关系的示图，该示图示出了本公开的实施例的曝光控制转换并且示出了经修改的示例；
图16是示出了本公开的实施例的用于在水门模式和多次曝光模式之间切换的操作的流程图；
图17是示出了用于在水门模式中计算累积电荷量的操作的流程图；以及
图18是示出了根据本公开的实施例的图像拾取设备的配置示例的框图。
具体实施方式
以下，将参照附图来详细描述本公开的优选实施例。应注意，在该说明书和附图中，实际上相同的功能组件用相同的参考字符表示，并且，将省略重叠的说明。
顺便说，将以如下次序给出描述：
1.实施例的配置
2.实施例的操作
1.实施例的配置
图1是示出了根据本公开的实施例的诸如CMOS图像传感器之类的固态图像拾取设备的配置示例的系统配置图。
如在图1中所示，根据本实施例的CMOS图像传感器10包括像素阵列部件11，在像素阵列部件11中，各自包括光电转换元件的单位像素(以下还可简称为像素)20被二维地布置在矩阵中，并且包括行选择电路12、高级选择电路13、逻辑电路14、驱动器电路15、控制器单元16、电压供给电路17、列电路18和水平扫描电路19，作为像素阵列部件11的外围电路。
在像素阵列部件11中，针对单位像素20的矩阵布置，针对每列布置垂直信号线111，并且针对每行布置驱动控制线，例如转移控制线112、重置控制线113和选择控制线114。
像素电路
在图2中示出了单位像素20的配置示例。根据该电路示例的单位像素20具有除光电转换元件(例如，光电二极管21)之外还包括四个晶体管(例如转移晶体管22、重置晶体管23、放大晶体管24和选择晶体管25)的像素配置，即根据本公开的实施例的具有与转移栅极相对应的转移晶体管22的破坏性读出像素配置。此处，NMOS晶体管例如被用作晶体管22到25。
转移晶体管22被连接在光电二极管21的阴极电极与作为电荷电压转换部件的FD(浮动扩散)部件26之间，并且，作为提供给栅极电极(控制电极)的转移脉冲TRG的结果，将已通过光电二极管21被光电转换并在其中累积的信号电荷(此处为电子)转移到FD部件26。
重置晶体管23的漏极电极被连接到像素电源VDD，并且，重置晶体管23的源极电极被连接到FD部件26。在信号电荷从光电二极管21转移到FD部件26之前，作为提供给栅极电极的重置脉冲RST的结果，重置晶体管23将FD部件26的电势重置为预定的电势。
放大晶体管24的栅极电极被连接到FD部件26，并且，放大晶体管 24的漏极电极被连接到像素电源VDD。放大晶体管24将FD部件26的电势(即，在已通过重置晶体管23执行了重置之后获得的电势)作为重置电平输出，并且，将FD部件26的电势(即，在已通过转移晶体管22执行了对信号电荷的转移之后获得的电势)作为信号电平输出。
例如，选择晶体管25的漏极电极被连接到放大晶体管24的源极电极，并且，选择晶体管25的源极电极被连接到垂直信号线111。作为被提供给栅极电极的选择脉冲SEL的结果，选择晶体管25被使得进入导通状态、将像素20的状态改变为选择状态，并且，将从放大晶体管24输出的信号输出到垂直信号线111。
顺便说，还可采用如下配置，其中，选择晶体管25被连接在像素电源VDD和放大晶体管24的漏极电极之间。另外，像素电路的配置并不限于上述的四个晶体管的配置。像素电路可采用三个晶体管的配置，其中选择晶体管25被省略并且放大晶体管24还被用作选择晶体管25，或者可采用放大晶体管24在多个单位像素间被共享的配置。
行选择电路
行选择电路12对应于根据本公开的实施例的第一驱动单元，并且，其包括移位寄存器或地址解码器等。在控制器单元16的控制下，行选择电路12做出选择，同时逐行地在正交的方向(垂直方向)上通过合适地生成像素驱动脉冲(诸如，转移脉冲TRG、重置脉冲RST和选择脉冲SEL)来针对每个电子快门行和每个读出行扫描像素阵列部件11的像素20、在电子快门行上执行用于扫除该行中的像素20的信号的电子快门操作，以及针对该读出行执行用于读出该行中的像素20的信号的读出操作。
虽然未在图中示出，行选择电路12具有读出扫描系统和电子快门扫描系统，该读出扫描系统用于执行读出操作(该读出操作读出该读出行的每个像素20的信号)同时逐行地逐个对像素20执行选择性的扫描，该电子快门扫描系统用于对同一行(电子快门行)执行电子快门操作，持续时间与由读出扫描系统执行的读出扫描之前的快门速度相对应。
从光电二极管21的不必要的电荷通过由电子快门扫描系统所执行的 电子快门操作被重置的时刻到像素20的信号通过由读出扫描系统所执行的读出操作被读出的时刻的时段是像素20中的信号电荷累积时段(第一曝光时间)。即，电子快门操作是对光电二极管21中累积的信号电荷执行重置(扫除)并在重置之后重新开始对信号电荷的累积的操作。
高级选择电路
高级选择电路13对应于根据本公开的实施例的第二驱动单元。高级选择电路13包括多个行选择电路，例如，两个行选择电路13A和13B，并且，在读出行(行选择电路12对该读出行执行选择性的扫描)之前以有规律的间隔对多个行(在该示例中是两行)执行选择性的扫描。
行选择电路13A和13B各自包括移位寄存器或地址解码器等。在控制器单元16的控制下，行选择电路13A和13B通过在读出行(行选择电路12对该读出行执行选择性的扫描)之前适当地生成与行选择电路12所执行的选择性扫描相同步的转移脉冲TRG来以有规律的间隔对两行执行选择性的扫描。在选择性的扫描中，执行如下操作：在光电二极管21中累积的信号电荷基于转移脉冲TRG被转移到FD部件26。稍后将描述该操作的细节。
逻辑电路
在控制器单元16的控制下，逻辑电路14经由驱动器电路15将从行选择电路12和高级选择电路13的两个行选择电路13A和13B针对行选择所输出的转移脉冲TRG、重置脉冲RST和选择脉冲SEL提供给像素阵列部件11的转移控制线112、重置控制线113和选择控制线114，并且，如稍后所述的，向驱动器电路15提供用于选择转移脉冲TRG的电压值的信号。
驱动器电路
驱动器电路15与由行选择电路12执行的选择性扫描相同步地以用于使像素20的晶体管22、23和25导通/截止的电压向像素20提供转移脉冲TRG、重置脉冲RST和选择脉冲SEL，并且与由行选择电路13A和13B执行的选择性的扫描相同步地以用于使像素20的晶体管22、23和25导通/截止的电压的中间电压(以下称为中间电压)将转移脉冲TRG提供给像 素20。即，驱动器电路15用作根据本公开的实施例的第一到第三供应电压控制单元。
图3是示出了驱动器电路15的配置示例的电路图。此处，示出了对应于某行的驱动器电路15的转移脉冲TRG的单位电路的配置。驱动器电路15是通过与用于重置脉冲RST和选择脉冲SEL的单位电路一起布置如像素阵列部件11的行数一样多的转移脉冲TRG的单位电路来形成的。
如图3所示，根据该示例的驱动器电路(单位电路)15具有包括三个电路块131到133的电路配置，该三个电路块对应于三个电压例如Vtrg1、Vtrg2和Vtrg3，其被从电压供给电路17和两输入NOR电路134提供。
在三个电压Vtrg1、Vtrg2和Vtrg3中，电压Vtrg1和Vtrg3用作用于使像素20的晶体管22、23和25导通/截止的电压，而电压Vtrg2用作上述中间电压。
驱动器电路15被提供以来自行选择电路12和行选择电路13A和13B的地址信号ADR。另外，在控制器单元16的控制下，定时信号PTRG1在行选择被执行时被从逻辑电路14提供到驱动器电路15，并且，定时信号PTRG2在中间电压被施加时被提供给驱动器电路15。
电路块131包括利用地址信号ADR和定时信号PTRG1作为两个输入的NAND电路1311和P-沟道驱动晶体管1312。电路块131选择电压Vtrg1并将电压Vtrg1提供给转移晶体管22的栅极电极。
电路块132包括利用地址信号ADR和定时信号PTRG2作为两个输入的AND电路1321和N-沟道驱动晶体管1322。电路块132选择电压Vtrg2(其为中间电压)并将电压Vtrg2提供到转移晶体管22的栅极电极。
电路块133包括利用地址信号ADR作为一个(负)输入并利用NOR电路134的输出信号作为另一输入的OR电路1331和N-沟道驱动晶体管1332。电路块133选择电压Vtrg3并将电压Vtrg3提供给转移晶体管22的栅极电极。
即，电路块133具有一种电路配置，其中，电路块133由于NOR电路134而仅针对其他电路块131和132操作，以提供例如接地电压或低于接地电压(例如，-1.0V)作为用于使转移晶体管22截止的电压。
列电路
列电路18包括一组针对例如像素阵列部件11的每个像素行布置的单位电路，即，单位电路和像素列被布置为具有一对一的关系。列电路18对经由垂直信号线111从像素20输出的信号执行预定的信号处理，读出行的像素20通过行选择电路12和行选择电路13A和13B被选择，并且临时保持经过信号处理的像素信号。
作为列电路18，使用具有由采样保持电路(其对经由垂直线111输出的信号进行采样和保持)构成的电路配置的列电路，或使用具有由噪声移除电路(其包括采样保持电路，并且移除特定于像素的固定模式的噪声(诸如重置噪声)或在放大晶体管24的阈值的变化)构成的电路配置的列电路。
但是，上述列电路18的配置仅是示例，并且，本公开并不限于此。例如，还可采用一种配置，其中，列电路18具有模拟/数字(A/D)转换功能，并且，输出作为数字信号的信号电平。
水平扫描电路
水平扫描电路19包括移位寄存器或地址解码器等。水平扫描电路19顺序地输出像素的信号(临时保持在列电路18的单位电路中的信号)，同时针对像素阵列部件11的每个像素列在列电路18的单位电路上顺序执行水平扫描。
接下来，将通过利用在图4中所示的定时图来描述根据如上述配置的实施例的CMOS图像传感器10的操作。
在由布置在矩阵中的单位像素20(每个单位像素20具有如图2中所示的像素电路配置)所形成的CMOS图像传感器10中，一般而言，如在图4中所示，光电二极管21和FD部件26被在时段T1中重置为预定的电势，并且，在时段T2中，所接收的光被光电转换成电子并且电子在光电二极管21中累积。另外，在时段T2的后部的时段T4中，FD部件26被重置，此时FD部件26的电势被作为重置电平读出，然后，在T3时段，在光电二极管21中累积的电子被转移到FD部件26，并且此时FD部件26的电势在时段T5被作为信号电平读出。
不同于该正常的读出操作，在本公开的实施例中，为了提高信噪比并加宽动态范围，执行以下驱动。在电子通过光电转换被累积的累积时段(第一曝光时间)中，第一控制电压被提供给转移晶体管22的栅极电极，并且，具有不同于第一控制电压的电压值的第二控制电压被一次或多次提供给转移晶体管22的栅极电极。在提供一个或多个第二控制电压之前，具有与一个第二控制电压或多个第二控制电压中的每一个相同的电压值的第三控制电压被一次或多次地提供给转移晶体管22的栅极电极。当第一控制电压被提供时通过转移晶体管22被转移到FD部件26的信号电荷被读出，并且，当第二控制电压被顺序提供时通过转移晶体管22被转移到FD部件26的信号电荷被读出一次或多次。
此处，第一控制电压是可以将光电二极管21的累积电荷通过转移晶体管22完全地转移到FD部件26的电压。以下，第一控制电压被称为完全转移电压。另外，第二和第三控制电压是上述的中间电压。以下，第二和第三控制电压被称为中间电压。在该示例中，由于转移晶体管22是NMOS晶体管，因此，不同于第一控制电压的电压值意味着低于第一控制电压的电压值。不言而喻，当转移晶体管22是PMOS晶体管时，不同于第一控制电压的电压值是高于第一控制电压的电压值。另外，第二和第三控制电压具有“相同的电压值”的情形不仅包括第二和第三控制电压的电压值完全相同的情形，还包括第二和第三控制电压的电压值包括很少百分比的一定错误量的情形。
具体地，如在图5中所示，在时段T10中，光电二极管21和FD部件26被重置，并且，在时段T11中，所接收的光被光电转换成电子并且电子在光电二极管21中累积。然后，在时段T12中，FD部件26被重置。此处，在时段T12中的FD部件26的电势可被作为重置电平读出。
接下来，在时段T13，中间电压(第三控制电压)Vtrg被提供给转移晶体管22的栅极电极，并且，根据在光电二极管21中累积的电子的数目，执行向FD部件26的部分转移，该数目根据入射光的强度来确定。在时段T14，基于所转移的电子数的FD部件26的电势被作为信号电平读出，并且，如果必要的话，在列电路18中，通过利用例如在时段T12中 所读取的重置电平来执行噪声消除处理。
在时段T15中，累积操作被持续执行，并且，在时段T16中，FD部件26被再次重置。此处，在时段T16中的FD部件26的电势可被作为重置电平读出。另外，在时段T17中，中间电压(第三控制电压)Vtrg被提供给转移晶体管22的栅极电极，并且，关于在光电二极管21中未在时段T13中转移的所剩余的电子和在时段T15中累积的电子的总和，通过施加中间电压而超过转移晶体管22的电势的电子被转移到FD部件26。在时段T18中，电势可被作为信号电平读出。
从时段T19到时段T22，通过将具有与之前的中间电压相同的电压值的中间电压(第二控制电压)Vtrg施加到转移晶体管22的栅极电极，相同的操作被重复。另外，从时段T11到时段T14的操作被一次或多次执行，同时改变提供给转移晶体管22的电压。然后，在曝光在时段T23中被执行之后，在时段T24中，重置操作被再次执行，并且，重置电平被读出。接下来，在时段T25中，通过使转移晶体管22的状态变为完全导通状态，向FD部件26的完全转移被执行，并且，在时段T26中，信号电平被读出。
此处，在图6中示出了当中间电压Vtrg被提供给转移晶体管22的栅极电极时的像素中的电势的示例。当在光电二极管21中累积的电子数很大并由于中间电压Vtrg的施加而超过电势φtrg时，在光电二极管21中累积的电子被部分转移到FD部件26。
2.实施例的操作
在该实施例中，为了解决由水门方法和多次曝光方法所导致的问题，执行在水门方法和多次曝光方法之间的切换。虽然在黑暗部分的感光度低于水门方法的感光度，但是，多次曝光方法具有以下优势：快门速度可被无限制地改变。因此，通过在明亮的拍摄场景中利用多次曝光方法，通过利用快门而不利用光圈的曝光控制，可实现宽动态范围拍摄。这可以防止由使得光圈的开口在明亮的拍摄场景中变小而导致的衍射现象。
将要描述在水门模式和多次曝光模式之间的切换。在水门模式和多次曝光模式之间的切换通过更新图像拾取设备在自曝光(AE)中的曝光而被 执行。例如，对曝光的更新可被逐帧地执行。
在更新曝光时，首先获得基于信号电平的像素值(例如，照度值)，并且，获得指示整个屏幕的亮度的检测值(步骤S1)。然后，基于该检测值，计算用于增益、光圈和快门的控制值(步骤S2)。
接下来，确定宽动态范围模式在图像拾取设备中是否被设置为开启(步骤S3)。如果宽动态范围模式被设置为关闭，则通过利用正常的动态范围来执行拍摄。
在另一方面，如果宽动态范围模式被设置为开启，则执行在水门模式的拍摄或在多次曝光模式中的拍摄。
首先，确定当前的模式是多次曝光模式还是水门模式(步骤S4)。如果当前的模式是多次曝光模式，则确定所计算的增益是否大于之前所设置的返回迟滞(X dB)(步骤S5)。如果增益等于或小于迟滞，则保持多次曝光模式。在另一方面，如果拍摄场景变得更黑，并且，增益超过迟滞，则模式被变为水门模式，并且，增益被调节(步骤S6)。由于水门模式比多次曝光模式在黑暗部分具有更高的信噪比，因此增益被降低一定量，例如，6dB。
在另一方面，如果当前的模式是水门模式，则确定所计算的增益是否是0(零)(步骤S7)。如果增益不是0，则保持水门模式。在另一方面，如果拍摄场景变得更加明亮并且增益是0，则模式被变为多次曝光模式，并且，增益被调节(步骤S8)。由于多次曝光模式比水门模式具有更低的感光度，因此增益被增加了某量，例如，6dB。
通过上述操作，逐帧的对曝光的更新结束。
接下来，通过参照图14，将描述从水门模式到多次曝光模式的转换以及反之。图14是示出了在增益和照度之间的关系以及在快门速度和照度之间的关系的示图。
在该实施例中的宽动态范围模式中，未调节光圈，并且，其开口被完全打开。
首先，将描述当整个屏幕变得明亮时所发生的转换。
在整个屏幕是黑暗的拍摄场景中，增益被设置为例如6dB，并且，模 式被设置为水门模式。当在水门模式中拍摄场景变得更加明亮时，例如当在图14的示例中照度超过L4时，增益开始减少。然后，当照度变为L5时，增益变为0。此时，模式被从水门模式改变为多次曝光模式。然后，增益被再次设置为6dB。之后，当在多次曝光模式中拍摄场景变得更加明亮时，增益开始减少。然后，例如当照度变为L6时，增益变为0。此时，开始对快门速度的调节，并且，快门速度被增加，直到照度变为L7为止，曝光由此被调节。
接下来，将描述当整个屏幕变得黑暗时所发生的转换。
在整个屏幕是明亮的情景中，模式被设置为多次曝光模式。然后，当在多次曝光模式中拍摄场景变得更加黑暗时，例如当照度变为L6或更低时，增益开始增加。在该实施例中，为了提供迟滞，即便当照度变为L5时，模式也不变为水门模式，并且，在多次曝光模式中，增益被增加。然后，当例如照度减少到L4并且增益变为12时，增益变得比之前所设置的迟滞更高。此时，模式被从多次曝光模式变为水门模式。然后，增益被再次设置为6dB。之后，当整个屏幕变得更加黑时，维持水门模式，增益保持恒定。
如上所述，通过提供迟滞，可以抑制由于在模式切换时增益的改变所导致的在图像中的突然变化等。
顺便说，在上述示例中，已经示出了迟滞被设置为12dB的情形；但是，如在图15中所示，迟滞可被设置为另一值(X dB)。例如，当照度减少到L8，并且，增益变为X dB时，模式被从多次曝光模式转换到水门模式。然后，增益被设置为比X dB低6dB的值。之后，当在水门模式中拍摄场景变得更加黑暗时，增益开始增加，并且，当照度变为L4时，增益被设置为6dB。当整个屏幕变得更加黑暗时，维持水门模式，增益保持恒定。
在过去，为了在水门模式中获得宽动态范围，如在图13中所示，在照度超过L1之后，增益随着照度的增加而减少。然后，在照度超过L2并且增益达到0之后，光圈被调节，直到照度变为L3为止。但是，由于利用光圈的曝光控制使得光阑在明亮的拍摄场景中变小，因此，由于光的衍射 (所谓的衍射现象)，在整个图像中出现模糊，使得很难调整焦点。在另一方面，在该实施例中，由于在明亮的拍摄场景中使用多次曝光模式，可以通过利用快门速度来执行曝光控制而不利用光圈。这使得可以解决衍射现象的问题。
接下来，将描述在水门模式中对累积的电荷量的计算。
在水门模式中，如在图9到12中所示，例如在t4和t5之间的时间被设置为一帧的曝光时间t0到t6的1/16。然后，在时间t4处，大于或等于累积电荷dM的电荷被重置，在t4和t5之间，曝光被再次执行，并且，在t5处，大于或等于累积电荷dM的电荷被重置。然后，曝光被在t5和t6之间执行，使得电荷被进一步累积并被添加到累积电荷dM，并且，在t6时刻处，大于或等于累积电荷0的电荷被重置。
然后，基于在t4和t5之间曝光的电荷量ds＝d3-dM(ds＞0)以及在一帧的曝光时间(t0到t6)中曝光的电荷量，计算在一帧中通过曝光获得的电荷量。
具体地，首先，计算在t4和t5之间曝光的电荷量ds＝d3-dM(ds＞0)(步骤S11)。另外，计算在一帧的曝光时间(t0到t6)中曝光的电荷量dl＝d4(步骤S12)。
如在图9和10中所示，当在时间t4处大于或等于累积电荷dM的电荷被累积时，通过将在t4和t5之间曝光的电荷量ds乘以常数来计算在一帧的曝光时间中获得的原始的电荷量。在另一方面，如图11和12所示，当在时间t4处小于累积电荷dM的电荷被累积时，电荷不在时间t4处被重置。因此，基于t4和t5之间曝光的电荷量ds和在一帧的曝光时间(t0到t6)中曝光的电荷量d1，在一帧的曝光时间中获得的原始的电荷量被计算。
例如，当在t4和t5之间的时间被设置为一帧的曝光时间t0到t6的1/16时，确定ds+dl是否大于或等于16ds(步骤S13)。如果ds+dl大于或等于16ds(其为例如在图11和12中所示的情形)，则ds+dl被确定为在一帧的曝光时间中获得的原始的电荷量(步骤S14)。在另一方面，如果ds+dl小于16ds(其为例如在图9和10中所示的情形)，则16ds被确定为在一帧的曝光时间中获得的原始的电荷量(步骤S15)。
接下来，将描述在多次曝光模式中的对累积电荷量的计算。
在多次曝光模式中，例如在图7和8中所示，在第一半个时段中的曝光时间t1到t2被设置为在第二半个时段的曝光时间t2到t3的1/16。然后，在时间t2和t3处，重置大于或等于累积电子电量0的电子电量。之后，通过利用在t1和t2之间曝光的电荷量d1以及在t2和t3之间曝光的电荷量d2(当累积电荷未达到饱和水平时)来计算在一帧的曝光时间中获得的原始的电荷量。在图7和8中所示的示例中，示出了在第二半个时段中的曝光时间t2到t3被设置为1/2fs的情形；但是，在多次曝光模式中，曝光时间并不限于该示例，并且，可无限制地设置曝光时间。例如，可进一步缩短在第一半个时段t1到t2的曝光时间以及在第二半个时段t2到t3的曝光时间。另外，曝光操作的数目被限制为两个；可三次或更多次地执行曝光操作。不同于水门模式，这使得可以计算在明亮的拍摄场景中的原始电荷量，而无需使用光圈(光阑)。
在黑暗的拍摄场景中，在多次曝光模式中，曝光时间可仅被设置在1/2fs的最大持续时间处；但是，在水门模式中，曝光时间可被设置在1fs的最大持续时间处。作为其结果，在该实施例中，由于当整个屏幕是黑暗的时使用了水门模式，因此，与使用多次曝光模式的情形相比，可以提高在黑暗部分的感光度。
图像拾取设备
根据该实施例的CMOS图像传感器10被合适地应用在图像拾取设备(诸如数字静止相机或视频相机)中，作为其成像器件(图像输入设备)。
此处的图像拾取设备指作为成像器件的固态图像拾取设备、相机模块和相机系统，相机模块(其通过被合并到诸如蜂窝电话的电子设备中被使用)包括在固态图像拾取设备的成像区域(光接收表面)上形成主体的图像光的图像的光系统以及固态成像拾取设备的信号处理部件，相机系统例如是合并了相机模块的数字静态相机和视频相机。
图18是示出了根据本公开的实施例的图像拾取设备的配置的示例的框图。如图18中所示，根据本公开的实施例的图像拾取设备由光系统形 成，该光系统包括透镜81、成像器件(成像部件)82、相机信号处理部件83等等。
透镜81在成像器件82的成像区域上形成来自主体的图像光的图像。成像器件82输出通过将由透镜81在成像区域上所形成的图像的图像光转换成由像素表示的电信号获得的图像信号。作为成像器件82，使用根据本实施例的CMOS图像传感器10。相机信号处理部件83对从成像器件82输出的图像信号执行多种多样的信号处理。相机信号处理部件83是信号处理部件的示例，并且，通过在水门模式和多次曝光模式之间的模式的切换来确定在水门模式或多次曝光模式中的信号电平。另外，相机信号处理部件83根据基于电荷的检测值来确定调节信号电平的增益，并且，基于该增益，执行在水门模式和多次曝光模式之间的切换。
虽然已参照附图详细描述了本公开的优选实施例，这些示例并不意味着以任何方式限制本公开。很明显，本领域技术人员可构想在根据本公开的实施例的技术思想的范围内的各种修改例或变化例，并且，应当理解，这些修改例或变化例应当被认为是被包括在本公开的技术范围内。
本公开包括与2010年9月28日递交日本专利局的日本优先权专利申请JP2010-216285公开的内容有关的主题，其全部内容通过引用被结合于此。

Claims (2)

1.一种图像处理装置，包括：
像素阵列部件，其中，各自具有将光转换成电荷的光电转换元件的单位像素被二维地布置在矩阵中；以及
信号处理部件，该信号处理部件在水门模式和多次曝光模式之间进行切换来确定信号电平，所述水门模式是如下的模式，其中，根据基于在第一曝光时段中在所述单位像素中累积的、大于或等于所规定的累积电荷的电荷的第一电荷量来确定信号电平，或者根据基于在包括所述第一曝光时段的第二曝光时段中在所述单位像素中累积的所有电荷的第二电荷量来确定信号电平，所述多次曝光模式是如下的模式，其中，根据基于在多个曝光时段中在所述单位像素中累积的所有电荷的多个电荷量来确定信号电平，
其中，所述信号处理部件根据基于所述电荷的检测值来确定调节所述信号电平的增益，并且基于所述增益将模式在所述水门模式和所述多次曝光模式之间进行切换，使得：当模式是所述水门模式时，当所述增益变为0时，所述信号处理部件将模式切换到所述多次曝光模式；并且当所述模式是多次曝光模式时，当所述增益变为大于或等于之前所设置的迟滞时，所述信号处理部件将模式切换到所述水门模式。
2.一种用于处理图像的方法，包括：
通过利用像素阵列部件来将光转换成电荷，其中，各自具有光电转换元件的单位像素被二维地布置在矩阵中；以及
由信号处理部件在水门模式和多次曝光模式之间进行切换来确定信号电平，所述水门模式是如下的模式，其中，根据基于在第一曝光时段中在所述单位像素中累积的、大于或等于所规定的累积电荷的电荷的第一电荷量来确定信号电平，或者根据基于在包括所述第一曝光时段的第二曝光时段中在所述单位像素中累积的所有电荷的第二电荷量来确定信号电平，所述多次曝光模式是如下的模式，其中，根据基于在多个曝光时段中在所述单位像素中累积的所有电荷的多个电荷量来确定信号电平，
其中，所述信号处理部件根据基于所述电荷的检测值来确定调节所述信号电平的增益，并且基于所述增益将模式在所述水门模式和所述多次曝光模式之间进行切换，使得：当模式是所述水门模式时，当所述增益变为0时，所述信号处理部件将模式切换到所述多次曝光模式；并且当所述模式是多次曝光模式时，当所述增益变为大于或等于之前所设置的迟滞时，所述信号处理部件将模式切换到所述水门模式。
CN201110294348.2A 2010-09-28 2011-09-21 图像处理装置和图像处理方法 Active CN102547164B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010216285A JP5569298B2 (ja) 2010-09-28 2010-09-28 画像処理装置、画像処理方法及びプログラム
JP2010-216285 2010-09-28

Publications (2)

Publication Number Publication Date
CN102547164A CN102547164A (zh) 2012-07-04
CN102547164B true CN102547164B (zh) 2016-09-28

Family

ID=45870290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110294348.2A Active CN102547164B (zh) 2010-09-28 2011-09-21 图像处理装置和图像处理方法

Country Status (5)

Country Link
US (1) US8547452B2 (zh)
JP (1) JP5569298B2 (zh)
KR (1) KR20120032425A (zh)
CN (1) CN102547164B (zh)
TW (1) TW201223273A (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101475285B1 (ko) * 2010-08-12 2014-12-23 연세대학교 산학협력단 씨모스 이미지 센서 및 그것의 동작 방법
FR2992813A1 (fr) 2012-07-02 2014-01-03 St Microelectronics Grenoble 2 Procede de commande d'un pixel cmos
CN106454156B (zh) * 2015-08-10 2019-07-19 原相科技股份有限公司 图像传感器及其运作方法
WO2018142878A1 (ja) * 2017-02-06 2018-08-09 パナソニックＩｐマネジメント株式会社 ３次元モーション取得装置、及び３次元モーション取得方法
JP2020020675A (ja) * 2018-08-01 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 計測装置
CN111565265A (zh) * 2019-02-14 2020-08-21 上海银镐环境科技有限公司 一种频率差值摄像器件
CN114302024B (zh) * 2021-12-28 2023-04-18 北京理工大学 一种电子轰击cmos成像方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003158669A (ja) * 2001-11-21 2003-05-30 Olympus Optical Co Ltd 撮像装置
CN101262564A (zh) * 2007-03-09 2008-09-10 索尼株式会社 图像处理装置、成像装置、图像处理方法和计算机程序
US7596280B2 (en) * 2005-09-29 2009-09-29 Apple Inc. Video acquisition with integrated GPU processing
CN101647271A (zh) * 2007-11-08 2010-02-10 佳能株式会社 固态成像装置及其驱动方法、成像系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6977685B1 (en) * 1999-02-26 2005-12-20 Massachusetts Institute Of Technology Single-chip imager system with programmable dynamic range
US6963370B2 (en) * 2001-09-24 2005-11-08 The Board Of Trustees Of The Leland Stanford Junior University Method for improving SNR in low illumination conditions in a CMOS video sensor system using a self-resetting digital pixel
US7812301B2 (en) * 2005-10-28 2010-10-12 Sony Corporation Solid-state imaging device, method of driving solid-state imaging device and imaging apparatus
JP4973115B2 (ja) * 2006-10-16 2012-07-11 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003158669A (ja) * 2001-11-21 2003-05-30 Olympus Optical Co Ltd 撮像装置
US7596280B2 (en) * 2005-09-29 2009-09-29 Apple Inc. Video acquisition with integrated GPU processing
CN101262564A (zh) * 2007-03-09 2008-09-10 索尼株式会社 图像处理装置、成像装置、图像处理方法和计算机程序
CN101647271A (zh) * 2007-11-08 2010-02-10 佳能株式会社 固态成像装置及其驱动方法、成像系统

Also Published As

Publication number Publication date
KR20120032425A (ko) 2012-04-05
TW201223273A (en) 2012-06-01
JP5569298B2 (ja) 2014-08-13
CN102547164A (zh) 2012-07-04
US20120075499A1 (en) 2012-03-29
JP2012074783A (ja) 2012-04-12
US8547452B2 (en) 2013-10-01

Similar Documents

Publication Publication Date Title
JP4973115B2 (ja) 固体撮像装置、固体撮像装置の駆動方法および撮像装置
CN102547164B (zh) 图像处理装置和图像处理方法
CN102143331B (zh) 固态成像器件、驱动固态成像器件的方法和成像设备
JP4194544B2 (ja) 固体撮像装置及び固体撮像装置の駆動方法
JP4893042B2 (ja) 撮像装置
JP5223953B2 (ja) 固体撮像装置、固体撮像装置の駆動方法および撮像装置
JP5012188B2 (ja) 固体撮像装置
KR20040069183A (ko) 화상 픽업 장치 및 카메라 시스템
JP5630991B2 (ja) 撮像装置
US8169508B2 (en) Image input apparatus for forming a composite image based on a photoelectric conversion signal and a saturation signal
EP2538659B1 (en) Image pickup apparatus
JP2007097127A (ja) 固体撮像装置
JP2006217548A (ja) 固体撮像装置
JP2006148328A (ja) 固体撮像装置
US20040239781A1 (en) Image capture apparatus
JP2007208885A (ja) 撮像ユニットおよび撮像装置
JP2006217421A (ja) 固体撮像装置
JP5080127B2 (ja) 固体撮像装置、並びにそれを用いたビデオカメラ及びデジタルスチルカメラ
JP2016178408A (ja) 固体撮像装置及びその駆動方法、並びに撮像システム
JP4336508B2 (ja) 撮像装置
KR100804495B1 (ko) 씨모스 이미지센서의 검은 태양 현상 억제장치 및 방법
JP3697164B2 (ja) 走査回路とそれを用いた撮像装置
WO2018124047A1 (ja) 撮像装置、および、カメラ
JP2002247451A (ja) 撮像装置
JP2006325066A (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant