CN108391066A - 集成电路图像传感器以及在其中操作的方法 - Google Patents

集成电路图像传感器以及在其中操作的方法 Download PDF

Info

Publication number
CN108391066A
CN108391066A CN201810415537.2A CN201810415537A CN108391066A CN 108391066 A CN108391066 A CN 108391066A CN 201810415537 A CN201810415537 A CN 201810415537A CN 108391066 A CN108391066 A CN 108391066A
Authority
CN
China
Prior art keywords
charge
signal
output signal
analog output
thresholding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810415537.2A
Other languages
English (en)
Other versions
CN108391066B (zh
Inventor
T·沃吉尔桑
M·吉达什
薛松
J·E·哈里斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rambus Inc
Original Assignee
Rambus Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rambus Inc filed Critical Rambus Inc
Publication of CN108391066A publication Critical patent/CN108391066A/zh
Application granted granted Critical
Publication of CN108391066B publication Critical patent/CN108391066B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本公开涉及集成电路图像传感器以及在其中操作的方法。在图像传感器系统内实施一种具有多位采样的图像传感器架构。响应于在光敏元件上入射的光而产生的像素信号被转换成表示像素信号的多位数字值。如果像素信号超过采样门限，则重置光敏元件。在图像捕获时段期间，与超过采样门限的像素信号关联的数字值被累加成图像数据。

Description

集成电路图像传感器以及在其中操作的方法
本申请是申请日为2013年9月30日、申请号为201380052410.4、发明名称为“集成电路图像传感器以及在其中操作的方法”的申请的分案申请。
技术领域
本公开内容涉及电子图像传感器领域，并且更具体地涉及用于在这样的图像传感器中使用的采样架构。
背景技术
诸如CMOS或者CCD传感器之类的数字图像传感器包括多个光敏元件(“光传感器”)，每个光敏元件被配置为将在光传感器上入射的光子(“捕获的光”)转换成电荷。电荷然后可以被转换成表示每个光传感器捕获的光的图像数据。图像数据包括捕获的光的数字表示，并且可以被操纵或者处理以产生有能力在查看设备上显示的数字图像。图像传感器被实施在具有物理表面的集成电路(“IC”)中，该物理表面可以被划分成配置为将光转换成电信号(电荷、电压、电流等)的多个像素区域(例如一个或者多个光传感器和附带控制电路)。为了方便，在图像传感器内的像素区域还可以称为图像像素(“IP”)，并且像素区域或者图像像素的聚合将称为图像传感器区域。图像传感器IC通常还将包括在图像传感器区域以外的区域，例如某些类型的控制、采样或者接口电路。多数CMOS图像传感器包含用于将像素电信号转换成数字图像数据的A/D(模数)电路。A/D电路可以是位于图像传感器区域内或者位于图像传感器区域的外围处的一个或者多个ADC(模数转换器)。
发明内容
在本公开的第一方面中，提供一种集成电路图像传感器。该集成电路图像传感器包括光敏元件和读出电路。光敏元件用于响应于入射光累加电荷。读出电路用于：确定在光敏元件内累加的电荷是否超过第一门限；如果累加的电荷被确定为超过第一门限，将表示累加的电荷的模拟读出信号转换成多位数字值，多位数字值具有根据模拟读出信号的量值的数值；如果累加的电荷被确定为超过第一门限，将光敏元件重置成标称放电状态预备进一步电荷累加；以及如果累加的电荷被确定为未超过第一门限，制止将光敏元件重置成标称放电状态。
在一些实施例中，将表示累加的电荷的模拟读出信号转换成具有根据模拟读出信号的量值的数值的多位数字值的读出电路包括用于生成模拟读出信号的电路。用于生成模拟读出信号的电路包括：浮置扩散节点；以及第一晶体管，用于可切换地形成传导路径，传导路径用于将累加的电荷从光敏元件传送到浮置扩散节点。用于生成模拟读出信号的电路还包括模拟输出电路。模拟输出电路用于生成：(i)第一模拟输出信号，第一模拟输出信号表示在将累加的电荷传送到浮置扩散节点之前浮置扩散节点的电压电平；以及(ii)第二模拟输出信号，第二模拟输出信号表示在将累加的电荷传送到浮置扩散节点之后浮置扩散节点的电压电平。此外，用于生成模拟读出信号的电路还包括采样和保持电路。采样和保持电路用于基于第一模拟输出信号和第二模拟输出信号之差来生成模拟读出信号。
在一些实施例中，用于基于第一模拟输出信号和第二模拟输出信号之差来生成模拟读出信号的采样和保持电路包括：第一电容元件，用于存储与第一模拟输出信号对应的电压电平；以及用于生成作为模拟读出信号的信号的电路，该信号对应于存储在第一电容元件中的电压电平和对应于第二模拟输出信号的电压电平之差。
在一些实施例中，用于生成第一模拟输出信号和第二模拟输出信号的模拟输出电路包括第二晶体管。第二晶体管具有栅极节点和源极节点。栅极节点耦合到浮置扩散。源极节点耦合到将第一模拟输出信号和第二模拟输出信号传达到采样和保持电路的信号线。
在一些实施例中，用于生成模拟读出信号的电路还包括：用于在生成第一模拟输出信号之前将浮置扩散节点重置为参考电势的电路。
在一些实施例中，将表示累加的电荷的模拟读出信号转换成具有根据模拟读出信号的量值的数值的多位数字值的读出电路包括：浮置扩散节点；以及第一晶体管，用于可切换地形成传导路径，传导路径用于将累加的电荷从光敏元件传送到浮置扩散节点。读出电路还包括模拟输出电路。模拟输出电路用于生成：(i)第一模拟输出信号，第一模拟输出信号表示在将累加的电荷传送到浮置扩散节点之前浮置扩散节点的电压电平；以及(ii)第二模拟输出信号，第二模拟输出信号表示在将累加的电荷传送到浮置扩散节点之后浮置扩散节点的电压电平，第二模拟输出信号构成模拟读出信号。此外，读出电路还包括：模数转换电路，用于将第一模拟输出信号转换成第一数字值，并且用于将第二模拟输出信号转换成第二数字值；以及用于生成第一数字值和第二数字值之差以作为具有根据模拟读出信号的量值的数值的多位数字值的电路。
在一些实施例中，用于生成模拟读出信号的电路还包括：用于在生成第一模拟输出信号之前将浮置扩散节点重置为参考电势的电路。
在一些实施例中，读出电路包括：读出节点；以及控制电路，用于(i)使超过第一门限的电荷能够从光敏元件传送到读出节点，(ii)在实现超过第一门限的电荷的传送之后感测读出节点的电荷电平，(iii)基于感测的读出节点的电荷电平，确定在光敏元件内累加的电荷是否超过第一门限，(iv)响应于确定在光敏元件内累加的电荷超过第一门限来使超过标称放电状态的电荷能够从光敏元件传送到读出节点，以及(v)在使超过标称放电状态的电荷能够被传送到读出节点之后，根据读出节点的电荷水平，生成模拟读出信号。
在一些实施例中，控制电路包括：电荷传送切换元件，耦合在光敏元件与读出节点之间；以及开关控制电路，用于向电荷传送切换元件施加第一控制信号以使超过第一门限的电荷能够从光敏元件传送到读出节点并且向电荷传送切换元件施加第二控制信号以使超过标称放电状态的电荷能够从光敏元件传送到读出节点。
在一些实施例中，电荷传送切换元件包括控制端子，控制端子被耦合为在相应时间接收第一和第二控制信号并且实现在光敏元件与读出节点之间的电荷传导沟道，电荷传导沟道响应于第一控制信号而具有第一静电电势和响应于第二控制信号而具有第二静电电势，第二静电电势大于第一静电电势。
在本公开的第二方面中，提供一种在集成电路图像传感器内操作的方法。该方法包括：在光敏元件内响应于入射光累加电荷；以及确定在光敏元件内累加的电荷是否超过第一门限；如果累加的电荷被确定为超过第一门限，将表示累加的电荷的模拟读出信号转换成多位数字值，多位数字值具有与模拟读出信号的量值成比例的数值；如果累加的电荷被确定为超过第一门限，将光敏元件重置成标称放电状态预备进一步电荷累加；以及如果累加的电荷被确定为未超过第一门限，制止将光敏元件重置成标称放电状态。
在一些实施例中，将表示累加的电荷的模拟读出信号转换成具有根据模拟读出信号的量值的数值的多位数字值包括：生成第一模拟输出信号，第一模拟输出信号表示在将累加的电荷从光敏元件传送到浮置扩散节点之前浮置扩散节点的电压电平；生成第二模拟输出信号，第二模拟输出信号表示在将累加的电荷从光敏元件传送到浮置扩散节点之后浮置扩散节点的电压电平；以及基于第一模拟输出信号和第二模拟输出信号之差来生成模拟读出信号。
在一些实施例中，基于第一模拟输出信号和第二模拟输出信号之差来生成模拟读出信号包括：在电容元件中捕获与第一模拟输出信号对应的电压电平；以及生成作为模拟读出信号的信号，该信号对应于在第一电容元件中捕获的电压电平和对应于第二模拟输出信号的电压电平之差。
在一些实施例中，生成第一模拟输出信号和第二模拟输出信号包括：经由晶体管生成第一模拟输出信号和第二模拟输出信号，晶体管具有栅极节点和源极节点，栅极节点耦合到浮置扩散，源极节点耦合到传导第一模拟输出信号和第二模拟输出信号的输出信号线。
在一些实施例中，该方法还包括：在生成第一模拟输出信号之前将浮置扩散节点重置为参考电势。
在一些实施例中，将表示累加的电荷的模拟读出信号转换成具有根据模拟读出信号的量值的数值的多位数字值包括：生成第一模拟输出信号，第一模拟输出信号表示在将累加的电荷从光敏元件传送到浮置扩散节点之前浮置扩散节点的电压电平；生成作为模拟读出信号的第二模拟输出信号，第二模拟输出信号表示在将累加的电荷从光敏元件传送到浮置扩散节点之后浮置扩散节点的电压电平；以及将第一模拟输出信号和第二模拟输出信号分别转换成第一数字值和第二数字值；以及生成第一数字值和第二数字值之差以作为具有根据模拟读出信号的量值的数值的多位数字值。
在一些实施例中，该方法还包括：在生成第一模拟输出信号之前将浮置扩散节点重置为参考电势。
在一些实施例中，确定在光敏元件内累加的电荷是否超过第一门限包括：使超过第一门限的电荷能够从光敏元件传送到读出节点；在实现超过第一门限的电荷的传送之后感测读出节点的电荷电平；以及基于感测的读出节点的电荷电平，确定在光敏元件内累加的电荷是否超过第一门限。
在一些实施例中，如果累加的电荷被确定为超过第一门限，将表示累加的电荷的模拟读出信号转换成多位数字值包括：使超过标称放电状态的电荷能够从光敏元件传送到读出节点。
在本公开的第三方面中，提供一种集成电路图像传感器。该集成电路图像传感器包括光敏元件和装置。光敏元件用于响应于入射光累加电荷。装置用于：确定在光敏元件内累加的电荷是否超过第一门限；如果累加的电荷被确定为超过第一门限，将表示累加的电荷的模拟读出信号转换成多位数字值，多位数字值具有与模拟读出信号的量值成比例的数值；如果累加的电荷被确定为超过第一门限，将光敏元件重置成标称放电状态预备进一步电荷累加；以及如果累加的电荷被确定为未超过第一门限，制止将光敏元件重置成标称放电状态。
附图说明
在附图的各图中通过示例的方式而不是通过限制的方式来举例说明本文中公开的各种实施例，并且在附图中，同样的附图标记指代相似元件，并且在附图中：
图1图示根据一个实施例的图像传感器的部分的横截面；
图2图示根据例如在图1的布局中有用的一个实施例的具有多个像素信号门限的模拟像素图像传感器的部分阵列电路；
图3图示根据例如利用图1和2的实施例而有用的一个实施例的配置为将像素信号转换成多位数字转换的示例图像传感器读取电路；
图4图示根据使用例如图1的横截面以及图2和3的电路的一个实施例的具有多位架构的图像传感器系统的示例电路框图实施例；
图5图示根据使用例如图1的横截面以及图2和3的电路的一个实施例的具有位于IP阵列外围的读取电路阵列的图像传感器系统架构的另一示例电路框图；
图6a图示根据使用例如图2的阵列电路的一个实施例的作为图4和5的备选的示例两层图像传感器系统架构中的像素阵列IC的俯视图；
图6b图示根据使用例如图3的读取电路的一个实施例的作为图4和5的备选的示例两层图像传感器系统架构中的预处理器IC的俯视图；
图6c图示根据一个实施例的示例两层图像传感器系统架构中的图6a的像素阵列IC和图6b的预处理器IC的部分横截面；
图7图示根据一个实施例的诸如图3的读取电路之类的图像传感器读取电路的操作；
图8图示根据利用本文中描述的系统而有用的一个实施例的图像捕获系统中的数据流动；
图9图示根据一个实施例的用于由诸如图3的读取电路之类的图像传感器读取电路使用的各种时间采样策略；
图10图示修改的4晶体管像素的实施例，其中执行非破坏性过门限检测操作以与相关的双采样结合实现有条件重置操作；
图11是图示在图10的渐进读出像素内的示例性像素周期的定时图；
图12和13在图10的光电二极管、传输门和浮置扩散的对应示意横截面图下方图示用于它们的示例性静电电势图；
图14图示具有渐进读出像素阵列的图像传感器300的实施例；
图15图示具有在光敏元件与门控感测节点之间设置为实现相关双采样的传输门的备选有条件重置像素实施例；
图16图示在图15的有条件重置像素的像素周期内的示例性操作阶段；
图17是示出在图15的有条件重置像素内的每个操作阶段期间生成的示例性控制信号状态的与图16对应的定时图；
图18A至18G图示图15的有条件重置像素在图16和17中所示操作阶段期间的示例性状态；
图19图示有能力执行参照图16至18G描述的有条件重置/有条件恢复操作的有条件重置像素的备选实施例；
图20图示允许通过数字相关双采样和模拟不相关双采样二者减少采样噪声的有条件重置3晶体管像素和读出电路的实施例；
图21是图示数字相关双采样操作与一个或者多个模拟不相关双采样操作的组合的流程图，该组合可以被执行以实现在图20的有条件地重置三晶体管像素和读出架构内的减少噪声的像素读出；
图22图示图20的像素架构和读出电路的更详细实施例；
图23图示在图20和22中呈现的像素架构的备选实施例；
图24图示相对于变化光强度的示例性残值模式和帧间积分读出；
图25图示可以在静止或者视频成像系统内运用的示例性每像素帧处理方式，该处理方式利用图24中所示帧间积分方式以在低光条件中产生相对地高SNR图像；
图26图示有能力使用在图24和25中概括的帧间积分方式来生成图像帧的成像系统的实施例；
图27图示可以在图26的成像系统内运用的示例性子帧组织和时间码指派；
图28图示用于估算用于像素的输出帧值的示例性方法，这些像素未产生非零采样值(即无重置事件)、并且因此在给定的帧期间“滑行(coasting)”；
图29图示可以由图26的ISP执行的用于实施参照图24至28描述的帧间积分技术的示例性帧处理序列；
图30对比在有参照图24至29描述的帧间积分和无该帧间积分的情况下的成像仿真中实现的动态范围和SNR；以及
图31图示用于包括延长的曝光时间的静止帧捕获模式的示例性子帧组织。
具体实施方式
在一些图像传感器中，表示光子响应并且由在像素区域上入射的光产生的电信息(本文中称为“像素信号”)由读取电路转换成数字图像数据值。读取电路可以驻留在图像传感器内或者可以位于图像传感器外部。在一些方式中，读取电路可以位于图像传感器内，用于由与读取电路相邻或者在读取电路附近的一个或者多个像素区域使用。对于位于图像传感器外部的读取电路，与读取电路关联的一个或者多个像素区域的像素信号可以从像素区域传送到读取电路。
每个读取电路对像素区域进行采样、从采样的像素区域接收像素信号并且将像素信号转换成表示像素信号的多位数字值。在像素信号或者表示像素信号的数字值超过采样门限的情况下，在与像素信号关联的像素区域存储的像素信号被重置(例如通过重置与像素区域关联的光敏元件)。如果像素信号或者数字值未超过采样门限，则在像素区域存储的像素信号未被重置。对像素区域的采样和仅在像素区域的像素信号超过采样门限时对像素信号的重置本文中称为“具有有条件重置的非破坏性采样”。
图像传感器概述
图1图示在实施例中有用的图像传感器25的部分横截面。在图像传感器25中，穿过微透镜阵列10和滤色器阵列12(对于彩色成像有用)的光在图像传感器的硅区段20上入射。对微透镜(或者其它聚集光学装置)和滤色器的使用是可选的并且这里仅出于说明目的而加以示出。硅20包含用于收集硅吸收的光子生成的电荷的光电二极管(未示出)和用于操作光电二极管的访问晶体管(也未示出)。像素阵列IC布线14提供用来在阵列内路由信号和供应电压的连接。如图所示，图像传感器25是背侧照射(BSI)传感器，因为光从集成电路的与布线层和主有源电路形成相反的侧进入硅。可选地，像素阵列IC布线14可以被布置于滤色器阵列12与硅20(如在图1中定向的那样在硅的“顶部”内有主有源电路形成)之间用于前侧照射(FSI)。
图像传感器25包括多个IP(“图像像素”)、所示IP1至IP3，微透镜阵列10的透镜收集的光分别在这些IP上入射。每个IP包括在硅20内嵌入的一个或者多个光电二极管。进入硅20的至少一些光子被转换成硅中的电子-空穴对，并且所得电子(或者在备选实施例中的空穴)由IP收集。本文中的描述为了简化的目的而将把这一过程称为IP捕获光并且将光转换成图像数据。图像传感器的每个IP表示图像传感器的表面区域的部分，并且图像传感器的IP可以被组织成列和行的各种阵列。在CMOS或者CCD图像像素技术中，每个IP(例如每个光传感器)将在IP上入射的光转换成电荷，并且包括配置为将电荷转换成电压或者电流的读出电路。在一个实施例中，图像传感器的每个IP捕获的光表示用于关联数字图像的图像数据的一个像素，但是在其它实施例中，来自多个IP的图像数据被组合为表示更少数目(一个或者多个)的像素(下采样)。
图像传感器25可以包括在IP阵列以外的部件。相似地，IP阵列的部分可以包括未将光转换成电荷的部件。聚合中的IP定义的区域将称为图像传感器区域。如本文中描述的那样，图像传感器可以包括放大器、模数转换器(“ADC”)、比较器、控制器、计数器、累加器、寄存器、晶体管、光电二极管等。在不同架构中，这些部件中的一些部件可以位于图像传感器区域内或者图像传感器区域外部，并且一些部件可以位于配套集成电路上。在这些实施例中，透镜(诸如微透镜阵列10的那些透镜)可以被配置为将光引向IP内的实际光感测元件，而不是例如引在放大器、比较器、控制器和其它部件上。
如以上指出，图像传感器可以包括多个IP的阵列。每个IP响应于光(例如一个或者多个光子)捕获和存储对应电荷。在一个实施例中，在对IP进行采样时，如果表示在IP存储的电荷的像素信号超过采样门限，则像素信号被转换成表示像素信号的数字值，并且IP存储的电荷被重置。备选地，在对IP进行采样时，表示在IP存储的电荷的像素信号被转换成表示像素信号的数字值，并且如果数字值超过采样门限，则IP存储的电荷被重置。在其它实施例中，开始模数转换，并且在已经完成的转换足以确定是否超过门限时，关于是否继续转换进行确定。例如在逐次逼近寄存器(“SAR”)ADC中，如果门限等于最高有效位模式，一分辨模式，就可以关于是否继续转换和执行对像素的重置或者停止转换进行确定。可以通过使用配置为比较像素信号或者数字值与采样门限的比较器进行对像素信号或者表示像素信号的数字值是否超过采样门限的确定。
图2图示根据一个实施例的具有多个像素信号门限的模拟像素图像传感器。图2的图像传感器是CMOS传感器并且包括IP阵列40。IP阵列可以包括任何数目的列和行，而每列和每行有任何数目的IP。在图2中突出了IP列50(表示IP阵列中的完全或者部分IP列的列)。IP列50包括经由列线55通信地耦合的多个IP。在图2中突出了IP 60(表示IP阵列中的IP的IP)。
IP 60包括光电二极管65和控制元件，控制元件使光电二极管能够在预备曝光时被预充电、并且然后在曝光之后被采样。在操作中，晶体管70被接通以将光电二极管的负极耦合到电压源，并且因此将光电二极管的负极“预充电”到预充电电压。晶体管70在曝光区间开始时或者之前被关断。在晶体管70关断的情况下，负极电压响应于光子撞击而增量地放电，从而与检测到的光量成比例地降低光电二极管电势VDET。在曝光区间结束时，访问晶体管72被接通以使表示光电二极管电势的信号能够经由跟随器-晶体管74被放大/驱动到列线55上作为像素信号80。
ADC 85经由列线55通信地耦合到IP列50。在图2的实施例中，ADC位于像素阵列40的边缘，并且可以位于IP阵列位于其上的图像传感器内或者外部。ADC从IP 60接收像素信号80(模拟光电二极管电势的表示)。ADC数字化像素信号以生成表示像素信号的3位数字值(“Pix[2:0]”)。ADC包括7个像素门限：门限1至门限7(本文中称为“VT1至VT7”)。如果像素信号的量值小于Vpre、但是大于VT1，则ADC将像素信号转换成数字值“000”。小于VT1、但是大于VT2的像素信号被转换成数字值“001”，在VT2与VT3之间的像素信号被转换成“010”，以此类推直至转换成“111”的小于VT7的像素信号。
在图2的实施例中，在连续像素门限之间的电势差近似地相同(例如VT3-VT4≈VT5-VT6)。换而言之，像素门限被线性地分布在VT1与VT7之间。此外，在图2的实施例中，在Vpre与VT1之间的电势差大于在连续像素门限之间的电势差(例如Vpre-VT1>VT3-VT4)，但是在其它实施例中，所有步进相等。选择VT1使得Vpre-VT1>VT3-VT4，减少了例如暗噪声在对IP进行采样时的影响。在图2的实施例中的在VT7与Vfloor之间的电势差也可以大于在连续像素门限之间的电势差(例如VT7–Vfloor>VT3-VT4)。最后，取代线性门限间距，给定的实施例可以指数地间隔门限，例如其中每个门限间距是下面的门限间距的两倍。对于累加多个ADC采样以形成图像的系统，指数间距在累加之前被转换成线性值。
Vfloor表示像素饱和门限，光电二极管65的负极电压在该像素饱和门限处不再响应于光子撞击而线性地放电。对于在线性灵敏度区域90内的像素信号，在图表95中示出像素信号向数字值的转换。应当注意可检测光子撞击的最大数目(即像素饱和点)与光电二极管的电容、因此与它的物理尺寸成比例。因而，在传统传感器设计中，光电二极管覆盖区取决于在给定的应用中需要的动态范围，而未随着缩减的工艺几何形状明显地伸缩。
在捕获图像期间，在一个实施例中，IP列50和IP阵列40中的每个其它列中的给定的一行或者多行的IP被连续地采样，并且与每个IP关联的像素信号使用与每列关联的一个或者多个ADC而转换成数字值。在图像捕获时段期间累加(如以下说明的那样在一些实施例中有条件地)和存储ADC输出的数字值。可以在图像传感器系统中使用除了图2中所示IP类型和配置之外的其它IP类型和配置。例如可以使用与晶体管70、72和74不同的晶体管布置。此外，虽然在图2中示出与IP列50结合的一个ADC 85，但是在其它实施例中，可以每IP列使用多于一个ADC，其中不同ADC组服务于ADC列的阵列行的不同区段。以下更详细地描述附加ADC(以读取电路的形式)和IP组合。最后，ADC的输出(例如在图2的实施例中的Pix[2:0])可以是任何多位长度，并且可以与以任何方式在Vpre与Vfloor之间分布的任何数目的门限关联。
具有多位采样和有条件重置的图像传感器系统
图3图示根据一个实施例的配置为将像素信号转换成多位数字转换的示例图像传感器读取电路。图3的实施例图示IP 100、IP存储器116和读取电路110，该读取电路包括ADC/比较器电路112(下文为“ADC/比较器”)和加法器114。应当注意在其它实施例中，图3的模块可以包括附加、更少和/或不同部件。例如可以实施ADC/比较器为分离部件，并且加法器可以位于读取电路外部。
IP 100表示图像传感器中的IP，并且可以是例如图2的IP 60。IP 100例如从外部控制逻辑接收一个或者多个控制信号。控制信号可以例如通过将IP重置成Vpre并且启用IP的光敏单元暴露于光以导致存储相对于Vpre的电荷，来使IP能够开始图像捕获。相似地，控制信号可以例如通过在经过图像捕获时段之后禁用IP的光敏元件暴露于光，来使IP能够结束图像捕获。控制信号还可以启用IP输出像素信号以及随后读取电路将像素信号转换成表示像素信号的数字值(本文中称为“对IP进行采样”或者“对像素信号进行采样”)。如以上描述的那样，像素信号可以是积分的电荷的表示(例如源跟随器电压、放大的电压或者具有与积分的电荷成比例的分量的电流)。
IP 100例如从外部控制逻辑接收重置信号。重置信号例如在图像捕获时段开始时将IP存储的电荷重置成Vpre。IP还从ADC/比较器112接收有条件重置信号(在一些电路中使用公共电路来供应有条件重置和初始重置)。有条件重置信号例如在图像捕获时段期间响应于像素信号在IP被采样时超过采样门限，而重置IP存储的电荷。应当注意在其它实施例中，从不同实体接收有条件重置信号。在一个实现方式中，ADC/比较器可以确定像素信号超过采样门限，并且可以使外部控制逻辑能够向IP输出有条件重置信号；在这样的实施例中，重置信号(按行信号)和有条件重置信号(按列信号)可以被IP AND以启动所有重置。为了简化，其余描述将限于其中ADC/比较器向IP提供有条件重置信号的实施例。
读取电路110例如从外部控制逻辑接收门限信号、采样信号(或者“采样启用信号”)、比较信号(或者“比较启用信号”)、残值信号(或者“残值启用信号”)和重置信号，并且从IP 100接收像素信号。与IP 100对应的IP存储器元件116接收读出信号，该读出信号选择它用于由加法器114读出/写入和用于外部读出。ADC/比较器112响应于接收一个或者多个采样信号对IP 100进行采样。在图像捕获期间，ADC/比较器在各种采样区间、例如周期性地或者根据预定义的采样区间模式(本文中称为“采样策略”)接收采样信号。备选地，ADC/比较器接收的采样信号可以包括采样策略，并且ADC/比较器可以被配置为基于采样策略对IP进行采样。在其它实施例中，IP接收一个或者多个采样信号，并且基于接收的采样信号输出像素信号。还在其它实施例中，独立于接收的采样信号，IP周期性地或者根据采样策略输出像素信号，或者ADC/比较器周期性地或者根据采样策略对像素信号进行采样。ADC/比较器可以在对来自IP的像素信号进行采样之前请求来自IP的像素信号。
在对IP进行采样期间，ADC/比较器112从IP接收像素信号并且将像素信号转换(可选地在一些实施例中基于像素信号超过采样门限)成表示像素信号的多位数字值。如果像素信号超过采样门限，则ADC/比较器输出用于重置在IP存储的电荷的有条件重置信号。如果像素信号未超过采样门限，则ADC/比较器未输出用于重置在IP存储的电荷的有条件重置信号。采样门限可以在图像捕获期间变化并且经由门限信号来接收，或者可以被预定或者预设用于给定的图像捕获。可以在多个图像捕获期间使用一个采样门限，不同采样门限可以用于不同图像捕获，以及可以在单个图像捕获期间使用多个采样门限。在一个实施例中，采样门限响应于检测到的改变的光条件而变化(例如采样门限可以响应于低光条件而减少并且可以响应于高光条件而增加)。
在一个实施例中，采样门限是模拟信号门限。在这一实施例中，ADC/比较器112包括模拟比较器，并且比较像素信号与采样门限以确定像素信号是否超过采样门限。如果像素信号包括表示IP 100存储的电荷的电压，那么如果像素信号低于采样门限则超过采样门限。使用图2的实施例作为示例，如果ADC/比较器的采样门限是门限4，那么仅如果像素信号包括比与门限4关联的电压更低的电压，则像素信号将超过采样门限。
在一个实施例中，采样门限是数字信号门限。在这一实施例中，ADC/比较器112包括数字比较器，并且先将像素信号转换成表示像素信号的数字值。ADC/比较器然后比较数字值与采样门限以确定像素信号是否超过采样门限。使用图2的实施例作为示例，对于采样门限“101”，如果ADC/比较器将像素信号转换成数字值“001”(指示像素信号在门限1与门限2之间)，则像素信号未超过采样门限，并且不输出有条件重置信号。然而，如果ADC/比较器将像素信号转换成数字值“110”(指示像素信号在门限6与门限7之间)，则像素信号超过采样门限，并且输出有条件重置信号。
在另一实施例中，采样门限是可以在完成像素信号的数字转换之前评估的数字信号门限。这可以在一些实施例或者使用情况下有利于通过避免不需要的ADC操作来允许对像素的更快有条件重置和/或功率节省。例如在逐次逼近寄存器ADC的情况下，多个时钟周期用来分辨像素信号的数字表示。第一时钟周期分辨最高有效位，第二时钟周期分辨下一最高有效位，等等直至已经分辨所有位位置。使用图2的实施例作为示例，对于采样门限“100”，可以在第一SAR ADC时钟周期之后分辨对是否满足门限的确定。对于采样门限“110”，可以在第二SAR ADC时钟周期之后分辨对是否满足门限的确定。对于具有例如6或者8位的位深度的实施例，在一个或者两个转换周期之后进行重置确定可以导致显著的时间/功率节省，这可以通过选择具有为零的一个或者多个LSB的采样门限来实现。
在一个实施例中，按行比较信号被供应到每个ADC/比较器“比较”信号输入，并且信令ADC/比较器关于用于执行比较的适当时钟周期。在比较信号被确立(assert)时，基于模数转换的当前状态执行比较。如果用于ADC/比较器112的比较满足门限，则有条件重置信号被确立到IP 100和加法器114，并且SAR ADC继续转换像素信号。如果未满足门限，则有条件重置信号未被确立，并且可以与比较信号结合用来门控SAR ADC的时钟信号以终止转换。
ADC/比较器112向加法器114输出表示ADC/比较器接收的像素信号的数字值(本文中称为“数字转换”)。ADC/比较器112可以响应于与数字转换关联的像素信号超过采样门限而输出数字转换。有条件重置信号可以用作用于信令加法器114加载数字转换并且将它添加到与IP 100对应的IP存储器116位置(在这一实施例中由读出线的地址选择从多个这样的位置选择与IP 100对应的IP存储器116位置)的启用。在其它实施例中，ADC/比较器在IP100的每个采样期间输出数字转换，而无论与数字转换关联的像素信号是否超过采样门限。在这些实施例中，加法器可以被配置为累加与超过采样门限的像素信号关联的数字转换，并且忽略与未超过采样门限的像素信号关联的数字转换。备选地，如果门限在图2中例如被设置成“001”，则加法器可以每当IP 100被读取时无条件地将数字转换添加到IP存储器116，而仍然产生正确结果。
在一个实施例中，ADC/比较器112还响应于接收残值信号确立而输出数字转换(而比较信号未被确立)。残值信号确立与图像捕获的结束关联，并且启用ADC/比较器以向加法器114输出完全数字转换而无论与数字转换关联的像素信号是否超过采样门限，并且确立有条件重置。残值信号可以防止丢失与IP 100接收的光关联、但是在曝光时段结束时未超过门限的图像信息。如果表示这样的接收光的像素信号未超过采样门限，则ADC/比较器另外可以不输出与像素信号关联的数字转换，并且IP存储的电荷将未被有条件重置信号重置(这还通过确立残值信号来触发)。在其中ADC/比较器向加法器输出数字转换而无论与数字转换关联的像素信号是否超过采样门限的实施例中，加法器可以接收残值信号，并且可以被配置为响应于接收在捕获时段结束时接收的像素信号而累加与信号关联的数字转换。
加法器114被配置为累加在捕获时段期间接收的数字转换。如以上讨论的那样，在其中ADC/比较器112仅如果与数字转换关联的像素信号超过采样门限则输出数字转换的实施例中，加法器将所有接收的数字转换(包括ADC/比较器响应于接收残值信号而输出的附加数字转换)累加到IP存储器116中。在其中ADC/比较器输出与每个接收的像素信号关联的数字转换的实施例中，加法器仅将与超过采样门限的像素信号关联的数字转换加上ADC/比较器响应于接收残值信号而输出的数字转换累加到IP存储器116中；这样的实施例要求加法器了解像素信号何时超过采样门限和何时接收残值信号，并且为了简化的目的本文中未进一步加以讨论。
加法器114例如从外部控制逻辑接收重置/添加控制信令。响应于接收重置信号(例如在图像捕获时段开始时)，累加器将所有零存储到选择的IP存储器位置116接收的数字转换的累加作为图像数据。加法器还接收重置信号并且重置接收的数字转换的累加。
在备选实施例中，加法器位于读取电路110外部。例如ADC/比较器可以向通向供应累加功能的分离电路的数字信道(例如与来自其它ADC的其它转换复用)输出转换流。在这样的情况下，ADC/比较器还必须输出可以是0的用于“无转换”的符号。一个可能性是数字信道接口(例如图4中的PHY 134)中的电路对数字转换进行编码以减少带宽。在一个实施例中输出“无转换”为“00”，输出超过上门限的ADC转换为“01”，并且输出所有其它ADC转换为“1xxxxxx”，其中x表示ADC转换的分辨的位之一，并且x位置的数目等于ADC的位深度。
在一个实施例中，IP被配置为在相同线上输出像素信号并且接收有条件重置。在这一实施例中，IP和ADC/比较器112交替地在共享线上驱动像素信号和有条件重置。例如IP可以在采样时段的第一部分期间在共享线上输出像素信号，并且可以在采样时段的第二部分期间在共享线上接收有条件重置。最后，ADC/比较器可以在共享线上接收门限信号、采样信号和残值信号。例如ADC/比较器可以在图像捕获开始时接收门限信号，可以贯穿图像捕获时段接收采样信号，并且可以在图像捕获时段结束时接收残值信号。还应当注意IP接收的重置信号可以是累加器114接收的相同重置信号，并且可以在共享线上被接收。
图4图示根据一个实施例的具有多位架构的图像传感器系统的示例实施例。图4的图像传感器系统120包括图像传感器区域125、读取电路阵列130、控制逻辑132和物理信令接口134。在其它实施例中，图像传感器系统可以包括比图4的实施例中所示部件更少、附加或者不同部件(例如电路可以具有与之集成的存储器116)。图4中所示图像传感器系统可以被实施为单个IC或者可以被实施为多个IC(例如图像传感器区域和读取电路阵列可以位于分离IC上)。另外，各种部件(诸如读取电路阵列、控制逻辑和物理信令接口)可以集成于图像传感器区域125内。
出于示例的目的，假设图像传感器系统120和通信地耦合到图像传感器系统的主机IC(在图4中未示出)形成相机(例如在移动设备内的静止图像或者视频相机、紧凑相机、数字SLR相机、单独或者平台集成的网络摄像头、高清晰度视频相机、安全相机、汽车相机等)内的主要图像获取部件。图像传感器IC和主机IC可以更一般地被单独部署或者与实质上在任何成像系统或者设备内的同样或不同的成像部件一起部署，该成像系统或者设备包括而不限于度量仪器、医疗仪器、游戏系统或者其它客户电子设备、军用和工业成像系统、与运输有关的系统、基于空间的成像系统等。图像传感器系统的操作一般涉及通过使IP暴露于光、将作为曝光结果的存储电荷转换成图像数据、并且向存储介质输出图像数据，来捕获图像或者帧。
图像传感器区域125包括IP阵列127，该IP阵列包括N行(从0至N-1索引)和M列(从0至M-1索引)。物理信令接口134被配置为从主机IC(例如通用或者专用处理器、专用集成电路(ASIC)或者配置为控制图像传感器IC的任何其它控制部件)接收命令和配置信息，并且被配置为向控制逻辑132提供接收的命令和配置信息。物理信令接口还被配置为从读取电路阵列130接收图像数据并且向主机IC输出接收的图像数据。
控制逻辑132被配置为从物理信令接口134接收命令和配置信息，并且被配置为传输配置为操纵图像传感器系统120的操作和功能的信号。例如响应于接收用于捕获图像或者帧的命令，控制逻辑可以输出系列曝光信号(配置为使IP重置)和采样信号(配置为使读取电路阵列130中的读取电路对来自IP阵列127中的IP的像素信号进行采样)，从而使得图像传感器系统能够捕获图像或者帧。相似地，响应于接收用于初始化或者重置图像传感器系统的命令，控制逻辑可以输出配置为重置IP阵列中的每个IP的重置信号，从而使每个IP忽略任何累加的电荷。控制逻辑产生的控制信号标识IP阵列内的用于采样的特定IP，可以控制与IP关联的读取电路的功能，或者可以控制与图像传感器系统关联的任何其它功能。在图4中示出控制逻辑为在图像传感器区域125外部，但是如以上指出的，控制逻辑的全部或者部分可以被本地实施在图像传感器区域内。
控制逻辑132输出用于图像传感器区域125中的每个IP的控制和重置信号。如图4的实施例中所示，图像像素IP[X][Y]中的每个IP从控制逻辑接收用于重置IP的行并联Cntrl[X]信号(对应于用于每个IP的“行”选择控制信号)和行并联Reset[X]信号，其中“X”和“Y”是指IP在图像传感器区域内的坐标。虽然在任何给定IP接收的控制信号和重置信号各自如在图4的实施例中索引的那样仅为1位，但是将理解的是，仅为了简化的目的而进行这样的索引，并且这些信号在实践中可以是任何宽度或者维度。
读取电路阵列130包括M个读取电路，每个读取电路被配置为从IP阵列127中的IP列接收像素信号。应当注意在其它实施例中，读取电路阵列可以如图5中讨论的那样包括配置为从每个IP列接收像素信号的多个读取电路。像素信号总线将IP阵列中的每个IP列中的IP耦合到读取电路阵列内的与IP列关联的读取电路。每个IP被配置为向像素信号总线输出IP产生的像素信号，并且每个读取电路被配置为对来自与读取电路关联的IP列中的IP的像素信号进行采样。例如读取电路0被配置为对来自像素信号总线0的像素信号进行采样，以此类推。读取电路阵列中的每个读取电路可以迭代地对来自与读取电路关联的IP列中的IP的像素信号进行采样(例如通过在多个通行(pass)内按顺序对来自连续IP的像素信号进行采样)，或者可以根据预定非依次顺序对像素信号进行采样。在一个实施例中，读取电路可以同时对多个像素信号进行采样。虽然在图3和图4的实施例中未图示，但是读取电路可以附加地包括配置为在输出累加的数字值作为图像数据之前存储累加的值的存储器。
有条件重置总线将IP阵列127中的每个IP列中的IP耦合到与每个IP列关联的读取电路。在对来自IP列中的IP的像素信号进行采样之后，如果采样的像素信号超过采样门限，则与IP列关联的读取电路产生有条件重置信号。例如如果IP列中的IP经由将IP耦合到读取电路的像素信号总线向与IP列关联的读取电路输出像素信号，并且如果读取电路确定像素信号超过采样门限，则读取电路经由将读取电路耦合到IP的有条件重置总线向IP输出有条件重置信号，并且IP重置在IP存储的电荷。如以上描述的，像素信号总线和有条件重置总线可以被实施在共享总线中，其中Cntrl[X]使像素信号能够从行X输出到共享总线并且Reset[X]启用来自共享总线的用于行X中的像素的有条件重置，但是为了简化的目的本文中未进一步描述这样的实施例。
控制逻辑132产生用于读取电路阵列130中的读取电路的读取控制信号。读取控制信号可以控制读取电路对来自IP阵列127中的IP的像素信号的采样、采样的像素信号到数字值的转换、数字值的累加、累加的数字值的输出、以及加法器的重置。读取控制信号可以包括如图3中描述的用于读取电路阵列中的每个读取电路的门限信号、采样信号、比较信号、残值信号、读出信号和重置/添加信号。
控制逻辑132被配置为产生用于读取电路阵列130实现在图像捕获时段内捕获图像的读取控制信号。在图像捕获时段之前或者在第一次使用特定IP存储器位置以用于图像捕获时段时，控制逻辑可以产生用于使每个读取电路110的累加器重置IP存储器位置的重置。在图像捕获时段开始时，控制逻辑可以产生用于读取电路中的每个读取电路的门限信号；如以上讨论的，门限信号由每个读取电路用来确定门限，像素信号与该门限比较以用于有条件地重置与像素信号关联的IP并且累加与像素信号关联的数字值的目的。在图像捕获时段期间，控制逻辑可以产生配置为使读取电路能够对来自与读取电路关联的IP的像素信号进行采样的系列采样信号。在一个实施例中，控制逻辑根据一个或者多个采样策略产生采样信号。下面更详细地描述采样策略。在图像捕获时段结束时，控制逻辑产生残值信号，该残值信号配置为使每个读取电路能够累加表示像素信号的数字值，而无论像素信号是否超过采样门限。在图像捕获时段之后，控制逻辑产生读出信号，该读出信号配置为使每个读取电路能够输出表示超过关联采样门限的采样像素信号的累加数字值作为图像数据。控制逻辑还可以在每个图像捕获时段之后产生用于重置每个读取电路内的累加数字值的重置信号。
控制逻辑还可以被配置为产生配置为使IP和读取电路暂停和继续图像捕获的暂停和继续信号，并且产生为了控制IP和读取电路阵列中的读取电路的功能而必要的任何其它信号。对于每个读取电路，读取电路输出的图像数据是与读取电路关联的IP列中的每个IP捕获的光的数字表示。图像数据由物理信令接口接收，以用于随后向主机IC输出。
图5图示根据一个实施例的具有位于IP阵列外围的读取电路阵列的示例图像传感器系统架构。在图5的架构中，六个读取电路阵列(140a、140b、140c、140d、140e和140f)位于包括IP阵列的图像传感器区域145周围。不像图4的其中一个读取电路阵列130位于图像传感器区域125的一侧的实施例，图5的读取电路阵列140位于图像传感器区域145的所有侧上。读取电路阵列可以位于还包含图像传感器区域的IC内，或者可以位于一个或者多个分离IC上。例如每个读取电路阵列可以位于图像传感器IC的外围上，或者可以位于与图像传感器IC相邻定位的专用读取电路阵列IC中。
在先前图4的实施例中，读取电路阵列130中的每个读取电路耦合到IP阵列127中的IP列。在图5的实施例中，每个读取电路阵列140x耦合到来自图像传感器区域145的部分行和部分列的六个IP的集合。例如读取电路阵列140a耦合到IP1、IP2、IP3、IP7、IP8和IP9。每个读取电路阵列140x包括一个或者多个读取电路。在一个实施例中，每个读取电路阵列包括6个读取电路，其中读取电路阵列中的每个读取电路耦合到一个IP。在这样的实施例中，每个读取电路仅对它耦合到的IP进行采样。更通常地，每个读取电路将由包括大量行和一列或者多列的IP块共享。虽然在图5的实施例中未图示控制逻辑，但是每个读取电路阵列可以耦合到通用控制逻辑，或者各自可以耦合到专用控制逻辑。另外，虽然在图5的实施例中未图示物理信令接口，但是每个读取电路阵列可以经由公共总线向公共物理信令接口输出图像数据，或者可以经由专用总线向耦合到每个读取电路阵列的专用物理信令接口输出图像数据。
图6a图示根据一个实施例的在示例两层图像传感器系统架构中的像素阵列IC的俯视图。图6a的像素阵列IC包括包围IP阵列的外围电路162。IP阵列包括行控制电路164和四个IP行组(IP行组0至3)。每个IP行组是阵列的宽度并且包括阵列中的行的四分之一，并且行控制电路提供IP的操作所必需的控制和重置信号(例如，配置为使IP被启用用于重置和被选择用于读出的信号，以及本文中讨论的任何其它信号)。
图6b图示根据一个实施例的在示例两层图像传感器系统架构中的预处理器IC的俯视图。图6b的预处理器IC包括包围读取电路阵列的外围电路172。读取电路阵列包括物理信令接口175(其可以备选地在像素阵列IC 160上)、读取控制电路176、四个读取电路阵列(读取电路阵列0至3)和随附存储器组0A/B、1A/B、2A/B和3A/B。每个读取电路阵列包括连接到关联存储器组中的对应行的一个或者多个读取电路(包括用于每个IP列的ADC、加法器和重置逻辑)。在像素阵列IC的IP行组中选择特定IP行时，在预处理器IC上选择对应存储器组中的对应行。
图6c图示根据一个实施例的在示例两层图像传感器系统架构中的图6a的像素阵列IC和图6b的预处理器IC的横截面。在图6c的实施例中，像素阵列IC 160位于预处理器IC170上方，使得像素阵列IC的底表面耦合到预处理器IC的顶表面。微透镜阵列180和滤色器阵列182位于像素阵列IC上方。经由像素阵列IC布线184和预处理器IC布线186耦合像素阵列IC和处理器IC。通过使像素阵列IC位于预处理器IC上方，增加了图像传感器系统中有能力捕获光的裸片尺寸和表面积百分比。例如在包括IP阵列和一个或者多个读取电路阵列的单层IC架构中，单层IC的包括一个或者多个读取电路阵列的部分没有能力捕获光；这样的实施例降低了用来捕获在单层IC上入射的光的硅裸片的百分比。这要求相机模块覆盖区大于透镜和成像阵列，并且增加了相机模块的成本和尺寸。相比之下，图6c的实施例的顶层不包括读取电路阵列，因此顶部单层IC的裸片尺寸被近似地减少成IP阵列的尺寸。在顶层上入射的光穿过微透镜阵列和滤色器阵列、由IP阵列中的IP捕获，并且表示捕获的光的信号经由像素阵列IC布线和预处理器IC布线由读取电路阵列采样。
图7图示根据一个实施例的诸如图3的读取电路之类的图像传感器读取电路的操作。在图7的示例实施例中，在16个采样区间的过程内捕获图像。在图像捕获时段期间，图7的示例实施例的ADC将像素信号转换成5位数字值，并且累加器将5位数字值累加成9位数字值。另外，在图7的实施例中，ADC将接收的像素信号转换成表示像素信号的数字值，使得IP检测到的每个附加光子导致数字值增加一。例如如果IP在被重置之后检测到5个光子，则IP产生的像素信号将被ADC转换成值“00101”。应当强调在其它实施例中，ADC将接收的像素信号转换成表示像素信号的数字值，使得IP检测到的多个附加光子导致数字值增加一。在图7的实施例中，像素信号是模拟电压，并且因此为了简化的目的而在图7中未示出。
在图像捕获时段开始时(采样区间0)，接收配置为配置读取电路的IP为被重置并且开始曝光的控制信号。在图7的实施例中，“开始曝光”控制信号还将在与IP对应的存储器元件存储的值重置成零。此外，接收用于将用于读取电路的采样门限设置于与20个光子等效的像素信号的门限信号。
在第一采样区间期间，IP检测到4个光子。IP然后产生表示响应于检测到4个光子而等效地由IP内的光敏元件收集的电荷的像素信号，并且ADC将这一像素信号转换成数字值“00100”。由于4个检测到的光子未触发20个光子的采样区间(“10100”)，所以累加器未累加数字值“00100”，并且IP存储的电荷未被耗散(IP未被重置)。注意列“光子(检测-累加)”首先指示IP在特定采样区间期间检测到的光子数目，并且其次指示自从IP的上次有条件重置起的累加的光子数目。
在采样区间2期间，IP检测到7个附加光子。IP存储的电荷从响应于在采样区间1期间检测到4个光子而产生的电荷增加成响应于检测到11个累加的光子(在采样区间1期间的4个光子和在采样区间2期间的7个光子)而产生的电荷。IP响应于存储的电荷而产生的像素信号被转换成数字值“01011”。由于总计11个光子未触发20个光子的采样门限，所以累加器未累加数字值“01011”，并且IP未被重置。相似地，在采样区间3期间，IP检测到2个附加光子，并且IP存储的电荷增加成响应于检测到13个累加的光子(在采样区间1期间的4个光子、在采样区间2期间的7个以及在采样区间3期间的2个)而产生的电荷。IP响应于这一增加的存储的电荷而产生的像素信号被转换成数字值“01101”。由于累加的13个光子未触发20个光子的采样门限，所以累加器未累加数字值“01101”，并且IP未被重置。
在采样区间4期间，IP检测到11个附加光子。IP存储的电荷增加成与检测到24个累加的光子(在采样区间1期间的4个、在采样区间2期间的7个、在采样区间3期间的2个以及在采样区间4期间的11个)等效的电荷。IP响应于存储的电荷而产生的像素信号被转换成数字值“11000”。由于累加的24个光子超过20个光子的采样门限，所以加法器将数字值“11000”累加到用于IP的存储器元件中，并且IP被重置。
在采样区间5期间检测到的14个光子未超过20的采样区间，ADC产生的数字值“01110”未被累加，并且IP未被重置。在采样区间6期间检测到的8个光子导致IP累加检测到22个光子(在采样区间5期间的14个光子和在采样区间6期间的8个)，并且加法器累加数字值“10110”(导致向存储器元件中的总累加值“000101110”)，并且IP被重置。
对于16个采样区间中的每个采样区间重复这一过程。ADC在采样区间10、14和15期间产生的数字值都响应于IP检测到的累加的光子数目超过20个光子的采样门限而被累加。因而，对于跟随这些区间的采样区间(采样区间11、15和16)，IP被重置。在采样区间16期间，IP检测到19个光子，这未超过20个光子的采样门限。此外，在采样区间16期间，接收配置为指令累加器累加ADC产生的数字值(残值190“10011”)的残值信号。因而，加法器将值“10011”累加到存储器元件中的维持的累加值“001111011”，以产生图像数据195“010001110”。最后，在采样区间16期间接收重置信号，这使读取电路能够输出图像数据，并且这在输出图像数据之后将ADC输出的和在累加器存储的值重置为零。
图8图示根据一个实施例的在图像捕获系统中的像素信息流动。在图像捕获时段的过程期间，IP 200检测光子并且向读取电路输出像素信号202。作为响应，读取电路204将接收的像素信号转换成表示接收的像素信号的数字值，并且对于与超过采样门限的像素信号关联的每个数字值，累加数字值并且重置IP。在图像捕获时段之后，输出累加的数字值作为图像数据206。
后处理模块208接收图像数据206并且对图像数据执行一个或者多个处理操作以产生处理的数据210。在一个实施例中，响应函数可以用于根据期望响应来变换图像数据206。例如可以基于IP检测到的光的强度用线性函数或者对数函数来变换图像数据。处理的数据然后被存储在存储器212中，以用于后续取回和处理。IP 200、读取电路204、后处理模块和存储器可以位于IC内或者可以位于分离的耦合的IC内。
图9图示根据一个实施例的用于由诸如图3的读取电路之类的图像传感器读取电路使用的各种时间采样策略。在图9的实施例中，在与16个时间单位等效的图像捕获时段220内捕获图像。对于三个所示采样策略中的每个采样策略，“x”指示读取电路对给定IP的采样。
在采样策略1中，读取电路在16个时间单位中的每个时间单位之后对IP进行采样。在采样策略2中，读取电路在每4个时间单位之后对IP进行采样。由于采样策略2中的读取电路比采样策略1中的读取电路更不频繁地对IP进行采样，采样策略2中的IP比采样策略1中的IP更可能饱和。然而，为了实施采样策略2(总计4个采样)而需要的资源(处理、带宽和功率)可以低于为了实施采样策略1(总计16个采样)而需要的资源，因为采样策略2中的读取电路以采样策略1中的读取电路的仅25％频繁地对IP进行采样。
在采样策略3中，读取电路在时间单位1、2、4、8和16之后对IP进行采样。采样策略3的采样的指数间距提供短采样区间(例如在时间单位0与时间单位1之间的采样区间)和长采样区间(例如在时间单位8与时间单位16之间的采样区间)。允许短和长采样区间二者保留了采样策略1的动态范围而采样与采样策略2几乎一样少(用于采样策略3的5个采样比对用于策略采样2的4个采样)。在图9中未示出的其它采样策略也可以由本文中描述的图像传感器系统中的读取电路实施。根据曝光区间的总长度或者其它依赖于景物或者用户的因素，可以选择不同采样策略以满足期望的功率、SNR、动态范围或者其它性能参数。
具有非破坏性门限监视的高NSR图像传感器
尽管图2中所示三晶体管(3T)像素架构适合用于许多应用，但是具有在光电二极管与源跟随器之间(即在图2中的光敏元件65的节点“VDET”和元件74之间)设置的“传输门”的四晶体管(4T)设计提供许多优点。首先，在源跟随器的栅极处的现在隔离的浮置扩散可以被重置(例如耦合到VDD)而未扰动光电二极管的电荷状态，由此实现相关双采样(CDS)操作，其中浮置扩散的本底噪声在电荷积分之前被采样、并且然后从光电二极管电势的后续采样中被减去，从而抵消噪声并且显著地提高SNR。有悖直观地，另一优点是更紧凑的像素设计，因为在光电二极管与源跟随器之间的切换连接(即经由传输门)使源跟随器、重置和访问晶体管能够在多个光电二极管之间被共享。例如仅需要七个晶体管来实施具有共享的源跟随器、重置晶体管和访问晶体管(即四个传输门加上三个共享的晶体管)的四个“4T”像素的集合，因此实现每像素平均1.75个晶体管(1.75T)。
在像素读出方面，在3T像素中的光电二极管与源跟随器之间的直接连接允许读出光电二极管的电荷状态而未扰动进行中的光电荷积分。这一“非破坏性读取”能力在上面描述的有条件重置操作的上下文中特别地有利，因为3T像素可以在积分区间之后被采样、并且然后如果采样操作指示电荷电平保持在预定门限以下则被有条件地允许继续对电荷进行积分(即未被重置)。对照而言，作为4T像素读出的部分的在光电二极管与浮置扩散之间的电荷传送扰动光电二极管的状态，从而呈现对于有条件重置操作的挑战。
在下面结合图10至图14描述的若干实施例中，以如下方式操作修改的4T像素架构，该方式将重置门限从像素采样生成去关联，以实现非破坏性(并且仍然CDS)过门限确定。也就是说，取代读出在光电二极管内累加的净电荷电平(即像素采样操作)并且基于该读出有条件地重置光电二极管(即如在3T像素采样操作中那样)，执行预备过门限采样操作，以实现检测在光电二极管内的过门限状态，其中根据预备过门限检测结果有条件地执行完全光电二极管读出(即像素采样生成)。在效果上，取代根据从完全光电二极管读出而获得的像素值来有条件地重置光电二极管，完全光电二极管读出以对是否已经超过门限的预备和主要非破坏性确定的结果为条件；一种在至少一个实施例中通过将有条件重置门限从像素值生成去关联来实现的方式。
图10图示本文中称为“渐进读出像素”的修改的4T像素250的实施例，其中执行非破坏性过门限检测操作以与相关双采样结合实现有条件重置操作。如下面更充分说明的那样，过门限检测涉及到光电二极管状态的有限读出，该光电二极管状态在被确定为指示过门限条件时将触发光电二极管状态的更完整读出。也就是说，像素250在从有限过门限检测读出到完整读出(后者根据过门限检测结果而是有条件的)的行进中被读出，并且因此本文中称为渐进读出像素。
仍然参照图10，渐进读出像素250包括在光电二极管260(或者任何其它实用光敏元件)与浮置扩散节点262之间设置的传输门251和在传输门行线(TGr)与传输门251的控制端子(例如栅极)之间耦合的传送使能晶体管253。传送使能晶体管253的栅极耦合到传输门列线(TGc)，从而在TGc被激活时，TGr上的电势(减去任何晶体管门限)经由传送使能晶体管253被施加到传输门251的栅极，因此使在光电二极管260内累加的电荷能够被传送到浮置扩散262并且由像素读出电路感测。更具体而言，浮置扩散262耦合到本身在供应轨(在这一示例中的VDD)与读出线Vout之间耦合的源跟随器255(放大和/或电荷到电压转换元件)的栅极，以使表示浮置扩散电势的信号能够输出到在像素以外的读出逻辑。
如图所示，行选择晶体管257被耦合在源跟随器与读出线之间，以实现相应像素行对读出线的复用访问。也就是说，行选择线(“RS”)耦合到在相应像素行内的行选择晶体管257的控制输入，并且在独热(one-hot)基础上被操作，以一次选择用于感测/读出操作的一行像素。还在渐进读出像素内提供重置晶体管259，以使浮置扩散能够可切换地耦合到供应轨(即在重置门线(RG)被激活时)并且因此被重置。通过并行地完全接通传输门251(例如通过在TGr为高之时确立TGc)和重置晶体管259或者通过简单地将光电二极管连接到重置状态浮置扩散，光电二极管本身可以与浮置扩散一起被重置。
图11是图示在图10的渐进读出像素内的示例性像素周期的定时图。如图所示，像素周期被拆分成与为了在最后两个阶段中产生最终渐进读出而执行的不同操作对应的五个区间或者阶段。在第一阶段(阶段1)中，在光电二极管和浮置扩散内通过在TGr、TGc和RG线上并行地确立逻辑高信号以接通传送使能晶体管253、传输门251和重置晶体管259，由此经由传输门251、浮置扩散262和重置晶体管259将光电二极管260可切换地耦合到供应轨，来执行重置操作(所示序列可以开始于无条件重置、例如在帧开始时，并且还可以从先前有条件读出/重置操作开始)。为了结束重置操作，降低TGr和RG信号(即在同样命名的信号线上施加的信号)、由此关断传输门251(以及感测门和重置晶体管)，从而光电二极管被使能以在随后积分阶段(阶段2)中响应于入射光累加(或者积分)电荷。最后，虽然行选择信号在图11中所示的重置操作期间变高，但是这仅为实现方式特有行解码器的结果，该行解码器无论何时与行特有操作(例如在涉及给定的行的重置期间升高TGr和RG信号)结合对给定的行地址进行解码时都升高行选择信号。在备选实施例中，行解码器可以包括用于在如图11中的虚线RS脉冲所示的重置期间抑制确立行选择信号的逻辑。
在积分阶段结束时，浮置扩散被重置(即，通过用脉冲发送RG信号以将浮置扩散耦合到供应轨)，并且然后由在列读出电路内的采样和保持元件采样。后一个操作在效果上对浮置扩散的噪声电平进行采样，并且在所示实施例中通过确立用于感兴趣的像素行(即RSi选择的第“i”像素行)的行选择信号同时用脉冲发送重置状态采样和保持信号(SHR)以经由读出线Vout向在列读出电路内的采样和保持元件(例如开关访问的电容元件)传达浮置扩散的状态来执行。
在阶段3中获取噪声采样之后，在阶段4中通过与接通传送使能晶体管253(即通过确立逻辑高TGc信号，但是在这一实施例中，TGc已经接通)同时地将TGr线升高至部分地接通“过门限检测”电势VTGpartial来执行过门限检测操作。通过图12和图13中用图表图示的这一操作，VTGpartial被施加到传输门251的控制节点以将传输门切换成“部分接通”状态(“TG部分接通”)。参照图12和图13，在光电二极管260(在这一示例中的pinned光电二极管)、传输门251和浮置扩散262的对应示意横截面图下方示出用于它们的静电电势图。注意描绘的静电电势电平未旨在于是在实际或者仿真的器件中产生的电平的准确表示，而更确切地说是大体(或者概念)表示以举例说明像素读出阶段的操作。在向传输门251的控制节点施加VTGpartial时，相对浅沟道电势271被形成在光电二极管260与浮置扩散262之间。在图12的示例中，在过门限检测操作(阶段4)的时间在光电二极管内累加的电荷电平不足以实现经由部分地接通传输门的浅沟道电势的电荷传送。因而，由于累加的电荷电平未超过通过向传输门251的控制节点施加VTGpartial而建立的溢出门限，所以无从光电二极管向浮置扩散的溢出，并且累加的电荷代之以保持在光电二极管内未受扰动。对照而言，在图13的示例中，累加的电荷的更高电平超过溢出门限，从而累加的电荷的部分(即，在传输门部分地接通静电电势以上的该电荷载流子子集)溢出到浮置扩散节点262中，而残留累加电荷如在272所示保持在光电二极管内。
仍然参照图11、图12和图13，在过门限阶段结束时，浮置扩散的电荷电平在信号状态采样和保持元件内被采样和保持(即响应于确立信号SHS)，以产生将相对于有条件重置门限而被估算的门限测试采样——在信号状态采样与先前获得的重置状态采样之间的差值。在一个实施例中，有条件重置门限是设置或者编程为在采样本底噪声以上的设置、但是低到足以实现经由浅传输门沟道检测微小电荷溢出的模拟门限(例如将使用感测放大器响应于比较选通信号来与模拟门限测试采样比较)。备选地，门限测试采样可以响应于确立转换选通信号而被数字化(例如在还用来生成最终化像素采样值的模数转换器内)，并且然后与同样设置于本底噪声以上(或者编程为在本底噪声以上的设置)、但是低到足以实现检测痕量电荷溢出的数字有条件重置门限比较。在任一情况下，如果门限测试采样指示无可检测溢出出现(即门限测试采样值小于有条件重置溢出电荷门限)，则光电二极管被视为在图12中所示欠门限状态，并且TGc线在随后有条件读出阶段(阶段5，最后阶段)中被保持低，以将传输门251禁用渐进读出操作的其余阶段——在效果上，禁用从光电二极管的进一步读出、并且因此使光电二极管能够对于至少另一采样区间继续对电荷进行积分而无中断。对照而言，如果门限测试采样指示溢出事件(即大于有条件重置溢出电荷门限的门限测试采样)，则TGc线在有条件读出阶段期间与向TGr线施加完全地接通“余量传送”电势VTGfull并行地被脉冲接通，由此使在光电二极管260内的电荷的余量(272)能够经由完全深度传输门沟道(273)传送到浮置扩散262，从而在阶段4中的过门限传送与阶段5中的余量传送之间，自从阶段1中的硬重置起在光电二极管内累加的电荷被完全地传送到浮置扩散，电荷在浮置扩散处可以在像素读出操作中被感测。在所示实施例中，像素读出操作通过在有条件读出阶段5期间依次用脉冲发送SHS信号和比较/转换选通来实现，但是那些脉冲中的任一个脉冲或者二者可以可选地在无过门限检测时被抑制。注意光电二极管的有条件读出(即通过与在TGr上施加VTGfull结合用脉冲发送TGc来实现)有效地重置光电二极管，而抑制有条件读出让光电二极管的积分状态未受扰动。因而，执行有条件读出操作有条件地重置光电二极管预备在后继采样区间(子帧)中重新积分，或者制止重置光电二极管以在后续采样区间中实现累计积分。因此，在任一情况下，新积分阶段在新帧中重复硬重置之前跟随阶段5，其中对于整个帧(或者曝光)区间的每个子帧重复阶段2至阶段5。在其它实施例中，在跨帧边界允许累计积分的情况下，硬重置操作可以被执行以初始化图像传感器，并且对于此后的中间时间段可以被省略。
图14图示具有渐进读出像素阵列301、定序逻辑303、行解码器/驱动器305和列读出电路307的图像传感器300的实施例。尽管示出像素阵列301为包括四行和两列共享元件像素，但是其它实施例可以包括多得多的像素行和列，以实施例如多兆像素或者吉像素图像传感器。列读出电路307(对于该列读出电路，描绘读出电路的两列)和行解码器/驱动器304可以类似地被伸缩以满足像素阵列中的像素数目。
在所示实施例中，像素阵列的每列由共享元件像素填充，其中每四个像素形成四像素单元310并且包含相应光电二极管260(PD1至PD4)、传输门251和传送使能门253，但是共享浮置扩散节点312、重置晶体管259、源跟随器255和行选择晶体管257。通过这一布置，每像素的平均晶体管计数是2.75(即11个晶体管/4个像素)，因此实现相对高效2.75T像素图像传感器。
如图所示，行解码器/驱动器305向四像素单元310的每行输出共享行选择信号(RS)和重置门信号(RG)，并且向相应传送使能晶体管253的漏极端子输出独立行传输门控制信号(TGr1至TGr4)。在其中行解码器/驱动器305增量地序列经过阵列的行(例如流水线化关于像素阵列301的行的重置、积分和渐进读出操作，使得一行在另一行之后被读出)的实施例中，行解码器/驱动器可以包括用于对于每行在适当时间确立RG、RS和TGr信号(例如关于来自定序逻辑303的行时钟合成那些信号)的逻辑。备选地，行解码器/驱动器305可以接收与RG、RS和TGr信号中的每个或者任何信号对应的单独定时信号，从而在适当时间将任何单独使能脉冲复用到选择的行的对应RG、RS或者TGr线上。在一个实施例中，行解码器/驱动器从片上或者片外可编程电压源309接收与图11、图12和图13中所示关断、部分地接通和完全地接通状态对应的传输门控制电压(即VTGoff、VTGpartial、VTGfull)，从而例如如图11中所示在确定性时间将不同控制电压中的每个控制电压可切换地耦合到给定的传输门行线。在备选实施例中，可以在图像传感器300内提供多于一个电压源309以使传输门控制电压能够被本地校准，并且因此补偿跨像素阵列的控制电压和/或性能变化(即非均匀性)。
仍然参照图14的实施例，列读出电路307包括读出电路315的组块，每个读出电路实施数字门限比较器和相对低位深度模数转换器(例如4-10位ADC，但是可以运用更低或者更高位深度ADC),以分别执行结合图11至图13讨论的过门限检测和有条件采样操作。在一个实施方式中，门限比较器和ADC由分离电路实施，从而可以生成像素采样值而未考虑在过门限确定中应用的有条件重置门限。通过这一方式，有条件重置门限从在ADC转换中使用的参考信号(“ADC Vref”)被去关联，从而使有条件重置门限和ADC参考电压自由，以在传感器操作期间或者之前被独立地动态调整(例如通过对门限参考生成器重新编程)，以实现校准和/或补偿变化的操作条件或者次优成像结果。在备选实施例中，可以实施门限比较器作为ADC的部分(例如使用结合分辨数字采样值所应用的参考作为有条件重置门限)，从而可能通过更紧凑电路设计来减少列读出逻辑的覆盖区。
在所示实施例中，定序逻辑向列读出逻辑递送列时钟、采样和保持选通(SHR、SHS)和比较/转换选通，以启用例如图11中所示操作定时。也就是说，在过门限检测阶段(即阶段3)期间，用于给定的像素列的读出电路确立TGc线(或者维持TGc线的确立)，从而在行解码器/驱动器将用于给定的像素行的TGr线切换成部分地接通电势(例如向像素行的传输门施加的VTGpartial)时，实现执行以上描述的过门限检测操作。因而，在每个读出电路内的门限比较器关于有条件重置门限评估门限测试采样的状态(在向给定的光电二极管的传输门施加VTGpartial之后，根据共享浮置扩散312的状态而生成的)，以产生二进制过门限结果。如果检测到过门限条件，则读出电路在短时间以后再次升高TGc信号(即与完全接通TGr电势(VTGfull)结合以实现有条件读出操作，从而实现将光电二极管状态完全读出到Vout上并且重置光电二极管)，并且响应于确立比较/转换选通来执行模数转换操作以产生数字化的像素采样。
具有有条件电荷恢复的相关双采样
图15图示具有在光敏元件331(例如pinned光电二极管)与门控感测节点335之间设置为实现相关双采样的传输门333的备选有条件重置像素实施例330。如图所示，感测节点335通过感测门337建立(例如在感测门下面的沟道响应于经由光门控制晶体管341施加的预充电电势VPG而形成感测节点)，并且经由感测门的栅极端子电容地耦合到源跟随器339的栅极。感测门337被设置在传输门333与重置门343之间，这如以下讨论的那样使从光电二极管331向感测节点335传送的电荷能够例如根据像素的充电电平读出是否超过有条件重置门限而(i)经由重置门343向供应电压节点340(Vdd/Vrst)放电以实现重置操作，或者(ii)经由传输门333传送回到光电二极管331上以实现进一步电荷积分。另外，在感测节点335与光电二极管331之间设置传输门实现了相关双采样操作，从而在从光电二极管的电荷传送之前和之后对感测节点进行采样，以经由源跟随器339和行选择晶体管325产生高SNR像素读出。因此，总言之，像素架构330实现对光电二极管电荷状态的低噪声相关双采样，继而根据读出结果是否指示在光电二极管331内的过门限条件而为重置操作或者电荷恢复操作(即将电荷驱动回到光电二极管上)。
图16图示在图15的有条件重置像素的像素周期内的示例性操作阶段，并且图17呈现对应定时图，该定时图示出在每个操作阶段期间生成的示例性控制信号状态。图18A至图18G图示有条件重置像素在图16和图17中所示操作阶段期间的示例性静电电势状态。参照图16和图17，在像素周期的阶段1中，通过将预充电电压源(VPG)设置成逻辑高电平并且确立行选择(RS)、传输门(TG)、光门(PG)和重置门(RG)信号(这些信号中的最后一个可以通过逻辑地AND行和列控制信号以在像素粒度启用重置来生成)来执行硬重置(361)。通过这一操作，接通传输门、感测门和重置门(感测门借助经由光门控制晶体管将感测门控制节点切换耦合到VPG来接通)以在光电二极管与供应电压轨(例如VDD或者Vrst)之间形成传导沟道。在图18A中示出有条件重置像素在重置操作期间的状态，其中在传输门、源门和重置门之下形成分别在381、383和385所示的传导沟道。
为了结束重置阶段并且预备电荷积分(即响应于在光电二极管上入射的光的电荷累加)，在传输门处开始并且朝着供应轨节点行进，来掐断在光电二极管与供应电压轨之间的传导沟道(即381/383/385)。也就是说，如图18B中所示并且通过图17中的TG、PG和RG控制信号的连续下降沿，先关断传输门，然后关断感测门，并且然后关断重置门，因此将残留电荷从缩灭沟道驱动到供应电压轨。
在结束阶段1中的光电二极管重置操作之后，贯穿积分阶段363(阶段2)将传输门、光门控制晶体管和重置门维持在非传导状态中，在积分阶段363中如图18C中的电子群体(“e”)所示，响应于入射光在光电二极管内积分(累加)电荷。
紧接地跟随积分阶段363，通过用脉冲发送光门控制信号(PG)以实现形成感测节点(即如在图18D中的391(“SN”)处所示)预备信号感测操作，并且升高行选择信号以将源跟随器的输出耦合到Vout线(即位线)，来开始读出阶段365。注意位线通过这一操作而上拉到接近Vdd，并且因此被预充电预备读出操作。在用脉冲发送光门控制信号以形成感测节点并且预充电Vout线之后，通过以下操作来执行相关双采样操作：(i)通过用脉冲发送重置状态采样和保持选通(SHR)以存储Vout线的状态，来在列读出电路的重置状态采样和保持元件内捕获重置状态采样，(ii)用脉冲发送传输门信号(TG)以在光电二极管与感测节点之间建立传导路径，并且由此实现如图18E中所示的从光电二极管向感测节点的电荷传送，并且然后(iii)用脉冲发送信号状态采样和保持选通(SHS)以在列读出电路的信号状态采样和保持元件内存储光电二极管状态的采样，并且最终(iv)用脉冲发送比较/转换信号以触发在信号状态与重置状态采样之间的差值的A/D转换。
如图16中所示，比较在读出阶段365期间获得的相关双采样结果与有条件重置门限，以确定是要重置光电二极管还是要在无光电二极管重置的情况下实现进一步积分，该备选有条件操作在阶段4中执行。更具体而言，如果采样结果超过有条件重置门限，则在像素周期的阶段4中，如在硬重置阶段1中那样通过用脉冲发送传输门、光门控制晶体管和重置门信号，来执行有条件重置367。相比之下，如果采样结果未超过有条件重置门限，则未执行重置操作(即保持RG信号低)，并且代之以通过将VPG电势降低成将电荷从感测节点驱除回到光电二极管上(即将电荷推回到光电二极管上)的电平，来执行有条件电荷恢复操作369，从而将光电二极管恢复到它的电荷传送之前的状态。在图18F(通过降低VPG而消除感测节点)和图18G(关断传输门以迫使电荷回到光电二极管上)中示出这一操作。因而，光电二极管状态根据在读出阶段中采样的光电二极管状态是否指示过门限条件，而被重置以使积分能够重新开始或者被恢复到它的电荷累加状态以实现累计积分(即继续从在阶段3电荷传送操作之前存在的光电二极管状态积分)。在任一情况下，在阶段4之后开始又一积分阶段，其中根据每帧区间的采样区间(或者子帧)的数目重复阶段2至阶段4。
图19图示有能力执行参照图16至图18G描述的有条件重置/有条件恢复操作的有条件重置像素410的更详细实施例。除了参照图15描述的光电二极管331、传输门333、感测门337、源跟随器339、光门晶体管341、重置门343和行选择晶体管345之外，有条件重置像素410包括重置使能晶体管412，用于实现列重置信号(RST)和行选择信号(RS)的逻辑AND，从而实现在行的选择的(单独)像素内确立重置门信号(RG)和将在单独像素粒度执行的重置操作。在所示的实施方式中，重置信号(RST)经由列基础信号线被竖直地(即从列逻辑)提供，并且与在切换元件412内的行选择器件逻辑地AND，以产生参照图15描述的重置门信号(RG)。通过这一布置，通过并行确立与给定的像素关联的行和列控制信号二者(行选择RS和列重置RST)并且因此在像素粒度(即可以出于像素重置操作的目的而隔离在像素阵列内的单个像素)，实现在像素410内的硬重置和有条件重置操作。因而，可以关于参照图16和图17描述的像素周期阶段单独地对像素410进行操作，因此实现用于任何单独像素的有条件重置，同时还提供在非破坏性读出中的相关双采样。这一提出的结构实现用于有条件重置像素传感器的有利读出方案，从而实现给定的像素在比从常规传感器读出而获得的信号范围明显地更宽的信号范围内的有效和准确测量。与图14的实施例相似，也可以布置图19使得多个光电二极管331和传输门333共享图19的其它像素电路。
模拟不相关双采样和数字相关双采样
图20图示有条件重置3T像素450和读出电路470的实施例，该实施例允许通过数字相关双采样和模拟不相关双采样二者来对噪声减少进行采样。如图所示，3T像素包括光电二极管451、源跟随器453、读取-选择晶体管455和包括两个晶体管457和459的重置-AND门，该重置-AND门用于执行行选择和列重置信号的逻辑AND，并且因此在那两个控制信号被确立时将光电二极管可切换地耦合到供应轨。读出电路470包括数据出线471(即耦合为经由读取-选择晶体管455接收光电二极管状态)、参考线472(即耦合到片上或者片外参考电压源)、采样和保持元件473和475、ADC 477、选择性补码逻辑479和存储器481。
在模拟不相关双采样中，跟随积分区间，光电二极管状态可以：在信号采样操作中，在信号状态采样和保持元件473内被捕获(即闭合并且然后断开元件473内的开关，以对电容节点S上的电荷电平进行采样和保持)；通过并行确立列重置(“col-reset”)和行选择信号而被重置；并且然后再次被采样，以在重置/参考采样和保持元件475内对光电二极管重置状态进行采样和保持。在光电二极管的电荷累加状态与重置状态(即分别在元件473和475的存储节点S和R内捕获)之间的差值然后可以在ADC 477内被数字化，以产生最终采样值，其中系统偏移(即光电二极管的重置状态的非零但重复的部分和/或源跟随器偏移)被抵消。这样获得的双采样本文中称为“不相关”双采样，因为光电二极管重置操作在信号采样操作之后，这意味着在重置操作之后的在光电二极管451上的任何残留电荷(例如热噪声kTC)出现而未与在电荷积分区间和信号采样操作之前的先前重置中在光电二极管上的任何残留电荷相关。
在数字相关双采样操作的情况下，光电二极管451的重置状态(即紧接在并行确立行选择和列重置信号之后的光电二极管状态)可以被采样、在ADC 470内被数字化、并且在存储器元件479内被存储为形成的负值(即在去往存储器481的路上在概念上穿过选择性补码逻辑479的补码化支路480)。在积分区间发生之后，光电二极管451的电荷累加状态可以被采样、数字化和无补码地递送(即经由逻辑479的非补码化支路)到存储器481，并且最终与重置状态采样的负值求和以产生相关双采样。整个采样操作由于光电二极管451的重置和电荷累加状态的数字存储而在本文中被称为数字相关双采样。在数字相关双采样中，通过在累加之前和之后二者相对于参考进行比较来执行采样。在两种情况下，来自光电二极管的信号被存储在采样和保持电容器473上，参考被存储在采样和保持电容器475上，并且ADC测量在这两个采样和保持电容器中存储的采样之间的差值。
图21是图示数字相关双采样操作与一个或者多个模拟不相关双采样操作的组合的流程图，该组合可以被执行以实现在图20的有条件地重置3T像素和读出架构内的噪声减少的像素读出。在曝光或者帧区间开始时，在501执行硬重置操作以重置光电二极管预备光子感应的电荷积分，继而在530是关于(例如经由图2中的参考线472递送的)参考信号对光电二极管重置状态的采样。在505处，所得“相对于参考的采样”在存储器内被存储为负值(即穿过逻辑479的补码化支路)(等效地，在503取得的采样可以被存储为正值，并且然后在以后被召回用于与第二采样相减)。在积分时段发生(507)之后，在509再次关于参考对光电二极管状态进行采样。如果紧接地结束的积分时段是固定帧区间的最后积分时段(在511的肯定确定)，则在521向存储器添加在509获取的采样，以实现数字相关双采样(即建立(或者实现确定)在505存储的负重置状态采样与在521存储的正累加电荷采样之间的差值)。如果在507的积分时段不是在曝光区间中的最后积分时段(在511的否定确定)，则在判定操作513中比较在509获取的采样与有条件重置门限(θ)。如果采样指示在光电二极管内的累加电荷小于门限(在513的否定确定)，则重复在507、509和511的操作以允许通过另一积分时段在光电二极管内继续电荷累加(即无光电二极管重置)，并且继而再次为关于最后积分时段是否已经发生并且如果不是则是否已经超过有条件重置门限的确定。
仍然参照图21，如果在509获取的采样指示已经超过有条件重置门限(即累加的光电二极管电荷>θ)，则在515执行重置操作以重置光电二极管，继而为在517相对于重置电势生成信号采样。更具体而言，信号状态采样在509的紧接先前采样操作之后保持于信号状态采样和保持元件(即图20的元件473)内，从而通过将重置/参考采样和保持元件(例如图20的元件475)的输入源从参考线切换到Vout线并且在重置/参考采样和保持元件内对Vout线进行采样，先前获取的信号状态采样和新获取的重置状态采样可以被差分地(即信号状态减去重置状态)递送到模数转换器，以数字化模拟不相关双采样。在效果上，对像素状态将被重置的确定(即在513的肯定确定)触发用光电二极管重置状态采样替换在重置/参考采样和保持元件内的参考采样，因此允许生成模拟不相关双采样。
如图所示，在519向存储器添加模拟不相关双采样的数字化的值，并且然后在507开始新积分时段和随后操作。在最后积分区间，在521如以上说明的那样向存储器添加在509获取的相对于参考的采样，因此结束曝光区间。因而，假设在给定的曝光区间内执行某个非零数目(N-1)的有条件重置操作515，那么累加的采样集合将是：
其中“SS”是信号状态(即电荷累加的光电二极管的状态加上在先重置状态)采样，“RS”是重置状态采样，“Ref”是参考线状态采样，并且‘-’和‘+’分别表示减法和加法。也就是说，N-1个模拟不相关双采样操作由数字相关双采样操作夹挡(bookend)。另外，由于每个模拟不相关双采样操作本身涉及到捕获和差值化与两个不同重置操作(即在SS采样中采样的积分值之前的重置操作和在中间SS采样之后的重置操作515)关联的噪声(例如kTC噪声)，所以关于一个模拟不相关双采样而捕获的重置状态事实上与关于后续不相关双采样而捕获的信号状态相关。也就是说，通过定义SS(i)＝RS(i-1)+CI(i)来扩展以上表达式(1)，其中CI是自从上次重置操作起积分的电荷加上量化/其它非稳定噪声，产生：
该式在重新关联时可以被表达为：
因此，模拟不相关双采样操作和数字相关双采样操作的组合在效果上产生完全相关双采样操作的集合以及在积分区间开始和结束时获取的参考信号采样之间的差值，该差值在相对时间无噪声参考源的情况下可忽略不计。
图22图示图20的像素架构和读出电路的更详细实施例，该实施例示出在(1)在图21中的503和509所示相对于参考的采样操作以及(2)在图21中的517所示相对于重置的采样操作期间，在信号状态和重置/参考采样和保持元件内的示例性开关设置。如图22中所示，读出电路如同本文中公开的所有读出电路可以包括用于提供大于或者大致等于一的增益的增益元件501。还图示两个像素450(示为4500和4501)而不是一个，以示范列线互连。图23图示图20和图22中呈现的像素架构的备选实施例。如图所示，重置晶体管553和557被串联设置在光电二极管与供应电压节点之间，以形成逻辑AND门。还提供专用行重置信号(“row_rst”)，以接通/关断晶体管557，并且因此避免如果由行选择信号控制则可能以别的方式出现的热噪声注入。
在至今讨论的有条件重置图像传感器实施例中，在整个帧(或者曝光)区间内的每个非最后子帧结束时执行无条件重置操作，而在最后子帧结束时读出任何残留像素值(即累加的电荷电平，无论是否在有条件重置门限以上)。通过本文中称为“残值模式”读出的这一操作，可以使用非最后子帧读出和残值读出来为每个帧构造最后像素值(例如通过求和和参考查找表)。
参照在图24中的601所示的用于三个不同电荷累加模式的示例性残值模式读出序列，可见在极低光强度(即强度1)，在N个帧中的每个帧中累加的总电荷从未上升远在本底噪声以上，从而产生在视频帧的情况下特别地明显的相对有噪声暗像素。在明显地更亮强度2，每帧电荷累加仍然无法超过有条件重置门限(“Th”)，但是至少上升充分地在本底噪声以上，以产生合理SNR。在甚至更亮强度3，每帧电荷累加在帧结束之前不久满足有条件重置门限，但是留下往往使图像帧的总SNR下降的低值化的、并且因此低SNR的帧结束残值。
为了对比的目的，图24还图示将本文中称为帧间积分模式(IFI)或者动态范围延伸模式(DRX)的备选读出模式应用于相同三个光强度。在帧间积分模式中，取代在用于每个像素的每个帧开始时执行无条件重置，如果在上一帧读出上未超过门限，则在用于给定像素的给定帧结束时余留的积分电荷被遗留到下一帧，从而有效地延长像素被启用的最大持续时间以连续地对电荷进行积分。通过这一操作，可以经过帧序列对低水平光强度进行积分，从而上升远远高于本底噪声，以产生最终重置，或者如果帧间积分限于固定数目的帧，则至少产生有意义残值读出。例如在强度1的IFI读出的情况下，与在残值模式中获取的低SNR读出序列对比，电荷积分经过N个帧的序列继续至最终重置事件、由此产生高SNR结果。在强度2，帧间积分产生可以用来生成高SNR读出的重置事件的平稳序列，从而大体地匹配残值模式的性能。对于更高强度3，IFI方式使在每个帧结束时的小残留电荷电平能够对在下一帧中的电荷积分有贡献、因此避免低SNR残值读出的下降效果。
反思图24，可见帧间积分在效果上消除作为用于结束图像像素值的划界点的成帧边界，从而呈现关于如何鉴于未完成帧间积分而满足对于帧结束像素值生成的要求(例如在产生平稳输出帧速率的视频成像系统中)的两难困境。详细视图615图示在本文中呈现的多个实施例中运用的方式，该方式包括记录重置事件的时间戳以实现确定在给定帧N内的最后重置事件(“帧内重置”)与来自在先帧的最新近重置(“帧前”重置)之间的流逝的“帧间积分区间”(IFI区间或者IFI时段)、(ii)聚合在IFI区间期间的一个或者多个重置事件获取的像素采样值以确定在IFI区间内在像素内积分的总电荷、以及然后(iii)基于IFI区间和在该间隔内积分的总电荷估算或者预测帧结束像素值。估算帧结束像素值特别地有挑战，其中一个或者多个连续图像帧完全地无重置事件、并且因此不含用于给定像素的非零采样(例如如在图24中的强度1或者2的示例中)。在以下进一步详细地描述的多个实施例中，基于在最新近重置事件确定的像素值估算这样的帧中的像素值，并且随着上次确定的像素值老化而可能衰减该估算。
图25图示可以在静止或者视频成像系统内运用的示例性每像素帧处理方式，该处理方式利用图24中所示帧间积分方式以在低光条件中产生相对地高SNR图像。如图所示，执行两个高级操作：首先在625，如果一个或者多个帧内重置事件在事实上出现，则响应于在对象图像帧内出现的最后重置事件，生成更新的参考像素值，并且记录对应参考时间戳。然后在627，基于参考像素值和参考时间戳对于图像帧来估算输出像素值。
可以通过在631和633所示组成操作来实施在操作625内的参考像素生成和加时间戳。更具体而言，如在631所示，对于在当前帧期间表现至少一个非零读出(即指示执行了有条件重置)的每个像素，成像系统确定在最后帧内重置与最新近帧前重置之间的流逝的时间，作为IFI区间，并且还对在当前帧期间获取的所有非零读出值进行求和，以产生在IFI区间内在像素内积分的净电荷量的值，作为IFI结果(或者IFI值)。在633，基于IFI区间的持续时间和IFI结果的量值确定参考像素值(例如通过表查找和/或计算或者试探)，并且记录最后帧内重置(即最新近重置事件、并且因此IFI区间的结束)的时间戳，作为参考像素时间戳。继续与高级操作627对应的组成操作635，基于参考像素值和自从最新近重置事件起流逝的时间(即由参考像素时间戳指示)生成估算的像素值，从而相对于参考像素值衰减当前帧像素估算(并且更新参考像素值以反映新估算)，其中参考像素时间戳指示在当前帧中未获得IFI结果，并且流逝的时间指示在先帧估算所指示的光强度已经下降。以下参照图28进一步详细地描述本文中称为“滑行像素衰减”的这后一种境况。
图26图示有能力使用在图24和25中概述的帧间积分方式来生成图像帧的成像系统650的实施例。如图所示，成像系统650包括图像传感器IC 651(“成像器”)、图像信号处理器IC 653(“ISP”)和存储器IC 655。尽管描绘为分立集成电路部件，但是在备选实施例中，IC中的一个或者多个IC执行的功能可以被合并到IC中的另一IC中，和/或IC可以是在包括三维IC堆叠(3D IC)的多种不同多芯片封装中的互连的部件，其中例如成像器651的裸片被打磨(或者研磨或者以别的方式打薄)以实现背侧照射并且具有与在ISP 653和/或存储器655内的元件的接触侧互连。
在所示实施例中，成像器651向ISP 653输出原始帧数据，从而至少概念上输出读出数据的一个子帧继而另一子帧(sf0至sfm-1)，并且在每个子帧内输出读出数据的一行继而另一行(r0至rn-1)(事实上，滚动快门约束和/或用于不同行的不同时间表可以排除这样的有序方式)。在一个实施例中，成像器651和ISP 653各自采用预定子帧持续时间和行读出顺序，从而成像器无需在原始数据输出内(或者与原始数据输出关联)提供子帧或者行标识符。在备选实施例中，必要时成像器651可以用行标识符和时间戳标记原始帧数据，以说明帧数据组织。在任一情况下，ISP 653在原始帧数据缓冲器661内(在存储器655中)存储每个传入原始帧数据，例如直至可以处理数据以创建输出帧值。在一个实施例中，与接收和加载新原始帧数据到缓冲器661中并行地，ISP 653对在缓冲器661内的原始帧数据的子帧和子帧行操作，从而通过例如在成像器651建立的帧速率从成像器接收原始帧数据而流水线化新输出帧生成(“帧出”)。在备选实施例中，ISP 653可以在接收传入原始帧数据时对它的全部或者部分操作，从而如必需的那样缓冲中间数据(即部分地处理的数据)以产生最终输出帧“帧出”。
仅为了说明的目的，假设成像器651作为原始帧数据的部分而输出的每个像素值包括由十六个子帧读出分别生成的八个12位像素采样(即如以下说明的那样，在成像器651内的16x时间过采样和10位ADC，其中子帧输出中的一些子帧输出在原始子帧传输之前由成像器预求和)，从而原始帧数据缓冲器661被设定大小以允许存储每像素96位(bpp)。可以实施(或者通过产生时间或者运行时间模式寄存器编程来设置)更大或者更小的原始帧数据缓冲器以适应每帧不同子帧数目和/或不同位深度ADC实现方式或者配置。
在其中无最后帧残值读出的IFI操作模式(例如视频成像IFI模式)中，仅与过门限事件(并且因此与像素重置)结合获取的那些像素采样将是非零值。因而，至少在低光条件中，数目可观的像素采样将被零值化，从而实现芯片到芯片数据传输的明显压缩(在一些示例中，中间子帧压缩可以产生大约每像素一位的输出)。对比而言，在如图24的601所示的残值操作模式中，在每个帧的最后子帧结束时执行残值读出，从而在本示例中保证原始帧数据的至少12％(1/8)将可能非零并且不容易可压缩，因此在成像系统650内需要更高平均芯片到芯片信令带宽和存储器带宽。注意可以与静止成像IFI模式结合执行最后帧残值读出。例如，有限数目(N-1)的原始帧可以仅包括IFI数据(无残值读出)，IFI数据在如以下描述的那样被处理之后与包含最后子帧残值读出的最后(第N个)原始帧在算法上组合。N的值可以根据目前条件由成像系统操作者设置(即经由耦合到在成像系统650内的ISP 653或者另一IC的用户接口)，因此实现以用于结束静止输出图像的残值读出作为结束的贯穿N帧的连续低光累加。
除了从成像器651向原始帧数据缓冲器661中加载数据之外，ISP 653跟踪在重置时间戳缓冲器663内的用于每个像素的重置事件的上个时间戳，并且还在上个帧缓冲器655内维持最新近地输出的帧的估算的像素值(例如在所示示例中分辨成12bpp，但是可以在备选实现方式中生成和记录更高或者更低位输出像素分辨率)，这两个缓冲器中的任一缓冲器可以如图所示被实施在存储器655内或者在分离存储器元件中。如以上简要地提到和以下进一步详细地说明的，时间戳用来确定IFI区间，并且在用于滑行像素(即如下像素，在正被处理的帧内对于这些像素未确定参考像素值)的像素值估算中应用“上个帧”值。在结合图27进一步详细地说明的一个实施例中，三位时间戳代码用来区分在每个帧内的八个实际或者近似子帧结束时间，并且五位帧编号用来标识在先帧，因此产生8bpp时间戳，该时间戳分辨成在最新近32个帧内的近似子帧结束时间。可以在备选实施例中记录更大时间戳(即更多bpp)以实现更大帧历史窗和/或每帧更多时间分辨率，或者时间戳可以使用准浮点格式，其中更粗略分辨率和更大范围用来记录比32个帧更旧的时间戳。
图27图示可以在图26的成像系统内运用的示例性子帧组织和时间代码指派。如图所示，组织单独子帧(仅显式地标注其中的较长子帧sf0、sf8和sf15)，从而采样事件在时间上被聚类(例如较长子帧sf0被四个相对简短子帧sf1至sf4跟随；较长子帧sf8被四个相对简短子帧sf9至sf12跟随)，因此使两组五个子帧(sf0至sf4和sf8至sf12)的近似结束时间能够由单个相应时间戳代码表示。在这样的实施例中，成像器可以分配暂时缓冲器，以对于在给定行上的每个像素，在向ISP传输之前对sf0至sf4的结果进行求和，并且在传输之前再次对sf8至sf12的结果进行求和(在对于这一行无需缓冲器的时间期间，它可以被分配为创建用于其它行的相似求和)。由于求和操作，ISP可能不能知道五个求和的采样中的哪一个或者多个采样实际地超过用于给定像素的门限。但是由于分别在帧时间的仅2.6％和3.6％内收集这两组子帧，所以未大大地影响时间分辨率(该时间分辨率具有这些区间的仅一半的不确定性)。然而同时，求和允许将向ISP传递的原始数据子帧数目减半，而代价是在成像器上提供近似为图像阵列的1/16大小的共享求和缓冲器。通过这一设计，为了分辨子帧结束时间而需要的位数从四减少成三——在效果上，对于给定的时间戳位深度使帧历史窗的大小加倍。在备选实施例、例如成像器未聚合多个子帧的那些实施例中，子帧结束时间可以由子帧时间代码完全地分辨(例如向子帧时间代码分配的用于分辨N个子帧的log2N位)。还有，尽管描绘非均匀子帧区间(即非均匀采样区间)，但是可以在备选实施例中使用均匀采样区间。另外，尽管在以下示例中对于所有图像像素行假设相同子帧区间(无论是否均匀)，但是可以运用不同子帧区间进度(progression)和/或可以从行到行交错区间进度。在这样的实施例中，每行可以用与像素读出时间有关的相对或者绝对时间戳来标记，以允许ISP计算曝光区间。
让帧在帧的开始和结束时用相对长的子帧来定义具有若干优点。在以上描述的操作中示出一个优点——长子帧被若干短子帧跟随可以允许所有子帧在成像器上被高效地求和。第二，将短子帧放置于帧的更中心而不是在一端处可以减少具有不同色调的移动物体引起的运动伪差，从而让那些色调在帧的远距离部分被分辨。第三，将长子帧放置于短子帧之前实质上确保接收显著照射的像素将在每个短序列开始时被重置、因此增加用于高光色调的可预测性和性能。第四，将长子帧放置于帧的结束处实质上确保高光色调将在帧结束时超过门限并且被重置。由于高光色调可以存在于成像器响应曲线的非线性区域中，所以可优选的是在整数帧基础上计算这些色调，以避免附加复杂性。
图28图示用于估算用于像素的输出帧值的示例性方式，这些像素未产生非零采样值(即无重置事件)并且因此在给定的帧期间“滑行”。在所示实施例中，参考像素值被应用作为用于滑行像素的初始估算，但是可以随着参考像素值老化而被衰减。通过这一方式，将在输出帧序列中渐进地调减初始地高强度像素值(指示亮点)，对于该像素值，过门限事件突然地中止(即景物元素和/或成像平台正在移动或者光源已经移动或者被关断)。在一个实施例中，例如通过确定滑行像素可能已经达到的最大帧结束像素值(即假设像素在帧结束时处于过门限事件的风口浪尖)并且在具有参考像素值的滤波器中应用该理论最大值或者“滑行值”(即从帧到帧更新作为参考像素值的来自上个帧缓冲器的值)，来执行滤波操作。例如在一个实施例中运用无限冲激响应滤波器，但是可以使用有限冲激响应滤波器(FIR)或者任何其它滤波技术或者试探。参照图28中所示用于先前高强度、但是现在滑行的像素的估算分布图，可见在滑行第一个帧(可能加上紧接在先参考像素帧的残留部分)之后，估算的强度与滑行值一致地下降，滑行值等于有条件重置门限除以帧中流逝的时间。在滑行第二个帧之后，滑行值、并且因此经滤波的像素估算下降成更低值(即两个帧现在已经通过而无过门限事件，从而在像素内光子正被累加的理论最大速率相应地更低)，对于后续帧以此类推。正如可见的，净效果是滑行像素的估算的像素值的逐帧衰减。注意相同效果对于更低强度像素而出现，例外的是直至滑行值下降至为先前帧而估算的像素值(即最新近地更新的参考像素值)以下，才应用滑行值以对估算进行滤波。
图29图示可以由图26的ISP执行的用于实施参照图24至图28描述的帧间积分技术的示例性帧处理序列700。一般而言，ISP一次生成一行输出帧数据，并且因此在继续处理用于行i+1的数据之前，处理来自所有子帧的行i数据(即从原始帧数据缓冲器获得)。因而，ISP通过在外“行循环”中逐行推进之前，定序经过关于给定行的所有子帧，来执行内“子帧循环”。虽然未具体地示出，但是在子帧循环内执行附加“列循环”，以处理在给定行内的每个像素。这一循环在图29中由在每个行处理操作内从0至N-1(N是成像器中的像素列的数目)定序的列索引“col”暗示。
仍然参照图29，在新帧开始时，如在701所示，初始化行索引(“row”)、子帧索引(“SF”)、帧内时间戳(“FTS”)和IFI值(“IFI”)为零。随后，在703，从原始帧缓冲器读取由子帧和行索引指定的原始图像数据行。如果原始图像数据对于给定的像素为非零(即如在列循环内检测到的在705的否定确定)，则更新帧内时间戳以反映与子帧索引对应的时间代码，并且在IFI值内累加原始图像数据(即像素值)，二者如在707所示。在零值化数据(在705的肯定确定)的情况下，略过加时间戳和IFI值累加。在709评估子帧索引以确定对于当前行索引是否已经处理所有子帧。如果不是，则递增子帧索引并且重复在703、705和707的操作。
在已经处理与给定像素行对应的所有子帧之后，ISP评估IFI值，以确定是否任何过门限事件已经在处理中的帧期间出现。如果一个或者多个过门限事件已经出现(即非零IFI值、并且因此在715的否定确定)，则在717基于在帧内时间戳与参考时间戳之间的流逝的时间确定IFI区间。在所示实施例中，调用“time()”函数，以例如基于当前帧编号和子帧时间代码的元组，产生用于最后帧内重置事件的帧参考时间戳，但是可以使用其它技术。在719，在相应图像像素计算中应用用于当前像素行(即至少具有非零IFI值的那些)的IFI值和IFI区间(这可以至少部分通过如“Imap()”函数指示的表查找操作来实现)，其中每个所得图像像素值被指派为估算的输出图像像素值并且还被记录为新参考像素值。在721，指派帧参考的帧内时间戳为新参考像素时间戳。
返回到判定715，对于正在当前帧中滑行(即有零IFI值)的像素，在判定715处有肯定确定结果，继而为在725确定滑行时间(在Time(FTS[SF])返回的当前帧的结束与参考像素时间戳之间的流逝的区间)和在727确定滑行值(有条件重置门限除以滑行时间)。如果滑行值大于参考像素值(即在729的肯定确定)，则在733指派参考像素值为用于当前帧的估算的输出像素值。否则，在731，例如在混合滑行值和参考像素值的滤波操作中或者通过简单地指派滑行值为估算的输出像素值，来基于滑行值确定估算的输出像素值。
在已经为当前行记录估算的输出像素值和任何参考像素值/时间戳更新之后，在735递增行索引，并且重置子帧、帧内时间戳和IFI值预备处理下一行原始帧数据。
图30对比在有和无以上描述的帧间积分的情况下对于给定的成像器参数集而可实现的动态范围和SNR。图30还对比在有和无IFI的情况下的有效帧速率。如图所示，IFI方式表现明显地改进的动态范围，从而在这一示例中将低光灵敏度(维持15db SNR)近似地延伸四个F停止，而在更高光强度收敛成残值模式操作的动态范围分布图。尽管帧速率在残值读出中稳定(在所示示例中在60Hz帧速率为每帧每像素获取新数据)，但是在IFI方式中的有效帧速率在像素重置事件之间的流逝的时间增长时随着光强度下降。帧速率和渐近线的SNR本底的滚降取决于为了引起有条件重置像素的读出事件而需要的电荷载流子的门限数目。对于所示示例，在门限为60的情况下，在平均转换光子到达速率是每标称帧30时的用于像素的有效帧速率被减半。更高门限将使这些数目移位(例如门限256将使SNR在约24dB变平，并且使在平均转换光子到达速率为128时的帧速率减半(其中残值模式将产生近似20dB的SNR)。
在给定的实施例中，各种机制可以用来进一步定制响应曲线。例如系统可以强制在基础帧速率的给定分数、比如每六个帧的残值读出，以限制用于给定像素的帧速率减少。系统还可以使用“更软”鼓励，而未强制残值读出，比如通过使用两个门限。例如在图27的序列中，1024个光子的门限可以用于子帧0至14，而64个光子的门限可以用于子帧15，从而为帧的除了最后子帧之外的所有子帧而获得高得多的SNR读数。对于减少的帧速率像素，在过渡帧的旧和新像素值的时间组合还可以平滑向新输出值的过渡。
虽然对于视频模式操作而布局前文描述，但是相同原理可以适用于静止帧捕获。例如用户可以选择低光增强静止帧模式，其中基础快门速度定义由延长的曝光时间伴随的基础曝光时间。作为示例，1/60秒的基础快门速度就例如16个子帧而言产生16.7ms基础曝光时间，并且就例如5个附加子帧而言产生50ms延长曝光时间。对于截至基础曝光时间的结束仍然未产生门限以上读数的低光像素，允许那些像素继续积分以上升，直至延长曝光时间结束(这时为所有像素产生残值读数)。ISP基于例如用于在基础时间期间超过门限至少一次的像素的基础曝光时间、和对于用于在延长曝光时间期间第一次超过门限的像素的第一超过、以及对于用于仅产生残值读出的像素的总曝光时间，来构造图像。
附加考虑
应当注意，本文中公开的各种电路可以使用计算机辅助设计工具来描述，并且表达(或者表示)为在各种计算机可读介质中按照它们的行为、寄存器传送、逻辑部件、晶体管、布局几何结构和/或其它特性而体现的数据和/或指令。这样的电路表达可以被实施在其中的文件和其它对象的格式包括但不限于支持诸如C、Verilog和VHDL之类的行为语言的格式、支持像RTL那样的寄存器级描述语言的格式、以及支持诸如GDSII、GDSIII、GDSIV、CIF、MEBES之类的几何结构描述语言的格式、以及任何其它适当格式和语言。这样的格式化的数据和/或指令可以被体现在其中的计算机可读介质包括但不限于各种形式的计算机存储介质(例如光、磁或者半导体存储介质，无论是以该方式独立地分布，还是在操作系统中“原位”存储)。
在经由一个或者多个计算机可读介质在计算机系统内接收时，以上描述的电路的这样的基于数据和/或指令的表达可以与执行包括而不限于网表生成程序、布局和路由程序等的一个或者多个其它计算机程序结合由在计算机系统内的处理实体(例如一个或者多个处理器)处理，以生成这样的电路的物理表现的表示或者映像。此后可以在设备制作中使用这样的表示或者映像，例如通过实现生成用来在设备制作过程中形成电路的各种部件的一个或者多个掩模。
在前文描述中和在附图中，已经阐述具体术语和附图符号以提供对公开实施例的透彻理解。在一些实例中，术语和符号可以意味着不是实现那些实施例而必需的具体细节。例如具体位数、信号路径宽度、信令或者操作频率、部件电路或者设备等中的任何一项可以在备选实施例中不同于以上描述的那些。附加地，可以示出在集成电路设备或者内部电路元件或者块之间的链路或者其它互连为总线或者为单信号线。总线中的每个总线可以备选地是单信号线，并且单信号线中的每个单信号线可以备选地是总线。然而示出或者描述的信号和信令链路可以是单端或者差动的。在信号驱动电路在耦合在信号驱动电路与信号接收电路之间的信号线上确立(或者如果上下文明确陈述或者指示则取消确立)信号时，信号驱动电路被视为向信号接收电路“输出”信号。术语“耦合”在本文中用来表达直接连接以及经过一个或者多个居间电路或者结构的连接。集成电路设备“编程”可以包括例如而不限于响应于主机指令(并且因此控制设备的操作方面和/或建立设备配置)或者通过一次性编程操作(例如在设备生产期间烧断在配置电路内的熔断器)和/或将设备的一个或者多个选择的管脚或者其它接触结构连接到参考电压线(还称为捷联(strapping))以建立设备的特定设备配置或者操作方面，来将控制值加载到在集成电路设备内的寄存器或者其它存储电路中。如用来应用于辐射的术语“光”不限于可见光，并且在用来描述传感器功能时旨在于应用于特定像素构造(包括任何对应滤波器)对其灵敏的一个或者多个波长带。术语“示例性”和“实施例”用来表达示例，而不是优先或者要求。术语“可以”和“能够”还可互换地用来表示可选(可允许)主题。不应将任一术语的不存在解释为意味着需要给定的特征或者技术。
在以上详细描述中的章节标题已经仅为了便于引用而加以提供，并且决不限定、限制、解释或者描述对应章节或者本文中呈现的实施例中的任何实施例的范围或者程度。还可以对本文中呈现的实施例进行各种修改和改变，而未脱离公开内容的更广义精神实质和范围。例如实施例中的任何实施例的特征或者方面可以至少在实用时，与实施例中的任何其它实施例组合应用或者取代其对应特征或者方面来应用。因而，将在说明性而不是限制意义上对待说明书和附图。

Claims (20)

1.一种集成电路图像传感器，包括：
光敏元件，用于响应于入射光累加电荷；以及
读出电路，用于：
确定在所述光敏元件内累加的所述电荷是否超过第一门限；
如果累加的所述电荷被确定为超过所述第一门限，将表示累加的所述电荷的模拟读出信号转换成多位数字值，所述多位数字值具有根据所述模拟读出信号的量值的数值；
如果累加的所述电荷被确定为超过所述第一门限，将所述光敏元件重置成标称放电状态预备进一步电荷累加；以及
如果累加的所述电荷被确定为未超过所述第一门限，制止将所述光敏元件重置成所述标称放电状态。
2.根据权利要求1所述的集成电路图像传感器，其中将表示累加的所述电荷的所述模拟读出信号转换成具有根据所述模拟读出信号的所述量值的数值的所述多位数字值的所述读出电路包括用于生成所述模拟读出信号的电路，用于生成所述模拟读出信号的电路包括：
浮置扩散节点；
第一晶体管，用于可切换地形成传导路径，所述传导路径用于将累加的所述电荷从所述光敏元件传送到所述浮置扩散节点；
模拟输出电路，用于生成：(i)第一模拟输出信号，所述第一模拟输出信号表示在将累加的所述电荷传送到所述浮置扩散节点之前所述浮置扩散节点的电压电平；以及(ii)第二模拟输出信号，所述第二模拟输出信号表示在将累加的所述电荷传送到所述浮置扩散节点之后所述浮置扩散节点的电压电平；以及
采样和保持电路，用于基于所述第一模拟输出信号和所述第二模拟输出信号之差来生成所述模拟读出信号。
3.根据权利要求2所述的集成电路图像传感器，其中用于基于所述第一模拟输出信号和所述第二模拟输出信号之差来生成所述模拟读出信号的所述采样和保持电路包括：第一电容元件，用于存储与所述第一模拟输出信号对应的电压电平；以及用于生成作为所述模拟读出信号的信号的电路，所述信号对应于存储在所述第一电容元件中的所述电压电平和对应于所述第二模拟输出信号的电压电平之差。
4.根据权利要求2所述的集成电路图像传感器，其中用于生成所述第一模拟输出信号和所述第二模拟输出信号的所述模拟输出电路包括第二晶体管，所述第二晶体管具有栅极节点和源极节点，所述栅极节点耦合到所述浮置扩散，所述源极节点耦合到将所述第一模拟输出信号和所述第二模拟输出信号传达到所述采样和保持电路的信号线。
5.根据权利要求2所述的集成电路图像传感器，其中用于生成所述模拟读出信号的所述电路还包括：用于在生成所述第一模拟输出信号之前将所述浮置扩散节点重置为参考电势的电路。
6.根据权利要求1所述的集成电路图像传感器，其中将表示累加的所述电荷的所述模拟读出信号转换成具有根据所述模拟读出信号的所述量值的数值的所述多位数字值的所述读出电路包括：
浮置扩散节点；
第一晶体管，用于可切换地形成传导路径，所述传导路径用于将累加的所述电荷从所述光敏元件传送到所述浮置扩散节点；
模拟输出电路，用于生成：(i)第一模拟输出信号，所述第一模拟输出信号表示在将累加的所述电荷传送到所述浮置扩散节点之前所述浮置扩散节点的电压电平；以及(ii)第二模拟输出信号，所述第二模拟输出信号表示在将累加的所述电荷传送到所述浮置扩散节点之后所述浮置扩散节点的电压电平，所述第二模拟输出信号构成所述模拟读出信号；
模数转换电路，用于将所述第一模拟输出信号转换成第一数字值，并且用于将所述第二模拟输出信号转换成第二数字值；以及
用于生成所述第一数字值和所述第二数字值之差以作为具有根据所述模拟读出信号的所述量值的数值的所述多位数字值的电路。
7.根据权利要求6所述的集成电路图像传感器，其中用于生成所述模拟读出信号的所述电路还包括：用于在生成所述第一模拟输出信号之前将所述浮置扩散节点重置为参考电势的电路。
8.根据权利要求1所述的集成电路图像传感器，其中所述读出电路包括：
读出节点；以及
控制电路，用于(i)使超过所述第一门限的电荷能够从所述光敏元件传送到所述读出节点，(ii)在实现超过所述第一门限的电荷的所述传送之后感测所述读出节点的电荷电平，(iii)基于感测的所述读出节点的所述电荷电平，确定在所述光敏元件内累加的所述电荷是否超过所述第一门限，(iv)响应于确定在所述光敏元件内累加的所述电荷超过所述第一门限来使超过所述标称放电状态的电荷能够从所述光敏元件传送到所述读出节点，以及(v)在使超过所述标称放电状态的电荷能够被传送到所述读出节点之后，根据所述读出节点的电荷水平，生成所述模拟读出信号。
9.根据权利要求8所述的集成电路图像传感器，其中所述控制电路包括：
电荷传送切换元件，耦合在所述光敏元件与所述读出节点之间；以及
开关控制电路，用于向所述电荷传送切换元件施加第一控制信号以使超过所述第一门限的所述电荷能够从所述光敏元件传送到所述读出节点并且向所述电荷传送切换元件施加第二控制信号以使超过所述标称放电状态的所述电荷能够从所述光敏元件传送到所述读出节点。
10.根据权利要求9所述的集成电路图像传感器，其中所述电荷传送切换元件包括控制端子，所述控制端子被耦合为在相应时间接收所述第一和第二控制信号并且实现在所述光敏元件与所述读出节点之间的电荷传导沟道，所述电荷传导沟道响应于所述第一控制信号而具有第一静电电势和响应于所述第二控制信号而具有第二静电电势，所述第二静电电势大于所述第一静电电势。
11.一种在集成电路图像传感器内操作的方法，所述方法包括：
在光敏元件内响应于入射光累加电荷；以及
确定在所述光敏元件内累加的所述电荷是否超过第一门限；
如果累加的所述电荷被确定为超过所述第一门限，将表示累加的所述电荷的模拟读出信号转换成多位数字值，所述多位数字值具有与所述模拟读出信号的量值成比例的数值；
如果累加的所述电荷被确定为超过所述第一门限，将所述光敏元件重置成标称放电状态预备进一步电荷累加；以及
如果累加的所述电荷被确定为未超过所述第一门限，制止将所述光敏元件重置成所述标称放电状态。
12.根据权利要求11所述的方法，其中将表示累加的所述电荷的模拟读出信号转换成具有根据所述模拟读出信号的所述量值的数值的多位数字值包括：
生成第一模拟输出信号，所述第一模拟输出信号表示在将累加的所述电荷从所述光敏元件传送到浮置扩散节点之前所述浮置扩散节点的电压电平；
生成第二模拟输出信号，所述第二模拟输出信号表示在将累加的所述电荷从所述光敏元件传送到所述浮置扩散节点之后所述浮置扩散节点的电压电平；以及
基于所述第一模拟输出信号和所述第二模拟输出信号之差来生成所述模拟读出信号。
13.根据权利要求12所述的方法，其中基于所述第一模拟输出信号和所述第二模拟输出信号之差来生成所述模拟读出信号包括：在电容元件中捕获与所述第一模拟输出信号对应的电压电平；以及生成作为所述模拟读出信号的信号，所述信号对应于在所述第一电容元件中捕获的所述电压电平和对应于所述第二模拟输出信号的电压电平之差。
14.根据权利要求12所述的方法，其中生成所述第一模拟输出信号和所述第二模拟输出信号包括：经由晶体管生成所述第一模拟输出信号和所述第二模拟输出信号，所述晶体管具有栅极节点和源极节点，所述栅极节点耦合到所述浮置扩散，所述源极节点耦合到传导所述第一模拟输出信号和所述第二模拟输出信号的输出信号线。
15.根据权利要求12所述的方法，还包括：在生成所述第一模拟输出信号之前将所述浮置扩散节点重置为参考电势。
16.根据权利要求11所述的方法，其中将表示累加的所述电荷的模拟读出信号转换成具有根据所述模拟读出信号的所述量值的数值的多位数字值包括：
生成第一模拟输出信号，所述第一模拟输出信号表示在将累加的所述电荷从所述光敏元件传送到浮置扩散节点之前所述浮置扩散节点的电压电平；
生成作为所述模拟读出信号的第二模拟输出信号，所述第二模拟输出信号表示在将累加的所述电荷从所述光敏元件传送到所述浮置扩散节点之后所述浮置扩散节点的电压电平；以及
将所述第一模拟输出信号和所述第二模拟输出信号分别转换成第一数字值和第二数字值；以及
生成所述第一数字值和所述第二数字值之差以作为具有根据所述模拟读出信号的所述量值的数值的所述多位数字值。
17.根据权利要求16所述的方法，还包括：在生成所述第一模拟输出信号之前将所述浮置扩散节点重置为参考电势。
18.根据权利要求11所述的方法，其中确定在所述光敏元件内累加的电荷是否超过第一门限包括：
使超过所述第一门限的电荷能够从所述光敏元件传送到读出节点；
在实现超过所述第一门限的电荷的所述传送之后感测所述读出节点的电荷电平；以及
基于感测的所述读出节点的所述电荷电平，确定在所述光敏元件内累加的所述电荷是否超过所述第一门限。
19.根据权利要求18所述的方法，其中如果累加的所述电荷被确定为超过所述第一门限，将表示累加的所述电荷的所述模拟读出信号转换成多位数字值包括：使超过所述标称放电状态的电荷能够从所述光敏元件传送到所述读出节点。
20.一种集成电路图像传感器，包括：
光敏元件，用于响应于入射光累加电荷；以及
装置，用于：
确定在所述光敏元件内累加的所述电荷是否超过第一门限；
如果累加的所述电荷被确定为超过所述第一门限，将表示累加的所述电荷的模拟读出信号转换成多位数字值，所述多位数字值具有与所述模拟读出信号的量值成比例的数值；
如果累加的所述电荷被确定为超过所述第一门限，将所述光敏元件重置成标称放电状态预备进一步电荷累加；以及
如果累加的所述电荷被确定为未超过所述第一门限，制止将所述光敏元件重置成所述标称放电状态。
CN201810415537.2A 2012-10-05 2013-09-30 集成电路图像传感器以及在其中操作的方法 Active CN108391066B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261710621P 2012-10-05 2012-10-05
US61/710,621 2012-10-05
US201261747286P 2012-12-29 2012-12-29
US61/747,286 2012-12-29
CN201380052410.4A CN104704812B (zh) 2012-10-05 2013-09-30 集成电路图像传感器以及在其中操作的方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380052410.4A Division CN104704812B (zh) 2012-10-05 2013-09-30 集成电路图像传感器以及在其中操作的方法

Publications (2)

Publication Number Publication Date
CN108391066A true CN108391066A (zh) 2018-08-10
CN108391066B CN108391066B (zh) 2020-11-10

Family

ID=49553807

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810415537.2A Active CN108391066B (zh) 2012-10-05 2013-09-30 集成电路图像传感器以及在其中操作的方法
CN201380052410.4A Active CN104704812B (zh) 2012-10-05 2013-09-30 集成电路图像传感器以及在其中操作的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201380052410.4A Active CN104704812B (zh) 2012-10-05 2013-09-30 集成电路图像传感器以及在其中操作的方法

Country Status (6)

Country Link
US (2) US9667898B2 (zh)
EP (1) EP2904770B1 (zh)
JP (1) JP6374869B2 (zh)
KR (3) KR20230004854A (zh)
CN (2) CN108391066B (zh)
WO (1) WO2014055391A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109936714A (zh) * 2019-04-11 2019-06-25 长春长光辰芯光电技术有限公司 一种高灵敏度长曝光时间像素结构
CN110161838A (zh) * 2019-05-06 2019-08-23 浙江大学 带压电力传感器静态漂移自动补偿的切削力主从控制系统
CN115967864A (zh) * 2022-12-29 2023-04-14 脉冲视觉(北京)科技有限公司 图像传感器中光信号的采集方法、电路、设备和介质

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9036065B1 (en) * 2012-08-16 2015-05-19 Rambus Inc. Shared-counter image sensor
WO2014055391A2 (en) 2012-10-05 2014-04-10 Rambus Inc. Conditional-reset, multi-bit read-out image sensor
WO2015016991A1 (en) * 2013-07-31 2015-02-05 Massachusetts Institute Of Technology Methods and apparatus for true high dynamic range imaging
JP6302350B2 (ja) * 2014-05-13 2018-03-28 日本放送協会 信号電荷のａ／ｄ変換回路、信号読み出し回路及び固体撮像素子
DE102014108667A1 (de) * 2014-06-20 2015-12-24 Technische Universität Braunschweig Stromrichter und Computerprogramm
JP6545541B2 (ja) * 2014-06-25 2019-07-17 株式会社半導体エネルギー研究所 撮像装置、監視装置、及び電子機器
JP6395482B2 (ja) * 2014-07-11 2018-09-26 キヤノン株式会社 光電変換装置、および、撮像システム
CN104252622A (zh) * 2014-10-15 2014-12-31 倪蔚民 移动终端前置和虹膜识别一体化光电成像系统及方法
JP6677909B2 (ja) 2015-01-30 2020-04-08 ソニー株式会社 固体撮像装置および電子機器
WO2016164242A1 (en) * 2015-04-07 2016-10-13 Rambus Inc. Imaging system with dynamic reconstruction workload allocation
US10389961B2 (en) 2015-04-09 2019-08-20 Semiconductor Energy Laboratory Co., Ltd. Imaging device and electronic device
KR102513628B1 (ko) * 2015-04-24 2023-03-24 소니그룹주식회사 고체 촬상 소자, 반도체 장치, 및, 전자 기기
US9564464B2 (en) * 2015-06-03 2017-02-07 Semiconductor Components Industries, Llc Monolithically stacked image sensors
KR102523136B1 (ko) * 2015-09-01 2023-04-19 삼성전자주식회사 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀
US9521351B1 (en) 2015-09-21 2016-12-13 Rambus Inc. Fractional-readout oversampled image sensor
US10883931B2 (en) 2016-02-24 2021-01-05 Sony Corporation Optical measuring instrument, flow cytometer, and radiation counter
KR102373088B1 (ko) * 2016-03-03 2022-03-11 소니 어드밴스드 비주얼 센싱 아게 이벤트 기반의 비전 센서
US10425589B2 (en) * 2016-07-28 2019-09-24 Intevac, Inc. Adaptive XDR via reset and mean signal values
DE102016011913A1 (de) * 2016-10-05 2018-04-05 Hensoldt Sensors Gmbh Detektoreinheit und ein Verfahren zum Detektieren eines optischen Detektionssignals
US10084976B2 (en) * 2016-11-02 2018-09-25 Raytheon Company Flux rate unit cell focal plane array
JP6997720B2 (ja) * 2016-11-24 2022-01-18 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、固体撮像装置、および、固体撮像素子の制御方法
KR102621752B1 (ko) * 2017-01-13 2024-01-05 삼성전자주식회사 Mram을 포함한 씨모스 이미지 센서
US10242268B2 (en) * 2017-02-03 2019-03-26 Raytheon Company Pixel-based event detection for tracking, hostile fire indication, glint suppression, and other applications
CN108574793B (zh) 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
US10516841B2 (en) * 2017-03-08 2019-12-24 Samsung Electronics Co., Ltd. Pixel, pixel driving circuit, and vision sensor including the same
CN106982337B (zh) * 2017-04-27 2019-07-23 京东方科技集团股份有限公司 一种cmos图像传感器及其像素电路、驱动方法
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US11568609B1 (en) 2017-07-25 2023-01-31 Meta Platforms Technologies, Llc Image sensor having on-chip compute circuit
US10726627B2 (en) 2017-07-25 2020-07-28 Facebook Technologies, Llc Sensor system based on stacked sensor layers
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
KR102424155B1 (ko) * 2017-11-08 2022-07-25 에스케이하이닉스 주식회사 이미지 센싱 장치
US11057581B2 (en) 2018-01-24 2021-07-06 Facebook Technologies, Llc Digital pixel array with multi-stage readouts
US10721424B2 (en) * 2018-02-23 2020-07-21 Robert Bosch Gmbh Analog-to-digital converter (ADC) sampling system
CN112262568B (zh) * 2018-03-14 2024-03-29 索尼高级视觉传感股份公司 具有直接存储器控制的基于事件的视觉传感器
KR20210028139A (ko) 2018-03-14 2021-03-11 소니 어드밴스드 비주얼 센싱 아게 3d-ic 기술로 제조된 이벤트-기반 비전 센서
WO2019200831A1 (zh) * 2018-04-16 2019-10-24 西安飞芯电子科技有限公司 一种信号分离方法、像素单元、像素阵列
JP6852712B2 (ja) * 2018-04-27 2021-03-31 株式会社ニコン 撮像素子および撮像装置
CN108680587B (zh) * 2018-05-09 2020-12-15 京东方科技集团股份有限公司 一种检测电路、信号处理方法和平板探测器
US10712595B2 (en) * 2018-05-28 2020-07-14 Wuhan China Star Optoelectronics Technology Co., Ltd. Full screen module and smartphone
US11906353B2 (en) * 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
US10531035B1 (en) * 2018-07-17 2020-01-07 Semiconductor Components Industries, Llc Image sensors with predictive pre-charging circuitry
US10341596B1 (en) * 2018-07-26 2019-07-02 Taiwan Semiconductor Manufacturing Company Ltd. Image sensor system, associated timing control circuit thereof and associated method
JP7114396B2 (ja) * 2018-08-03 2022-08-08 キヤノン株式会社 撮像装置、撮像システム、移動体
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
EP3664439A1 (en) * 2018-12-07 2020-06-10 Fundació Institut de Ciències Fotòniques An optoelectronic, a reading-out method, and a uses of the optoelectronic apparatus
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
CN113366829A (zh) 2019-01-23 2021-09-07 苹果公司 事件驱动型传感器的像素大小减小方法
JP7336217B2 (ja) * 2019-03-12 2023-08-31 キヤノン株式会社 情報処理装置、撮像素子、撮像装置、及び情報処理方法
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
US20210006742A1 (en) * 2019-07-07 2021-01-07 Himax Imaging Limited Image sensor and timing controller thereof
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
KR102335638B1 (ko) * 2019-12-27 2021-12-07 한국과학기술원 리드아웃 회로 및 이를 포함한 이미지센서
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
KR20220077735A (ko) 2020-12-02 2022-06-09 삼성전자주식회사 이미지 센서 및 이미지 센서의 픽셀 어레이
KR20220085156A (ko) 2020-12-15 2022-06-22 삼성전자주식회사 디지털 픽셀 센서 및 아날로그 디지털 변환기
US11935575B1 (en) 2020-12-23 2024-03-19 Meta Platforms Technologies, Llc Heterogeneous memory system
KR20220105292A (ko) * 2021-01-20 2022-07-27 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
CN115866427B (zh) * 2023-01-17 2023-05-12 脉冲视觉(北京)科技有限公司 脉冲数据读出方法和装置、系统、设备和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1447587A (zh) * 2002-03-27 2003-10-08 全视技术有限公司 用于cmos图像传感器的增大信号范围的列读出电路
US20080036884A1 (en) * 2006-08-08 2008-02-14 Canon Kabushiki Kaisha Signal processing device, image sensing system, and signal processing method
CN101438409A (zh) * 2006-05-12 2009-05-20 Ess技术公司 宽动态范围的影像传感器及其使用方法
US20100053703A1 (en) * 2002-07-16 2010-03-04 Sony Corporation Apparatus for imaging objects of changing luminance
US20100188540A1 (en) * 2009-01-28 2010-07-29 Gentex Corporation Imaging device
CN102055914A (zh) * 2009-10-28 2011-05-11 索尼公司 信号处理设备、信号处理方法和计算机程序

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63314071A (ja) 1987-06-17 1988-12-22 Dainippon Screen Mfg Co Ltd 画像読取装置の２値化処理方法
US7139025B1 (en) 1998-10-29 2006-11-21 Micron Technology, Inc. Active pixel sensor with mixed analog and digital signal integration
US7079178B2 (en) 2001-02-20 2006-07-18 Jaroslav Hynecek High dynamic range active pixel CMOS image sensor and data processing system incorporating adaptive pixel reset
US8169517B2 (en) 2001-03-26 2012-05-01 Panavision Imaging Llc Image sensor ADC and CDS per column with oversampling
US7009163B2 (en) 2001-06-22 2006-03-07 Orbotech Ltd. High-sensitivity optical scanning using memory integration
JP2003259234A (ja) * 2002-02-26 2003-09-12 Tohoku Techno Arch Co Ltd Ｃｍｏｓイメージセンサ
US7176438B2 (en) * 2003-04-11 2007-02-13 Canesta, Inc. Method and system to differentially enhance sensor dynamic range using enhanced common mode reset
US7218350B2 (en) * 2003-06-30 2007-05-15 Texas Instruments Incorporated Image sensor with digital output and inherent pixel non-uniformity suppression
US7696545B2 (en) 2006-08-29 2010-04-13 Micron Technology, Inc. Skimmed charge capture and charge packet removal for increased effective pixel photosensor full well capacity
US7514716B2 (en) * 2006-08-29 2009-04-07 Aptina Imaging Corporation In-pixel analog memory with non-destructive read sense circuit for high dynamic range global shutter pixel operation
US7990451B2 (en) 2006-11-20 2011-08-02 Ben Gurion University Of The Negev Research And Development Authority Optical pixel and image sensor
US7791657B2 (en) 2007-03-07 2010-09-07 Teledyne Licensing, Llc Dynamic range enhancement scheme for imagers
DE112008002389T5 (de) 2007-09-05 2010-07-15 Hiok-Nam Tay CMOS Bildsensor mit breitem Dynamikbereich
US8629927B2 (en) * 2008-04-09 2014-01-14 Gentex Corporation Imaging device
US8023022B2 (en) * 2008-05-13 2011-09-20 Olympus Corporation Solid-state imaging apparatus
KR101496712B1 (ko) * 2008-06-11 2015-02-27 삼성전자주식회사 아날로그-디지털 변환 장치와 이를 포함하는 이미지 촬상 장치
WO2010084493A1 (en) 2009-01-26 2010-07-29 Elbit Systems Ltd. Optical pixel and image sensor
US8378284B2 (en) * 2009-01-28 2013-02-19 Gentex Corporation Imaging device
JP2011019123A (ja) * 2009-07-09 2011-01-27 Toshiba Corp 固体撮像装置
US8279328B2 (en) * 2009-07-15 2012-10-02 Tower Semiconductor Ltd. CMOS image sensor with wide (intra-scene) dynamic range
US9121954B2 (en) * 2010-03-12 2015-09-01 Koninklijke Philips N.V. Multiframe X-ray detector for imaging system with distributed X-ray sources
US8847169B2 (en) * 2010-05-25 2014-09-30 The Hong Kong University Of Science And Technology Quantum-limited highly linear CMOS detector for computer tomography
KR101758310B1 (ko) 2011-01-11 2017-07-27 삼성전자주식회사 아날로그 디지털 컨버터 및 이를 포함하는 이미지 센서
CN104115211B (zh) * 2012-02-14 2017-09-22 金泰克斯公司 高动态范围成像系统
WO2014055391A2 (en) 2012-10-05 2014-04-10 Rambus Inc. Conditional-reset, multi-bit read-out image sensor

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1447587A (zh) * 2002-03-27 2003-10-08 全视技术有限公司 用于cmos图像传感器的增大信号范围的列读出电路
US20100053703A1 (en) * 2002-07-16 2010-03-04 Sony Corporation Apparatus for imaging objects of changing luminance
US8269869B2 (en) * 2002-07-16 2012-09-18 Sony Corporation Apparatus for imaging objects of changing luminance
CN101438409A (zh) * 2006-05-12 2009-05-20 Ess技术公司 宽动态范围的影像传感器及其使用方法
US20080036884A1 (en) * 2006-08-08 2008-02-14 Canon Kabushiki Kaisha Signal processing device, image sensing system, and signal processing method
US20100188540A1 (en) * 2009-01-28 2010-07-29 Gentex Corporation Imaging device
CN102055914A (zh) * 2009-10-28 2011-05-11 索尼公司 信号处理设备、信号处理方法和计算机程序

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109936714A (zh) * 2019-04-11 2019-06-25 长春长光辰芯光电技术有限公司 一种高灵敏度长曝光时间像素结构
CN110161838A (zh) * 2019-05-06 2019-08-23 浙江大学 带压电力传感器静态漂移自动补偿的切削力主从控制系统
CN115967864A (zh) * 2022-12-29 2023-04-14 脉冲视觉(北京)科技有限公司 图像传感器中光信号的采集方法、电路、设备和介质
CN115967864B (zh) * 2022-12-29 2023-12-26 脉冲视觉(北京)科技有限公司 图像传感器中光信号的采集方法、电路、设备和介质

Also Published As

Publication number Publication date
WO2014055391A3 (en) 2014-06-05
CN104704812B (zh) 2018-05-25
KR20230004854A (ko) 2023-01-06
EP2904770A2 (en) 2015-08-12
CN108391066B (zh) 2020-11-10
CN104704812A (zh) 2015-06-10
EP2904770B1 (en) 2018-01-10
KR20150068429A (ko) 2015-06-19
US9667898B2 (en) 2017-05-30
US20150281613A1 (en) 2015-10-01
KR20200085943A (ko) 2020-07-15
US20170324920A1 (en) 2017-11-09
JP6374869B2 (ja) 2018-08-15
JP2015530855A (ja) 2015-10-15
WO2014055391A2 (en) 2014-04-10
US10594973B2 (en) 2020-03-17

Similar Documents

Publication Publication Date Title
CN104704812B (zh) 集成电路图像传感器以及在其中操作的方法
CN105144699B (zh) 阈值监测的有条件重置的图像传感器及其操作方法
CN103888689B (zh) 图像采集方法及图像采集装置
CN105308747B (zh) 分离栅极有条件重置的图像传感器
Ma et al. Quanta burst photography
KR101473597B1 (ko) 고 명암비 이미지 센서
CN110214443A (zh) 具有扩展动态范围的成像阵列
CN105794203A (zh) 高动态范围图像传感器
JP2020519102A (ja) ピクセルワイズイメージングの方法及びシステム
US20210075979A1 (en) Information processing device and information processing method
CN109328457A (zh) 摄像装置及摄像装置的控制方法
WO2015118973A1 (en) Image capturing apparatus and method of controlling the same
CN105721772B (zh) 一种异步时域视觉信息成像方法
CN112461360B (zh) 联合物理噪声模型的高分辨率单光子成像方法与系统
WO2023188806A1 (ja) センサ装置
CN106404020B (zh) 具有可变灵敏度以最大化数据使用的传感器
Gao et al. Dynamic range extension of CMOS image sensors using multi-integration technique with compact readout
TW202224414A (zh) 具有自適性雜訊降低之數位像素感測器
CN110503044A (zh) 指纹传感器及其指纹感测方法
AU2011205092A1 (en) Change detection sampling for video sensor
Dietz University of Kentucky, Lexington, Kentucky, USA

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant