CN105144699B - 阈值监测的有条件重置的图像传感器及其操作方法 - Google Patents

阈值监测的有条件重置的图像传感器及其操作方法 Download PDF

Info

Publication number
CN105144699B
CN105144699B CN201480015633.8A CN201480015633A CN105144699B CN 105144699 B CN105144699 B CN 105144699B CN 201480015633 A CN201480015633 A CN 201480015633A CN 105144699 B CN105144699 B CN 105144699B
Authority
CN
China
Prior art keywords
transmission gate
period
light
signal
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480015633.8A
Other languages
English (en)
Other versions
CN105144699A (zh
Inventor
T·沃吉尔桑
M·吉达什
薛松
M·斯米尔诺维
C·M·史密斯
J·恩德斯雷
J·E·哈里斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rambus Inc
Original Assignee
Rambus Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rambus Inc filed Critical Rambus Inc
Priority to CN201910127643.5A priority Critical patent/CN110753192B/zh
Publication of CN105144699A publication Critical patent/CN105144699A/zh
Application granted granted Critical
Publication of CN105144699B publication Critical patent/CN105144699B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14641—Electronic components shared by two or more pixel-elements, e.g. one amplifier shared by two pixel elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/74—Circuitry for scanning or addressing the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/779—Circuitry for scanning or addressing the pixel array

Abstract

本发明的各个实施例涉及阈值监测的有条件重置的图像传感器。一种具有多位采样的图像传感器架构，实施在图像传感器系统内。将响应于入射在光敏元件上的光而产生的像素信号，转换为表示该像素信号的多位数字值。如果像素信号超出采样阈值，那么重置光敏元件。在图像捕获周期期间，将与超出采样阈值的像素信号相关联的数字值累积到图像数据中。

Description

阈值监测的有条件重置的图像传感器及其操作方法
技术领域
本公开涉及电子图像传感器领域，并且更加具体地涉及一种用于这种图像传感器中的采样架构。
背景技术
数字图像传感器，诸如CMOS或者CCD传感器，包括多个光敏元件(“光传感器”)，每个光敏元件配置为将入射在光传感器上的光子(“捕获光”)转换为电荷。然后，可以将电荷转换为表示被每个光传感器捕获的光的图像数据。该图像数据包括捕获光的数字表示，并且可以对其进行操纵或者处理以产生能够显示在观察装置上的数字图像。图像传感器实施在具有物理表面的集成电路(“IC”) 中，该物理表面可以被划分为配置为将光转换为电信号(电荷、电压、电流等)的多个像素区域(例如，一个或者多个光传感器、和伴随的控制电路系统)。出于方便起见，在图像传感器内的像素区域也可以称为图像像素(“IP”)，并且像素区域或者图像像素的聚合件将称为图像传感器区域。图像传感器IC通常还会包括在图像传感器区域外部的面积区域，例如，特定类型的控制、采样、或者接口电路系统。大多数CMOS图像传感器包含A/D(模数)电路系统，以将像素电信号转换为数字图像数据。A/D电路系统可以是位于图像传感器区域内或者在图像传感器区域外围的一个或者多个ADC(模数转换器)。
附图说明
在对应附图的图中以示例而非限制的方式图示了此处公开的各个实施例，并且，在附图中，类似的附图标记标示相似的元件，在图中：
图1图示了根据一个实施例的图像传感器的部分的截面；
图2图示了根据在例如图1的布局中有用的一个实施例的具有多个像素信号阈值的模拟像素图像传感器的部分阵列电路系统；
图3图示了根据对例如图1和图2的实施例有用的一个实施例的配置为将像素信号转换为多位数字转换的示例图像传感器读出电路；
图4图示了根据使用了例如图1的截面以及图2和图3的电路系统的一个实施例的具有多位架构的图像传感器系统的示例电路图实施例；
图5图示了根据使用了例如图1的截面以及图2和图3的电路系统的一个实施例的具有位于IP阵列外围的读出电路阵列的图像传感器系统架构的另一示例电路框图；
图6a图示了根据使用了例如图2的阵列电路系统的一个实施例的在可替代图4和图5的示例双层图像传感器系统架构中的像素阵列 IC的顶视图；
图6b图示了根据使用了例如图3的读出电路系统的一个实施例的在可替代图4和图5的示例双层图像传感器系统架构中的预处理器 IC的顶视图；
图6c图示了根据一个实施例的在示例双层图像传感器系统中的图6a的像素阵列IC和图6b的预处理器IC的部分截面；
图7图示了根据一个实施例的图像传感器读出电路诸如图3的读出电路的操作；
图8图示了根据对此处描述的系统有用的一个实施例的在图像捕获系统中的数据流；
图9图示了根据一个实施例的供图像传感器读出电路诸如图3的读出电路使用的各种时间采样策略；
图10图示了在其中执行无损过阈值检测操作使得能够结合相关双采样进行有条件重置操作的改良4-晶体管像素的一个实施例；
图11是图示了在图10的递进读出像素(progressive read-out pixel)内的示例性像素周期的定时图；
图12和图13图示了用于图10的光电二极管、传输门和浮置扩散结构的在其对应的示意性截面图下方的示例性静电电位图；
图14图示了具有递进读出像素阵列的图像传感器300的一个实施例；
图15A至图15C图示了可以结合参照图10至图14描述的递进读出像素采用的替代列读出电路实施例；
图16图示了四像素共享浮置扩散结构图像传感器架构，在该四像素共享浮置扩散结构图像传感器架构中，可以按照在不要求额外的阵列遍历控制线的情况下实现多抽取模式的方式应用在图10至图14 的实施例中公开的行和列传输门控制线；
图17图示了在图16中示出的四像素架构的示例性物理布局；
图18A和图18B图示了可以关于图16和图17的四像素架构而采用的彩色滤光器阵列(CFA)图案；
图19和图20提出了定时图，这些定时图分别图示了在包含图16 所示的2x2四像素布置的图像传感器内的全分辨率(非拼接 (binning))像素读出操作和拼接模式像素读出操作的示例性阶段；
图21图示了可以结合彩色滤光器阵列对4x1四像素块聚合件执行的备选拼接策略；
图22图示了可以应用于使得能够从4x1四像素块的所选列读出模拟信号的电压拼接的列互连架构；
图23图示了在图21和图22的4x1四像素结构内的拼接模式读出操作的示例性定时图；
图24图示了具有可在参照图21至图23描述的抽取(拼接)模式下操作的4x1四像素块的阵列的图像传感器的更加详细的实施例；
图25A至图25C图示了可以用于在像素列内实现高增益部分读出和近似单位增益完整读出的可选择增益(或者多增益)读出电路的一个实施例；
图26提出了示例性定时图，该示例性定时图图示了在图25A的多增益架构内在硬重置、积分、部分读出和(有条件)完整读出操作期间交替应用共源极增益配置和源极跟随器增益配置；
图27图示了可以用于在像素列内实现高增益部分读出和近似单位增益完整读出的可选择增益(或者多增益)读出电路的一个备选实施例；
图28图示了具有设置在上下读出电路之间的像素阵列的图像传感器的一个实施例；
图29图示了具有与图像处理器、存储器、和显示器一起的有条件重置图像传感器的成像系统的一个实施例；
图30图示了结合图像处理操作可以在图29的成像系统内执行的操作的示例性序列；
图31图示了用于求和查找图像再现技术和加权平均图像再现技术的曝光值(EV)与光强度(以勒克斯表示)的示例性双对数图；
图32描绘了在60Hz帧速率下在1080P视频成像的背景下的第一HDR操作模式的示例；
图33描绘了在60Hz帧速率下在1080P视频成像的背景下的第二HDR操作模式的示例；
图34图示了一种示例性操作模式，其中在不干扰在图33中指出的积分时间比的情况下进一步延伸了动态范围；
图35演示了示例性“预览模式”，该“预览模式”例如当传感器正在减小的功率/数据速率模式下操作以使用户能够构成图像、设置变焦等时可以是合适的；
图36图示了在曝光策略中实现了(针对如图32至图35所示的相同成像器示例)每个帧时段(interval)多达8次子曝光捕获和额外灵活性的示例性30Hz捕获模式；
图37图示了两种不同的120Hz定时可能性的示例，包括：(i) 对于每帧具有相等的子曝光时间和一次有条件读出/重置的4ms、4ms 序列；以及(ii)对于每帧具有一次有条件读出/重置的0.75ms、4ms 序列；
图38是图示了可以适用于严格分组的子曝光的交织捕获模式的示例性定时图；
图39是用于类似于在图32中示出的模式(即，所有子曝光时段都是4ms长)但是在其中4个子曝光时段并行发生的模式的示例性定时图；
图40是用于在其中最大行速率足够快能够支持每帧大概4.5阵列扫描的数据速率模式下操作传感器的示例性定时图；
图41示出了用于能够利用可变曝光调度操作并且因此有利于根据在图40中示出的可变定时布置执行的图像传感器的框图；
图42示出了为各种传感器操作模式提供了灵活性的示例性行缓冲器示出格式；
图43描绘了用于具有比信道速率更高的ADC带宽从而使得当可以成功压缩数据时可以加快扫描并且在一个帧中可以完成多于4次示例性扫描的图像传感器的示例性调度图；
图44图示了由两个无条件读出处理期(pass)围成从而使得选通光占主导并且环境光积分时间对于所有像素是均匀的(或者相等的) 的示例性选通窗口；
图45图示了用于空间混合曝光模式的示例性曝光定时图；以及
图46图示了示例性子曝光直方图序列和曝光优化算法。
具体实施方式
在一些图像传感器中，通过读出电路系统，将表示光子响应并且由入射在像素区域(此处称为“像素信号”)上的光导致的电信息转换为数据图像数据值。读出电路系统可以属于图像传感器之内，或者可以位于图像传感器外部。在一些方法中，读出电路可以位于图像传感器内以供与读出电路相邻或者接近的一个或者多个像素区域使用。对于位于图像传感器外部的读出电路，可以将与读出电路相关联的一个或者多个像素区域的像素信号从像素区域传输至读出电路。
每个读出电路对像素区域进行采样，从采样的像素区域接收像素信号，并且将该像素信号转换为表示像素信号的多位数字值。如果像素信号或者表示该像素信号的数字值超过采样阈值，那么重置存储在与该像素信号相关联的像素区域处的像素信号(例如，通过重置与像素区域相关联的光敏元件)。如果像素信号或者数字值未超过采样阈值，那么不重置存储在像素区域处的像素信号。此处，将对像素区域进行采样、并且仅当像素信号超过采样阈值时才对在像素区域处的像素信号进行重置，称为“有条件重置的无损采样”。
图像传感器概要
图1图示了在一个实施例中有用的图像传感器25的部分截面。在图像传感器25中，通过微透镜阵列10和彩色滤光器阵列12(对彩色成像有用)的光，入射在图像传感器的硅部分20上。微透镜(或者其他聚焦光学器件)和彩色滤光器的使用是可选的，并且此处仅出于图示之目的而示出。硅20包含用于采集由被硅吸收的光子生成的电荷的光电二极管(未示出)、和用于操作光电二极管的存取晶体管(也未示出)。像素阵列IC布线14提供用于在阵列内路由信号并且供应电压的连接。如图所示，图像传感器25是背照式(BSI)传感器，这是因为光从集成电路的与布线层和初级有源电路结构相对的一侧进入硅。可选地，像素阵列IC布线14可以布置在彩色滤光器阵列12 与硅20之间(其中初级有源电路结构在如图1所定向的硅的“顶部”内)以便实现前照式(FSI)。
图像传感器25包括多个IP(“图像像素”)，示出的是IP1至 IP3，由微透镜阵列10的透镜采集的光分别入射在IP1至IP3上。每个IP包括嵌入在硅20内的一个或者多个光电二极管。将进入硅20 的至少一些光子转换为在硅中的电子空穴对，并且通过IP采集由此产生的电子(或者，在替代实施例中是空穴)。出于简洁起见，此处的说明将该过程称为，通过IP捕获光并且将光转换为图像数据。图像传感器的每个IP表示图像传感器的表面面积区域的部分，并且可以将图像传感器的IP组织成列和行的各种阵列中。在CMOS或者 CCD图像像素技术中，每个IP(例如，每个光电二极管)将入射到 IP上的光转换为电荷，并且包括配置为将电荷转换为电压或者电流的读出电路系统。在一个实施例中，由图像传感器的每个IP捕获的光表示用于相关联的数字图像的图像数据的一个像素，虽然在其他实施例中将来自多IP的图像数据组合在一起以表示更少数量(一个或者多个)的像素(按比例缩减(downscaling))。
图像传感器25可以包括在IP阵列外部的部件。相似地，IP阵列的部分可以包括不将光转换为电荷的部件。将由在聚合件中的IP限定的区域称为图像传感器区域。如此处所描述的，图像传感器可以包括放大器、模数转换器(“ADC”)、比较器、控制器、计数器、累加器、寄存器、晶体管、光电二极管等。在不同架构中，这些部件中的一些可以位于图像传感器区域内或者在图像传感器区域外部，并且一些部件可以位于伴随的集成电路上。在这些实施例中，透镜(诸如，微透镜阵列10中的透镜)可以配置为引导光朝着在IP内的实际感光元件，而非引导到例如放大器、比较器、控制器、或者其他部件上。
如上面所指出的，图像传感器可以包括多个IP的阵列。每个IP 响应于光(例如，一个或者多个光子)而捕获并且存储对应的电荷。在一个实施例中，在对IP采样时，如果表示存储在IP处的电荷的像素信号超过采样阈值，那么将像素信号转换为表示像素信号的数字值并且重置由IP存储的电荷。备选地，在对IP进行采样时，将表示存储在IP处的电荷的像素信号转换为表示像素信号的数字值，并且，如果数字值超过采样阈值，那么重置由IP存储的电荷。在其他实施例中，开始模数转换，并且，当已经完成足够确定是否超过阈值的转换时，做出是否继续转换的确定。例如，在逐次逼近寄存器(“SAR”) ADC中，如果阈值等于最高有效位图案时，一旦分辨了图案，可以立即做出是否继续转换并且执行像素的重置、或者停止转换的确定。可以通过使用配置为将像素信号或者数字值与采样阈值进行比较的比较器，来做出像素信号或者表示像素信号的数字值是否超过采样阈值的确定。
图2图示了根据一个实施例的具有多个像素信号阈值的模拟像素图像传感器。图2的图像传感器是CMOS传感器，并且包括IP阵列 40。IP阵列可以包括任何数量的列和行，其中每列和每行具有任何数量的IP。在图2中高亮了IP列50，该IP列50表示在IP阵列中的所有或部分的IP列。IP列50包括经由列线55通信地耦合的多个IP。在图2中高亮了IP 60，该IP60表示在IP阵列中的IP。
IP 60包括与控制元件一起的光电二极管65，这些控制元件使能光电二极管以被预充电，以便为曝光做准备并且然后在曝光之后对其进行采样。在操作中，导通晶体管70以将光电二极管的阴极耦合至电压源，并且由此将光电二极管的阴极“预充电”至预充电电压。在曝光时段开始之时或者之前，断开晶体管70。通过晶体管70断开，阴极电压响应于光子照射而递增地放电，与检测到的光量成比例地降低光电二极管电位VDET。在曝光时段结束时，导通存取晶体管72，以使能表示光电二极管电位的信号以经由跟随器晶体管74放大/驱动到列线55上，作为像素信号80。
ADC 85经由列线55通信地耦合至IP列50。在图2的实施例中， ADC位于像素阵列40的边缘处，并且可以位于在其上布置有IP阵列的图像传感器内或者在其外部。ADC从IP 60接收像素信号80(表示模拟光电二极管电位)。ADC使像素信号数字化，以生成表示像素信号的3位数字值(“[2:0]”)。ADC包括7个像素阈值：Threshold 1至阈值7(此处称为“VT1至VT7”)。如果像素信号的强度小于Vpre但是大于VT1，那么ADC将像素信号转换为数字值“000”。将小于 VT1但是大于VT2的像素信号转换为数字值“001”，将在VT2与VT3之间的像素信号转换为数字值“010”，以此类推，直到将小于VT7的像素信号转换为“111”。
在图2的实施例中，在连续像素阈值之间的电位差近乎相同(例如，VT3–VT4≈VT5–VT6)。换言之，像素阈值线性地分布在VT1与VT7之间。另外，在图2的实施例中，在Vpre与VT1之间的电位差大于在连续像素阈值(例如，Vpre–VT1>VT3–VT4)之间的电位差，虽然在另外的实施例中所有步进(step)都是相等的。当对IP进行采样时，选择VT1使得Vpre-VT1>VT3–VT4减少了例如暗噪声的影响。在图2的实施例中，在VT7与Vfloor之间的电位差也可以大于在连续像素阈值(例如，VT7-Vfloor>VT3-VT4)之间的电位差。最后，不是线性阈值间距，给定实施例可以成指数地间隔开阈值，例如，其中每个阈值间距是下一个阈值间距的两倍。对于累加多个ADC样本以形成图像的系统，在累加之前，将指数间距转换为线性值。
Vfloor表示光电二极管65的阴极电压不再响应于光子照射而线性地放电的像素饱和阈值。对于在线性敏感区域90内的像素信号，在图95中示出了像素信号到数字值的转换。应该注意，可检测光子照射(例如，像素饱和点)的最大数量与光电二极管的电容小成比例，并且由此与其物理大小成比例。结果，在传统传感器设计中，光电二极管的占用面积由在给定应用中要求的动态范围来决定，并且不随着工艺几何尺寸的降低而明显地按比例缩放。
在图像的捕获期间，在一个实施例中，依次对在IP阵列40中的在IP列50和每个其他列中的给定的一个或多个行的IP进行采样，并且通过使用与每列相关联的一个或多个ADC将与每个IP相关联的像素信号转换为数字值。在图像捕获周期期间，累加(在一些实施例中是有条件地累加，如上面所阐释的)并且存储由ADC输出的数字值。除了在图2中图示的IP之外，其他类型和配置的IP也可以用在图像传感器系统中。例如，除了晶体管70、72、和74的布置之外，也可以使用晶体管的不同布置。另外，虽然在图2中针对IP列50示出了一个ADC85，但是在其他实施例中，每个IP列可以使用多于一个的 ADC，其中不同ADC组服务于ADC列的阵列行的不同部分。下面将对ADC(以读出电路的形式)和IP的另外的组合进行更加详细的描述。最后，ADC的输出(例如，在图2的实施例中的Pix[2:0])可以是任何多位的长度，并且可以与在Vpre和Vfloor之间按照任何方式分布的任何数量的阈值相关联。
具有多位采样和有条件重置的图像传感器系统
图3图示了根据一个实施例的配置为将像素信号转换为多位数字转换的示例图像传感器读出电路。图3的实施例图示了IP 100、IP存储器116、和读出电路110，该读出电路包括ADC/比较器电路112(以下称为“ADC/比较器”)和加法器114。应该注意，在其他实施例中，图3的模块可以包括附加的、更少的和/或不同的部件。例如，ADC/ 比较器可以实施为单独的部件，并且加法器可以位于读出电路外部。
IP 100表示在图像传感器中的IP，并且可以是例如图2的IP 60。 IP 100例如从外部控制逻辑接收一个或者多个控制信号。控制信号可以使能IP以例如通过重置IP和Vpre，来开始图像捕获；并且使能IP 的光敏元件的曝光于光，以导致存储相对于Vpre的电荷。相似地，控制信号可以例如通过在图像捕获周期过去之后禁用IP的光敏元件的曝光于光，而使能IP以结束图像捕获。控制信号也可以使得能够通过IP输出像素信号、并且通过读出电路将像素信号随后转换为表示像素信号的数字值(此处称为“对IP进行采样”或者“对像素信号进行采样”)。如上面所描述的，像素信号可以是积分电荷的表示(例如，具有与积分电荷成比例的分量的源极跟随器电压、放大的电压、或者电流)。
IP 100例如从外部控制逻辑接收重置信号。例如在图像捕获周期开始时，重置信号将由IP存储的电荷重置为Vpre。IP也从ADC/比较器112接收有条件重置信号(在一些电路中，通过使用公共电路系统来提供有条件重置和初始化重置)。例如在图像捕获期间，响应于当对IP进行采样时像素信号超过采样阈值，有条件重置信号重置由IP 存储的电荷。应该注意，在其他实施例中，从不同实体接收有条件重置信号。在一种实施方式中，ADC/比较器可以确定像素信号超过了采样阈值，并且可以使得外部控制逻辑能够将有条件重置信号输出至 IP；在这种实施例中，重置信号(行式信号)和有条件重置信号(列式信号)可以是由IP进行AND处理以发起所有重置。出于简洁起见，说明书的剩余部分将局限于ADC/比较器向IP提供有条件重置信号的实施例。
读出电路110例如从外部控制逻辑接收阈值信号、采样信号(或者“采样使能信号”)、比较信号(或者“比较使能信号”)、剩余信号(或者“剩余使能信号”)、和重置信号，并且从IP 100接收像素信号。对应于IP 100的IP存储器元件116接收读出信号，该读出信号选择IP 100以便由加法器114读出/写入并且以便外部读出。ADC/ 比较器112响应于接收到一个或者多个采样信号对IP 100进行采样。在图像捕获期间，ADC/比较器在各种采样时段下，例如，周期性地、或者根据预先限定的采样时段模式(此处称为“采样策略”)，来接收采样信号。可替代地，由ADC/比较器接收的采样信号可以包括采样策略，并且ADC/比较器可以配置为基于该采样策略对IP进行采样。在其他实施例中，IP接收一个或者多个采样信号并且基于接收到的采样信号来输出像素信号。在另外其他实施例中，IP周期性地或者根据采样策略来输出像素信号，或者ADC/比较器周期性地或者根据采样策略独立于接收到的采样信号来对像素信号进行采样。ADC/比较器可以在从IP对像素信号进行采样之前从IP请求像素信号。
在IP的采样期间，ADC/比较器112从IP接收像素信号，并且将该像素信号转换为表示像素信号的多位数字值(可选地，在一些实施例中，基于像素信号超过采样阈值)。如果像素信号超过采样阈值，那么ADC/比较器输出用于重置存储在IP处的电荷的有条件重置信号。如果像素信号未超过采样阈值，那么ADC/比较器不输出用于重置存储在IP处的电荷的有条件重置信号。采样阈值可以在图像捕获期间改变并且经由阈值信号而接收，或者可以针对给定图像捕获而预先确定或者预先设置。在多个图像捕获期间可以使用一个采样阈值，不同采样阈值可以用于不同的图像捕获，并且在单个图像捕获期间可以使用多个采样阈值。在一个实施例中，采样阈值响应于检测到的光条件的变化而改变(例如，采样阈值可以响应于低的光条件而降低，并且可以响应于高的光条件而增加)。
在一个实施例中，采样阈值是模拟信号阈值。在该实施例中，ADC/ 比较器112包括模拟比较器，并且将像素信号与采样阈值进行比较来确定像素信号是否超过采样阈值。如果像素信号包括表示由IP 100存储的电荷的电压，那么，如果像素信号低于采样阈值，则超过了采样阈值。以图2的实施例为例，如果ADC/比较器的采样阈值是Threshold 4，那么，只有当像素信号包括比与Threshold 4相关联的电压更低的电压的情况下，才像素信号将超过采样阈值。
在一个实施例中，采样阈值是数字信号阈值。在该实施例中，ADC/ 比较器112包括数字比较器，并且首先将像素信号转换为表示像素信号的数字值。然后，ADC/比较器将数字值与采样阈值进行比较来确定像素信号是否超过采样阈值。以图2的实施例为例，对于采样阈值“101”，如果ADC/比较器将像素信号转换为数字值“001”(指示像素信号在Threshold 1与Threshold 2之间)，那么像素信号未超过采样阈值并且不输出有条件重置信号。然而，如果ADC/比较器将像素信号转换为数字值“110”(指示像素信号在Threshold 6与Threshold7之间)，那么像素信号超过采样阈值并且输出有条件重置信号。
在另一实施例中，采样阈值是在像素信号的完全数字转换之前可以被估计的数字信号阈值。这在一些实施例或者使用情况中可以是有利的，以通过避免不需要的ADC操作，允许更快速地有条件重置像素并且/或者节电。例如，利用逐次逼近寄存器ADC，使用多个时钟周期来分辨像素信号的数字表示。第一时钟周期分辨最高有效位，第二时钟周期分辨次高有效位，以此类推，直到已经分辨完所有位位置。以图2的实施例为例，对于采样阈值“100”，在第一SAR ADC时钟周期之后，可以做出是否满足阈值的确定。对于采样阈值“110”，在第二SAR ADC时钟周期之后，可以做出是否满足阈值的确定。对于具有例如6位或者8位的位深度的实施例，在1个或者2个转换周期之后做出重置确定可以导致明显的省时/节电，这可以通过选择具有为0的一个或者多个LSB的采样阈值来实现。
在一个实施例中，将行式比较信号供应至每个ADC/比较器“比较”信号输入，并且针对合适的时钟周期向ADC/比较器发出信号以执行比较。当断言了比较信号时，基于模数转换的电流状态来执行比较。如果用于ADC/比较器112的比较满足阈值，那么将有条件重置信号断言到IP 100和加法器114，并且SAR ADC继续转换像素信号。如果不满足阈值，那么不断言有条件重置信号，并且可以结合比较信号使用有条件重置信号来门控(gate)SAR ADC的时钟信号以终止转换。
ADC/比较器112将表示由ADC/比较器接收的像素信号的数字值 (此处称为“数字转换”)输出至加法器114。ADC/比较器112可以响应于与数字转换相关联的像素信号超过采样阈值，而输出数字转换。可以将有条件重置信号用作使能信号，用于发信号至加法器114以加载数字转换，并且将其添加至对应于IP 100的IP存储器116位置(在本实施例中，该位置通过读出线的地址选择选自多个这种地址)。在其他实施例中，ADC/比较器在IP 100的每个采样期间都输出数字转换，无论与数字转换相关联的像素信号是否超过采样阈值。在这些实施例中，加法器可以配置为累加与超过采样阈值的像素信号相关联的数字转换并且忽视与未超过采样阈值的像素信号相关联的数字转换。可替代地，例如，如果将阈值设置为在图2中的“001”，那么每次读出IP 100时，加法器可以无条件地将数字转换加到IP存储器116，同时仍然产生正确的结果。
在一个实施例中，ADC/比较器112也响应于接收到剩余信号断言 (而没有断言比较信号)而输出数字转换。剩余信号断言与图像捕获的结束相关联，并且使得ADC/比较器能够将全的数字转换输出至加法器114而无论与数字转换相关联的像素信号是否超过采样阈值，并且断言有条件重置。剩余信号可以防止与由IP 100接收的光相关联的图像信息的丢失，但是在捕获周期结束时不超过阈值。如果表示这种接收到的光的像素信号未超过采样阈值，那么ADC/比较器可以不输出与像素信号相关联的数字转换，并且不会通过有条件重置信号(其也由剩余信号的断言触发)来重置由IP存储的电荷。在ADC/比较器将数字转换输出至加法器而无论与数字转换相关联的像素信号是否超过采样阈值的实施例中，加法器可以接收剩余信号，并且可以配置为响应于接收到该信号而累加与在捕获周期结束时接收到的像素信号相关联的数字转换。
加法器114配置为累加在捕获周期期间接收到的数字转换。如上面所论述的，在只有当与数字转换相关联的像素信号超过采样阈值 ADC/比较器112的情况下才输出数字转换的实施例中，加法器将所有接收到的数字转换(包括由ADC/比较器响应于接收到剩余信号输出的附加数字转换)累加到IP存储器116中。在ADC/比较器输出与每个接收到的像素信号相关联的数字转换的实施例中，加法器仅仅累加与超过采样阈值的像素信号相关联的数字转换，将由ADC/比较器响应于接收到剩余信号输出的数字转换加到IP存储器116中；这种实施例要求加法器知道像素信号何时超过采样阈值并且何时接收到剩余信号，并且出于简洁起见，此处不再对其进一步论述。
加法器114例如从外部控制逻辑接收重置/相加控制信令。响应于接收到重置信号(例如，在图像捕获周期开始时)，累加器将全部为零存储至所选的IP存储器位置116接收到的数字转换的累加作为图像数据。加法器也接收重置信号并且重置接收到的数字转换的累加。
在备选的实施例中，加法器位于读出电路110外部。例如，ADC/ 比较器可以将转换的流输出至数字信道(例如，与来自其他ADC的其他转换一起，被多路复用)至提供累加功能的独立电路。在这种情况下，ADC/比较器也必须输出表示“无转换”的符号，该符号可以是0。一种可能性是，对于在数字信道接口(例如，在图4中的PHY 134)中的电路，对数字转换进行编码以减少带宽。在一个实施例中，将“无转换”输出为“00”，将超过ADC转换的较高阈值输出为“01”，并且将所有其他ADC转换输出为“lxxxxxx”，其中，x表示ADC转换的被分辨位中的一个位，并且x位置的数量等于ADC的位深度。
在一个实施例中，IP配置为输出像素信号并且在相同线上接收有条件重置。在本实施例中，IP和ADC/比较器112在共享线上交替地驱动像素信号和有条件重置。例如，IP可以在采样周期的第一部分期间在共享线上输出像素信号，并且可以在采样周期的第二部分期间在共享线上接收有条件重置。最后，ADC/比较器可以在共享线上接收阈值信号、采样信号、和剩余信号。例如，ADC/比较器可以在图像捕获开始时接收阈值信号，可以在整个图像捕获周期期间接收采样信号，并且可以在图像捕获周期结束处接收剩余信号。也应该注意，由 IP接收的重置信号可以是由累加器114接收的相同重置信号，并且可以在共享线上被接收。
图4图示了根据一个实施例的具有多位架构的图像传感器系统的示例实施例。图4的图像传感器系统120包括图像传感器区域125、读出电路阵列130、控制逻辑132、和物理信令接口134。在其他实施例中，图像传感器系统可以包括比在图4的实施例中图示的更少的、额外的、或者不同的部件(例如，电路可以具有与其集成在一起的存储器116)。在图4中示出的图像传感器系统可以实施为单个IC，或者可以实施为多个IC(例如，图像传感器区域和读出电路阵列可以位于单独的IC上)。进一步地，各个部件(诸如，读出电路阵列、控制逻辑、和物理信令接口)可以集成在图像传感器区域125内。
出于示例之目的，假设图像传感器系统120和通信地耦合至图像传感器系统的主机IC(未在图4中示出)在照相机(例如，在移动装置内的照相机或者摄影机、袖珍照相机、数字SLR照相机、独立的或者平台集成的网络摄像头、高清摄影机、安全照相机、汽车摄像头等)内形成主图像获取部件。图像传感器IC和主机IC可以更普遍地单独部署，或者与类似的或者不同的成像部件一起布置在几乎任何成像系统或者装置内，这种装置包括但不限于，度量仪器、医学仪器、游戏系统或者其他消费电子装置、军工成像系统、与运输相关的系统、基于空间的成像系统等。图像传感器系统的操作一般涉及通过将IP 曝光于光来捕获图像或者帧，将存储的电荷作为曝光结果转换为图像数据，并且将图像数据输出至存储媒介。
图像传感器区域125包括：包括N行(从0至N-1编索引)和M 列(从0至M-1编索引)的IP阵列127。物理信令接口134配置为从主机IC(例如，通用或者专用处理器、专用集成电路(ASIC)、或者配置为控制图像传感器IC的任何其他控制部件)接收命令和配置信息，并且配置为将接收到的命令和配置信息提供给控制逻辑132。物理信令接口也配置为从读出电路阵列130接收图像数据并且将接收到的图像数据输出至主机IC。
控制逻辑132配置为从物理信令接口134接收命令和配置信息，并且配置为传送配置为操纵图像传感器系统120的操作和功能的信号。例如，响应于接收到用于捕获图像或者帧的命令，控制逻辑可以输出一系列曝光信号(配置为使IP重置)和采样信号(配置为使在读出电路阵列130中的读出电路对来自在IP阵列127中的IP的像素信号进行采样)，使得能够通过图像传感器系统捕获图像或者帧。相似地，响应于接收到用于初始化或者重置图像传感器系统的命令，控制逻辑可以输出配置为重置在IP阵列中的每个IP的重置信号，使每个IP忽视任何累加电荷。由控制逻辑产生的控制信号识别在用于采样的IP阵列内的具体IP，可以控制与IP相关联的读出电路的功能，或者可以控制与图像传感器系统相关联的任何其他功能。控制逻辑在图4中示出为在图像传感器区域125外部，但是如上面所指出的，控制逻辑的所有或者部分可以在图像传感器区域内本地地实施。
控制逻辑132为在图像传感器区域125中的每个IP输出控制信号和重置信号。如图4的实施例所示，在图像像素IP[X][Y]中的每个 IP从控制逻辑接收行并行(row-parallel)Cntrl[X]信号(对应于用于每个IP的“行”选择控制信号)和行并行Reset[X]信号以重置IP，其中“X”和“Y”指IP在图像传感器区域内的坐标。虽然在任何给定IP处接收到的控制信号和重置信号中的每一个都仅仅为1位，如在图4的实施例中编入索引的，但是要理解，进行编索引仅仅是出于简洁起见，并且这些信号事实上可以是任何宽度或者尺寸。
读出电路阵列130包括M个读出电路，每个读出电路配置为从在 IP阵列127中的一列IP接收像素信号。应该注意，在其他实施例中，读出电路阵列可以包括配置为从每个IP列接收像素信号的多个读出电路，如图5所论述的。像素信号总线将在每个IP阵列中的每个IP列中的IP耦合至与在读出电路阵列内的IP列相关联的读出电路。每个IP配置为将由IP产生的像素信号输出至像素信号总线，并且每个读出电路配置为从在与读出电路相关联的IP列中的IP 对像素信号进行采样。例如，读出电路0配置为从像素信号总线0对像素信号进行采样，以此类推。在读出电路阵列中的每个读出电路可以从在与读出电路相关联的IP列中的IP对像素信号反复地采样(例如，在多个处理期期间，按顺序地从连续IP对像素信号进行采样)，或者可以根据预先确定的非连续顺序对像素信号进行采样。在一个实施例中，读出电路可以同时对多个像素信号进行采样。虽然在图3和图4的实施例中未图示，但是读出电路可以额外地包括配置为在输出作为图像数据的累加的值之前存储累加的数字值的存储器。
有条件重置总线将在IP阵列127中的每个IP列中的IP耦合至与每个IP列相关联的读出电路。在从在IP列中的IP对像素信号进行采样之后，如果采样的像素信号超过采样阈值，那么与IP列相关联的读出电路产生有条件重置信号。例如，如果在IP列中的IP经由将IP耦合至读出电路的像素信号总线而将像素信号输出至与IP列相关联的读出电路，并且如果读出电路确定像素信号超过采样阈值，那么读出电路经由将读出电路耦合至IP的有条件重置总线而将有条件重置信号输出至IP，并且IP重置存储在IP处的电荷。如上面所描述的，像素信号总线和有条件重置总线可以实施在共享总线中，其中Cntrl[X] 使得能够从行X将像素信号输出至共享总线，并且Reset[X]使得能够从共享总线对在行X中的像素进行有条件重置，虽然出于简洁起见不再进一步对这种实施例进行描述。
控制逻辑132在读出电路阵列130中产生用于读出电路的读出控制信号。读出控制信号可以控制：通过读出电路从在IP阵列127中的IP对像素信号的采样、将采样的像素信号转换为数字值、数字值的累加、累加的数字值的输出、以及加法器的重置。读出控制信号可以包括用于在读出电路阵列中的每个读出电路的阈值信号、采样信号、比较信号、剩余信号、读出信号、和重置/相加信号，如图3所描述的。
控制逻辑132配置为产生用于读出电路阵列130的读出控制信号以使得能够在图像捕获周期期间捕获图像。在图像捕获周期之前、或者在首次使用用于图像捕获周期的具体IP存储器位置时，控制逻辑可以产生重置，以使每个读出电路110的累加器重置IP存储器位置。在图像捕获周期开始时，控制逻辑可以产生用于每个读出电路的阈值信号；如上面所论述的，该阈值信号由每个读出电路用于确定与像素信号进行比较的阈值，目的是有条件地重置与像素信号相关联的IP 并且累加与像素信号相关联的数字值。在图像捕获周期期间，控制逻辑可以产生一系列采样信号，这些采样信号配置为使得读出电路能够从与读出电路相关联的IP对像素信号进行采样。在一个实施例中，控制逻辑根据一种或者多种采样策略来产生采样信号。下文将对采样策略进行更加详细的描述。在图像捕获周期结束时，控制逻辑产生剩余信号，该剩余信号配置为使得每个读出电路能够累加表示像素信号的数字值而无论像素信号是否超过采样阈值。在图像捕获周期期间，控制逻辑产生读出信号，该读出信号配置为使得每个读出电路输出累加数字值，该累加数字值表示作为图像数据的超过相关联的采样阈值的采样像素信号。控制逻辑也可以在每个图像捕获周期之后产生重置信号，以在每个读出电路内重置累加数字值。
控制逻辑也可以产生配置为使IP和读出电路暂停和恢复图像捕获的暂停信号和恢复信号，并且也产生控制IP和在读出电路阵列中的读出电路的功能所需的任何其他信号。对于每个读出电路，由读出电路输出的图像数据是由在与读出电路相关联的IP列中的每个IP捕获的光的数字表示。图像数据由物理信令接口接收以便随后输出至主机IC。
图5图示了根据一个实施例的具有位于IP阵列外围的读出电路阵列的示例图像传感器系统架构。在图5的架构中，6个读出电路阵列(140a、140b、140c、140d、140e、和140f)位于包括IP阵列的图像传感器区域145周围。与图4的一个读出电路阵列130位于图像传感器区域125的一侧的实施例不同，图5的读出电路阵列140位于图像传感器区域145的所有侧。读出电路阵列可以位于也包含图像传感器区域的IC内，或者可以位于一个或者多个单独的IC上。例如，每个读出电路阵列可以位于图像传感器IC的外围，或者可以位于与图像传感器IC相邻的专用读出电路阵列IC中。
在图4的前述实施例中，在读出电路阵列130中的每个读出电路耦合至在IP阵列127中的IP列。在图5的实施例中，每个读出电路阵列140x耦合至来自图像传感器区域145的部分行和部分列的6个 IP的组。例如，读出电路阵列140a耦合至IP1、IP2、IP3、IP7、IP8 和IP9。每个读出电路阵列140x包括一个或者多个读出电路。在一个实施例中，每个读出电路阵列包括6个读出电路，其中在读出电路阵列中的每个读出电路耦合至一个IP。在这种实施例中，每个读出电路仅对其耦合的IP进行采样。更加典型地，每个读出电路由包括许多行和一个或者多个列的块的IP共享。虽然控制逻辑未在图5的实施例中图示，但是每个读出电路阵列可以耦合至通用控制逻辑，或者每个读出电路阵列可以耦合至专用控制逻辑。进一步，虽然物理信令接口未在图5的实施例中图示，但是每个读出电路阵列可以经由公共总线将图像数据输出至公共物理信令接口，或者可以经由专用总线将图像数据输出至耦合至每个读出电路阵列的专用物理信令接口。
图6a图示了根据一个实施例的在示例双层图像传感器系统架构中的像素阵列IC的顶视图。图6a的像素阵列IC包括围绕IP阵列的外围电路系统162。IP阵列包括行控制电路系统164和4个IP行组(IP 行组0至3)。每个IP行组是阵列的宽度，并且包括在阵列中的行的四分之一，并且行控制电路系统提供了操作IP所需的控制信号和重置信号(例如，使IP能够进行重置并且使其能够被选择以便读出的信号、以及此处论述的任何其他信号)。
图6b图示了根据一个实施例的在示例双层图像传感器系统架构中的预处理器IC的顶视图。图6b的预处理器IC包括围绕读出电路阵列的外围电路系统172。读出电路阵列包括物理信令接口175(其可以备选地在像素阵列IC 160上)、读出控制电路系统176、4个读出电路阵列(读出电路阵列0至3)、和伴随的存储器组0A/B、1A/B、 2A/B、和3A/B。每个读出电路阵列包括连接至在相关联的存储器组中的对应行的一个或者多个读出电路(包括ADC、加法器、和用于每个IP列的重置逻辑)。当在像素阵列IC的IP行组中选择具体IP 行时，在预处理器IC上选择在对应存储器组中的对应行。
图6c图示了根据一个实施例的在示例双层图像传感器系统中的图6a的像素阵列IC和图6b的预处理器IC的截面。在图6c的实施例中，像素阵列IC 160位于预处理器IC 170上方，从而使得像素阵列IC的底表面耦合至预处理器IC的顶表面。微透镜阵列180和彩色滤光器阵列182位于像素阵列IC上方。像素阵列IC和处理器IC经由像素阵列IC布线184和预处理器IC布线186而耦合。通过使像素阵列IC位于预处理器IC上方，增加了在图像传感器系统中的能够捕获光的表面面积的裸片大小和百分比。例如，在包括IP阵列和一个或者多个读出电路阵列的单层IC架构中，单层IC的包括该一个或者多个读出电路阵列的部分不能够捕获光；这种实施例减少了用于捕获入射在单层IC上的光的硅裸片的百分比。这要求照相机模块的占用面积大于透镜和成像阵列，并且增加了照相机模块的成本和大小。与之形成对照的，图6c的实施例的顶层不包括读出电路阵列，所以将顶部单层IC的裸片大小减少到接近IP阵列的大小。入射到顶层上的光穿过微透镜阵列和彩色滤光器阵列，由在IP阵列中的IP捕获，并且经由像素阵列IC布线和预处理器IC布线由读出电路阵列对表示捕获的光的信号进行采样。
图7图示了根据一个实施例的图像传感器读出电路诸如图3的读出电路的操作。在图7的示例实施例中，在16个采样时段期间捕获图像。在图像捕获周期期间，图7的示例实施例的ADC将像素信号转换为5位数字值，并且累加器将5位数字值累加到9位数字值中。进一步，在图7的实施例中，ADC将接收到的像素信号转换为表示像素信号的数字值，从而使得由IP检测到的每个附加的光子导致数字值增加1。例如，如果在重置之后IP检测到5个光子，那么由IP 产生的像素信号将由ADC转换为值“00101”。应该强调的是，在其他实施例中，ADC将接收到的像素信号转换为表示像素信号的数字值，从而使得由IP检测到的多个附加的光子导致数字值增加1。在图 7的实施例中，像素信号是模拟电压，并且由此出于简洁起见未在图 7中示出。
在图像捕获周期开始时(采样时段0)，接收配置为将读出电路的IP配置为重置并且开始曝光的控制信号。在图7的实施例中，“开始曝光”控制信号也将存储在对应于IP的存储器元件处的值重置为零。另外，接收阈值信号，以将用于读出电路的采样阈值设置于相当于20个光子的像素信号。
在第一采样时段期间，通过IP检测到4个光子。然后，IP响应于检测到4个光子而产生表示由在IP等效物内的光敏元件所采集的电荷的像素信号，并且ADC将该像素信号转换为数字值“00100”。由于4个检测到的光子不触发20个光子(“10100”)的采样时段，所以累加器不累加数字值“00100”，并且不消除由IP存储的电荷(不重置IP)。应注意，列“光子(增量-累计)”第一项指示在具体采样时段期间由IP检测到的光子的数量，并且第二项指示自从IP的最后一次有条件重置以来累加的光子的数量。
在采样时段2期间，由IP检测到7个附加的光子。由IP存储的电荷从在采样时段1期间响应于检测到4个电子而产生的电荷增加到响应于检测到11个累加光子(在采样时段1期间的4个光子和在采样时段2期间的7个光子)而产生的电荷。将由IP响应于存储的电荷而产生的像素信号转换为数字值“01011”。由于总共11个光子不触发20个光子的采样阈值，所以累加器不累加数字值“01011”，并且不重置IP。相似地，在采样时段3期间，由IP检测到2个附加的光子，并且由IP存储的电荷增加到响应于检测到13个累加的光子(在采样时段1期间的4个光子、在采样时段2期间的7个、和在采样时段3期间的2个)而产生的电荷。将由IP响应于该增加的存储电荷产生的像素信号转换为数字值“01101”。由于累加的13个光子不触发20个光子的采样阈值，所以累加器不累加数字值“01101”，并且不重置IP。
在采样时段4期间，由IP检测11个附加的光子。由IP存储的电荷增加到相当于检测到24个累加光子(在采样时段1期间的4个、在采样时段2期间的7个、在采样时段3期间的2个、和在采样时段 4中的11个)的电荷。将由IP响应于存储电荷产生的像素信号转换为数字值“11000”。由于累加的24个光子超过20个光子的采样阈值，所以加法器将数字值“11000”累加到用于IP的存储器元件中，并且重置IP。
在采样时段5期间检测到的14个光子不超过采样时段20个光子，不累加由ADC产生的数字值“01110”，并且不重置IP。在采样时段 6期间检测到的8个光子导致由IP对22个光子(在采样时段5期间的14个光子和在采样时段6期间的8个)的累加检测，并且加法器累加数字值“10110”(由此产生“000101110”的总累加值到存储器元件中)，并且重置IP。
针对16个采样时段中的每一个，重复该过程。响应于由IP检测到的累加光子的数量超过了20个光子的采样阈值，将由ADC在采样时段10、14、和15期间产生的数字值全部累加。因此，针对在这些时段(采样时段11、15和16)之后的采样时段，重置IP。在采样时段16期间，IP检测到19个光子，这未超过20个光子的采样阈值。另外，在采样时段16期间，接收配置为指导累加器累加由ADC产生的数字值的剩余信号(剩余值190，“10011”)。因此，加法器将值“10011”累加至在存储器元件中保持的累加值“001111011”，以产生图像数据195，“010001110”。最后，在采样时段16期间，接收重置信号，该重置信号使得读出电路能够输出图像数据，并且，继输出该图像数据之后，将由ADC输出的并且存储在累加器处的值重置为零。
图8图示了根据一个实施例的在图像捕获系统中的像素信息流。在图像捕获周期的过程期间，IP 200检测光子并且将像素信号202输出至读出电路。作为响应，读出电路204将接收到的像素信号转换为表示接收的像素信号的数字值，并且对于与超过采样阈值的像素信号相关联的每个数字值，累加数字值并且重置IP。在图像捕获周期之后，将累加数字值作为图像数据206输出。
后处理模块208接收图像数据206，并且对图像数据执行一个或者多个处理操作以产生处理数据210。在一个实施例中，可以使用响应函数来根据期望的响应变换图像数据206。例如，可以基于由IP检测到的光的亮度，利用线性函数或者对数函数来变换图像数据。然后，将处理的数据存储在存储器212中，以便后续的取回和处理。IP 200、读出电路204、后处理模块、和存储器可以位于IC内，或者可以位于单独耦合的IC内。
图9图示了根据一个实施例的由图像传感器读出电路诸如图3的读出电路使用的各种时间采样策略。在图9的实施例中，通过相当于 16个时间单位的图像捕获周期220来捕获图像。对于图示的三种采样策略中的每一种，“x”指示由读出电路对给定IP的采样。
在采样策略1中，读出电路在16个时间单位中的每一个之后对 IP进行采样。在采样策略2中，读出电路在每4个时间单位之后对IP 进行采样。由于读出电路在采样策略2中对IP进行采样的频率低于读出电路在采样策略1中对IP进行采样的频率，所以在采样策略2中的IP比在采样策略1中的IP更有可能饱和。然而，实施采样策略2(4个总样本)所需的资源(处理、带宽、和功率)可以低于实施采样策略1(16个总样本)所需的资源，这是因为读出电路在采样策略 2中对IP进行采样的频率仅仅是读出电路在采样策略1中对IP进行采样的频率的25％。
在采样策略3中，读出电路在时间单位1、2、4、8、和16之后对IP进行采样。采样策略3的采样的指数间距提供短的采样时段(例如，在时间单位0与时间单位1之间的采样时段)和长的采样时段(例如，在时间单位8与时间单位16之间的采样时段)。允许短采样时段和长采样时段两者，保持了采样策略1的动态范围，具有几乎如采样策略2一样少的采样(针对采样策略3为5次采样对比针对采样策略2为4次采样)。也可以在此处描述的图像传感器系统中通过读出电路实施未在图9中图示的其他采样策略。取决于曝光时段的总长、或者其他依赖场景或者用户的因素，可以选择不同的采样策略以满足期望的功率、SNR、动态范围、或者其他性能参数。
具有无损阈值监测的高SNR图像传感器
虽然在图2中示出的三晶体管(3T)像素架构适用于许多应用，但是具有设置在光电二极管与源极跟随器之间(即，在图2中，在光敏元件65的节点“VDET”与元件74之间)的“传输门”的四晶体管 (4T)设计提供了许多优点。首先，可以在不干扰光电二极管的电荷状态的情况下重置在源极跟随器的栅极处的现在被隔离的浮置扩散结构(例如，耦合至VDD)，从而使得能够进行相关双采样(CDS) 操作，在该相关双采样(CDS)操作中，在电荷积分之前对浮置扩散结构的噪声本底(noise floor)进行采样，然后从随后对光电二极管电位的采样中减去噪声本底，从而消除噪声并且显著改进SNR。另一优点是，违反直觉地，作为在光电二极管与源极跟随器之间的开关连接(即，经由传输门)的更紧凑型像素设计，使得能够在多个光电二极管之中共享源极跟随器、重置晶体管和存取晶体管。例如，仅仅要求7个晶体管来实施具有共享的源极跟随器、重置晶体管和存取晶体管的4个“4T”像素的组(即，4个传输门加3个共享晶体管)，由此实现每像素平均1.75个晶体管(1.75T)。
在像素读出方面，在3T像素中，在光电二极管与源极跟随器之间的直接连接，使得能够在不干扰正在进行的光电荷积分的情况下读出光电二极管的电荷状态。该“无损读出”能力在上面描述的有条件重置操作的背景下尤其有利，这是由于，可以在积分时段之后对3T 像素进行采样，并且，如果采样操作指示电荷电平保持为低于预定阈值，则有条件地使其继续对电荷求积分(即，不重置)。相反，作为 4T像素读出的部分的、在光电二极管与浮置扩散结构之间传输的电荷，干扰了光电二极管的状态，从而向有条件重置操作提出了挑战。
在下面结合图10至图14描述的许多实施例中，按照将重置阈值与像素样本生成分离的方式来操作改良型4T像素架构，以实现无损(并且仍然CDS的)过阈值确定。即，不是读出累加在光电二极管内的电荷的净电平(即，像素采样操作)并且基于该读出有条件地重置光电二极管(即，如在3T像素采样操作中的那样)，而是执行预备的过阈值采样操作以使得能够检测到在光电二极管内的过阈值状态，其中完整光电二极管读出(即，像素样本生成)根据该预备的过阈值检测结果有条件地执行。事实上，不是根据从全光电二极管读出而获得的像素值，来有条件重置光电二极管；而是根据预备地无损地确定是否已经超过阈值的结果，来有条件地进行完整光电二极管读出；在至少一个实施例中，一种方法通过将有条件重置阈值与像素值生成相分离而实现。
图10图示了改良的4T像素250的一个实施例，该改良4T像素 250在此处称为“递进读出像素”，在其中执行无损过阈值检测操作使得能够结合相关双采样进行有条件重置操作。如下面更加充分地阐释的，过阈值检测涉及光电二极管状态的受限读出，当确定指示过阈值条件时，这将触发光电二极管状态的更全的读出。即，从受限过阈值检测读出递进到完整读出(后者根据过阈值检测结果而有条件地进行)，顺序地读出像素250。
仍然参照图10，递进读出像素250包括设置在光电二极管260(或者任何其他实用的光敏元件)与浮置扩散结构节点262之间的传输门 251、以及耦合在传输门行线(TGr)与传输门251之间的传输使能晶体管253。传输使能晶体管253的栅极耦合至传输门列线(TGc)，从而使得，当启动TGc时，经由传输使能晶体管253将在TGr上的电位供应至传输门251的栅极，由此使得能够将累加在光电二极管 260内的电荷传输至浮置扩散结构262并且由像素读出电路系统感测。更加具体地，将浮置扩散结构262耦合至源极跟随器255(放大和/或电荷到电压转换元件)的栅极，源极跟随器255自身耦合在电源干线(在该示例中是VDD)与读出线Vout之间，以使得能够将表示浮置扩散结构电位的信号输出至在像素外部的读出逻辑。
如图所示，将行选择晶体管257耦合在源极跟随器与读出线之间以使得能够通过相应像素行多路访问读出线。即，将行选择线(“RS”) 耦合至在相应像素行内的行选择晶体管257的控制输入，并且在独热基础上进行操作以便一次为感测/读出操作选择一个像素行。也将重置晶体管259设置在递进读出像素内，以使得能够将浮置扩散结构可切换地耦合至电源干线(即，当重置门线(RG)启动时)并且由此将其重置。可以通过并行地完全地导通传输门251(例如，通过在TGr 为高时断言TGc)和重置晶体管259，或者仅仅通过将光电二极管连接至重置状态浮置扩散结构，来重置光电二极管自身连同浮置扩散结构。
图11是图示了在图10的递进读出像素内的示例性像素周期的定时图。如图所示，像素周期被分成5个时段或者阶段，这些时段或者阶段对应于所执行的用于在最后2个阶段中产生最终的递进读出的不同操作。在第一阶段(阶段1)中，通过并行地断言在TGr、TGc和RG线上的逻辑高信号以导通传输使能晶体管253、传输门251和重置晶体管259，来在光电二极管和浮置扩散结构内执行重置操作，从而经由传输门251、浮置扩散结构262和重置晶体管259将光电二极管260可切换地耦合至电源干线(图示的序列可以开始于无条件重置 (例如，在帧开始时)，并且也可以开始于前述有条件读出/重置操作)。为了结束重置操作，降低TGr信号和RG信号(即，应用在相似名称的信号线上的信号)，从而断开传输门251(和重置晶体管259)，从而使得光电二极管能够响应于在紧接着的积分阶段(阶段2)中的入射光而累加(或者积分)电荷。最后，虽然在图11中示出的重置操作期间行选择信号变为高，但是这仅仅是实施专用行解码器的结果，该行解码器在每当结合行专用操作对给定行地址进行解码时都提高行选择信号(例如，在针对给定行进行的重置期间提高TGr信号和 RG信号)。在备选的实施例中，行解码器可以包括用于在重置期间抑制行选择信号的断言的逻辑，如在图11中的虚线RS脉冲所示。
在积分阶段结束时，重置浮置扩散结构(即，通过使RG信号发出脉冲以将浮置扩散结构耦合至电源干线)并且然后通过采样保持元件在列读出电路内对其进行采样。事实上，重置和采样操作(在图11 中显示为阶段3)对浮置扩散结构的噪声电平进行采样；并且在示出的实施例中，通过断言用于所关注的像素行的行选择信号(即，由 RSi选择的“第i”像素行)、同时在使重置状态采样保持信号(SHR) 发出脉冲以经由读出线Vout将浮置扩散结构的状态传送至在列读出电路内的采样保持元件(例如，开关接入电容元件)，来执行该重置和采样操作。
在阶段3中获取噪声样本之后，在阶段4中，通过将TGr线提高至部分导通的“过阈值检测”电位VTGpartial、与此同时导通传输使能晶体管253(即，通过断言逻辑高的TGc信号，虽然在本实施例中 TGc已经导通)，来执行过阈值检测操作。通过在图12和图13中图形地图示的该操作，将VTGpartial供应至传输门251以将传输门切换至“部分导通”状态(“TG部分导通”)。参照图12和图13，在其对应示意性截面图下方示出了用于光电二极管260(在本示例中是钉扎光电二极管)、传输门251和浮置扩散结构262的静电电位图。应注意，所描绘的静电电位的电平不旨在是在实际或者仿真的器件中产生的电平的精确表示，而是用于图示像素读出阶段的操作的大体的 (或者示意的)表示。在将VTGpartial供应至传输门251时，在光电二极管260与浮置扩散结构262之间形成较浅的沟道电位271。在图12 的示例中，在过阈值检测操作(阶段4)之时，累加在光电二极管内的电荷的电平不提高至电荷经由部分导通的传输门的浅沟道电位溢出(例如，被传输)至浮置扩散结构所需的阈值电平。因此，因为累加的电荷电平未超过由将VTGpartial供应至传输门251的控制节点而建立的溢出阈值，所以从光电二极管至浮置扩散结构不存在溢出，而是累加的电荷保留在光电二极管内不受干扰。相反，在图13的示例中，累加的电荷的电平更高，超过溢出阈值，从而使得累加的电荷的部分 (即，电荷载流子的在传输门部分导通静电电位上方的子集)溢出到浮置扩散结构节点262中，其中剩余的累加的电荷保留在光电二极管中，如在272处所示。
仍然参照图11、图12和图13，在过阈值检测阶段4结束之前，在单状态采样保持元件内(即，响应于信号SHS的断言)对浮置扩散结构的电荷电平进行采样和保持，以产生阈值测试样本——该阈值测试样本是在信号状态样本与之前获得的重置状态样本之差——以相对于有条件重置阈值对该阈值测试样本进行估计。在一个实施例中，有条件重置阈值是模拟阈值(例如，响应于比较/转换选通信号的断言，而与在感测放大器中的阈值测试样本进行比较)，该模拟阈值设置或者编程为高于采样噪声本底的设置，但是又低得足以使得能够经由浅传输门沟道而检测到最小电荷溢出。备选地，可以响应于比较 /转换信号的断言而将阈值测试样本数字化(例如，在也用于生成最终像素样本值的模数转换器内)，并且然后与数字有条件重置阈值进行比较，再一次地，设置为高于噪声本底(或者编程为高于噪声本底的设置)，但是又低得足以使得能够检测到痕量电荷溢出。无论发生上述哪种情况，如果阈值测试样本指示没有发生可检测溢出(即，阈值测试样本值减去有条件重置溢出阈值)，那么将光电二极管视为处于在图12中示出的不足阈值状态中，并且在紧接着的有条件读出阶段 (阶段5，最终阶段)中将TGc线保持为低，以针对递进读出操作的剩余部分禁用传输门251——事实上，禁用进一步从光电二极管读出并且由此使光电二极管能够在不干扰到至少另一采样时段的情况下继续对电荷求积分。相反，如果阈值测试样本指示溢出事件(即，阈值测试样本大于有条件重置/溢出阈值)，那么在有条件读出阶段期间，使TGc线发出脉冲、与此同时用完全导通的“剩余部分传输”电位 VTGfull供应至TGr线，从而使得能够经由全深度的传输门沟道(273) 将在光电二极管260内的电荷(即，如图13所示的电荷272)的剩余部分传输至浮置扩散结构262；从而使得，在阶段4中的过阈值传输与在阶段5中的剩余部分传输之间，将自从在阶段1中的硬重置以来累加在光电二极管内的电荷，完全地传输浮置扩散结构，在该浮置扩散结构处该电荷在像素读出操作中可以被感测。在示出的实施例中，像素读出操作通过在有条件读出阶段5期间顺序地使SHS信号和比较/转换选通发出脉冲来实现，虽然这些脉冲中的任一或者两者可以可选地在没有过阈值检测的情况下得到抑制。应注意，光电二极管的有条件读出(即，通过使TGc发出脉冲并且将VTGfull供应在TGr上来实现)，有效地重置了光电二极管(即，将所有电荷汲出至浮置扩散结构)；而抑制有条件读出，使得光电二极管的积分状态不受干扰。因此，在阶段5中执行有条件读出操作，有条件地重置光电二极管，以便为在以后的采样时段(子帧)中再次进行积分做准备、或者以便避免重置光电二极管以使得能够在随后的采样时段中进行累加积分。由此，无论发生哪种情况，都在阶段5后进行新的积分阶段，其中，针对整个帧(或者曝光)时段的每个子帧，在新帧中重复硬重置之前，重复阶段2至阶段5。在允许跨过帧边界的累积积分的其他实施例中，可以执行硬重置操作以初始化图像传感器，并且在之后的不确定时间周期期间省略硬重置操作。
图14图示了具有递进读出像素阵列301、排序逻辑303、行解码器/驱动器305和列读出电路307的图像传感器300的实施例。在将像素阵列301示出为包括四行和两列的共享元素像素时，其他实施例可以包括更多像素行和列，以实施例如数兆像素或者数十亿像素的图像传感器。列读出电路307(针对其描绘了两列读出电路系统)和行解码器/驱动器305可以类似地按比例缩放，以满足在像素阵列中的像素的数量。
在示出的实施例中，像素阵列的每列由共享元素像素填充，其中每4个像素形成四像素单元310并且包含了相应的光电二极管260 (PD1至PD4)、传输门251、和传输使能晶体管253，但是共享了浮置扩散结构节点312、重置晶体管259、源极跟随器255和行选择晶体管257。通过这种布置，每个像素的平均晶体管计数为2.75(即， 11个晶体管/4个像素)，由此实现了较高效的2.75T像素图像传感器。
如图所示，行解码器/驱动器305将共享的行选择信号(RS)和重置门信号(RG)输出至四像素单元310的每行，并且将独立的行传输门控制信号(TGr1-TGr4)输出至相应的传输使能晶体管253的漏极端子。在行解码器/驱动器305通过阵列的各个行递增地进行排序(例如，关于像素阵列301的各个行的流水线地重置、积分和递进读出操作，从而使得逐行读出)的实施例中，行解码器/驱动器可以包括用于针对每行在适当的时间处断言RG、RS和TGr信号的逻辑(例如，关于来自排序逻辑303的行时钟来合成这些信号)。备选地，行解码器/驱动器305可以接收对应于RG、RS和TGr信号中的每一个或者任何一个的单独的定时信号，从而在适当的时间处将任何单独的使能脉冲多路复用到所选行的对应RG、RS和TGr线上。在一个实施例中，行解码器/驱动器从片上(on-chip)或者片下(off-chip)的可编程电压源309接收对应于在图11、图12和图13中示出的断开状态、部分导通状态和完全导通状态的传输门控制电压(即，VTGoff、VTGpartial、 VTGfull)，在确定的时间处将不同控制电压中的每一个可切换地耦合至给定的传输门行线，例如，如图11所示。在替代实施例中，多于一个的电压源309可以设置在图像传感器300中，以使得能够本地地校准传输门控制电压并且由此补偿跨像素阵列的控制电压偏差和/或性能偏差(即，非均匀性)。
仍然参照图14的实施例，列读出电路307包括一组读出电路315，每个读出电路315将数字阈值比较器和较低位深度的模数转换器(例如，4-10位ADC，虽然也可以采用更低或者更高的位深度的ADC) 实施为分别执行过阈值检测和有条件采样操作，如结合图11至图13 所论述的。在一个实施例中，通过单独的电路来实施阈值比较器和 ADC，从而使得可以在不考虑应用在过阈值确定中的有条件重置阈值的情况下生成像素样本值。通过这种方式，使有条件重置阈值与在 ADC转换中使用的参考信号(“ADC Vref”)分离，解放有条件重置阈值和ADC参考电压，以在传感器操作期间或者之前动态地独立调节(例如，通过对阈值参考发生器再编程)，以实现对于改变操作条件或者次佳成像结果的校准和/或补偿。在替代实施例中，可以将阈值比较器实施为ADC的部分(例如，将结合分辨数字采样值而应用的参考，用作有条件重置阈值)，通过更紧凑的电路设计来潜在地减少列读出逻辑的占用面积。
在示出的实施例中，排序逻辑将列时钟、采样保持选通(SHR、 SHS，都用于使得能够在ADC/阈值比较器的前端处的采样保持元件内进行信号存储)、和比较/转换选通传输至列读出逻辑，以使得能够进行操作定时，例如，如图11中所示。即，在过阈值检测阶段(即，阶段3)期间，用于给定像素列的读出电路断言TGc线(或者保持 TGc线的断言)(例如，响应于来自排序逻辑303和逻辑OR门316 的TGcEn信号的断言)，从而使得，当行解码器/驱动器将用于给定像素行的TGr线切换为部分导通电位(例如，VTGpartial，其被供应至像素行的传输门)时，使得能够执行上面描述的过阈值检测操作。因此，在每个读出电路内的阈值比较器相对于有条件重置阈值估计阈值测试样本的状态(其根据在将VTGpartial供应至给定光电二极管的传输门之后的、共享浮置扩散结构312的状态而生成)，以产生二进制过阈值结果。如果检测到过阈值条件，那么读出电路短时间后再次提高 TGc信号(即，结合完全导通TGr电位(VTGfull)以实现有条件读出操作，从而使得能够将光电二极管状态完整读出到Vout上并且重置光电二极管)，并且响应于比较/转换选通的断言来执行模数转换操作以产生数字化的像素样本。
读出电路系统
图15A至图15C图示了可以与上面描述的示例性递进读出像素结合使用的替代的列读出电路实施例。例如，图15A图示了由采样保持组351、模数转换器(ADC)353、感测放大器355和ADC使能门357 形成的列读出电路350。采样保持(S/H)组351包括开关元件和模拟存储元件(例如，电容性元件)，以使得能够响应于重置状态和信号状态控制信号的断言而对所选像素的重置状态和信号状态(经由列“Vout”线传输)进行采样和保持。在一个实施例中，像素重置状态信号和信号状态信号从S/H组351差分地(例如，信号状态-重置状态)输出，由此使得感测放大器355和ADC 353能够接收反映浮置扩散结构的状态低于可变(即，噪声的)重置电平的测量信号。在示出的实施例中，感测放大器355和ADC 353接收分别用于过阈值检测和ADC操作的单独的参考信号(“SA Ref”和“ADC Ref”)。更加具体地，当使比较选通信号(“比较”)发出脉冲时，在感测放大器353内触发阈值比较，根据S/H信号输出是否超过感测放大器参考信号(即，如上面描述的溢出阈值或者有条件重置阈值)(并且由此，噪声校正的像素信号状态是否超过感测放大器参考信号)，来产生逻辑高或者低的比较结果。将比较结果作为上面论述的有条件重置信号而反馈至像素列，并且也将其供应至逻辑门357，以使得能够在 ADC 353内进行模数转换操作。即，如果感测放大器355发出过阈值条件(在本示例中是逻辑“1”比较结果)的信号，那么使得紧接着的转换选通脉冲(“转换”)能够通过逻辑AND门357(即，借由高的感测放大器输出)到达ADC 353的转换使能输入，从而触发ADC操作。在一个实施例中，设置缓冲器359用于存储由此产生的N位 ADC值(例如，在多个实施例中是8位至12位值，虽然更高或者更低的分辨率可以适用于所有情况)、以及来自感测放大器355的比较结果，后者形成有效性位“V”，该有效性位“V”将在缓冲器359 内的ADC内容限制(qualify)为包含有效或者无效的数据。因此，如果在被读出的像素内没有发生可检测的溢出，那么逻辑低的比较结果，不仅会抑制ADC操作(节能)，还会限制读出缓冲器的内容，从而允许流出的数据流的压缩。该结果在360处的定时波形中用虚线 ADC数据传输来指示——表示只有当像素测量超过溢出阈值(V＝1) 的情况下，才生成和传输ADC数据。
图15B图示了备选的读出电路实施例365缺少感测放大器并且替代地应用了ADC电路353来执行阈值比较和(若必要)生成对应于全像素读出的ADC数据两者。如前所描述的，S/H组351输出反映在溢出(部分读出)操作和完整读出操作期间在信号状态与重置状态之间的差异的测量信号。当断言比较选通(“比较”)时，经由逻辑 OR门368将比较选通(“比较”)供应至ADC的使能转换输入，以使得能够进行关于在部分读出操作(即，将VTGpartial供应至所选像素的传输门，如上面所论述的)期间所获得的测量信号的ADC操作。如果ADC输出超过数字阈值(即，多位数字值或者数字数量)，那么比较器367断言有条件重置/过阈值信号(例如，在示出的示例中是逻辑‘1’状态)，从而使得紧接着的转换选通脉冲(“转换”)能够经过逻辑AND门369(和逻辑OR门368)以触发另一ADC操作，这次是关于在完整读出操作期间而获取的测量信号。如图15A的实施例所示，将有条件重置信号驱动回像素列，以使得能够在目标像素内进行完整读出(和像素重置)操作，并且也将其输出至读出缓冲器359 以存储为有效性位，从而描述该缓冲器的对应ADC数据内容。虽然在图15B的实施例中将比较选通、转换选通和传输数据波形图示为与在图15A中的比较选通、转换选通和传输数据波形匹配，但是在比较选通脉冲与转换选通脉冲之间可以加入略大的延迟，以考虑到在ADC 内使S/H部分读出测量数字化所需的额外时间。在这两种情况下，在比较选通脉冲与转换选通脉冲之间的时段可以与示出的时段不同，例如使读出定时操作与上面描述的像素操作(例如，如图11所示)对准。
图15C图示了图15B的读出电路实施例的变型例(375)。一般而言，读出操作的序列如参照图15B所论述的，除了部分读出ADC 输出锁存在读出缓冲器377内之外；并且，如果是不足阈值的(即，无有条件重置输出，并且由此无随后的完整读出ADC输出)，那么将数字化的部分读出测量与指示是否已经检测到过阈值条件的过阈值位(OT)一起在芯片外部传输。如果部分读出ADC输出超过溢出阈值，那么在第二ADC操作中使完整读出测量数字化并且将其存储在读出缓冲器内，覆写部分读出ADC值。通过这种操作，向外部目的地传输有效像素读出值，该有效像素读出值反映部分读出(OT＝0) 或者完整读出(OT＝1)，而无论是否超过溢出阈值，由此允许部分读出值的序列累加(积分)在最终像素值内。应注意，可以省略对OT位的存储和传输，尤其是在不考虑ADC测量的获取是发生在完整读出操作中还是部分读出操作中而对ADC测量进行聚合或者组合的实施例中。
图像抽取和像素拼接
此处描述的多个有条件重置图像传感器实施例可在产生小于最大图像分辨率的抽取模式中操作。例如，在一个实施例中，能够在静止图像模式中生成8MP(8兆像素)输出的图像传感器，在抽取的高清晰度(HD)视频模式中产生2MP输出；4:1的抽取率(在每个模式中可以应用更高或者更低的分辨率，并且在备选的实施例中也可以实现其他的抽取模式和抽取率；同样，如果静止帧纵横比和视频帧纵横比不同，那么传感器的一些面积区域在一个模式或者其他模式中可能根本不使用)。
虽然可以设置后数字化逻辑以抽取全分辨率数据(例如，在ADC 组的输出处的片上逻辑、或者片下处理逻辑)，但是在多个实施例中，应用了在像素阵列内的像素电荷聚合或者“拼接”以及/或者在采样和保持存储元件内的电压拼接，来实现预数字化(即，实现预ADC，并且由此实现模拟)抽取，从而消除了裸片消耗和功率消耗型数字拼接逻辑，并且从而在许多情况下产生了在抽取的输出中的改进的信噪比。
图16图示了四像素共享浮置扩散结构图像传感器架构，其中可以按照在不要求额外的阵列遍历控制线的情况下实现多抽取模式的方式，应用在多个实施例中公开的行传输门控制线和列传输门控制线 (TGr和TGc)。更加具体地，通过使共享浮置扩散结构401处于4个像素(每一个包括相应的光电二极管PD1至PD4、传输使能晶体管 403.1至403.4、和传输门404.1至404.4)的中心、并且将列传输门控制线TGc分为单独的奇数列使能线和偶数列使能线(TGc1和TGc2，每一个耦合至相应的逻辑OR列线驱动器421、423)中，可以在抽取模式下电荷拼接像素的所有子集或者任何子集，并且也可以在非抽取 (全分辨率)模式下单独地操作并且读出每个像素。
在示出的具体实施例中，共享浮置扩散结构401(出于简化附图起见，分为互连的2个部分进行图示)通过相应的传输门404.1至404.4 可切换地耦合至4个像素的光电二极管PD1至PD4，其中每个传输门由在控制信号矩阵内的不同的TGr和TGc信号对来控制。即，传输门404.1经由控制信号TGr1/TGc1由传输使能晶体管403.1控制，传输门404.2经由控制信号TGr2/TGc1由传输使能晶体管403.2控制，传输门404.3经由控制信号TGr1/TGc2由传输使能晶体管403.3控制，并且传输门404.4经由控制信号TGr2/TGc2由传输使能晶体管403.4 控制。如在上面描述的共享元素像素布置中，共享浮置扩散结构401 耦合至共享源极跟随器405、行选择晶体管407、和重置晶体管409，由此使得能够实现更加紧凑的四像素布局。而且，如图17的示例性物理布局图所示，4个传输门(“TG”)可以在物理上设置在中心化浮置扩散结构(FD)的角部处，其中传输使能晶体管、重置门、源极跟随器和行选择晶体管形成在四像素布局的外围，由此实现高度紧凑的四像素的占用面积，在跨数兆像素阵列的行和列尺寸中可以重复该高度紧凑的四像素的占用面积。
图18A和图18B图示了可以关于图16和图17的四像素架构而采用的并且可以指示实际抽取模式的彩色滤光器阵列(CFA)图案。在图18A的CFA图案中，例如，在4:3电荷拼接抽取模式中，可以拼接包括光电二极管PD1和PD4的绿色角部像素(G)(即，PD1和PD4设置在绿色彩色滤光器元件下方)；而在图18B的包括白色、绿色、红色和蓝色彩色滤光器的CFA图案中，在4:2抽取模式中，可以电荷拼接在每个四像素中的两对角部像素(即，包括光电二极管PD1 和PD4的像素以及包括光电二极管PD2和PD3的像素)。关于其他 CFA图案和/或黑色&白色(或者灰度)成像，也可以使用其他电荷拼接布置。
图19和图20示出了定时图，这些定时图分别图示了在图16中示出的包含有2x2四像素布置的图像传感器内的、全分辨率(非拼接) 像素读出操作和拼接模式像素读出操作的示例性阶段的。出于示例之目的，在每个定时图内假设部分读出(阈值测试)和完整读出的操作期间的读出增益配置不同，其中应用了独立的采样和保持元件组，以捕获在这些读出操作期间的重置状态样本和信号状态样本。下面参照图25A至图25C、图26和图27，对不同增益配置电路的示例及其优点进行描述。
首先，在图19的全分辨率读出中，通过完全断言用于正在被读出的行的如在420处示出的传输门行信号(TGri)、连同奇数传输门列信号和偶数传输门列信号(TGc1、TGc2)，而在阶段1(在定时图的底部处绘出)中执行重置操作，从而将完整读出电位供应至用于在所选行内的奇数列和偶数列的传输门，以使电荷能够从对应的光电二极管传输至共享浮置扩散结构(即，将光电二极管重置为初始状态，为电荷积分做准备)。在降低TGri信号之后，在422处，使重置使能信号(RG)发出脉冲，以导通重置晶体管并且由此重置浮置扩散结构。在积分阶段2(未按比例示出时长)期间，根据入射光的亮度将电荷积分/累积在光电二极管内。在奇数列阈值测试阶段3a期间，在424处，第二次使RG信号发出脉冲以重置浮置扩散结构，并且在 426和428处，在行选择线RSi为高时，使重置状态采样保持信号 SHRsa和SHRadc发出脉冲，以使得能够在分别用于感测放大器和 ADC的采样保持元件内对浮置扩散结构的重置状态进行采样。在对浮置扩散结构的重置状态进行采样之后，将偶数列传输门信号(TGc2) 降低(在TGc1保持为高时)并且将TGri提高到VTGpartial电位，以使得能够关于奇数列像素进行阈值测试读出。在430处，提高信号状态采样保持信号SHSsa，以使得能够在用于感测放大器的采样保持元件内捕获浮置扩散结构状态的样本(即，在其中的任何溢出电荷)，并且，在432处，使比较选通信号(“比较”)发出脉冲，以使读出电路的感测放大器部件能够生成在浮置扩散结构信号状态与有条件重置(溢出)阈值之间的比较结果(减去重置状态)。
紧接在432处捕获到浮置扩散结构信号状态之后、并且在将行传输门信号提高到完全导通(VTGfull)之前，在奇数像素的有条件读出阶段4a中，降低奇数列传输门信号(TGcl)。更加具体地，如果比较结果指示不足阈值条件，那么将TGcl线保持为低而将TGri提高到VTGfull电位，从而抑制全像素读出并且允许在积分阶段2期间积分在光电二极管内的电荷保持不受干扰并且用作在随后的积分时段(即，连续积分)期间的初始状态。相反地，如果感测放大器比较结果指示过阈值条件(即，在积分阶段2期间累计的电荷超过有条件重置阈值)，那么，如在434处用虚线脉冲示出的提高TGcl线、与此同时将VTGfull电位供应在TGri上，从而将VTGfull供应至奇数像素传输门，以使得能够进行全像素读出操作。此后不久，就在奇数像素有条件读出结束之前，使信号状态采样保持信号SHSadc发出脉冲(如在436处所示)，以将奇数像素读出信号的样本捕获在用于ADC的信号状态采样保持元件内。在438处，在将奇数像素读出信号捕获在ADC采样保持元件中之后，使转换选通发出脉冲，以触发关于在ADC采样保持元件内捕获的重置状态样本与信号状态样本之间的差异的ADC操作。
在奇数像素有条件读出(即，阶段4a)结束时，降低行传输门信号，从而使得，在紧接着的偶数像素阈值测试阶段3b中，在440处的奇数像素列传输门信号TGcl的断言，驱动奇数像素传输门为低(确保在光电二极管与浮置扩散结构之间的隔离)，由此使得能够在442处在不干扰奇数列像素状态的情况下通过RG脉冲来重置浮置扩散结构。仍然在阶段3b中，在446处提高偶数列传输门信号、与此同时在448处断言SHRsa脉冲，以获取浮置扩散结构的重置状态样本。如在奇数像素阈值测试中一样，在450处(在TGc2保持为高时)，将行传输门信号TGri提高到部分导通电位(VTGpartial)，从而，如果在光电二极管内存在过阈值条件，使得电荷能够从偶数像素光电二极管溢出到浮置扩散结构。在452处，使SHSsa发出脉冲以对偶数像素信号状态进行采样，并且，在454处，使比较选通发出脉冲以使得能够在读出感测放大器内进行偶数像素过阈值确定(偶数像素信号状态减去浮置扩散结构重置状态)。正如奇数像素，如果来自感测放大器的比较结果指示过阈值条件，那么在456处断言偶数像素列传输门信号、与此同时将TGri电位提高到完全导通电平(VTGfull)，由此使得能够在断言了SHSadc和转换选通信号(分别在458和460处)之后完整读出偶数像素信号状态以产生偶数像素ADC结果。如果来自感测放大器的比较结果指示不足阈值条件，那么在456处，抑制TGc2脉冲，以避免干扰到偶数像素光电二极管的状态，由此使在光电二极管上的电荷保持完好，以用于连续积分。
仍然参照图19，在数据传输阶段5中，将用于偶数像素和奇数像素的行i的ADC值一个接一个地传输至片上或者片下图像处理目的地(例如，传输至片下图像处理目的地)。如上面所论述的，在关于给定像素为不足阈值条件的情况下，可以抑制关于该像素的模数转换并且/或者从流出的数据流省略ADC输出。无论在哪种情况下，关于所选像素行的数据传输都可以与在后续行内的像素读出操作成流水线操作，例如，通过传输行i-1数据、与此同时进行关于行i的像素的读出操作的各个阶段。
在图20的拼接模式读出定时图中，如上面参照图19所描述的一样执行硬重置操作和积分操作(阶段1和阶段2)，如作为在阈值测试阶段3开始时的浮置扩散结构重置(即，在TGc1和TGc2为高时断言RG，并且响应于对SHRsa信号和SHRadc信号的断言而对重置状态进行采样)。之后，关于角部像素(即，在示出的示例中，包含光电二极管PD1和PD2)，通过在476处将TGr1驱动到部分导通状态、与此同时断言TGcl和去断言TGc2，并且然后在478处将TGr2驱动到部分导通状态、与此同时断言TGc2和去断言TGc1，而一个接一个地执行部分读出操作。通过这种操作，将来自光电二极管PD1 和PD4的任何溢出电荷聚合在浮置扩散结构中，并且由此，当在480 处断言SHSsa时，将该电荷捕获在感测放大器采样保持元件内。因此，在482处断言比较选通信号，使得能够将聚合的来自PD1和PD4的溢出电荷与有条件重置/有条件读出阈值进行比较(减去浮置扩散结构的重置状态)。如果比较结果指示过阈值条件，那么可以一个接一个地使TGcl和TGc2发出脉冲(并且，与其中每个脉冲同时地，分别与断言对应行线TGrl和TGr2上的VTGfull)，以使得能够将累积在角部光电二极管(PD1和PD4)内的电荷的剩余部分传输至浮置扩散结构，从而对像素积分结果进行电荷拼接，并且从而重置每个像素为下一个电荷积分时段做准备。因此，当在488处使SHSadc信号发出脉冲时，将在浮置扩散结构内拼接(或者聚合)的光电二极管电荷捕获在用于ADC的信号状态采样保持元件内，由此使得，当在490处使转换选通发出脉冲时，能够关于来自角部像素的组合电荷进行ADC 操作(减去浮置扩散结构重置状态)。可以在下一对像素行的读出期间，将针对行i产生的数字化像素值(即，ADC输出)传输至片下或者片上处理逻辑。
仍然参照图20，如果读出感测放大器输出的比较结果指示不足阈值条件，那么抑制在484和486处示出的TGcl和TGc2信号断言，以避免干扰到对象光电二极管的内容，从而允许在后续的子帧时段期间进行连续积分。虽然示出的定时序列从包含光电二极管PD1和PD4 的角部像素(即，在图16和图18中示出的布局中的西北角和东南角) 产生拼接结果的输出，但是可以交换输出到信号线TGcl和TGc2上的波形以从包含光电二极管PD2和PD3的角部像素产生拼接结果。进一步地，可以通过在阶段3中执行另外的部分读出操作(即，重复TGrl和TGr2的部分导通脉冲，但是反转列传输门信号TGcl和TGc2 的断言序列)、并且然后如果检测到过阈值结果、那么在阶段4中执行另外的完整读出操作(即，重复TGrl和TGr2的完全导通脉冲，但是反转列传输门信号TGcl和TGc2的断言序列)，来实现读出在所有四个光电二极管内的聚合(拼接)电荷。
图21图示了可以关于4x1四像素块310的聚合件和在500处示出的彩色滤光器阵列(CFA)片段而执行的备选的拼接策略。在示出的实施例中，每个四像素块310(关于CFA片段在310.1至310.4处示出的)通常如参照图14所描述的一样来实施，并且可以根据参照图14和图15A至图15C描述的读出技术中的任何一种技术来读出。如图所示，CFA片段500(即，足够演示CFA图案的传感器宽CFA 的部分)包括在每个3x3像素组的角部像素处的类似颜色的滤光器元件的聚合件。由此，绿色滤光器元件设置在阴影像素‘G’之上，蓝色滤光器元件设置在条纹像素‘B’之上，并且红色滤光器元件设置在散点像素‘R’之上。在这种布置中，设置在相同四像素块中的每对类似滤光的像素(即，通过相同颜色滤光器元件R、G或者B进行了滤光处理)由此允许在它们的共享浮置扩散结构内进行电荷拼接，如下面详细描述的。进一步地，参照图22，通过将在每列中的像素对与耦合至相同行线的类似滤光的像素对之间的列偏移固定(即，在示出的示例中，固定为两列的间距)，并且通过在像素阵列551的列读出点处设置开关元件(即，在采样保持电路系统553内的开关元件561 和562)，可以将在采样保持电路系统553内的两对电荷拼接像素的结果“电压拼接”，由此，在SA/ADC块555的ADC元件内进行数字化之前，将在每个3x3像素组中的4个角部像素组合在一起(即，聚合、拼接)。
图23图示了在图21和图22的4x1四像素架构内的拼接模式读出操作的示例性定时图。在示出的示例中，在锁定步骤中，操作用于行i和行i+2的行线，以在给定的四像素块的共享浮置扩散结构内实现2:1电荷拼接。更加具体地，一致地断言用于4x1四像素块(或者，这种四像素块的行)的像素行1和像素行3的行信号，在这之后，在前进到断言用于4x1四像素块的下一行的行信号之前，进行用于像素行2和像素行4的行信号的锁定步骤断言。在采样保持开关元件(例如，如在图22中示出的采样保持块553的561和562处)内建立横向连接，以实现2:1电压拼接，并且由此实现整体4:1模拟信号求和以及伴随而来的图像抽取。
更加具体地参照图23，在锁定步骤中，操作行选择信号(RS)、重置门信号(RG)和行传输门信号(TGr1、TGr3或者“TGr1,3”)，以在硬重置阶段1期间，重置所选像素行的光电二极管和共享浮置扩散结构；在积分阶段2期间，允许进行电荷积分；在阈值测试阶段3 期间，确定在4个像素的每个隔列的(column-interleaved)聚合件(即，如参照图21和图22描述的3x3角部像素)内的电荷拼接电荷累积结果和电压拼接电荷累积结果是否超过有条件重置阈值；并且，如果检测到过阈值条件，在有条件读出阶段4，中有条件地读出并且数字化在对象像素聚合件内的全电荷拼接和电压拼接的累积电荷，这是在输出阶段5中将数字化的像素值传输到下游的(片上或者片下)处理逻辑之前进行的。逐一地考虑这些阶段，在硬重置阶段1中，使行传输门信号TGr1和TGr3发出脉冲达VTGfull(如在570处所示)，同时提高列传输门信号TGc，由此将累积的电荷从光电二极管PD1和PD3 传输到它们的共享浮置扩散结构节点。在光电二极管到浮置扩散结构的电荷传输之后，在572处，使重置信号RG发出脉冲，以清除来自浮置扩散结构的电荷，为在阶段2中的紧接着的电荷积分做准备。在阈值测试阶段3开始时，再次使重置信号发出脉冲(574)以重置浮置扩散结构，并且然后，在576和578处(在断言RSi时)，使信号 SHRsa和SHRadc发出脉冲以将浮置扩散结构的重置状态的样本捕获在用于感测放大器和ADC的采样保持元件内。在580处，将TGr1 和TGr3提高到部分导通传输电位VTGpartial，以便如果在对象像素的光电二极管中存在过阈值条件，那么使得电荷能够溢出到共享浮置扩散结构。然后，在582处，使SHSsa信号发出脉冲，而将横向互连开关元件(例如，晶体管)切换到在采样保持组内的导通状态，以将浮置扩散结构节点的信号状态捕获在共享采样保持元件的相关列(即，在示出的实施例中，列j和列j+2)内，由此对两个电荷拼接溢出样本进行电压拼接。通过降低TGc信号并且断言比较选通(584)以触发在感测放大器内的阈值比较，来结束阈值测试阶段，从而将来自4 个电荷/电压拼接像素的聚合溢出电荷与有条件重置阈值进行比较。如果比较结果指示过阈值条件，在将VTGfull供应在TGr1和TGr3线期间，在586处，使TGc信号发出脉冲，(由此，使得能够将光电二极管PD1和PD3完整读出到在对应的四像素块内的共享浮置扩散结构)，并且然后，在588处，提高SHSadc信号，以将开关互连像素列的浮置扩散结构节点的信号状态捕获在用于ADC的信号状态采样保持元件内(即，对电荷拼接浮置扩散结构内容进行电压拼接)。之后，在590处，使转换选通发出脉冲，以触发关于捕获在采样保持电路(若存在)内的电压/电荷拼接信号状态ADC操作，之后在阶段5 中，传输ADC输出。如上面所论述的，如果在阈值测试阶段4中未检测到过阈值条件，那么可以抑制ADC操作和数据传输操作以节电并且减小信令带宽。
图24图示了具有可在参照图21至图23描述的抽取(拼接)模式下操作的4x1四像素块601的阵列的图像传感器600的更加详细的实施例。如在图14的实施例中一样，行解码器/驱动器605接收来自片上或者片下电压源309的传输门电压(例如，VTGpartial、VTGfull和VTGoff)和来自排序逻辑603的行地址值和行时钟(用于控制行信号定时)，从而作为响应而输出行控制信号RG、RS、和TGrl至TGr4。排序逻辑附加地向列读出电路系统607输出一组读出控制信号，包括列时钟信号(其可以由用于为在感测放大器、ADC、存储器缓冲器等内的对列读出电路系统607进行的操作进行定时的多个定时/控制信号组成)、如上面描述的比较选通信号和转换选通信号、列传输门使能信号(TGcEn)、SHR和SHS信号(其可以包括单独的用于感测放大器和ADC采样保持元件的信号)。排序逻辑还向列读出电路系统607和行解码器/驱动器605两者输出抽取模式信号(“Dec模式”)，以使能/禁用上面描述的电荷拼接操作和电压拼接操作。例如，在一个实施例中，抽取模式信号可以配置为在至少两种可能的状态中的一种状态中(例如，根据在可编程配置寄存器604内的抽取模式设置)，这两种状态包括：拼接禁用状态，在该状态中，单独地操作像素行和像素列，以使得能够进行全分辨率图像读出；以及拼接使能状态，在该状态中，行解码器/驱动器在锁定步骤中断言行信号对(例如， TGrl/TGr3以及TGr2/TGr4)以在共享浮置扩散结构内实现电荷拼接，并且在该状态中，横向地耦合用于偶数列对和奇数列对的列读出线 (Vout)，以使得能够在采样保持元件内进行电压拼接。
仍然参照图24的实施例，除了感测放大器617和TGc逻辑门619 (其通常如上面描述的操作)之外，列读出电路系统607还包括一组列掩蚀(eclipse)检测电路615，每个列掩蚀检测电路615耦合以接收来自采样保持块609的像素重置信号，并且具有用于确定光电二极管测量(无论是拼接的还是全分辨率的)是否超过饱和阈值的电路系统。如果给定的掩蚀检测器615(例如，由阈值比较器实施的)检测到饱和条件(即，超过饱和阈值)，那么掩蚀检测器提高在ADC电路611的次级使能输入处的掩蚀信号，以禁用在其中进行ADC操作。也将掩蚀信号输出至线存储器元件621以描述ADC输出，如果检测到饱和条件(由此，指示ADC输出无效，并且事实上，应该由最大读出值表示ADC输出)那么在线存储器元件621记录为逻辑‘1’掩蚀位，否则记录为逻辑‘0’掩蚀位。通过这种操作，针对每个像素列记录的掩蚀位和不足阈值位一起用于描述对应的ADC输出，如下 (其中‘X’指示无关状态)：
表1
不足阈值 掩蚀 ADC值 解释
0 0 无效 不足阈值：假设ADC输出为0
X 1 无效 饱和：假设ADC输出都为‘1’
1 0 有效 未达到饱和的过阈值
仍然参照图24，当设置拼接模式以使得能够在列对之间进行电压拼接时(例如，电压拼接的偶数编号的列、和电压拼接的奇数编号的列)，可以禁用在每个拼接列对中的一个列内的感测放大器和ADC，以便节电，其中根据拼接模式对传输的数据流进行抽取。
动态增益像素读出
如结合图19和图20简要提及的，在部分读出操作和完整读出操作期间可以应用不同的增益。即，因为在部分读出期间的溢出电荷可能非常小(即，电荷积分电平几乎不超过有条件重置阈值)，所以在部分读出期间应用更高的增益可以是有利的。相反地，因为完整读出可以在最小电荷积分电平与最大电荷积分电平之间的范围内，所以可以应用明显更低的增益来将这些电荷电平规范化(normalize)于最小 ADC输出值和最大ADC输出值。因此，在此处的许多实施例中(包括上面参照图19至图24描述的实施例)，在部分读出操作和完整读出操作期间，通过列读出电路系统应用不同的增益。
图25A图示了可以用于在像素列中实现高增益的部分读出和近似单位增益的完整读出的可选择增益(或者多增益)读出电路的实施例。更加具体地，在示出的实施方式中，多路复用器651和653用于根据多路复用器控制信号CS和SF的状态而建立共源极放大器配置(增益＝晶体管M1的跨导*负载电阻RL，其中“*”表示乘法运算) 或者源极跟随器配置(单位增益或者近似单位增益)。在共源极放大器配置下(CS＝1、SF＝0)，多路复用器653经由负载电阻RL(655) 将列线Col2耦合至电压供应干线Vdd，而多路复用器651将列线Co11 耦合至接地。如图所示，将Co12耦合至行选择晶体管683的漏极端子，从而使得Voutl将根据流经晶体管M1的电流而变化；所供应的栅极电压(浮置扩散结构电荷电平)与晶体管的跨导的函数。更加具体地，如通过图25B(该图图示了共源极增益配置)可以理解的，Voutl 由Vdd-Imi*Rl给出，从而使得Voutl/VFD接近gm*RL，其中gm表示晶体管M1的跨导。因此，通过适当地设计M1和/或Rl的大小，可以实现充分地大于单位增益的共源极增益，由此提高了对可在部分读出操作中溢出到浮置扩散结构的较小的电荷电平的敏感度。应注意，重置晶体管685也耦合至Co12线，由此使得能够在共源极增益配置下时响应于RG信号断言而将浮置扩散结构上拉倒CS模式Vout(即，重置)。
在源极跟随器配置(SF＝1、CS＝0)中，多路复用器653将电流源657耦合至Co12线，并且多路复用器651将列线Co11耦合至Vdd，由此使得能够建立作为源极跟随器放大器的M1(即，在M1源极处的输出电压跟随施加在M1的栅极处的浮置扩散结构电压，并且由此 Vout2跟随施加在M1的栅极处的浮置扩散结构电压)，如在图25C 中所示。更加具体地，为了保持经过Co12线的基本恒定的电流，保持恒定电流源的反馈回路根据需要提高在Vout2处的电位，以抵消在晶体管M1中的任何电导的变化。因此，假设在M1中存在基本线性的跨导，那么电流源按照与浮置扩散结构电位的增加和降低基本呈线性关系地提高和降低Vout2，由此在Vout2与VFD之间实现基本恒定的比例。在示出的实施例中，比例的常数略小于在源极跟随器配置下的单位增益(即，在描绘的具体事例中是0.85，虽然在备选的实施例或者其他编程的配置下也可以实现其他比例常数，包括单位增益)。
仍然参照图25A，单独的采样保持元件组(例如，电容元件和开关元件的组)669和671分别耦合至Voutl节点和Vout2节点，以适应在部分读出操作和完整读出操作期间应用的不同增益配置，其中向两个采样保持电路应用单独的重置状态采样使能信号和信号状态采样使能信号组。在示出的示例中，部分读出采样保持电路669(即，在共源极增益配置下，由信号SRcs和SScs控制)向感测放大器电路 675提供差分输出(即，信号状态样本减去重置状态样本)，而完整读出采样保持电路671(即，在源极跟随器增益配置下，由信号SRsf 和SSsf控制)向ADC 677提供差分输出。如在具有感测放大器和ADC 两者的所有实施例中，省略感测放大器，并且在部分读出操作和完整读出操作两者期间应用ADC，如参照图15B和图15C所论述的。在这种仅有ADC的实施方式中，可以根据CS和SF信号的状态而将采样保持电路669和671的输出多路复用到ADC 677的输入。在CS和 SF信号总是具有互补状态的实施例中，备选地，可以使用单个信号来在共源极增益配置与源极跟随器增益配置之间切换。
图26提出了示例性定时图，该示例性定时图图示了在图25A的多增益架构内的、在硬重置、积分、部分读出和(有条件)完整读出操作期间的、共源极增益配置和源极跟随器增益配置的交替应用。如图所示，在686处，断言共源极使能信号(CS)、与此同时硬重置 RG发出脉冲(即，断言，为电荷积分做准备)，并且在688处，断言共源极使能信号(CS)、与此同时硬重置RG发出脉冲(浮置扩散结构重置，为重置状态采样做准备)。在电荷积分时段的至少部分期间，可以完全地禁用信号增益以节电(即，降低SF控制信号和CS 控制信号两者，如图所示)，虽然实际上可以在该时段期间应用一种或者两种增益模式来使能在其他像素行中的操作。在重置状态采样期间，如在690和692处所示的可以一个接一个地使能共源极增益配置和源极跟随器增益配置(即，首先在SF为低时保持CS为高，并且然后，反转该配置)，其中在共源极增益配置和源极跟随器增益配置下时，分别在694和696处使重置状态采样信号SRcs和SRsf发出脉冲，以将重置状态样本捕获在为这两种增益配置设置的不同采样保持电路内。之后，在698处提高CS(并且降低SF)以在部分读出操作期间应用共源极增益配置(这通过如下来实现：在700处在TGc保持为高时将TGr提高到部分导通状态，并且以断言SScs信号和比较选通信号而结束)，并且然后，在702处提高SF(并且降低CS)以在紧接着的有条件完整读出操作期间应用源极跟随器增益配置(这通过如下来实现：在704处将TGr提高到完整读出电位、与此同时有条件地使TGc信号发出脉冲，并且以断言SSsf信号和转换选通信号而结束)。
反思参照图25A至图25C和图26描述的多增益架构，应该注意，在备选的实施例中可以使用其他的增益配置或者增益配置的组合。例如，如图27所示，可以通过将不同的上拉电阻(RLl和RL2)经由多路复用器701耦合至Co12线并且之后通常如参照图26描述的选择一个增益或者另一增益(即，通过对控制信号CS1和CS2的适当断言)，来实现两种不同的共源极增益配置。在另一实施例中，可以将可编程增益放大器耦合至Co12线和/或Co11线，并且可以在编程设置之间切换以实现不同的部分读出增益和完整读出增益。更一般而言，在备选的实施例中，可以采用使得能够调节在部分读出操作和完整读出操作期间应用的增益的任何实用的配置或者架构。
图像传感器架构、系统架构
图28图示了具有设置在上读出电路与下读出电路732.1和732.2 之间的像素阵列731的图像传感器的实施例。读出电路耦合至在阵列中的像素行的相应的半个像素行并且可并行地操作，从而将扫描完像素阵列的行所需的时间减半。在一个实施例中，像素行根据像素行所在像素阵列的物理半部而分配在上读出电路与下读出电路之间。例如，所有上像素行(即，在物理中点上方)可以耦合至上读出电路，并且所有下像素行可以耦合至下读出电路，从而减小了整体列线长度 (减小了关于每个Vout和重置反馈(TGc)线的电容、噪声、所需驱动功率等)。在其他实施例中，通往上读出电路和下读出电路的像素行互连可以在像素阵列的行中隔行地布置，其中该连接在用于每个连续行的像素块的上读出电路与下读出电路之间隔行地布置(例如，用在图21中示出的4x1四像素块填充在像素阵列中的每个第4行，或者，用在图16和图17中示出的2x2四像素块填充在像素阵列中的每个第2行，或者，用具有专用Vout互连的像素填充在像素阵列中的每个其他行)。在示出的实施例中，每个读出电路(732.1和732.2) 包括采样保持组733(例如，包括每列的电容性存储元件和开关元件，如上面描述的)、感测放大器组735(包括每列的感测放大器电路(或者，锁存器)和重置反馈逻辑)、每列ADC组737、和数字线存储器739。在应用每列ADC来数字化部分读出样本的实施例中，可以省略感测放大器组735，并且可以用数字比较器装备每列ADC组以生成重置反馈信号(即，有条件重置信号TGc)。同样，采样保持组可以包括如参照图22描述的横向开关元件以支持电压拼接操作。更一般而言，上读出电路和下读出电路的各个电路块可以如上面描述的操作并且/或者配置，以支持各种抽取模式和读出选项。虽然未具体示出，但是上数字线存储器和下数字线存储器739可以馈送(feed)共享物理输出驱动器(PHY)，该共享物理输出驱动器(PHY)例如设置在像素阵列的左侧或者右侧、并且耦合以并行地接收来自每个数字线存储器的数据。备选地，可以关于这两个数字线存储器提供单独的 PHY，其中PHY例如设置在图像传感器IC的相对的边缘处。进一步地，虽然上读出电路和下读出电路可以如像素阵列731一样实施在相同的物理裸片上(例如，在裸片的外围处(将像素阵列夹设在其间) 或者在裸片的在像素阵列的相应的半部之间的中央处)，但是备选地，读出电路可以位于另一裸片上(例如，可以耦合至在附加地包括其他与成像有关的裸片的堆叠配置中的像素阵列裸片)。
图29图示了具有图像传感器801、图像处理器803、存储器805 和显示器807的成像系统800的实施例。图像传感器801包括由根据此处公开的任何实施例的时间上过采样的有条件重置像素构成的像素阵列811，并且还包括上面描述的像素控制和读出电路系统，该像素控制和读出电路系统包括行逻辑815、列逻辑817、线存储器819 和PHY821。图像处理器803(其可以实施为片上系统等)包括图像信号处理器(ISP)831和应用处理器833，图像信号处理器(ISP) 831和应用处理器833经由一个或者多个互连总线或者链路836彼此耦合。如图所示，ISP 831经由PHY 827(以及一个或多个信令链路 822，其例如可以通过移动行业处理器接口(“MIPI”总线)或者任何其他实用的信令接口实施)而耦合以接收来自像素阵列的成像数据，并且ISP和应用处理器经由互连836而耦合至存储器控制接口835 和用户界面端口837。进一步地，如下面阐释的，互连836也可以经由边信道838耦合至ISP 831的图像传感器接口(即，通往PHY 827 的ISP接口)，以使得应用处理器能够按照模仿(emulate)图像传感器的方式向ISP传送数据。
仍然参照图29，成像系统800进一步包括耦合至图像处理器803 的存储器控制接口835的一个或者多个存储器部件805。在示出的示例中，并且在下面的论述中，假设存储器部件包括可以动态随机存取存储器(DRAM)，该动态随机存取存储器(DRAM)可以用作用于图像子帧数据的缓冲器和/或用于其他功能的帧缓冲器。存储器部件可以附加地包括用于长期存储处理过的图像的一个或者多个非易失性存储器。
用户界面端口837耦合至用户显示器807，该用户显示器807自身可以包括用于存储待向用户显示的图像(例如，静止图像帧或者视频帧)的帧存储器(或者帧缓冲器)。虽然未在图中示出，但是用户界面端口837也可以耦合至键盘、触摸屏、或者能够向图像处理器803 提供对应于用户输入的信息的其他用户输入电路系统，该信息包括可以用于在图像传感器801内配置抽取模式的操作模式信息。虽然也未在图中示出，但是图像处理器803可以通过边带信道或者其他控制接口耦合至图像传感器801，以允许向图像传感器传输操作模式、配置信息、操作触发指令(包括图像捕获指令、配置编程指令等)等。
图30结合图像处理操作，图示了可以在图29的成像系统内执行的操作的示例性序列。开始于851，应用处理器关于存储器控制接口 835并且由此关于存储器IC 805而配置ISP 831用于DMA(直接存储器存取)操作。通过这种布置，使ISP能够操作作为在图像传感器801 和存储器IC 805之间的DMA控制器，从而逐行地接收来自图像传感器801的子帧数据(如在853处所示)并且将该子帧数据传输至存储器IC。由此，实际上，将在图像传感器801内通过时间上过采样而生成的子帧数据通过ISP直接管线输送到存储器IC(例如，DRAM)，在该存储器IC处可以通过应用存储器存取这些子帧数据。应注意，在示出的实施例中，可以一个接一个地将子帧加载到存储器中，直到已经接收并且存储了最后的子帧(即，在判定框855中，反映了逐帧存储回路及其最终的终止)。在备选的实施例中，可以通过省略将最后的子帧存储在存储器IC 805中、而是将最后的子帧直接传送到应用处理器833，来优化该过程。即，如在857处所示，应用处理器检索并且组合(例如，求和)已经存储的子帧以产生合并的(积分的)图像帧，从而使得，不是将最后的子帧存储在存储器中并且然后随即读出该子帧，而是可以将最后的子帧直接传送到应用处理器以用作用于子帧数据合并的起始点。无论在哪种情况下，在859处，应用处理器配置ISP 831用于在图像处理模式中操作，并且，在861处，将图像帧数据(即，时间上过采样的图像传感器数据的合并)输出至ISP的图像传感器接口(即，经由信道838输出至ISP的前端)，从而模仿图像传感器将全图像帧传送到ISP 831。在863处，ISP对由应用处理器传送的图像帧进行处理，以产生最后确定的图像帧，从而例如将完成的(处理过的)图像帧写入DRAM或者非易失性存储器(即，存储器IC 805中的一个或者两者)，并且/或者直接写入在显示器807 内的帧缓冲器，以使得能够向系统用户显示该图像。
图像再现(reconstruction)方法
此处使用了两种主要方法来从有条件曝光序列而再现线性光表示。第一种方法是求和查找(sum-and-lookup)，第二种方法是加权平均(weighted averaging)。图31包含针对两种方法在初始计算之后的曝光值(EV)对于光强度(单位为勒克斯)的双对数图。虽然两者都展示出了相似的动态范围并且对于较低的光范围都几乎呈线性，但是求和查找方法针对高强度具有肩部，而加权平均方法保持线性直到达到其动态范围的顶部。
在第一种方法中，针对给定像素，对用于超过阈值的所有帧子曝光的数字转换值进行求和。如果给定的子曝光导致了饱和像素，那么在求和中用于该子曝光的数据数字在(data number)比用于未饱和像素的最高数据数字大1。在求和之后，基于预先计算的响应映射到光强度的查找表(LUT)进行查找操作。该查找表可以通过使用传感器响应的分析模型、使用蒙卡特罗模拟进行的统计估计、最大似然估计来计算，或者该查找表可以基于来自传感器硬件的特性化数据。这种模式的主要优点在于运行时间的简单性、以及创建响应的部分求和 (例如，在传感器上(on-sensor)创建，以减小片下带宽)的能力。然而，因为融合了用于所有子曝光的值，所以查找表针对整个帧中的像素假设具有恒定的光照强度；如果在帧或者照相机平台中发生了移动，或者在帧持续期间光照发生了变化，那么查找表方法可能会不准确地估计出平均线性光值。同样，因为查找表(LUT)是预先计算得到的，所以只有具有匹配LUT的预设曝光定时才可以在系统上 (on-system)进行处理，并且响应、阈值等的偏差也可以导致错误。
在第二种方法中，在帧时长Ttotal上，从数字值/饱和事件的模式以及创建这些值/事件的积分时长，直接估计撞击在像素上的光强度。每个像素用一组样本Si表示，每个样本占用相应的时长Ti。每个样本的取值为：0≤Si≤Smax。对于有条件读出子曝光，该值不可以为0；而是该值仅仅针对无条件读出子曝光可以为0。当该值为Smax时，该像素在其时长Ti期间饱和。在第一计算中，通过所有未饱和样本来计算强度估计(如果在子曝光结束处像素不超过有条件阈值，则不取样本)，如果这样的样本存在，则：
对于泊松分布噪声，将权重wi设置为1。对于高斯主导的噪声，可以将权重设置为Ti。若需要，也可以选择其他权重。在第二计算中，如果存在一个或者多个饱和样本，那么，如果在该曝光时长处的预测值 (基于已经被包括在估计中的样本)小于Smax，则将强度估计更新为包括具有最短时长Tk的饱和样本。可以按照多种方式计算并且估计该预测值，包括：
如果存在多于一个的饱和样本，那么，针对第二最短时长的样本，可以重复该更新过程，以此类推，直到到达最后一个这种样本或者不再满足上面的等式。如果只有饱和样本，那么通过具有最短时长Tk的饱和样本来得到最佳强度估计：
数据速率受限的传感器操作
在一些实施例中，在传感器上的数据存储被限制为比子帧小得多，并且子帧操作速率受到在传感器与附接的处理/存储系统之间可用的ADC转换速率和信道速率中的至少一个的限制。图32至图39图示了在这种实施例中可以支持的一组不同有条件/无条件读出模式定时图。每个图的形式绘制了作为行号和时间的函数的无条件重置操作、有条件读出/重置操作、和无条件读出操作。
图32描绘了在60Hz帧速率下在1080P视频成像的背景下的第一HDR操作模式。本定时的假设是，ADC转换速率和/或信道速率允许每1/60秒对操作像素进行多达四次完全子曝光(出于简洁起见，针对62.5Hz的帧速率，将每次子曝光图示为持续4ms)。针对第一帧 1，从行R1开始前进到行R1080，传感器按照在4ms内完成所有行的一个重置处理期的速率，无条件地重置在每行(或者，拼接的行，如上面描述的)上的像素。在为期4ms的这个处理期结束时，第一次子曝光时段SE1完成了行R1，并且传感器对行R1执行有条件读出 /重置操作并且将结果放入传输缓冲器中。通过按照与该处理期无条件重置相同的速率从行R2前进到行R1080，传感器依次对每行执行相似的有条件读出/重置操作并且将结果放入传输缓冲器中，从而按照行的顺序完成了第一次子曝光时段SE1，如前地为期4ms。
然后，传感器将操作转变回到行1，并且在子曝光时段SE2期间对阵列执行第二有条件读出/重置处理期。在第二处理期期间，在为期 4ms的光积分之后，超过阈值并且在第一处理期中被重置了的像素被估计，而在为期8ms的光积分之后，在第一处理期中未被重置的像素被估计。
在第二有条件读出/重置处理期之后，传感器在子曝光时段SE3 期间进行相似的第三处理期。在第三处理期期间，对于像素光积分时段，存在三种可能性：对于在SE2结束时被重置的像素，4ms；对于在SE1结束时最后被重置的像素，8ms；以及对于在帧1期间尚未超过阈值的像素，12ms。
在第三处理期完成之后，此时对阵列进行最后的处理期，此时，在子曝光时段SE4之后，无条件读出并且传输用于每行中的每个像素的ADC值。在该第四处理期期间，对于像素光积分时段，存在四种可能性：对于在SE3结束时被重置的像素，4ms；对于在SE2结束时最后被重置的像素，8ms；对于在SE1结束时最后被重置的像素：12 ms；以及对于在帧1期间尚未超过阈值的像素，16ms。因为用于帧 1的最短积分时间与最长积分时间之比为1:4，所以，与每16ms操作一次曝光的传感器相比，图1的HDR操作模式向帧动态范围增加了两个摄影光圈级数(stop)(该额外的动态范围可以大于、小于、或者同时大于和小于这种一次曝光情况的动态范围，取决于为该一次曝光选择的长度)。
在时段SE4结束时的无条件读出也用作开始接下来的帧2的子曝光时段SE1的无条件重置。与帧1相同地，对帧2进行收集。
当在低光照场景中使用在图32中描绘的HDR操作模式时，在高于基本ISO的ISO下操作传感器可以是有益的，以捕获具有更少读出噪声的阴影区域，并且保持更高的帧速率(针对视频)或者减少由于手晃动导致的模糊不清(针对静止图像捕获)。例如，如果期望在ISO 400下捕获四次子曝光，那么第一次子曝光可以在ISO 100下捕获，第二次子曝光可以在ISO 200下捕获，并且第三次子曝光和第四次子曝光可以在ISO 400下捕获。因为现在第一次子曝光具有最后两次子曝光的四分之一的敏感度，所以动态范围的附加的两个光圈级数是可用的。如果ISO序列为100-200-400-800，那么在甚至更低的光下，可以使用三个光圈级数。
为了实施改变的ISO的模式，可以期望调节用于有条件读出子曝光中的一些或者所有的阈值。例如，在100-200-400-800ISO序列中，在第一次子曝光期间，积分到略低于第一次子曝光阈值的像素不会被读出，并且继续积分直到第二次子曝光结束，在第二次子曝光结束时，模拟增益于是加倍并且积分时间已经加倍。为了避免使该像素的子曝光SE2读出饱和，用于第一次子曝光的阈值应该小于全ADC范围的 1/4。同样，在第一次或者第二次子曝光结束时，未被重置的像素可以具有略低于第二次子曝光阈值的值，并且然后将一直积分直到第三次子曝光结束。由于模拟增益再次加倍并且积分时间已经增加50％，所以用于第二次子曝光的阈值应该小于全ADC范围的1/3。针对第三次子曝光阈值进行相似分析，产生小于约全ADC范围的37％的推荐值。
当在曝光期间改变ISO时，再现系统必须也知晓该模式。用于非饱和像素的加权平均再现应该被调节为：
相似地，调节用于考虑饱和像素的等式。另外，可以调节权重，以考虑改变在不同ISO下的读出噪声。对于求和查找再现方法，在求和之前，应该通过ISO将这些值缩放。
图33在60Hz帧速率下在1080P视频成像的背景下，描绘了第二HDR操作模式。与第一模式相比，该第二模式进一步扩展了动态范围，而与第一模式相比，失去了对动态范围的低光照端的敏感度的小于1/3的摄影光圈级数。在该第二HDR模式中，按照与第一HDR 模式相同的定时，来执行多个有条件读出/重置处理期和最后的无条件读出处理期。与图32的不同之处在于使用了一个无条件重置处理期，该处理期无条件重置被定时为减小子曝光时段SE1的有效长度。例如，针对帧2和给定行的光捕获不开始于对结束帧1的该行的无条件读出。而是，将对该行的专用无条件重置调度(schedule)为在结束 SE1的该有条件读出/重置处理期之前的1ms。这导致在自帧1结束以来的3ms期间由该行中的像素转换的光被丢弃，并且缩短了SE1，从而使得可以感测到更大的强度而不会饱和。因此，特定像素在一个帧期间可以具有的可能的积分时段为1、4、5、8、9和13ms。与每 16ms操作一次曝光的传感器相比，动态范围被扩展了3又2/3个摄影光圈级数。应注意，利用图33的操作模式，可以将第一次子曝光时段的时长设置为长度上至4ms的几乎任何所选的时长。在该模式中，也可以使用可变ISO技术；虽然一般而言，在SE1与SE2之间，随着积分时段已经改变了为5的因子，ISO应该保持恒定。通过将在 SE2与SE3之间的ISO加倍并且再次将在SE3与SE4之间的ISO加倍，在低光照条件下，动态范围的另外2个摄影光圈级数是可用的。
当SE1的长度被缩短时，另一个考虑是可能需要基于该缩短来调节有条件读出阈值。例如，如果在图32中使用的阈值是饱和值的40％，那么在图33中的SE1期间需要将该阈值降低为饱和值的大约20％或者更低，以确保在SE1结束时未完全触及(trip)阈值的像素在SE2 结束时不会完全饱和或者几乎不饱和。当任何可能的积分时间与1个子曝光所延展的该积分时间之比变得大于约5时，实施期望的阈值可能会变得不可行。
对于静止的更亮的条件，图34图示了一种操作模式，其中在不干扰超过5的前述比率的情况下进一步延伸了动态范围。图34仍然使用4个读出时段，但是利用无条件读出来终止用于每个帧的这4个读出时段中的第一个读出时段。这允许每个帧具有2个积分时段(SE1和SE2)，每个积分时段的长度可以短于4ms。在图34的示例中，已经分别将这些时段的长度设置为0.25ms和1ms。因此，特定像素在帧期间可以具有的可能的积分时段为0.25、1、4、5、8和9ms。与每16ms操作一次曝光的传感器相比，将动态范围扩展了多于5个光圈级数。
图35演示了示例性“预览模式”，例如当传感器正在减小的功率/数据速率模式下操作以使用户能够构成图像、设置变焦等时，该“预览模式”可以是合适的。在预览模式中，针对每个帧的每个行，仅仅调度了一次重置和一次无条件读出。然而，偶数帧和奇数帧使用不同的积分时段(示出的比率为16:1)，其中将积分时段放在相应帧时段中的任何地方，只要两个无条件读出处理期隔开至少4ms。通过仅以全速率查看帧，创建了“伪HDR”的效果。备选地，可以通过使用传统的HDR帧融合，而将每组两个相邻帧融合在一起，以创建具有模仿的HDR捕获的预览。优选地，当用户发起记录的静止帧额捕获或者视频捕获时，捕获模式切换到更具能力的模式，诸如，在图32 至图34中示出的模式。针对自动曝光操作，预览模式也可以有助于为接下来的捕获选择适当的全HDR模式。
对于如图32至图35所示的相同成像器示例，图36图示了在曝光策略中实现了每个帧时段多达8次子曝光捕获以及额外的灵活性的 30Hz捕获模式。在本特定示例中，使用了6个子曝光时段(3个无条件的时段、3个有条件的时段)，以为每帧提供0.125、0.5、2、4、 6、8、12、16、20和22ms的曝光时间。与为每帧提供仅仅一个曝光时段的成像器相比，这种模式将动态范围扩展了7.5个摄影光圈级数。
通过每帧使用2个子曝光时段，该相同的成像器也可以在120Hz 模式下操作。图37图示了两种不同的120Hz定时可能性：4ms、4ms 序列，其中每帧具有相等的子曝光时间和一次有条件读出/重置；以及 0.75ms、4ms序列，其中每帧具有一次有条件读出/重置(如帧2和帧4所示，每帧具有3个摄影光圈级数改进)。备选地，并且如在图 37中所示的，若需要，对于奇数帧和偶数帧，两个这种序列可以交替布置，其中使用帧混合来平滑最后的输出。
对于一些视频捕获场景，对于每个行可能期望具有一组极短的子曝光，这些子曝光严格按照时间分组并且并不延展遍及60Hz帧。图 38包含图示了适用于这种情况的交织的捕获模式的定时图。在交织捕获模式中，整个子曝光处理期没有在下一子曝光处理期开始之前完成，而是，放慢每个处理期的行速率，从而使得从不超过系统的最大行速率，其中四个处理期并行地前进。
在图38中，每帧的所有子曝光时段，除了最后一个子曝光时段之外，都是有条件读出/重置时段，分别具有0.125、0.25、1和4ms 的间距。对于与每帧单次曝光相比扩展了约5又1/2个摄影光圈级数的动态范围，最长的可能的积分时间为5.375ms，并且最短的积分时间为0.125ms。在图38中的帧1的下部展开部分视图中进一步图示了交织调度：已经完成了其所有有条件读出的行R256，接收其用于 SE4的最后的无条件子曝光读出；接下来，行R512接收其SE3有条件读出/重置操作；接下来，行R576接收其SE2有条件读出/重置操作；然后，行R592接收其SE1有条件读出/重置操作；以及最后，行 R600接收无条件重置操作，该无条件重置操作针对该行开始了帧1。然后，该调度下移1行，并且执行相同的序列、但是是对于行R257、 R513、R577、R593和R601来重复该过程。注意，帧2的上面的行在帧1的下面的行完成其捕获序列之前开始其捕获序列。
交织模式可以被采用为具有子曝光时段的几乎任何组合(从非常短到非常长)。由此，对于较暗的场景，也可以采用全交织捕获模式。图39包含用于类似于图32的模式的所有子曝光时段都是4ms长的模式的定时图，但是不同之处是4个子曝光时段并行前进。
可变数据速率的传感器操作
在一些实施例中，在一些模式中存在过量的传感器数据速率，这些数据速率可以按照一种或者多种方式利用。图40示出了用于一个这种示例的定时图，其中最大行速率快到足够支持每帧大概4.5个阵列扫描。传感器选择性地拾取一些行以接收每个帧中的第5个子时段 SE5，在这种情况下，第5个子时段SE5具有0.25ms的总曝光时间 (是子时段SE1的曝光时间的1/4)。
图41示出了用于能够利用可变曝光调度来操作并且因此有利于执行图40的可变定时的传感器120的框图。传感器1210包含有条件重置像素阵列1212和读出链，该读出链包括一组列逻辑/ADC 1214、行缓冲器1216、压缩器1218、PHY缓冲器1220、和用于片下地驱动传感器数据的PHY 1222。行排序器1224由与一组跳过(skip)标记 1228连接在一起工作的可变调度器1226来驱动。
在操作时，行排序器1224提供用于重置部分和全部传输门电压的行信号，并且输出对于阵列1212中每个行的选择，并且列逻辑/ADC 1214提供用于每个列的列传输选择信号，执行阈值比较，并且执行用于每个列的ADC转换，如前面所阐释的。在一个实施例中，行缓冲器1216保存用于至少最后一次行读出操作的数据。在一个实施例中，该数据包括用于存储ADC值的n位字(n-bit word)、用于指示是否执行ADC操作的标记位、以及用于指示ADC是否饱和的标记位。
压缩器1218，与可变调度器1226连接在一起地，对行缓冲器的输出进行格式化以便传输。图42示出了示例性分组(packet)格式，其为许多不同操作模式提供了灵活性。行报头是使用的主要分组报头类型(若需要，也可以将其他信息报头/分组类型插入在数据流中，但是此处未描述)。在数据流中接收到行报头，指示已经执行了新的行操作，并且包含有指示对行、帧、行号、指示执行时间的时间戳、和净荷长度(所附行数据的大小，若存在)所应用的操作的类型和压缩的类型的字段(field)。每当对行进行重置时，都传输包括无条件重置(UCRST)标记和无净荷的简单行报头，以使再现系统知晓从哪个点计算积分时段。
在一些实施例中，压缩类型可以每行(或者，每种颜色每行)变化。例如，取决于低于阈值的、AD转换的和饱和的像素在给定行中的分布，一种压缩可以比其他压缩执行得更好。在下表中示出了一些示例性压缩代码模式，其中ADC针对转换的像素产生8位数据 D[0..7]。
压缩模式 低于阈值 转换的AD 饱和
未压缩 00000000 D[0..7] 11111111
模式1 0 1.0.D[0..7] 1.1
模式2 0.0 1.D[0..7] 0.1
模式3 0.0 0.1.D[0..7] 1
可选地，可以包括其他更加复杂的压缩类型，并且该更加复杂的压缩类型可以针对空间上放慢的变化场景而利用更加复杂的霍夫曼代码、代码运行长度相似性、或者从列到列和/或从行到行的代码增量值。
利用全行传输信息，针对每个帧，接收子系统可以容易地从其重置和读出时间历史记录再现每个行的每个像素。这使得可变调度器 1226能够自由地设置最佳地捕获当前场景的行调度表。在一个实施例中，如图40和图41所示，可变调度器1226从压缩器接收信息，该信息关于：针对给定行，子曝光SE1是否产生了任何饱和样本。如果该行未产生任何饱和样本，那么不需要为该行调度更短的曝光，并且设置与该行对应的跳过标记1228。然而，如果一个或者多个像素饱和，那么保持不设置跳过标记，从而使得可以为该行调度后续的更短曝光。
图40示出了，随着SE4结束，一些行开始调度无条件重置，为第5次子曝光做准备。为了做到这一点，可变调度器1226仅为需要更短曝光的行触发调度。只要需要这种曝光的行的数目可以适合在下一帧开始之前的可用时间，就可以调度所有这种行，并且跳过其他行。如果太多行需要更短的曝光，那么，一些行在开始用于下一帧的重置之时可能未得到服务。虽然在图40中示出SE5以无条件读出结束，但是备选地SE5也可以以有条件读出结束，从而使得仅仅高强度值接收到ADC输出。
在一个实施例中，跳过标记可以存储在链接的表中，其中每个条目都标识了待被服务的下一行。利用这种列表，当新的曝光未产生任何饱和像素时，可以从列表中移除单独的行。如果新的曝光仍然针对一行产生饱和像素，那么可以将该行留在列表中。如果时间有余并且已经遍历了一次列表，那么可以为还留在列表上的行调度附加的甚至更短的曝光。列表可以属于完整行、或者通过颜色和/或从空间上(左半、右半等)划分的部分行。另一种备选的实施方式是，可以应用饱和行列表，对在下一帧中的一些行进行第一次简要曝光，而不是在当前帧中进行最好一次简要曝光。
可变速率调度器可以按照其他更加复杂的模式操作。图43描绘了用于传感器的调度图，该传感器具有比信道速率更高的ADC带宽，从而使得，当可以成功地压缩数据时，可以加快扫描并且在一个帧中可以完成多于4次示例性扫描。在一种模式下，可变调度器保持在当前帧(第一帧可以是恒定扫描速率学习帧，如针对在图43中的帧1 所示)上的速率统计。然后，可以使用该速率统计来调节针对下一帧的调度，只要这种调节可以使得针对每帧进行一次或者多次附加的扫描。
在图43中，学习帧1使可变调度器观察到SE1扫描是高度可压缩的，并且SE2扫描也具有良好的压缩性，尤其是朝着帧的底部。可变调度器针对在帧2中的SE1和SE2将行速率调高，从而使扫描移动为更加靠近，并且使得在帧中插入另一扫描。将最后两次扫描保持为恒定的速率，以实现可预测的和规则的帧结束时间。
图43的扫描可变性的一个负面影响是，不同行具有不同的子曝光时段时间。然而，利用带时间戳的行和加权再现，可以不受这些变化性的影响地精确再现每个行。
利用选通器的操作
用于有条件重置成像器的另一种潜在模式，是与集成的或者外部的闪光同步的选通模式。在选通模式中，将其中一次子曝光(在这种情况下是SE6)指定为同步子曝光。同步子曝光包括选通窗口，在该选通窗口中，所有行都在积分并且没有行被读出或者重置。成像器和选通器同步，从而使得选通器在选通窗口期间激发(fire)。
在图44的示例中，选通窗口由两个无条件读出处理期括起，从而使得选通光占主导并且环境光积分时间对于所有像素都是相等的。这允许成像器潜在地将闪光与照明的环境分量分开，以便进行高级渲染。同样，选通窗口子曝光的位置(第一、最后、或者在帧中的其他位置)可以是可由用户选择的参数，以实现不同的效果。尤其是当选通窗口子曝光是第一次子曝光时，其可以开始于无条件重置，并且结束于开始了短的子曝光时段的一个有条件读出/重置处理期。
时间采样策略的空间离散
静止模式一般追随对于相似的光照水平的对应的视频模式，虽然一些静止模式可以用于长得多的曝光、并且保存下来的帧可以具有相当多的行和列。对于速率受限的扫描，另一曝光模式利用不同的曝光定时来处理平铺的(tiled)“A”块和“B”块，以获得更多种子曝光时间。在去马赛克期间，一起使用A块和B块以创建混合的动态范围图像。
图45包括用于空间混合曝光模式的曝光定时图。选项1分组将两行的A块像素和两行的B块像素交替地布置。选项2分组创建了A 块像素和B块像素的棋盘式布置，其中每个块对着(subtending)一个2x 2像素块。空间分组的其他选项也是可能的。一般而言，空间分组的大小和位置应该与在系统中使用的特定CFA内核相关。
在帧曝光期间，可以将一些操作(在本示例中是无条件重置)选择性地应用于一个组类型(在这种情况下是B像素)但不应用于另一个组类型。该选择性应用导致A组和B组的子曝光序列不同，即使是在对这两个组进行相同的调度之后进行行读出。
曝光优化
曝光优化试图优化一个或者多个参数，诸如，信噪比、带宽、每次扫描超过阈值的像素、每次扫描的未饱和像素等。此处要认识到，每个子曝光时段将具有不同的直方图。在图46的示例性直方图序列中，SE1(短时段)具有90％的低于阈值的像素、8％在范围内的像素、以及2％的饱和的像素；SE2(更长的时段)具有50％的低于阈值的像素、20％的饱和的像素、以及30％在范围内的像素；SE3(另一更长的时段)具有15％的低于阈值的像素、20％的饱和的像素、以及65％在范围内的像素；SE4(更长的无条件读出时段)不具有低于阈值的像素，具有50％的饱和的像素、以及50％在范围内的像素。
在图46中还示出了一种曝光优化算法：在一个或者多个帧期间，将来自一组子曝光的统计(诸如，图示的直方图)聚集起来；并且将这些统计与期望的统计(诸如，数据速率配置文件和/或超过阈值百分比目标)进行比较。然后，调节用于即将到来的帧的统计。一种用于调节统计的技术是：扰动(perturb)用于一次或者多次子曝光的有条件读出阈值，以获得对于该子曝光的更多或者更少的在范围内的值。第二种用于调节统计的技术是：调节一次或者多次子曝光的长度，以在低于阈值与在范围内之间以及在范围内与饱和之间移动像素。
另外的考虑
应该注意，此处公开的各个电路，在它们的行为、寄存器传输、逻辑部件、晶体管、布局几何形状和/或其他特性方面，可以通过使用计算机辅助设计工具来描述、并且表达(或者表示)为在各种计算机可读介质中的数据和/或指令。可以供这种电路表达实施的文件或者其他对象的格式包括但不限于：支持行为语言的格式，诸如C、Verilog 和VHDL；支持寄存器级描述语言的格式，如RTL；以及支持几何形状描述语言的格式，诸如GDSII、GDSIII、GDSIV、CIF、MEBES；以及任何其他合适的格式和语言。可以体现这种格式化数据和/或指令的计算机可读介质包括但不限于各种形式的计算机存储介质(例如，光、磁或者半导体存储介质，无论是按照该方式独立地分布还是“原位”存储在操作系统中)。
当上面描述的电路的这种基于数据和/或指令的表达经由一种或者多种计算机可读介质接收在计算机系统内时，这种表达可以由在计算机系统内的处理实体(例如，一个或者多个处理器)结合包括但不限于网列表生成程序、位置和路由程序等一个或者多个其他计算机程序来处理，以生成这种电路的物理表现的表示或者图像。之后，例如可以通过实现生成用于在期间制备过程中形成电路的各种部件的一个或者多个掩模，来在装置制备中使用这种表示或者图像。
在前述说明中并且在对应附图中，已经阐述了具体的术语和制图符号，以提供对所公开实施例的透彻理解。在一些实例中，术语和符号可以暗示不是实践这些实施例所要求的具体细节。例如，位的具体数量、信号路径宽度、信令或者操作频率、部件电路或者装置等中的任何一个可以与上面在备选的实施例中描述的位的具体数量、信号路径宽度、信令或者操作频率、部件电路或者装置等不同。另外，可以将在集成电路装置或者内部电路元件或者块之间的链路或者其他互连示出为总线或者示出为单个信号线。总线中的每一个可以代之以单个信号线，并且单个信号线中的每一个可以代之以总线。然而，示出的或者描述的信号和信令链路可以是单端的或者是差分的。信号驱动电路被认为是在信号驱动电路断言(或者取消断言，如果上下文明确规定或者指示)在耦合在信号驱动电路与信号接收电路之间的信号线上的信号时向信号接收电路“输出”信号。术语“耦合”在此处是用于表示直接连接以及通过一个或者多个中介电路或者结构进行的连接。集成电路装置“编程”可以包括：例如并且非限制性的，响应于主机指令(并且由此控制装置的操作方面并且/或者建立装置配置)或者通过一次性编程操作(例如，在装置生产期间烧断配置电路内的熔丝)，将控制值加载到在集成电路装置内的寄存器或者其他存储电路，并且/或者连接装置的一个或者多个所选管脚或者其他接触结构(也称为短接)以建立装置的特定装置配置或者操作方面。如用于指代照射的术语“光”不限于可见光，并且，当用于描述传感器功能时，旨在指代特定像素构造(包括任何对应的滤光器)敏感的一个或多个波段。术语“示例性”和“实施例”用于表达是一种示例，而不是优选或者要求。同样，术语“可以”和“能够”可互换使用来表示可选的(可允许的)主题。任何术语的缺失都不应该被视为意味着要求给定特征或者技术。
在上述详细说明中的小节标题已经仅仅出于方便参考起见而提供，并且不以任何方式限定、限制、构成或者描述对应小节和此处提出的实施例中的任何实施例的范围或者程度。同样，在不脱离本公开的广义精神和范围的情况下，可以对此处提出的实施例进行多种修改和改变。例如，至少在实用的情况下，实施例中的任何实施例的特征或者方面可以与实施例中的任何其他实施例结合应用或者替代其对应特征或者方面。因此，将说明书和附图应以说明性而非限制性意义来考虑。

Claims (17)

1.一种集成电路图像传感器，包括：
电容性浮置扩散节点；
第一光敏元件和第二光敏元件，分别经由第一传输门和第二传输门可切换地被耦合到所述电容性浮置扩散节点；
读出电路，被耦合到所述电容性浮置扩散节点以及所述第一传输门和所述第二传输门以：
在第一时段期间确定在所述第一光敏元件和所述第二光敏元件内累积的光电荷的聚合电平是否超过读出阈值，包括在所述第一时段期间向所述第一传输门和所述第二传输门施加部分读出电压；以及
响应于在所述第一时段期间确定累积的光电荷的所述聚合电平超过所述读出阈值，在第二时段期间向所述第一传输门和所述第二传输门施加完整读出电压，所述完整读出电压超过所述部分读出电压；
其中在所述第一时段期间将所述部分读出电压施加到所述第一传输门和所述第二传输门的所述读出电路包括：用于将电压电平施加到所述第一传输门的电路，该电压电平使得只有在所述第一光敏元件内累积的光电荷超过第一电荷电平的情况下，光电荷才能够从所述第一光敏元件传输到所述电容性浮置扩散节点。
2.根据权利要求1所述的集成电路图像传感器，其中如果所述累积的光电荷超过所述第一电荷电平，则将所述电压电平施加到所述第一传输门使得能够将在所述第一光敏元件内的所述累积的光电荷的受限部分传输到所述电容性浮置扩散节点，使得所述累积的光电荷的剩余部分在所述第一时段结束时保留在所述第一光敏元件内。
3.根据权利要求2所述的集成电路图像传感器，其中在所述第二时段期间将所述完整读出电压施加到所述第一传输门和所述第二传输门的所述读出电路包括：用于将电压电平施加到所述第一传输门的电路，该电压电平足以使得能够将所述第一光敏元件内的所述累积的光电荷的剩余部分传输到所述电容性浮置扩散节点。
4.根据权利要求1所述的集成电路图像传感器，其中在所述第一时段期间将所述部分读出电压施加到所述第一传输门和所述第二传输门的所述读出电路还包括：用于将电压电平施加到所述第二传输门的电路，该电压电平使得只有在所述第二光敏元件内累积的光电荷超过第一电荷电平的情况下，光电荷能够从所述第二光敏元件传输到所述电容性浮置扩散节点。
5.一种集成电路图像传感器，包括：
电容性浮置扩散节点；
第一光敏元件和第二光敏元件，分别经由第一传输门和第二传输门可切换地被耦合到所述电容性浮置扩散节点；
读出电路，被耦合到所述电容性浮置扩散节点以及所述第一传输门和所述第二传输门以：
在第一时段期间确定在所述第一光敏元件和所述第二光敏元件内累积的光电荷的聚合电平是否超过读出阈值，包括在所述第一时段期间向所述第一传输门和所述第二传输门施加部分读出电压；以及
响应于在所述第一时段期间确定累积的光电荷的所述聚合电平超过所述读出阈值，在第二时段期间向所述第一传输门和所述第二传输门施加完整读出电压，所述完整读出电压超过所述部分读出电压；
其中所述读出电路包括控制电路，以使得能够在跨越所述第一时段和所述第二时段的读出时段期间将表示所述电容性浮置扩散节点的电荷电平的输出信号连续地驱动到共享的输出线上，并且其中用于确定光电荷的所述聚合电平是否超过所述读出阈值的所述读出电路包括用于将所述输出信号与所述读出阈值进行比较的比较器电路。
6.根据权利要求5所述的集成电路图像传感器，进一步包括像素阵列，除了所述第一光敏元件和所述第二光敏元件之外，所述像素阵列还具有多个光敏元件，并且其中用于使得能够在所述读出时段期间将所述输出信号连续地驱动到所述共享的输出线上的所述读出电路包括读出选择电路，所述读出选择电路使得能够将所述输出信号驱动到跨所述像素阵列沿列延伸的列输出线上，并且其中用于响应于确定累积的光电荷的所述聚合电平超过所述读出阈值而在所述第二时段期间向所述第一传输门和所述第二传输门施加所述完整读出电压的所述读出电路包括：
第一行控制电路，用于断言在所述第二时段期间跨所述像素阵列沿行传播的第一传输门控制脉冲；以及
第一列控制电路，用于断言或去断言第二传输门控制脉冲，所述第二传输门控制脉冲如果被断言则跨所述像素阵列沿列传播，以结合所述第一传输门控制脉冲来实现向所述第一传输门施加所述完整读出电压。
7.根据权利要求6所述的集成电路图像传感器，其中用于响应于确定累积的光电荷的所述聚合电平超过所述读出阈值而在所述第二时段期间向所述第一传输门和所述第二传输门施加所述完整读出电压的所述读出电路进一步包括：第二行控制电路，用于断言第三传输门控制脉冲，所述第三传输门控制脉冲在所述第二时段期间跨所述像素阵列沿行传播，并且结合所述第二传输门控制脉冲来实现向所述第二传输门施加所述完整读出电压。
8.根据权利要求6所述的集成电路图像传感器，其中用于响应于确定累积的光电荷的所述聚合电平超过所述读出阈值而在所述第二时段期间向所述第一传输门和所述第二传输门施加所述完整读出电压的所述读出电路进一步包括：第二列控制电路，用于断言或去断言第三传输门控制脉冲，所述第三传输门控制脉冲如果被断言则跨所述像素阵列沿列传播，以结合所述第一传输门控制脉冲来实现向所述第二传输门施加所述完整读出电压。
9.一种在集成电路图像传感器内的操作的方法，所述集成电路图像传感器具有第一浮置扩散节点，所述第一浮置扩散节点经由相应的第一传输门和第二传输门可切换地被耦合到第一光敏元件和第二光敏元件，所述方法包括：
确定在第一时段期间在所述第一光敏元件和所述第二光敏元件内累积的光电荷的聚合电平是否超过读出阈值，包括在所述第一时段期间向所述第一传输门和所述第二传输门施加部分读出电压；以及
响应于确定在所述第一时段期间累积的光电荷的所述聚合电平超过所述读出阈值，在第二时段期间向所述第一传输门和所述第二传输门施加完整读出电压，所述完整读出电压超过所述部分读出电压；
其中在所述第一时段期间将所述部分读出电压施加到所述第一传输门和所述第二传输门包括：将电压电平施加到所述第一传输门，该电压电平使得只有在所述第一光敏元件内累积的光电荷超过第一电荷电平的情况下，光电荷才能够从所述第一光敏元件传输到所述第一浮置扩散节点。
10.根据权利要求9所述的方法，进一步包括：
在所述第一时段之前的重置时段期间重置所述第一光敏元件；
使得所述第一光敏元件能够在所述重置时段与所述第一时段之间累积光电荷；以及
其中将电压电平施加到所述第一传输门，该电压电平使得只有在所述第一光敏元件内累积的光电荷超过所述第一电荷电平的情况下，光电荷能够从所述第一光敏元件传输到所述第一浮置扩散节点包括：将电压电平施加到所述第一传输门，该电压电平不足以使得能够将在所述重置时段与所述第一时段之间在所将述第一光敏元件内累积的光电荷全部传输至所述第一浮置扩散节点，使得所述光电荷的剩余部分保留在所述第一光敏元件内。
11.根据权利要求10所述的方法，其中在所述第二时段期间将所述完整读出电压施加到所述第一传输门和所述第二传输门包括：将电压电平施加到所述第一传输门，该电压电平足以使得能够将所述光电荷的所述剩余部分传输到所述第一浮置扩散节点。
12.根据权利要求9所述的方法，其中如果所述累积的光电荷超过所述第一电荷电平，则将所述电压电平施加到所述第一传输门使得能够将在所述第一光敏元件内的所述累积的光电荷的受限部分传输到所述第一浮置扩散节点，使得所述累积的光电荷的剩余部分在所述第一时段结束时保留在所述第一光敏元件内。
13.根据权利要求12所述的方法，其中在所述第二时段期间将所述完整读出电压施加到所述第一传输门和所述第二传输门包括：将电压电平施加到所述第一传输门，该电压电平足以使得能够将所述第一光敏元件内的所述累积的光电荷的所述剩余部分传输到所述第一浮置扩散节点。
14.根据权利要求9所述的方法，其中在所述第一时段期间将所述部分读出电压施加到所述第一传输门和所述第二传输门还包括：将电压电平施加到所述第二传输门，该电压电平使得只有在所述第二光敏元件内累积的光电荷超过第一电荷电平的情况下，光电荷能够从所述第二光敏元件传输到所述第一浮置扩散节点。
15.根据权利要求9所述的方法，进一步包括：使得能够在跨越所述第一时段和所述第二时段的读出时段期间将表示所述第一浮置扩散节点的电荷电平的输出信号连续地驱动到共享的输出线上，并且其中确定光电荷的所述聚合电平是否超过所述读出阈值包括将所述输出信号与所述读出阈值进行比较。
16.根据权利要求15所述的方法，其中，所述第一光敏元件和所述第二光敏元件与其它光敏元件一起被设置在像素阵列内，并且其中使得能够将所述输出信号驱动到所述共享的输出线上包括：使得能够将所述输出信号驱动到跨所述像素阵列沿列延伸的列输出线上，并且其中响应于确定所述累积的光电荷的所述聚合电平超过所述读出阈值而在所述第二时段期间向所述第一传输门和所述第二传输门施加所述完整读出电压包括：
断言在所述第二时段期间跨所述像素阵列沿行传播的第一传输门脉冲；以及
在所述第二时段期间根据所述输出信号是否超过所述阈值来断言或去断言第二传输门脉冲，所述第二传输门控制脉冲如果被断言则跨所述像素阵列沿列传播，并且结合所述第一传输门控制脉冲来实现向所述第一传输门施加所述完整读出电压。
17.根据权利要求16所述的方法，其中响应于确定累积的光电荷的所述聚合电平超过所述读出阈值而在所述第二时段期间向所述第一传输门和所述第二传输门施加所述完整读出电压进一步包括：断言第三传输门脉冲，所述第三传输门脉冲在所述第二时段期间跨所述像素阵列沿行传播，并且结合所述第二传输门控制脉冲来实现向所述第二传输门施加所述完整读出电压。
CN201480015633.8A 2013-03-15 2014-03-14 阈值监测的有条件重置的图像传感器及其操作方法 Expired - Fee Related CN105144699B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910127643.5A CN110753192B (zh) 2013-03-15 2014-03-14 一种集成电路图像传感器

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361790368P 2013-03-15 2013-03-15
US61/790,368 2013-03-15
PCT/US2014/028780 WO2014144391A1 (en) 2013-03-15 2014-03-14 Threshold-monitoring, conditional-reset image sensor

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910127643.5A Division CN110753192B (zh) 2013-03-15 2014-03-14 一种集成电路图像传感器

Publications (2)

Publication Number Publication Date
CN105144699A CN105144699A (zh) 2015-12-09
CN105144699B true CN105144699B (zh) 2019-03-15

Family

ID=50792537

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480015633.8A Expired - Fee Related CN105144699B (zh) 2013-03-15 2014-03-14 阈值监测的有条件重置的图像传感器及其操作方法
CN201910127643.5A Expired - Fee Related CN110753192B (zh) 2013-03-15 2014-03-14 一种集成电路图像传感器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910127643.5A Expired - Fee Related CN110753192B (zh) 2013-03-15 2014-03-14 一种集成电路图像传感器

Country Status (5)

Country Link
US (1) US10136090B2 (zh)
EP (1) EP2974280B1 (zh)
JP (1) JP6415532B2 (zh)
CN (2) CN105144699B (zh)
WO (1) WO2014144391A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI820565B (zh) * 2021-06-04 2023-11-01 美商豪威科技股份有限公司 具有相位偵測自動對焦及影像感測光電二極體之像素陣列之位元線控制支援合併模式

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9036065B1 (en) 2012-08-16 2015-05-19 Rambus Inc. Shared-counter image sensor
US9276031B2 (en) 2013-03-04 2016-03-01 Apple Inc. Photodiode with different electric potential regions for image sensors
US9741754B2 (en) 2013-03-06 2017-08-22 Apple Inc. Charge transfer circuit with storage nodes in image sensors
JP6230260B2 (ja) * 2013-04-24 2017-11-15 キヤノン株式会社 撮像装置、撮像システム、撮像装置の駆動方法
GB2520726A (en) * 2013-11-29 2015-06-03 St Microelectronics Res & Dev Read-out circuitry for an image sensor
US9979918B2 (en) * 2014-01-30 2018-05-22 Shanghai Ic R&D Center Co., Ltd Image sensor and data tranmission method thereof
US10285626B1 (en) 2014-02-14 2019-05-14 Apple Inc. Activity identification using an optical heart rate monitor
US9686485B2 (en) * 2014-05-30 2017-06-20 Apple Inc. Pixel binning in an image sensor
US9386240B1 (en) * 2015-03-12 2016-07-05 Omnivision Technologies, Inc. Compensation for dual conversion gain high dynamic range sensor
US10257448B1 (en) * 2015-08-18 2019-04-09 Sri International Extended dynamic range imaging sensor and operating mode of the same
US10827139B2 (en) 2015-08-18 2020-11-03 Sri International Multiple window, multiple mode image sensor
US11297258B2 (en) 2015-10-01 2022-04-05 Qualcomm Incorporated High dynamic range solid state image sensor and camera system
CN105516695B (zh) * 2015-12-18 2018-06-15 广东欧珀移动通信有限公司 图像传感器和具有其的终端
CN105611122B (zh) 2015-12-18 2019-03-01 Oppo广东移动通信有限公司 图像传感器及输出方法、相位对焦方法、成像装置和终端
CN105554419B (zh) * 2015-12-18 2018-04-10 广东欧珀移动通信有限公司 图像传感器及具有其的终端
CN105611198B (zh) * 2015-12-18 2017-06-27 广东欧珀移动通信有限公司 图像传感器及具有其的终端
CN105578005B (zh) * 2015-12-18 2018-01-19 广东欧珀移动通信有限公司 图像传感器的成像方法、成像装置和电子装置
CN105472266A (zh) * 2015-12-18 2016-04-06 广东欧珀移动通信有限公司 高动态范围图像的生成方法、拍照装置和终端
JP6732468B2 (ja) * 2016-02-16 2020-07-29 キヤノン株式会社 光電変換装置及びその駆動方法
WO2017145816A1 (ja) * 2016-02-24 2017-08-31 ソニー株式会社 光学測定器、フローサイトメータ、および放射線計数器
EP3432565B1 (en) * 2016-03-16 2020-07-08 Ricoh Company, Ltd. Photoelectric conversion device, image reading device, and image forming device
US10469776B2 (en) * 2016-04-04 2019-11-05 Prophesee Sample and hold based temporal contrast vision sensor
JP6966798B2 (ja) * 2016-07-28 2021-11-17 インテヴァック インコーポレイテッド リセット及び平均信号値による適応的ｘｄｒ
US10240910B2 (en) * 2016-09-07 2019-03-26 Board Of Trustees Of Southern Illinois University On Behalf Of Southern Illinois University Carbondale Systems and methods for compressive image sensor techniques utilizing sparse measurement matrices
JP6818875B2 (ja) 2016-09-23 2021-01-20 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 積層背面照射型ｓｐａｄアレイ
US10110840B2 (en) * 2016-10-25 2018-10-23 Semiconductor Components Industries, Llc Image sensor pixels with overflow capabilities
JP6665754B2 (ja) * 2016-10-26 2020-03-13 株式会社デンソー 撮像装置
DE102016125646A1 (de) * 2016-12-23 2018-06-28 Wipotec Wiege- Und Positioniersysteme Gmbh Mess- und/oder Sensorvorrichtung mit einer Kamera
TWI748035B (zh) * 2017-01-20 2021-12-01 日商半導體能源硏究所股份有限公司 顯示系統及電子裝置
US10690448B2 (en) * 2017-01-20 2020-06-23 Raytheon Company Method and apparatus for variable time pulse sampling
US10801886B2 (en) 2017-01-25 2020-10-13 Apple Inc. SPAD detector having modulated sensitivity
US10656251B1 (en) 2017-01-25 2020-05-19 Apple Inc. Signal acquisition in a SPAD detector
US10962628B1 (en) 2017-01-26 2021-03-30 Apple Inc. Spatial temporal weighting in a SPAD detector
EP3296954A1 (en) * 2017-01-27 2018-03-21 Sick IVP AB Method and arrangements for identifying a pixel as a local extreme point
JP2018186398A (ja) * 2017-04-26 2018-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、および電子機器
JP6909050B2 (ja) * 2017-05-18 2021-07-28 キヤノン株式会社 固体撮像素子及び撮像装置
US10917589B2 (en) * 2017-06-26 2021-02-09 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
EP3654636B1 (en) * 2017-07-13 2022-06-22 Panasonic Intellectual Property Management Co., Ltd. Imaging device and camera
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
US10440301B2 (en) 2017-09-08 2019-10-08 Apple Inc. Image capture device, pixel, and method providing improved phase detection auto-focus performance
WO2019066056A1 (ja) * 2017-09-29 2019-04-04 株式会社ニコン 撮像素子および撮像装置
JP7091052B2 (ja) * 2017-10-25 2022-06-27 キヤノン株式会社 撮像素子及び撮像装置
DE112018004287T5 (de) 2017-09-29 2020-05-14 Canon Kabushiki Kaisha Bildsensor und Bildaufnahmegerät
US10672098B1 (en) * 2018-04-05 2020-06-02 Xilinx, Inc. Synchronizing access to buffered data in a shared buffer
CN108680587B (zh) 2018-05-09 2020-12-15 京东方科技集团股份有限公司 一种检测电路、信号处理方法和平板探测器
US10630897B2 (en) * 2018-06-01 2020-04-21 Semiconductor Components Industries, Llc Image sensors with charge overflow capabilities
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
EP3917134B1 (en) * 2018-06-27 2023-11-15 Prophesee Image sensor with a plurality of super-pixels
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
US10848693B2 (en) 2018-07-18 2020-11-24 Apple Inc. Image flare detection using asymmetric pixels
US11019294B2 (en) 2018-07-18 2021-05-25 Apple Inc. Seamless readout mode transitions in image sensors
CN112514370B (zh) * 2018-07-27 2023-07-28 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及记录介质
JP2020118339A (ja) * 2019-01-23 2020-08-06 日立グローバルライフソリューションズ株式会社 ２つの基板を含む回路及びこれを有する機器
US11102422B2 (en) 2019-06-05 2021-08-24 Omnivision Technologies, Inc. High-dynamic range image sensor and image-capture method
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
SE543376C2 (en) * 2019-06-19 2020-12-22 Tobii Ab Method for controlling read-out from a digital image sensor
CN112449125B (zh) * 2019-08-29 2022-06-17 天津大学青岛海洋技术研究院 一种基于自适应阈值调整的图像传感器读出电路
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
KR20210112949A (ko) * 2020-03-06 2021-09-15 삼성전자주식회사 데이터 버스, 그것의 데이터 처리 방법 및 데이터 처리 장치
DE102020203113A1 (de) * 2020-03-11 2021-09-16 Siemens Healthcare Gmbh Paketbasiertes Multicast-Kommunikationssystem
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
US11258971B2 (en) * 2020-05-28 2022-02-22 Taiwan Semiconductor Manufacturing Company Limited Multi-function transfer gate electrode for a photodetector and methods of operating the same
US11563910B2 (en) 2020-08-04 2023-01-24 Apple Inc. Image capture devices having phase detection auto-focus pixels
KR20220020457A (ko) * 2020-08-11 2022-02-21 삼성전자주식회사 멀티 카메라 모듈을 포함하는 모바일 전자 장치
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
KR20220085156A (ko) 2020-12-15 2022-06-22 삼성전자주식회사 디지털 픽셀 센서 및 아날로그 디지털 변환기
CA3205622A1 (en) 2020-12-17 2022-06-23 Ecoatm, Llc Systems and methods for vending and/or purchasing mobile phones and other electronic devices
US11652492B2 (en) 2020-12-30 2023-05-16 Analog Devices International Unlimited Company Signal chain with embedded power management
CN113014837B (zh) * 2021-02-20 2023-04-18 北京大学深圳研究生院 一种光电式的传感像素电路
US11546532B1 (en) 2021-03-16 2023-01-03 Apple Inc. Dynamic correlated double sampling for noise rejection in image sensors
CN113709390B (zh) * 2021-08-25 2022-06-10 豪威芯仑传感器(上海)有限公司 一种扫描器电路及图像传感器
US11942960B2 (en) 2022-01-31 2024-03-26 Analog Devices, Inc. ADC with precision reference power saving mode
CN117249898B (zh) * 2023-08-31 2024-04-09 北京融合未来技术有限公司 探测器的像素电路、探测器和设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0856989A2 (en) * 1997-02-04 1998-08-05 Matsushita Electronics Corporation Physical quantity distribution sensor and method for driving the same
GB2454744A (en) * 2007-11-19 2009-05-20 Selex Sensors & Airborne Sys Imaging device and method

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4311181B2 (ja) * 2003-12-05 2009-08-12 ソニー株式会社 半導体装置の制御方法および信号処理方法並びに半導体装置および電子機器
CN101213829A (zh) * 2005-06-01 2008-07-02 伊斯曼柯达公司 具有可选择装仓的cmos图像传感器像素
JP4599258B2 (ja) 2005-09-16 2010-12-15 富士フイルム株式会社 固体撮像素子
WO2007135175A2 (en) 2006-05-24 2007-11-29 Thomson Licensing Circuit and method for reading out and resetting pixels of an image sensor
CN101669026B (zh) * 2006-12-14 2014-05-07 生命技术公司 利用大规模fet阵列测量分析物的方法和装置
US7616243B2 (en) 2007-03-07 2009-11-10 Altasens, Inc. Method and apparatus for improving and controlling dynamic range in an image sensor
BRPI0816352A2 (pt) 2007-09-05 2015-02-24 Hiok Nam Tay Sensor de imagem; método para criar um valor de pixel para um sensor de imagem
US7920193B2 (en) * 2007-10-23 2011-04-05 Aptina Imaging Corporation Methods, systems and apparatuses using barrier self-calibration for high dynamic range imagers
KR101437912B1 (ko) * 2007-11-19 2014-09-05 삼성전자주식회사 이미지 센서의 구동 방법
EP2071825A1 (en) 2007-12-13 2009-06-17 St Microelectronics S.A. Pixel read circuitry
US8134624B2 (en) * 2008-07-03 2012-03-13 Aptina Imaging Corporation Method and apparatus providing multiple exposure high dynamic range sensor
US8179460B2 (en) 2008-09-22 2012-05-15 Aptina Imaging Corporation System, method, and apparatus for variable rate pixel data transfer and storage
JP5029624B2 (ja) * 2009-01-15 2012-09-19 ソニー株式会社 固体撮像装置及び電子機器
US8144223B2 (en) * 2009-01-28 2012-03-27 Gentex Corporation Imaging device
US8144215B2 (en) 2009-05-11 2012-03-27 Himax Imaging, Inc. Method and apparatus of using processor with analog-to-digital converter within image sensor to achieve high dynamic range of image sensor
KR101597785B1 (ko) * 2009-07-14 2016-02-25 삼성전자주식회사 이미지 센서 및 영상 처리 방법
US20120176393A1 (en) * 2009-09-16 2012-07-12 Sharp Kabushiki Kaisha Memory device, display device equipped with memory device, drive method for memory device, and drive method for display device
JP2011229120A (ja) * 2010-03-30 2011-11-10 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法、及び、電子機器
JP5511541B2 (ja) * 2010-06-24 2014-06-04 キヤノン株式会社 固体撮像装置及び固体撮像装置の駆動方法
JP2012195734A (ja) * 2011-03-16 2012-10-11 Sony Corp 固体撮像装置、撮像装置、電子機器、及び、固体撮像装置の駆動方法
US9001231B2 (en) 2011-06-03 2015-04-07 Rambus Inc. Image acquisition using oversampled one-bit poisson statistics
US10090349B2 (en) * 2012-08-09 2018-10-02 Taiwan Semiconductor Manufacturing Company, Ltd. CMOS image sensor chips with stacked scheme and methods for forming the same
FR2992813A1 (fr) * 2012-07-02 2014-01-03 St Microelectronics Grenoble 2 Procede de commande d'un pixel cmos
US9843750B2 (en) * 2014-03-25 2017-12-12 Samsung Electronics Co., Ltd. Methods of calibrating linear-logarithmic image sensors

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0856989A2 (en) * 1997-02-04 1998-08-05 Matsushita Electronics Corporation Physical quantity distribution sensor and method for driving the same
GB2454744A (en) * 2007-11-19 2009-05-20 Selex Sensors & Airborne Sys Imaging device and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI820565B (zh) * 2021-06-04 2023-11-01 美商豪威科技股份有限公司 具有相位偵測自動對焦及影像感測光電二極體之像素陣列之位元線控制支援合併模式

Also Published As

Publication number Publication date
EP2974280B1 (en) 2021-11-24
EP2974280A1 (en) 2016-01-20
CN110753192A (zh) 2020-02-04
US10136090B2 (en) 2018-11-20
US20160028985A1 (en) 2016-01-28
JP2016513942A (ja) 2016-05-16
CN105144699A (zh) 2015-12-09
WO2014144391A1 (en) 2014-09-18
CN110753192B (zh) 2022-04-08
JP6415532B2 (ja) 2018-10-31

Similar Documents

Publication Publication Date Title
CN105144699B (zh) 阈值监测的有条件重置的图像传感器及其操作方法
CN105308747B (zh) 分离栅极有条件重置的图像传感器
CN104704812B (zh) 集成电路图像传感器以及在其中操作的方法
CN100490506C (zh) 采用多次取样通过时间-索引实现宽动态范围的图象传感器
US9237286B2 (en) Image sensor and method for power efficient readout of sub-picture
TWI252686B (en) Method of controlling semiconductor device, signal processing method, semiconductor device, and electronic apparatus
EP2832090B1 (en) Cmos image sensors implementing full frame digital correlated double sampling with global shutter
JP7208156B2 (ja) ピクセルワイズイメージングの方法及びシステム
CN105794203A (zh) 高动态范围图像传感器
CN101438409B (zh) 宽动态范围的影像传感器及其使用方法
US20100328512A1 (en) System and Method for a High Dynamic Range Sensitive Sensor Element or Array
TW201724015A (zh) 成像方法、成像裝置及電子裝置
JP2019530321A (ja) 交差画素相互接続型ｃｍｏｓイメージセンサの動的画素管理のためのシステム及び方法
TWI615034B (zh) 圖像感測器及成像終端與成像方法
JP2009206709A (ja) 固体撮像装置、固体撮像装置の駆動方法および電子機器
KR20220156242A (ko) 이미지 처리 장치
KR102544622B1 (ko) 무프레임 랜덤 액세스 이미지 감지
Bloss et al. High-speed camera based on a CMOS active pixel sensor
CN110177199A (zh) 图像传感器芯片、摄像头模组、电子设备以及影像拍摄方法
US20150334317A1 (en) High dynamic range array of sensitive image sensor blocks using block processing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190315

CF01 Termination of patent right due to non-payment of annual fee