CN112585950A

CN112585950A - 具有自适应曝光时间的像素传感器

Info

Publication number: CN112585950A
Application number: CN201980054830.3A
Authority: CN
Inventors: 安德鲁·塞缪尔·贝尔科维奇; 陈松; 刘新桥
Original assignee: Facebook Technologies LLC
Current assignee: Meta Platforms Technologies LLC
Priority date: 2018-08-20
Filing date: 2019-08-20
Publication date: 2021-03-30
Anticipated expiration: 2039-08-20
Also published as: US10931884B2; JP2021534603A; CN112585950B; WO2020041241A1; US11974044B2; TWI815951B; TW202021106A; US20210203830A1; US20200059589A1

Abstract

在一个示例中，一种方法包括：将第一光电二极管暴露于入射光以产生第一电荷；将第二光电二极管暴露于入射光以产生第二电荷；由第一电荷感测单元将第一电荷转换成第一电压；由第二电荷感测单元将第二电荷转换成第二电压；控制ADC，以基于第一电压来检测第一电荷的量达到饱和阈值，并且当第一电荷的量达到饱和阈值时测量饱和时间；基于检测到第一电荷的量达到饱和阈值，停止将第一光电二极管和第二光电二极管暴露于入射光；以及控制ADC，以基于第二电压来测量在曝光结束之前由第二光电二极管产生的第二电荷的量。

Description

具有自适应曝光时间的像素传感器

相关申请

本专利申请要求2019年8月19日提交的第16/544,136号美国申请和2018年8月20日提交的第62/719,953号美国临时申请的优先权。第16/544,136号美国申请和第62/719,953号美国申请出于所有目的通过引用以其整体并入本文。

背景

本公开总体上涉及图像传感器，且更具体地涉及包括接口电路的像素单元结构，用于确定用于图像生成的光强度。

图像传感器中典型的像素包括光电二极管，其用于通过将光子转换成电荷(例如，电子或空穴)来感测入射光。入射光可以包括用于不同应用(例如2D和3D感测)的不同波长范围的分量。此外，为了减少图像失真，可以执行全局快门操作，其中光电二极管阵列的每个光电二极管在全局曝光周期中同时感测入射光以产生电荷。该电荷可以由电荷感测单元(例如，浮置扩散(floating diffusion))转换以转换为电压。像素单元阵列可以基于由电荷感测单元转换的电压来测量入射光的不同分量，并提供测量结果以用于场景的2D和3D图像的生成。

概述

本公开涉及图像传感器。更具体地，但不限于，本公开涉及像素单元。本公开还涉及操作像素单元的电路以生成入射光强度的数字表示。

在一个示例中，提供了一种装置。该装置包括：第一光电二极管，其用于产生第一电荷；第二光电二极管，其用于产生第二电荷；第一电荷感测单元，其用于将第一电荷转换成第一电压；第二电荷感测单元，其用于将第二电荷转换成第二电压；ADC，其能够测量饱和时间和电荷的量；以及控制器，该控制器被配置为：将第一光电二极管和第二光电二极管暴露于入射光，以分别产生第一电荷和第二电荷；将ADC连接到第一电荷感测单元，以基于第一电压来检测第一电荷的量达到饱和阈值，并且当第一电荷的量达到饱和阈值时，测量饱和时间；基于检测到第一电荷的量达到饱和阈值，停止将第一光电二极管和第二光电二极管暴露于入射光；以及将ADC连接到第二电荷感测单元，以基于第二电压来测量在曝光结束之前由第二光电二极管产生的第二电荷的量。

在一个方面，该装置还包括：第一快门开关，其耦合在第一光电二极管和第一电荷吸收器(charge sink)之间；以及第二快门开关，其耦合在第二光电二极管和第二电荷吸收器之间。控制器被配置为：基于禁用第一快门开关和第二快门开关，将第一光电二极管和第二光电二极管暴露于于入射光；以及基于启用第一快门开关和第二快门开关，停止将第一光电二极管和第二光电二极管暴露于入射光。

在一个方面，控制器被配置为在第一时间一起禁用第一快门开关和第二快门开关，并且在第二时间一起启用第一快门开关和第二快门开关，使得用于第一光电二极管和第二光电二极管的全局快门开关在第一时间开始并且在第二时间结束。

在一个方面，第一电荷感测单元和第二电荷感测单元中的每一个分别包括第一电容器和第二电容器。该装置还包括：第一转移开关，其耦合在第一光电二极管和第一电荷感测单元之间；以及第二转移开关，其耦合在第二光电二极管和第二电荷感测单元之间。控制器被配置为：控制第一转换开关以将第一电荷转移到第一电荷感测单元的第一电容器；控制第二转移开关以将第一电荷转移到第一电荷感测单元的第二电容器；以及在第一电荷和第二电荷的转移完成之后，停止将第一光电二极管和第二光电二极管暴露于入射光。

在一个方面，控制器被配置为：在第一时间，以第一偏置电压偏置第一转移开关，以将第一电荷中的第一溢出电荷从第一光电二极管转移到第一电荷感测单元用于存储；在第一时间，以第一偏置电压偏置第二转移开关，以将第二电荷中的第二溢出电荷从第二光电二极管转移到第二电荷感测单元用于存储；在第二时间，以第二偏置电压偏置第一转移开关，以将第一电荷中的第一剩余电荷从第一光电二极管转移到第一电荷感测单元用于存储；以及在第二时间，以第二偏置电压偏置第二转移开关，以将第二电荷中的第二剩余电荷从第二光电二极管转移到第二电荷感测单元用于存储。在第一剩余电荷的转移和第二剩余电荷的转移完成之后，停止将第一光电二极管和第二光电二极管暴露于入射光。

在一个方面，第一电荷感测单元包括耦合在第一电容器和ADC之间的第一可切换缓冲器。第二电荷感测单元包括耦合在第一电容器和ADC之间的第二可切换缓冲器。控制器被配置为：当以第一偏置电压偏置第一转移开关时，启用第一切换缓冲器，以控制ADC检测第一溢出电荷的量是否超过饱和阈值，并且当第一溢出电荷的量达到饱和阈值时，测量饱和时间；以及在停止将第一光电二极管和第二光电二极管暴露于入射光之后：控制ADC以测量存储在第二电容器中的第二剩余电荷的量。

在一个方面，当第一溢出电荷转移到第一电容器时，第一电容器产生第一电压。ADC被配置为基于将第一电压与表示饱和阈值的第一静态阈值电压进行比较来测量饱和时间。

在一个方面，第一电容器包括第一主电容器和第一辅助电容器。控制器被配置为在第一剩余电荷的转移之前：将第一辅助电容器与第一主电容器的连接断开；以及复位第一主电容器。第一剩余电荷在第一主电容器被复位之后转移到第一主电容器，以产生第三电压。ADC被配置为基于将第一主电容器处的第三电压与第一斜坡阈值电压进行比较，测量存储在第一主电容器中的第一剩余电荷的量。ADC被配置为在测量第一剩余电荷的量之后：将存储第一溢出电荷的一部分的第一辅助电容器与第一主电容器连接以产生第四电压；以及基于将第四电压与第二斜坡阈值电压进行比较，来测量第一溢出电荷的量。控制器被配置为基于第一电压、第三电压或第四电压之一而选择由ADC生成的输出。该选择基于第一电压是否越过第一静态阈值电压，并且基于第三电压是否越过表示第一光电二极管的存储容量的第二静态阈值电压。控制器被配置为提供所选择的输出以表示由第一光电二极管接收的入射光的强度。

在一个方面，第二电容器包括第二主电容器和第二辅助电容器。控制器被配置为在第二剩余电荷的转移之前：将第二辅助电容器与第二主电容器的连接断开；以及复位第二主电容器。第二剩余电荷在第二主电容器被复位之后转移到第二主电容器，以产生第二电压。ADC被配置为基于将第二主电容器处的第二电压与第一斜坡阈值电压进行比较，来测量存储在第二主电容器中的第二剩余电荷的量。ADC被配置为在测量第二剩余电荷的量之后：将存储第二溢出电荷的一部分的第二辅助电容器与第二主电容器连接以产生第三电压；以及基于将第三电压与第二斜坡阈值电压进行比较来测量第二溢出电荷的量。控制器被配置为基于第二电压或第三电压之一而选择由ADC生成的输出。该选择基于第二电压是否越过表示第二光电二极管的存储容量的静态阈值电压。控制器被配置为提供所选择的输出以表示由第二光电二极管接收的入射光的强度。

在一个方面，第一光电二极管被配置为检测入射光的具有第一波长范围的第一分量。第二光电二极管被配置为检测入射光的具有第二波长范围的第二分量。

在一个方面，第一波长范围和第二波长范围是相同的。

在一个方面，第一光电二极管和第二光电二极管是像素单元的一部分。

在一个方面，第一光电二极管和第二光电二极管分别是第一像素单元的一部分和第二像素单元的一部分。

在一个方面，第一像素单元和第二像素单元是像素单元阵列的一部分。第一像素单元和第二像素单元由一个或更多个像素单元分隔开。

在一个示例中，提供了一种方法。该方法包括：将第一光电二极管暴露于入射光以产生第一电荷；将第二光电二极管暴露于入射光以产生第二电荷；由第一电荷感测单元将第一电荷转换成第一电压；由第二电荷感测单元将第二电荷转换成第二电压；控制ADC，以基于第一电压来检测第一电荷的量达到饱和阈值，并且当第一电荷的量达到饱和阈值时测量饱和时间；基于检测到第一电荷的量达到饱和阈值，停止将第一光电二极管和第二光电二极管暴露于入射光；以及控制ADC，以基于第二电压来测量在曝光结束之前由第二光电二极管产生的第二电荷的量。

在一个方面，第一电荷是由第一光电二极管基于检测入射光的具有第一波长范围的第一分量而产生的。第二电荷是由第二光电二极管基于检测入射光的具有第二波长范围的第二分量而产生的。第一波长范围和第二波长范围不同。

附图简述

参考以下附图描述说明性示例。

图1A和图1B是近眼显示器的示例的示意图。

图2是近眼显示器的横截面的示例。

图3示出了具有单个源组件的波导显示器的示例的等轴视图。

图4示出了波导显示器的示例的横截面。

图5是包括近眼显示器的系统的示例的框图。

图6示出了图像传感器的示例的框图。

图7A、图7B和图7C示出了通过图6的示例图像传感器来确定不同范围的光强度的操作。

图8A、图8B、图8C和图8D示出了图6的示例图像传感器的示例像素单元的内部部件的示例。

图9A和图9B示出了图8A、图8B、图8C和图8D的示例像素单元的内部部件的示例。

图10示出了通过所公开的技术测量的光强度范围的示例。

图11A、图11B、图11C和图11D示出了用于确定光强度的示例方法。

图12示出了用于执行光强度测量的控制信号的示例序列。

图13A、图13B和图13C示出了多光电二极管像素单元及其操作的示例。

图14A和图14B示出了多光电二极管像素单元及其操作的另一个示例。

图15A、图15B和图15C示出了共享量化资源的光电二极管的示例分组。

图16A和图16B示出了共享量化资源的光电二极管的另一个示例分组。

图17示出了用于测量光强度的示例过程的流程图。

附图仅为了说明的目的而描绘本公开的示例。本领域中的技术人员从下面的描述中将容易认识到示出的结构和方法的可选的示例可以被采用而不偏离本公开的原理和所推崇的益处。

在附图中，相似的部件和/或特征可以具有相同的参考标记。此外，可以通过在参考标记之后用短划线(dash)和在相似部件之间进行区分的第二标记来区分相同类型的各个部件。如果说明书中仅使用第一参考标记，则该描述适用于具有相同第一参考标记的任何一个相似部件，而与第二参考标记无关。

详细描述

在以下描述中，为了解释的目的而阐述了具体细节，以便提供对某些创造性示例的透彻理解。然而，很明显，没有这些具体细节也可以实施各种示例。附图和描述并不旨在是限制性的。

典型的图像传感器包括像素单元阵列。每个像素单元包括光电二极管，用于通过将光子转换成电荷(例如，电子或空穴)来测量入射光的强度。光电二极管产生的电荷可以通过电荷感测单元被转换成电压，电荷感测单元可以包括浮置漏极节点。电压可以由模数转换器(ADC)量化为数字值。数字值可以表示由像素单元接收的光的强度，并且可以形成像素，该像素可以对应于从场景的点(spot)接收的光。可以从像素单元阵列的数字输出中导出包括像素阵列的图像。

图像传感器可以用于执行不同的成像模式，例如2D和3D感测。可以基于不同波长范围的光来执行2D和3D感测。例如，可见光可以用于2D感测，而不可见光(例如，红外光)可以用于3D感测。图像传感器可以包括滤光器阵列，该滤光器阵列允许不同光学波长范围和颜色(例如，红色、绿色、蓝色、单色等)的可见光到达指定用于2D感测的第一像素单元集合，而不可见光到达指定用于3D感测的第二像素单元集合。

为了执行2D感测，像素单元处的光电二极管可以以与入射到像素单元上的可见光分量(例如，红色、绿色、蓝色、单色等)的强度成比例的速率产生电荷，并且在曝光周期中累积的电荷量可以用于表示可见光(或者可见光的某个颜色分量)的强度。电荷可以暂时存储在光电二极管处，然后转移到电容器(例如，浮置扩散)以产生电压。电压可由模数转换器(ADC)采样并量化，以生成对应于可见光强度的输出。可以基于来自多个像素单元的输出来生成图像像素值，该多个像素单元被配置成感测可见光的不同颜色分量(例如，红色、绿色和蓝色)。

此外，为了执行3D感测，不同波长范围的光(例如，红外光)可以被投射到对象上，并且反射光可以被像素单元检测到。光可以包括结构光(structured light)、光脉冲等。像素单元输出可用于基于例如检测反射的结构光的图案、测量光脉冲的飞行时间等来执行深度感测操作。为了检测反射的结构光的图案，可以确定曝光时间期间由像素单元产生的电荷量的分布，并且可以基于对应于电荷量的电压生成像素值。对于飞行时间测量，可以确定在像素单元的光电二极管处产生电荷的时序(timing)，以表示在像素单元处接收到反射的光脉冲的时间。当光脉冲被投射到对象时与在像素单元处接收到反射的光脉冲时之间的时间差可以用来提供飞行时间测量。

像素单元阵列可用于生成场景信息。在一些示例中，阵列内的像素单元子集(例如，第一像素单元集合)可以检测光的可见分量以执行场景的2D感测，并且阵列内的另一像素单元子集(例如，第二像素单元集合)可以检测光的红外分量以执行场景的3D感测。2D和3D成像数据的融合对于提供虚拟现实(VR)、增强现实(AR)和/或混合现实(MR)体验的许多应用是有用的。例如，可佩戴VR/AR/MR系统可以执行该系统的用户所处环境的场景重建。基于重建的场景，VR/AR/MR可以生成显示效果以提供交互式体验。为了重建场景，像素单元阵列内的像素单元子集可以执行3D感测以，例如，识别环境中物理对象的集合并确定物理对象和用户之间的距离。像素单元阵列内的另一个像素单元子集可以执行2D感测以，例如，捕获包括这些物理对象的纹理、颜色和反射率的视觉属性。然后，场景的2D和3D图像数据可以被合并，以创建例如包括对象的视觉属性的场景的3D模型。作为另一个示例，可佩戴VR/AR/MR系统也可以基于2D和3D图像数据的融合来执行头部跟踪操作。例如，基于2D图像数据，VR/AR/AR系统可以提取某些图像特征来识别对象。基于3D图像数据，VR/AR/AR系统可以跟踪所识别的对象相对于用户佩戴的可佩戴设备的定位(location)。VR/AR/AR系统可以基于例如在用户的头部移动时跟踪所识别的对象相对于可佩戴设备的定位变化，来跟踪头部移动。

为了改善2D和3D图像数据的相关性，像素单元阵列可以被配置为提供来自场景的点的入射光的不同分量的并置成像(collocated imaging)。具体地，每个像素单元可以包括多个光电二极管和多个对应的电荷感测单元。多个光电二极管中的每个光电二极管被配置成将入射光的不同光分量转换成电荷。为了使光电二极管能够接收入射光的不同光分量，光电二极管可以形成为堆叠，该堆叠为不同的光电二极管提供不同的入射光吸收距离，或者可以形成在滤光器阵列下方的平面上。每个电荷感测单元包括一个或更多个电容器，该一个或更多个电容器通过将电荷转换成电压来感测对应的光电二极管的电荷，该电压可以由ADC量化以生成由每个光电二极管转换的入射光分量的强度的数字表示。ADC包括比较器。作为量化操作的一部分，比较器可以将电压与参考电压进行比较以输出判定(decision)。比较器的输出可以控制存储器何时存储来自自由运行计数器的值。该值可以提供量化电压的结果。

ADC可以基于与不同强度范围相关联的不同量化操作来量化电压，这可以增加光强度测量操作的动态范围。具体而言，每个光电二极管可以在曝光周期内产生一定量的电荷，其中电荷量表示入射光强度。每个光电二极管还具有量子阱，用于存储该电荷中的至少一些电荷作为剩余电荷。可以基于光电二极管和电荷感测单元之间的开关上的偏置电压来设置量子阱容量。对于低光强度范围，光电二极管可以将全部电荷作为剩余电荷存储在量子阱中。在PD ADC量化操作中，ADC可以量化由电荷感测单元根据感测剩余电荷的量而产生的第一电压，以提供低光强度的数字表示。由于剩余电荷通常对光电二极管中的暗电流很不敏感，因此可以降低低光强度测量的本底噪声(noise floor)，这可以进一步扩展动态范围的下限。

此外，对于中等光强度范围，剩余电荷可以使量子阱饱和，并且光电二极管可以将其余的电荷作为溢出电荷转移到电荷感测单元，电荷感测单元可以根据感测溢出电荷的量而产生第二电压。在FD ADC量化操作中，ADC可以量化第二电压以提供中等光强度的数字表示。对于低光强度和中等光强度，电荷感测单元中的一个或更多个电容器尚未饱和，并且第一电压的幅值和第二电压的幅值与光强度相关。因此，对于低光强度和中等光强度，ADC的比较器可以将第一电压或第二电压与斜坡电压进行比较，以生成判定。该判定可以控制存储器存储计数器值，该计数器值可以表示剩余电荷或溢出电荷的量。

对于高光强度范围，溢出电荷可以使电荷感测单元中的一个或更多个电容器饱和。结果，第二电压的幅值不再跟踪光强度，并且可能将非线性引入到光强度测量中。为了减少由电容器饱和引起的非线性，ADC可以通过将第二电压与静态阈值进行比较来执行饱和时间(TTS)测量操作以生成判定，该判定可以控制存储器存储计数器值。计数器值可以表示第二电压达到饱和阈值的时间。饱和时间可以表示一定范围内的光强度，在该范围内，电荷感测单元饱和并且第二电压的值不再反映光强度。利用这样的布置，可以扩展动态范围的上限。

在像素单元的所有其它部件中，ADC的比较器通常(尤其在执行上述多个量化操作时)占据最大的空间并消耗最多的功率。因此，为了减少功率和像素单元占用空间(footprint)，在像素单元内的多个电荷感测单元之间可以共享单个ADC。像素单元的控制器可以控制每个电荷感测单元依次连接到该单个ADC，以执行TTS、FD ADC和PD ADC操作，从而生成入射光的光分量的强度的数字表示。然而，这样的布置会显著增加像素单元的量化操作的总时间以及生成图像帧所需的帧周期，这可能导致较低的帧速率。这可能降低图像传感器提供高速对象和/或以高速度变化的场景的高分辨率图像的能力，并减少图像传感器的应用。为了减少每个光电二极管的量化操作的总时间，控制器可以将一些光电二极管配置为仅执行TTS、FD ADC和PD ADC操作的子集。例如，控制器可以将一个光电二极管的电荷感测单元连接到ADC，并控制ADC执行TTS、FD ADC和PD ADC操作。然后，控制器可以将其它光电二极管的其它电荷感测单元顺序连接到ADC，并控制ADC对那些电荷感测单元的输出仅执行PD ADC和FD ADC操作。除了减小帧周期之外，这样的布置还可以确保像素单元内的所有光电二极管具有相同的曝光周期，这可以提高快门效率，并减少当类似于滚动快门操作对明亮、快速移动的对象成像时的运动模糊和失真。

虽然减少像素单元的光电二极管子集的量化操作可以减少像素单元的量化操作的总时间并增加帧速率，但是这样的布置可能降低该光电二极管子集的动态范围的上限。具体地，当像素单元暴露于高强度光分量时，该光电二极管子集的电荷感测单元的电容器可以变得饱和。但是，由于没有对那些光电二极管执行TTS操作，因此ADC的量化输出仅对于低光强度范围和中等光强度范围是线性的。这降低了那些光电二极管可测量的光强度的上限，并减小了它们的动态范围。结果，可能将非线性引入到像素单元对入射光的一些或全部光分量的测量中，这不仅会降低并置的2D/3D成像操作的性能，而且会降低像素单元阵列的全局快门操作的性能。

本公开涉及一种图像传感器，该图像传感器可以通过解决以上至少一些问题来提供改进的并置的2D和3D成像操作以及改进的全局快门操作。具体地，图像传感器可以包括第一光电二极管、第二光电二极管、第一电荷感测单元、第二电荷感测单元和控制器。第一光电二极管可以响应于入射光的第一分量而产生第一电荷。第二光电二极管可以响应于入射光的第二分量而产生第二电荷。第一电荷感测单元和第二电荷感测单元中的每一个包括电容器，该电容器可以由浮置漏极形成，以存储由光电二极管产生的电荷。第一电荷感测单元可以与第二电荷感测单元共享ADC。在共享方案下，ADC将对第一电荷感测单元的输出执行TTS操作，以测量第一电荷的量达到饱和阈值的饱和时间，随后执行PD ADC操作和/或FDADC操作，以测量第一电荷的量。此外，ADC将不对第二电荷感测单元的输出执行TTS操作，而是仅对第二电荷感测单元的输出执行PD ADC和/或FD ADC操作，以测量第二电荷的量。

控制器可以开始第一光电二极管和第二光电二极管的曝光周期，以分别产生第一电荷和第二电荷。图像传感器可以包括快门开关，其耦合在第一光电二极管和第二光电二极管中的每一个与电荷吸收器之间，电荷吸收器可以排出第一电荷和第二电荷。可以基于禁用快门开关来开始曝光周期。控制器可以控制ADC对第一电荷感测单元的输出执行TTS操作，以检测饱和并测量饱和时间。在检测到饱和时，控制器可以基于启用这些开关来停止第一光电二极管和第二光电二极管的曝光周期。然后，控制器可以控制ADC对第二电荷感测单元的输出执行PD ADC和/或FD ADC操作，以测量在曝光周期内由第二光电二极管产生的第二电荷的量。控制器还可以控制ADC在TTS操作之后对第一感测单元的输出执行PD ADC和/或FD ADC操作，以测量在曝光周期内由第一光电二极管产生的第一电荷的量。来自第一光电二极管的量化输出和来自第二光电二极管的量化输出可以形成相同的图像帧、或相同帧周期的相同的帧集合(例如，2D和3D帧)。

在一些示例中，第一光电二极管和第二光电二极管可以是内核(kernel)的一部分。内核可以包括多个像素单元和/或像素单元的多个光电二极管。在内核中，一组光电二极管可以共享ADC。该组内除主光电二极管(例如，第一光电二极管)之外的所有光电二极管可以访问ADC以仅执行PD ADC和/或FD ADC操作，而主光电二极管可以访问ADC以执行TTS以及PD ADC和/或FD ADC操作。该组内的所有光电二极管可以具有相同的曝光周期，该曝光周期可以在主光电二极管的电荷感测单元饱和时停止。因此，基于PD ADC和/或FD ADC操作的那些光电二极管的电荷感测单元的量化结果仍然可以以合理的保真度表示光分量的强度。另一方面，如果没有来自主光电二极管的饱和指示，则光电二极管可以在预先配置的曝光周期内产生至少阈值量的电荷，以保持最小信噪比以进行对低光强度和中等光强度的测量，这可以设置动态范围的下限。

内核的光电二极管可以来自不同的像素单元或来自同一像素单元，并且可以被配置为检测相同或不同的光分量。内核中光电二极管的分组可以基于各种方案，并且可以是特定于应用的。作为示例，可以基于要成像的预先确定的对象(例如，指向光源(pointedlight source))的轮廓/形状来定义像素组，并且每组像素可以形成内核。作为另一个示例，可能接收相似强度的光分量的像素单元可以形成内核。此外，内核的光电二极管在像素单元阵列内的空间分布可以基于图像传感器的应用。例如，如果图像传感器对场景的小部分进行成像，使得接收到的NIR光集中在少量像素单元处，则内核可以包括相邻像素单元的光电二极管。另一方面，如果图像传感器对场景的大部分进行成像，使得NIR光的图案稀疏地分布在像素单元上，则内核可以包括间隔开的像素单元的光电二极管。在一些示例中，光电二极管的内核也可以包括同一像素单元的且被配置为检测不同波长范围的光分量的光电二极管。当图像传感器在具有强环境光的环境中操作，并且在该环境中像素单元的每个光电二极管可以接收高强度的光分量，并且每个光电二极管的电荷感测单元很可能饱和时，这样的布置可能是有用的。在所有这些情况下，内核的光电二极管可以被配置为检测相同波长范围或不同波长范围的光，

利用本公开的实施例，在每个像素单元具有相同的曝光周期的情况下，可以提供全局快门操作，同时每个像素单元包括多个光电二极管以检测来自场景的相同点的光的不同分量，从而支持并置的2D和3D成像操作。此外，像素单元的光电二极管和或被组织成内核，其中光电二极管的每个内核共享ADC来执行量化操作，以减小像素单元的尺寸和功耗，同时每个内核的光电二极管的曝光周期可以被动态调整，以改善测量操作的线性度以及图像传感器的动态范围。所有这些可以提高图像传感器的性能。

所公开的技术可以包括人工现实系统或者结合人工现实系统来实现。人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(mixed reality，MR)、混杂现实(hybrid reality)或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与所捕获的(例如，真实世界)内容组合地生成的内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合，它们中的任何一个都可以在单个通道或多个通道(例如向观看者产生三维效果的立体视频)中呈现。此外，在一些示例中，人工现实还可以与应用、产品、附件、服务或其某种组合相关联，这些应用、产品、附件、服务或其某种组合用于例如在人工现实中创建内容和/或在人工现实中以其他方式被使用(例如在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主计算机系统的头戴式显示器(HMD)、独立的HMD、移动设备或计算系统、或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台。

图1A是近眼显示器100的示例的示意图。近眼显示器100向用户呈现媒体。由近眼显示器100呈现的媒体的示例包括一个或更多个图像、视频和/或音频。在一些示例中，音频经由外部设备(例如，扬声器和/或头戴式耳机(headphone))呈现，该外部设备从近眼显示器100、控制台或两者接收音频信息，并基于音频信息来呈现音频数据。近眼显示器100通常被配置成作为虚拟现实(VR)显示器进行操作。在一些示例中，近眼显示器100被修改为作为增强现实(AR)显示器和/或混合现实(MR)显示器来进行操作。

近眼显示器100包括框架105和显示器110。框架105耦合到一个或更多个光学元件。显示器110被配置成让用户看到由近眼显示器100呈现的内容。在一些示例中，显示器110包括波导显示组件，用于将来自一个或更多个图像的光导向用户的眼睛。

近眼显示器100还包括图像传感器120a、120b、120c和120d。图像传感器120a、120b、120c和120d中的每一个可以包括像素阵列，该像素阵列被配置为生成表示沿着不同方向的不同视场的图像数据。例如，传感器120a和120b可以被配置成提供表示沿着Z轴朝向方向A的两个视场的图像数据，而传感器120c可以被配置成提供表示沿着X轴朝向方向B的视场的图像数据，并且传感器120d可以被配置成提供表示沿着X轴朝向方向C的视场的图像数据。

在一些示例中，传感器120a-120d可以被配置为输入设备，以控制或影响近眼显示器100的显示内容，从而向佩戴近眼显示器100的用户提供交互式VR/AR/MR体验。例如，传感器120a-120d可以生成用户所处物理环境的物理图像数据。物理图像数据可以被提供给定位跟踪系统，以跟踪用户在物理环境中的定位和/或移动路径。然后，系统可以基于例如用户的定位和定向来更新提供给显示器110的图像数据，以提供交互式体验。在一些示例中，当用户在物理环境内移动时，定位跟踪系统可以运行SLAM算法来跟踪在物理环境中且在用户的视场内的一组对象。定位跟踪系统可以基于该组对象来构建和更新物理环境的地图(map)，并且跟踪用户在地图内的定位。通过提供对应于多个视场的图像数据，传感器120a-120d可以向定位跟踪系统提供物理环境的更全面的视图，这可以导致更多的对象被包括在地图的构建和更新中。利用这种布置，可以提高跟踪用户在物理环境内的定位的精确度和鲁棒性。

在一些示例中，近眼显示器100还可以包括一个或更多个有源照明器130，以将光投射到物理环境中。投射的光可以与不同的频谱(例如，可见光、红外光、紫外光等)相关联，并且可以用于各种目的。例如，照明器130可以在黑暗环境中(或者在具有低强度的红外光、紫外光等的环境中)投射光，以帮助传感器120a-120d捕获黑暗环境内不同对象的图像，从而例如实现对用户进行定位跟踪。照明器130可以将某些标记(marker)投射到环境内的对象上，以帮助定位跟踪系统识别对象用于地图构建/更新。

在一些示例中，照明器130还可以实现立体成像。例如，传感器120a或120b中的一个或更多个可以包括用于可见光感测的第一像素阵列和用于红外(IR)光感测的第二像素阵列。第一像素阵列可以覆盖有彩色滤光器(filter)(例如，Bayer滤光器)，其中第一像素阵列的每个像素被配置成测量与特定颜色(例如，红色、绿色或蓝色之一)相关联的光的强度。第二像素阵列(用于IR光感测)也可以覆盖有仅允许IR光通过的滤光器，其中第二像素阵列的每个像素被配置成测量IR光的强度。像素阵列可以生成对象的RGB图像和IR图像，其中IR图像的每个像素被映射到RGB图像的每个像素。照明器130可以将一组IR标记投射到对象上，该对象的图像可以被IR像素阵列捕获。基于图像中所示的对象的IR标记分布，系统可以估计对象的不同部分离IR像素阵列的距离，并基于该距离生成对象的立体图像。基于对象的立体图像，系统可以确定例如对象相对于用户的相对位置，并且可以基于相对位置信息来更新提供给显示器100的图像数据，从而提供交互式体验。

如上面所讨论的，近眼显示器100可以在与非常宽的光强度范围相关联的环境中操作。例如，近眼显示器100可以在室内环境或室外环境中和/或在一天中的不同时间操作。近眼显示器100也可以在开启或不开启有源照明器130的情况下操作。结果，图像传感器120a-120d可能需要具有宽的动态范围，以便能够在与近眼显示器100的不同操作环境相关联的非常宽的光强度范围上正确操作(例如，生成与入射光的强度相关的输出)。

图1B是近眼显示器100的另一个示例的示意图。图1B示出了近眼显示器100的面向佩戴近眼显示器100的用户的眼球135的一侧。如图1B所示，近眼显示器100还可以包括多个照明器140a、140b、140c、140d、140e和140f。近眼显示器100还包括多个图像传感器150a和150b。照明器140a、140b和140c可以朝向方向D(与图1A的方向A相反)发射特定频率范围(例如NIR)的光。发射的光可以与某种图案相关联，并且可以被用户的左眼球反射。传感器150a可以包括像素阵列，以接收反射的光并生成反射图案的图像。类似地，照明器140d、140e和140f可以发射携带图案的NIR光。NIR光可以被用户的右眼球反射，并且可以被传感器150b接收。传感器150b还可以包括像素阵列，以生成反射图案的图像。基于来自传感器150a和150b的反射图案的图像，系统可以确定用户的凝视点，并基于所确定的凝视点来更新提供给显示器100的图像数据，以向用户提供交互式体验。

如上面所讨论的，为了避免损害用户的眼球，照明器140a、140b、140c、140d、140e和140f通常被配置成输出非常低强度的光。在图像传感器150a和150b包括与图1A的图像传感器120a-120d相同的传感器设备的情况下，当入射光的强度非常低时，图像传感器120a-120d可能需要能够生成与入射光的强度相关的输出，这可能进一步增加图像传感器的动态范围要求。

此外，图像传感器120a-120d可能需要能够以高速度生成输出来跟踪眼球的运动。例如，用户的眼球可以进行非常快速的运动(例如，眼跳运动(saccade movement))，其中可以从一个眼球位置快速跳跃到另一个眼球位置。为了跟踪用户眼球的快速运动，图像传感器120a-120d需要以高速度生成眼球的图像。例如，图像传感器生成图像帧的速率(帧速率)至少需要匹配眼球的运动速度。高的帧速率要求生成图像帧所涉及的所有像素单元的总曝光时间要短，并且要求将传感器输出转换成用于图像生成的数字值的速度要快。此外，如上面所讨论的，图像传感器也需要能够在低光强度的环境下操作。

图2是图1所示的近眼显示器100的横截面200的示例。显示器110包括至少一个波导显示组件210。出射光瞳(exit pupil)230是当用户佩戴近眼显示器100时，用户的单个眼球220在适眼区(eyebox)区域中的定位。为了说明的目的，图2示出了与眼球220和单个波导显示组件210相关联的横截面200，但是第二波导显示器用于用户的第二只眼睛。

波导显示组件210被配置成将图像光导向位于出射光瞳230处的适眼区，并导向眼球220。波导显示组件210可以由具有一个或更多个折射率的一种或更多种材料(例如，塑料、玻璃等)组成。在一些示例中，近眼显示器100包括在波导显示组件210和眼球220之间的一个或更多个光学元件。

在一些示例中，波导显示组件210包括一个或更多个波导显示器的堆叠，包括但不限于堆叠式波导显示器、变焦波导显示器等。堆叠式波导显示器是通过堆叠波导显示器来创建的多色显示器(例如，红-绿-蓝(RGB)显示器)，波导显示器的各自的单色源具有不同的颜色。堆叠式波导显示器也是可以被投射在多个平面上的多色显示器(例如，多平面彩色显示器)。在一些配置中，堆叠式波导显示器是可以被投射在多个平面上的单色显示器(例如，多平面单色显示器)。变焦波导显示器是可以调节从波导显示器发射的图像光的焦点位置的显示器。在替代示例中，波导显示组件210可以包括堆叠式波导显示器和变焦波导显示器。

图3示出了波导显示器300的示例的等轴视图。在一些示例中，波导显示器300是近眼显示器100的部件(例如，波导显示组件210)。在一些示例中，波导显示器300是将图像光导向特定定位的某个其他近眼显示器或其他系统的一部分。

波导显示器300包括源组件310、输出波导320和控制器330。为了说明的目的，图3示出了与单个眼球220相关联的波导显示器300，但是在一些示例中，与波导显示器300分离或部分分离的另一个波导显示器向用户的另一只眼睛提供图像光。

源组件310生成图像光355。源组件310生成图像光355并将其输出到位于输出波导320的第一侧面370-1上的耦合元件350。输出波导320是向用户的眼球220输出扩展的图像光340的光波导。输出波导320在位于第一侧面370-1上的一个或更多个耦合元件350处接收图像光355，并将接收到的输入图像光355引导至导向元件360。在一些示例中，耦合元件350将来自源组件310的图像光355耦合到输出波导320中。耦合元件350可以是，例如，衍射光栅、全息光栅、一个或更多个级联反射器、一个或更多个棱柱面元件(prismatic surfaceelement)、和/或全息反射器阵列。

导向元件360将接收到的输入图像光355重定向到去耦元件(decouplingelement)365，使得接收到的输入图像光355经由去耦元件365从输出波导320去耦出去。导向元件360是输出波导320的第一侧面370-1的一部分，或固定到输出波导320的第一侧面370-1。去耦元件365是输出波导320的第二侧面370-2的一部分，或固定到输出波导320的第二侧面370-2，使得导向元件360与去耦元件365相对。导向元件360和/或去耦元件365可以是例如，衍射光栅、全息光栅、一个或更多个级联反射器、一个或更多个棱柱面元件、和/或全息反射器阵列。

第二侧面370-2表示沿x维度和y维度的平面。输出波导320可以由有助于图像光355的全内反射的一种或更多种材料组成。输出波导320可以由例如硅、塑料、玻璃和/或聚合物组成。输出波导320具有相对较小的形状因子。例如，输出波导320可以沿x维度宽约50mm，沿y维度长约30mm，以及沿z维度厚约0.5mm-1mm。

控制器330控制源组件310的扫描操作。控制器330确定源组件310的扫描指令。在一些示例中，输出波导320将扩展的图像光340以大视场(FOV)输出到用户的眼球220。例如，扩展的图像光340以(x和y中的)60度和/或更大和/或150度和/或更小的对角FOV被提供给用户的眼球220。输出波导320被配置成提供适眼区，该适眼区长度为20mm或更大和/或等于或小于50mm；和/或宽度为10mm或更大和/或等于或小于50mm。

此外，控制器330还基于由图像传感器370提供的图像数据来控制由源组件310生成的图像光355。图像传感器370可以位于第一侧面370-1上，并且可以包括例如图1A的图像传感器120a-120d，以生成用户前方的物理环境的图像数据(例如，用于定位确定)。图像传感器370也可以位于第二侧面370-2上，并且可以包括图1B的图像传感器150a和150b，以生成用户的眼球220的图像数据(例如，用于凝视点确定)。图像传感器370可以与不位于波导显示器300内的远程控制台通过接口连接。图像传感器370可以向远程控制台提供图像数据，远程控制台可以确定例如用户的定位、用户的凝视点等，并确定要向用户显示的图像内容。远程控制台可以向控制器330传输与所确定的内容相关的指令。基于这些指令，控制器330可以控制源组件310生成并输出图像光355。

图4示出了波导显示器300的横截面400的示例。横截面400包括源组件310、输出波导320和图像传感器370。在图4的示例中，图像传感器370可以包括位于第一侧面370-1上的像素单元402的集合，以生成用户前方的物理环境的图像。在一些示例中，可以在该组像素单元402和物理环境之间插入机械快门404，以控制该组像素单元402的曝光。在一些示例中，如下面将讨论的，机械快门404可以由电子快门(electronic shutter gate)代替。每个像素单元402可以对应于图像的一个像素。尽管图4中未示出，但应当理解，每个像素单元402也可以覆盖有滤光器，以控制要由像素单元感测的光的频率范围。

在从远程控制台接收到指令之后，机械快门404可以在曝光周期中打开并曝光该组像素单元402。在曝光周期期间，图像传感器370可以获得入射到该组像素单元402上的光样本，并且基于由该组像素单元402检测到的入射光样本的强度分布来生成图像数据。图像传感器370然后可以向远程控制台提供图像数据，该远程控制台确定显示内容，并向控制器330提供显示内容信息。控制器330然后可以基于显示内容信息来确定图像光355。

源组件310根据来自控制器330的指令生成图像光355。源组件310包括源410和光学系统415。源410是生成相干光或部分相干光的光源。源410可以是，例如，激光二极管、垂直腔面发射激光器和/或发光二极管。

光学系统415包括一个或更多个光学部件，光学部件调节来自源410的光。调节来自源410的光可以包括例如，根据来自控制器330的指令来扩展、准直和/或调整定向。一个或更多个光学部件可以包括一个或更多个透镜、液体透镜、反射镜、光圈和/或光栅。在一些示例中，光学系统415包括具有多个电极的液体透镜，该液体透镜允许用阈值的扫描角度来扫描光束，以将光束移到液体透镜外部的区域。从光学系统415(还有源组件310)发射的光被称为图像光355。

输出波导320接收图像光355。耦合元件350将来自源组件310的图像光355耦合到输出波导320中。在耦合元件350是衍射光栅的示例中，衍射光栅的栅距被选择成使得在输出波导320中发生全内反射，并且图像光355在输出波导320中(例如，通过全内反射)朝向去耦元件365进行内部传播。

导向元件360将图像光355重定向到去耦元件365，用于从输出波导320去耦。在导向元件360是衍射光栅的示例中，衍射光栅的栅距被选择成使得入射图像光355以相对于去耦元件365的表面倾斜的角度离开输出波导320。

在一些示例中，导向元件360和/或去耦元件365在结构上类似。离开输出波导320的扩展的图像光340沿着一个或更多个维度被扩展(例如，可以沿着x维度被拉长)。在一些示例中，波导显示器300包括多个源组件310和多个输出波导320。每个源组件310发射对应于原色(例如，红色、绿色或蓝色)的特定波段的单色图像光。每个输出波导320可以以一定的间隔距离堆叠在一起，以输出多色的扩展的图像光340。

图5是包括近眼显示器100的系统500的示例的框图。系统500包括近眼显示器100、成像设备535、输入/输出接口540以及图像传感器120a-120d和150a-150b，它们各自耦合到控制电路510。系统500可以被配置为头戴式设备、可佩戴设备等。

近眼显示器100是向用户呈现媒体的显示器。由近眼显示器100呈现的媒体示例包括一个或更多个图像、视频和/或音频。在一些示例中，音频经由外部设备(例如，扬声器和/或头戴式耳机)呈现，该外部设备从近眼显示器100和/或控制电路510接收音频信息，并基于音频信息来向用户呈现音频数据。在一些示例中，近眼显示器100也可以充当AR眼镜。在一些示例中，近眼显示器100利用计算机生成的元素(例如，图像、视频、声音等)来增强物理、真实世界环境的视图。

近眼显示器100包括波导显示组件210、一个或更多个位置传感器525和/或惯性测量单元(IMU)530。波导显示组件210包括源组件310、输出波导320和控制器330。

IMU 530是一种电子设备，其基于从一个或更多个位置传感器525接收的测量信号生成快速校准数据，该快速校准数据指示相对于近眼显示器100的初始位置的近眼显示器100的估计位置。

成像设备535可以生成用于各种应用的图像数据。例如，成像设备535可以根据从控制电路510接收的校准参数来生成图像数据以提供慢速校准数据。成像设备535可以包括例如图1A的图像传感器120a-120d，该图像传感器120a-120d用于生成用户所处的物理环境的图像数据，用于执行对用户的定位跟踪。成像设备535还可以包括例如图1B的图像传感器150a-150b，该图像传感器150a-150b用于生成用于确定用户的凝视点的图像数据，以识别用户感兴趣的对象。

输入/输出接口540是允许用户向控制电路510发送动作请求的设备。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束应用，或者是在应用内执行特定动作。

控制电路510根据从成像设备535、近眼显示器100和输入/输出接口540中的一个或更多个接收的信息来向近眼显示器100提供媒体以呈现给用户。在一些示例中，控制电路510可以被容纳在被配置为头戴式设备的系统500内。在一些示例中，控制电路510可以是与系统500的其他部件通信耦合的独立控制台设备。在图5所示的示例中，控制电路510包括应用储存器545、跟踪模块550和引擎555。

应用储存器545存储用于由控制电路510执行的一个或更多个应用。应用是一组指令，该组指令当由处理器执行时生成用于显现给用户的内容。应用的示例包括：游戏应用、会议应用、视频回放应用或其他合适的应用。

跟踪模块550使用一个或更多个校准参数来校准系统500，并且可以调整一个或更多个校准参数以减小近眼显示器100的位置确定中的误差。

跟踪模块550使用来自成像设备535的慢速校准信息来跟踪近眼显示器100的移动。跟踪模块550还使用来自快速校准信息的位置信息来确定近眼显示器100的参考点的位置。

引擎555执行系统500内的应用，并从跟踪模块550接收近眼显示器100的位置信息、加速度信息、速度信息和/或预测的未来位置。在一些示例中，引擎555接收的信息可以用于产生信号(例如，显示指令)给波导显示组件210，该信号确定呈现给用户的内容类型。例如，为了提供交互式体验，引擎555可以基于(例如，由跟踪模块550提供的)用户的定位、或(例如，基于由成像设备535提供的图像数据的)用户的凝视点、(例如，基于由成像设备535提供的图像数据的)对象与用户之间的距离来确定要呈现给用户的内容。

图6示出了图像传感器600的示例。图像传感器600可以是近眼显示器100的一部分，并且可以向图5的控制电路510提供2D和3D图像数据以控制近眼显示器100的显示内容。如图6所示，图像传感器600可以包括像素单元阵列602，像素单元阵列602包括像素单元602a。像素单元602a可以包括多个光电二极管612(包括例如光电二极管612a、612b、612c和612d)、一个或更多个电荷感测单元614以及一个或更多个模数转换器616。多个光电二极管612可以将入射光的不同分量转换成电荷。例如，光电二极管612a-612c可以对应于不同的可见光通道，其中光电二极管612a可以将可见的蓝色分量(例如，450纳米(nm)-490纳米(nm)的波长范围)转换成电荷。光电二极管612b可以将可见的绿色分量(例如，520nm-560nm的波长范围)转换成电荷。光电二极管612c可以将可见的红色分量(例如，635nm-700nm的波长范围)转换成电荷。此外，光电二极管612d可以将红外分量(例如，700nm-1000nm)转换成电荷。一个或更多个电荷感测单元614中的每一个电荷感测单元可以包括电荷存储设备和缓冲器，以将光电二极管612a-612d产生的电荷转换成电压，这些电压可以由一个或更多个ADC616量化为数字值。从光电二极管612a-612c生成的数字值可以表示像素的不同可见光分量，并且每个数字值可以用于特定可见光通道中的2D感测。此外，从光电二极管612d生成的数字值可以表示同一像素的红外光分量，并且可以用于3D感测。尽管图6示出了像素单元602a包括四个光电二极管，但是应当理解，像素单元可以包括不同数量的光电二极管(例如，两个、三个等)。

此外，图像传感器600还包括照明器622、滤光器624、成像模块628和感测控制器630。照明器622可以是红外照明器(例如激光器、发光二极管(LED)等)，该红外照明器可以投射用于3D感测的红外光。投射的光可以包括例如结构光、光脉冲等。滤光器624可以包括覆盖在每个像素单元(包括像素单元606a)的多个光电二极管612a-612d上的滤光器元件阵列。每个滤光器元件可以设置由像素单元606a的每个光电二极管接收的入射光的波长范围。例如，光电二极管612a上的滤光器元件可以透射可见蓝光分量，同时阻挡其它分量，光电二极管612b上的滤光器元件可以透射可见绿光分量，光电二极管612c上的滤光器元件可以透射可见红光分量，而光电二极管612d上的滤光器元件可以透射红外光分量。

图像传感器600还包括成像模块628。成像模块628可以进一步包括用于执行2D成像操作的2D成像模块632和用于执行3D成像操作的3D成像模块634。这些操作可以基于由ADC 616提供的数字值。例如，基于来自光电二极管612a-612c中的每一个的数字值，2D成像模块632可以生成表示每个可见颜色通道的入射光分量的强度的像素值数组，并且生成每个可见颜色通道的图像帧。此外，3D成像模块634可以基于来自光电二极管612d的数字值来生成3D图像。在一些示例中，基于数字值，3D成像模块634可以检测由对象的表面反射的结构光的图案，并将检测到的图案与由照明器622投射的结构光的图案进行比较，以确定该表面的不同点相对于像素单元阵列的深度。为了检测反射光的图案，3D成像模块634可以基于在像素单元处接收的红外光的强度来生成像素值。作为另一个示例，3D成像模块634可以基于由照明器622透射并且被对象反射的红外光的飞行时间来生成像素值。

图像传感器600还包括感测控制器640，以控制图像传感器600的不同部件来执行对象的2D和3D成像。现在参考图7A-图7C，图7A-图7C示出了图像传感器600的用于2D和3D成像的操作的示例。图7A示出了用于2D成像的操作的示例。对于2D成像，像素单元阵列602可以检测环境中的可见光，包括从对象反射离开的可见光。例如，参考图7A，可见光源700(例如，灯泡、太阳或其它环境可见光源)可以将可见光702投射到对象704上。可见光706可以从对象704的点708反射离开。可见光706还可以包括环境红外光分量。可见光706可以由滤光器阵列624进行过滤，以将可见光706的波长范围为w0、w1、w2和w3的不同分量分别传递到像素单元602a的光电二极管612a、612b、612c和612d。波长范围w0、w1、w2和w3可以分别对应于蓝色、绿色、红色和红外。如图7A所示，由于红外照明器622没有被打开，所以红外分量(w3)的强度由环境红外光贡献，并且可能非常低。此外，可见光706的不同可见分量也可以具有不同的强度。电荷感测单元614可以将光电二极管产生的电荷转换成电压，这些电压可以由ADC 616量化为数字值，这些数字值表示像素(其表示点708)的红色分量、蓝色分量和绿色分量。参考图7C，在生成数字值之后，感测控制器640可以控制2D成像模块632基于数字值生成包括图像710集合的图像集合，图像710集合包括红色图像帧710a、蓝色图像帧710b和绿色图像帧710c，每个图像帧表示帧周期714内场景的红色、蓝色或绿色图像之一。来自红色图像(例如，像素712a)、来自蓝色图像(例如，像素712b)和来自绿色图像(例如，像素712c)的每个像素可以表示来自场景的同一点(例如，点708)的光的可见分量。2D成像模块632可以在随后的帧周期724中生成不同的图像720集合。红色图像(例如，红色图像710a、720a等)、蓝色图像(例如，蓝色图像710b、720b等)和绿色图像(例如，绿色图像710c、720c等)中的每一个可以表示在特定颜色通道中且在特定时间捕获的场景的图像，并且可以被提供给应用，以例如从特定颜色通道提取图像特征。由于在帧周期内捕获的每个图像可以表示同一场景，而且图像的每个对应像素是基于检测来自场景的同一点的光而生成的，因此可以改善不同颜色通道之间的图像的对应性。

此外，图像传感器600也可以执行对象704的3D成像。参考图7B，感测控制器610可以控制照明器622将红外光732投射到对象704上，红外光732可以包括光脉冲、结构光等。红外光732可以具有700纳米(nm)至1毫米(mm)的波长范围。红外光734可以从对象704的点708反射离开，并且可以朝向像素单元阵列602传播，并且穿过滤光器624，滤光器624可以向光电二极管612d提供(波长范围为w3的)红外分量以转换成电荷。电荷感测单元614可以将电荷转换成电压，该电压可以由ADC 616量化为数字值。参考图7C，在生成数字值之后，感测控制器640可以控制3D成像模块634，以基于数字值生成场景的红外图像710d，作为在帧周期714内捕获的图像710的一部分。此外，3D成像模块634还可以生成场景的红外图像720d，作为在帧周期724内捕获的图像720的一部分。因为尽管在不同的通道中，每个红外图像也可以表示与同一帧周期内捕获的其它图像相同的场景(例如，红外图像710d与红色、蓝色和绿色图像710a-710c相对、红外图像720d与红色、蓝色和绿色图像720a-720c相对，等等)，而且红外图像的每个像素是基于检测到来自场景的与同一帧周期内的其它图像中的其它对应像素相同的点的红外光而生成的，所以也可以改善2D成像和3D成像之间的对应性。

图8A-图8D示出了像素单元中光电二极管612的布置的示例。如图8A所示，像素单元602a中的光电二极管612a-612d可以沿着垂直于光接收表面800的轴形成堆叠，像素单元602a通过光接收表面800接收来自点804a的入射光802。例如，当光接收表面800平行于x轴和y轴时，光电二极管612a-612d可以沿着垂直轴(例如，z轴)形成堆叠。每个光电二极管可以与光接收表面800具有不同的距离，并且该距离可以设置入射光802中被每个光电二极管吸收并转换成电荷的分量。例如，光电二极管612a最靠近光接收表面800，并且可以吸收蓝色分量并将蓝色分量转换成电荷，蓝色分量在其它分量中具有最短的波长范围。光812包括光802的剩余分量(例如，绿色、红色和红外)，并且可以传播到光电二极管612b，光电二极管612b可以吸收绿色分量并对绿色分量进行转换。光822包括光812的剩余分量(例如，红色和红外)，并且可以传播到光电二极管612c，光电二极管612c可以吸收红色分量并对红色分量进行转换。剩余的红外分量832可以传播到光电二极管612d以被转换成电荷。

光电二极管612a、612b、612c和612d中的每一个可以在单独的半导体基底中，该单独的半导体基底可以被堆叠以形成图像传感器600。例如，光电二极管612a可以在半导体基底840中，光电二极管612b可以在半导体基底842中，光电二极管612c可以在半导体基底844中，而光电二极管612d可以在半导体基底846中。每个半导体基底可以包括其它像素单元(例如接收来自点804b的光的像素单元602b)的其它光电二极管。图像传感器600可以包括另一个半导体基底848，半导体基底848可以包括像素单元处理电路849，像素单元处理电路849可以包括例如电荷感测单元614、ADC 616等。每个半导体基底可以连接到金属互连件(metal interconnect)(例如金属互连件850、852、854和856)以将每个光电二极管处产生的电荷转移到处理电路849。

图8B-图8D示出了光电二极管612的其它示例布置。如图8B-图8D所示，多个光电二极管612可以被布置成横向平行于光接收表面800。图8B的顶部图示出了像素单元602a的示例的侧视图，而图8B的底部图示出了包括像素单元602a的像素阵列602的顶视图。如图8B所示，在光接收表面800平行于x轴和y轴的情况下，光电二极管612a、612b、612c和612d可以在半导体基底840中也沿着x轴和y轴彼此相邻地布置。像素单元602a还包括覆盖在光电二极管上的滤光器阵列860。滤光器阵列860可以是滤光器624的一部分。滤光器阵列860可以包括覆盖在光电二极管612a、612b、612c和612d中的每一个上的滤光器元件，用于设置由相应的光电二极管接收的入射光分量的波长范围。例如，滤光器元件860a覆盖在光电二极管612a上，并且可以仅允许可见蓝光进入光电二极管612a。此外，滤光器元件860b覆盖在光电二极管612b上，并且可以仅允许可见绿光进入光电二极管612b。此外，滤光器元件860c覆盖在光电二极管612c上，并且可以仅允许可见红光进入光电二极管612c。滤光器元件860d覆盖在光电二极管612d上，并且可以仅允许红外光进入光电二极管612d。像素单元602a还包括一个或更多个微透镜862，该一个或更多个微透镜862可以将来自场景的点(例如点804a)的光864经由滤光器阵列860投射到光接收表面800的不同横向位置，这允许每个光电二极管成为像素单元602a的子像素并且接收来自对应于像素的同一点的光的分量。像素单元602a还可以包括半导体基底848，半导体基底848可以包括电路849(例如，电荷感测单元614、ADC 616等)，进而从由光电二极管产生的电荷生成数字值。半导体基底840和半导体基底848可以形成堆叠，并且可以与互连件856连接。

在图8B的布置中，光电二极管横向布置，并且滤光器阵列用于控制由光电二极管接收的光分量，图8B的该布置可以提供许多优点。例如，可以减少堆叠的数量和半导体基底的数量，这不仅降低了垂直高度，而且减少了半导体基底之间的互连件。此外，依靠滤光器元件而不是光的传播距离来设置由每个光电二极管吸收的分量的波长范围，可以在选择波长范围方面提供灵活性。如图8C的顶部图所示，像素单元阵列602可以包括针对不同像素单元的不同滤光器阵列860。例如，像素单元阵列602的每个像素单元可以具有滤光器阵列，该滤光器阵列为光电二极管612a和612b提供波长范围为380nm-740nm的单色通道(用“M”标记)，并且为光电二极管612d提供波长范围为700nm-1000nm的红外通道(用“NIR”标记)。但是滤光器阵列还可以为不同的像素单元提供不同的可见颜色通道。例如，用于像素单元阵列602a、602b、602c和602d的滤光器阵列860可以分别为这些像素单元阵列的光电二极管612c提供可见绿色通道(用“G”标记)、可见红色通道(用“R”标记)、可见蓝色通道(用“B”标记)和可见绿色通道。作为另一个示例，如图8C的底部图所示，每个滤光器阵列860可以为每个像素单元阵列的光电二极管612b提供跨越380nm-1000nm的波长范围的单色和红外通道(被标记为“M+NIR”)。

图8D示出了提供图8C所示的示例通道的滤光器阵列860的示例。如图8D所示，滤光器阵列860可以包括滤光器的堆叠，以选择像素单元阵列内每个光电二极管接收的光的波长范围。例如，参考图8D的顶部图，滤光器860a可以包括形成堆叠的全通元件870(例如，使可见光和红外光通过的透明玻璃)和红外阻挡元件872，以为光电二极管612a提供单色通道。滤光器860b也可以包括全通元件874和红外阻挡元件876，以便也为光电二极管612b提供单色通道。此外，滤光器860c可以包括绿色通过元件876(其使绿色可见光通过(但是抑制其它可见光分量))和红外阻挡元件878，以为光电二极管612c提供绿色通道。最后，滤光器860d可以包括全通元件880和可见光阻挡滤光器882(其可以阻挡可见光，但允许红外光通过)，以为光电二极管612d提供红外通道。在另一个示例中，如图8D的底部图所示，滤光器860b可以仅包括全通元件872，以为光电二极管612b提供单色和红外通道。

现在参考图9A和图9B，其示出了像素单元602a的附加部件(包括电荷感测单元614和ADC 616的示例)。如图9A所示，像素单元602a可以包括光电二极管PD(例如，光电二极管612a)、快门开关M0、转移开关M1、包括电荷存储设备902和可切换缓冲器904的电荷感测单元614、以及ADC 616，ADC 616包括CC电容器、比较器906和输出逻辑电路908。比较器906的输出端经由输出逻辑电路908与存储器912和计数器914耦合，存储器912和计数器914可以在像素单元602a的内部或外部。像素单元602还包括控制器920，用于控制开关、电荷感测单元614以及ADC 616。如下所述，控制器920可以使光电二极管PD能够在预先配置的曝光周期内基于入射光而累积电荷。控制器920还可以基于曝光停止信号922，比预先配置的更早地停止曝光周期。此外，在曝光周期内，控制器920可以控制电荷感测单元614和ADC 616执行与不同光强度范围相关联的多个量化操作，以生成入射光强度的数字表示。控制器920可以接收选择信号924，以选择要执行多个量化操作中的哪一个量化操作(以及要跳过哪一个量化操作)。该选择可以来自主机设备，该主机设备托管使用入射光强度的数字表示的应用。输出逻辑电路908可以确定哪个量化操作输出将被存储在存储器912中和/或作为像素值输出。控制器920可以在像素单元602a的内部或者是感测控制器640的一部分。每个开关可以是晶体管，例如金属氧化物半导体场效应晶体管(MOSFET)、双极结型晶体管(BJT)等。

具体而言，快门开关M0可以由控制器920提供的AB信号禁用，以开始曝光周期，在该曝光周期中，光电二极管PD可以响应于入射光而产生和累积电荷。转移开关M1可以由控制器920提供的TG信号控制，以将该电荷中的一些电荷转移到电荷存储设备902。在一个量化操作中，转移开关M1可以被偏置在部分导通状态，以设置光电二极管PD的量子阱容量，这还设置了存储在光电二极管PD处的剩余电荷的量。在光电二极管PD被剩余电荷饱和之后，溢出电荷可以流过转移开关M1到达电荷存储设备902。在另一个量化操作中，转移开关M1可以完全导通，以将剩余电荷从光电二极管PD转移到电荷存储设备用于测量。

电荷存储设备902具有可配置的容量，并且可以将从开关M1转移的电荷转换成“OF”节点处的电压。电荷存储设备902包括通过M6开关连接的C_FD电容器(例如，浮置漏极)和C_EXT电容器(例如，MOS电容器)。M6开关可以由LG信号启用，以通过并联连接C_FD电容器和C_EXT电容器来扩展电荷存储设备902的容量，或者通过将电容器彼此断开来减小容量。可以减小电荷存储设备902的容量来用于剩余电荷的测量，以增加电荷-电压增益并减小量化误差。此外，也可以增加电荷存储设备902的容量来用于溢出电荷的测量，以降低饱和的可能性并改善非线性度。如下所述，电荷存储设备902的容量可以针对不同光强度范围的测量进行调整。电荷存储设备902还与复位开关M2耦合，该复位开关M2可由控制器920提供的复位信号RST控制，以在不同的量化操作之间复位C_FD电容器和C_EXT电容器。

可切换缓冲器904可以包括被配置为源极跟随器的开关M3，以缓冲OF节点处的电压，从而提高其驱动强度。缓冲电压可以在ADC 616的输入节点PIXEL_OUT处。M4晶体管为可切换缓冲器904提供电流源，并且可以由VB信号偏置。可切换缓冲器904还包括由SEL信号启用或禁用的开关M5。当开关M5被禁用时，源极跟随器M3可以与PIXEL_OUT节点断开连接。如下所述，像素单元602a可以包括多个电荷感测单元614，每个电荷感测单元包括可切换缓冲器904，并且基于SEL信号，一次可以将这些电荷感测单元中的一个与PIXEL_OUT(和ADC616)耦合。

如上所述，由光电二极管PD在曝光周期内产生的电荷可以临时存储在电荷存储设备902中，并被转换成电压。基于电荷和入射光强度之间的预先确定的关系，电压可以被量化以表示入射光的强度。现在参考图10，图10示出了针对不同的光强度范围相对于时间累积的电荷量。在特定时间点累积的电荷总量可以反映在曝光周期内入射到图6的光电二极管PD上的光的强度。该量可以在曝光周期结束时被测量。对于限定入射光强度的低光强度范围1006、中等光强度范围1008和高光强度范围1010的阈值电荷量，可以定义阈值1002和阈值1004。例如，如果总累积电荷低于阈值1002(例如，Q1)，则入射光强度在低光强度范围1006内。如果总累积电荷在阈值1004和阈值1002之间(例如，Q2)，则入射光强度在中等光强度范围1008内。如果总累积电荷高于阈值1004，则入射光强度在中等光强度范围1010内。如果光电二极管在整个低光强度范围1006内不饱和，并且测量电容器在整个中等光强度范围1008内不饱和，则对于低光强度范围和中等光强度范围，累积电荷的量可以与入射光的强度相关。

低光强度范围1006和中等光强度范围1008以及阈值1002和1004的定义可以基于光电二极管PD的满阱容量和电荷存储设备902的容量。例如，可以定义低光强度范围706，使得在曝光周期结束时存储在光电二极管PD中的剩余电荷的总量低于或等于光电二极管的存储容量，并且阈值1002可以基于光电二极管PD的满阱容量。此外，可以定义中等光强度范围1008，使得在曝光周期结束时存储在电荷存储设备902中的电荷总量低于或等于测量电容器的存储容量，并且阈值1004可以基于电荷存储设备902的存储容量。典型地，阈值1004可以基于电荷存储设备902的缩放的存储容量，以确保当为了强度确定而测量存储在电荷存储设备902中的电荷量时，测量电容器不会饱和，并且所测量的量也与入射光强度相关。如下所述，阈值1002和1004可以用于检测光电二极管PD和电荷存储设备902是否饱和，这可以确定入射光的强度范围。

此外，在入射光强度在高光强度范围1010内的情况下，在曝光周期结束之前，电荷存储设备902处累积的总溢出电荷可能超过阈值1004。随着附加电荷的累积，电荷存储设备902可能在曝光周期结束之前达到满容量，而且可能发生电荷泄漏。为了避免由于电荷存储设备902达到满容量而引起的测量误差，可以执行饱和时间测量，以测量在电荷存储设备902处累积的总溢出电荷达到阈值1004所花费的持续时间。可以基于阈值1004与饱和时间之间的比来确定电荷存储设备902处的电荷累积速率，并且可以根据电荷累积速率通过外推(extrapolation)来确定在曝光周期结束时(如果电容器具有无限的容量)在电荷存储设备902处可能已经累积的假设电荷量(Q3)。假设电荷量(Q3)可以对在高光强度范围1010内的入射光强度提供合理准确的表示。

返回参考图9A，为了测量高光强度范围1010和中等光强度范围1008，转移开关M1可以被TG信号偏置在部分导通状态。例如，可以基于在光电二极管PD处产生的与光电二极管的满阱容量相对应的目标电压来设置转移开关M1(TG)的门电压。利用这样的布置，只有溢出电荷(例如，在光电二极管饱和后由光电二极管产生的电荷)将通过转移开关M1转移到达电荷存储设备902，以测量饱和时间(对于高光强度范围1010)和存储在电荷存储设备902中的电荷量(对于中等光强度范围1008)。对于中等光强度范围和高光强度范围的测量，电荷存储设备902的电容(通过连接C_EXT和C_FD)还可以最大化以增加阈值1004。

此外，为了测量低光强度范围1006，可以将转移开关M1控制在完全导通状态，以将存储在光电二极管PD中的剩余电荷转移到电荷存储设备902。转移可以发生在电荷存储设备902处存储的溢出电荷的量化操作完成之后并且在电荷存储设备902复位之后。此外，可以减小电荷存储设备902的电容。如上所述，电荷存储设备902的电容的减小可以增加电荷存储设备902处的电荷-电压转换比，使得对于一定量的存储电荷可以产生更高的电压。较高的电荷-电压转换比可以降低由随后的量化操作引入的测量误差(例如，量化误差、比较器失调(comparator offset)等)对低光强度确定的准确性的影响。测量误差可以对量化操作可以检测和/或区分的最小电压差的设置限制。通过增加电荷-电压转换比，可以减少对应于最小电压差的电荷量，这又降低了像素单元602a的可测量光强度的下限，并扩展了动态范围。

在电荷存储设备902处累积的电荷(剩余电荷和/或溢出电荷)可以在OF节点处产生模拟电压，该模拟电压可以由可切换缓冲器904缓冲在PIXEL_OUT处并由ADC 616进行量化。如图9A所示，ADC 616包括比较器906和输出逻辑电路908，比较器906可通过开关M8被复位。ADC 616还与存储器912和计数器914耦合。计数器914可以基于自由运行的时钟信号来生成一组计数值，而存储器912可以由比较器906经由输出逻辑电路908进行控制，以存储由计数器914生成的计数值(例如最新的计数值)。存储器912可以是例如，如下所述的基于局部像素值存储计数器值的锁存电路。所存储的计数值可以被输出以表示入射光强度。

比较器906可以将由CC电容器从PIXEL_OUT导出的模拟电压COMP_IN与阈值VREF进行比较，并且基于比较结果来生成判定VOUT。可以在噪声/失调补偿方案中使用CC电容器，以将复位噪声和比较器失调信息存储在VCC电压中，可以将VCC电压添加到PIXEL_OUT电压来生成COMP_IN电压，以抵消PIXEL_OUT电压中的复位噪声分量。失调分量保留在COMP_IN电压中，并且当比较器906将COMP_IN电压与阈值VREF进行比较以生成判定VOUT时，该失调分量可以被比较器906的失调抵消掉。如果COMP_IN电压等于或超过VREF，则比较器906可以为VOUT生成逻辑1。如果COMP_IN电压低于VREF，则比较器906还可以为VOUT生成逻辑0。VOUT可以控制锁存信号，该锁存信号控制存储器912存储来自计数器914的计数值。

图11A示出了ADC 616的饱和时间测量的示例。为了执行饱和时间测量，阈值生成器(其可以在像素单元602a的外部)可以生成固定的VREF。固定的VREF可以被设置为与电荷存储设备902饱和的电荷量阈值(例如，图10的阈值1004)相对应的电压。计数器914可以在曝光周期开始之后立即开始计数(例如，在快门开关M0被禁用之后立即开始计数)。随着COMP_IN电压由于电荷存储设备902处的溢出电荷的累积而斜坡下降(或上升，取决于实现方式)，时钟信号不断切换以更新计数器914处的计数值。COMP_IN电压可能在某个时间点达到固定的VREF阈值，这导致VOUT从低翻转(flip)到高。VOUT的改变可以停止计数器914的计数，并且计数器914处的计数值可以表示饱和时间。

图11B示出了测量存储在电荷存储设备902处的电荷量的示例。在测量开始之后，阈值生成器可以生成斜坡VREF，该斜坡VREF可以根据实现方式而斜坡上升(在图11B的示例中)或斜坡下降。斜坡速率可以基于提供给计数器914的时钟信号的频率。在测量溢出电荷的情况下，斜坡VREF的电压范围可以在阈值1004(关于电荷存储设备902饱和的电荷量阈值)和阈值1002(关于光电二极管PD饱和的电荷量阈值)之间(其可以定义中等光强度范围)。在测量剩余电荷的情况下，斜坡VREF的电压范围可以基于阈值1002，并且通过减小电荷存储设备902的容量来进行缩放以用于剩余电荷测量。在图11B的示例中，可以以均匀的量化步长来执行量化过程，其中对于每个时钟周期，VREF增加(或减少)相同的量。VREF增加(或减少)的量对应于量化步长。当VREF达到COMP_IN电压的一个量化步长内时，比较器906的VOUT翻转，这可以停止计数器914的计数，并且计数值可以对应于直到在一个量化步长内匹配COMP_IN电压所累积的量化步长的总数。计数值可以成为存储在电荷存储设备902处的电荷量的数字表示，以及成为入射光强度的数字表示。

如上面所讨论的，当由ADC 616输出的量级所表示(例如，由量化步长的总数表示)的电荷量与由ADC 616映射到该量级的实际输入电荷量之间不匹配时，ADC 808会引入量化误差。可以通过使用较小的量化步长大小来减小量化误差。在图11B的示例中，量化误差可以减小每个时钟周期VREF增加(或减少)的量。

虽然可以通过使用较小的量化步长大小来减小量化误差，但是面积和性能速度可能会限制量化步长可以减小的程度。使用较小的量化步长大小，表示特定范围的电荷量(和光强度)所需的量化步长总数可能会增加。可能需要较大数量的数据位来表示量化步长的增加的数量(例如，需要8位来表示255个步长，需要7位来表示127个步长等等)。较大数量的数据位可能需要将附加总线添加到像素输出总线816，而如果像素单元601用于头戴式设备或具有非常有限空间的其他可佩戴设备，这可能是不可行的。此外，使用较大数量的量化步长大小，ADC 808可能需要在找到(与一个量化步长)匹配的量级之前在较大数量的量化步长中循环，这导致处理功耗和时间的增加，以及图像数据生成速率的降低。对于一些需要高帧速率的应用(例如，跟踪眼球运动的应用)，降低的速率可能是不可接受的。

减小量化误差的一种方法是采用非均匀量化方案，其中量化步长在输入范围上是不均匀的。图11C示出了对于非均匀量化过程和均匀量化过程，ADC代码(量化过程的输出)与输入电荷量级之间的映射的示例。虚线示出了针对非均匀量化过程的映射，而实线示出了针对均匀量化过程的映射。对于均匀量化过程，量化步长大小(用Δ₁表示)对于输入电荷量的整个范围是相同的。相反，对于非均匀量化过程，量化步长大小根据输入电荷量而不同。例如，低输入电荷量的量化步长大小(用Δ_S表示)小于大输入电荷量的量化步长大小(用Δ_L表示)。此外，对于相同的低输入电荷量，可以使非均匀量化过程的量化步长大小(Δ_S)小于均匀量化过程的量化步长大小(Δ₁)。

采用非均匀量化方案的一个优点是可以减小用于量化低输入电荷量的量化步长，这进而减小了量化低输入电荷量的量化误差，并且可以减小可由ADC 616区分的最小输入电荷量。因此，减小的量化误差可以降低图像传感器的可测量光强度的下限，并且可以增加动态范围。此外，尽管对于高输入电荷量，量化误差增加了，但是与高输入电荷量相比，量化误差可以保持很小。因此，可以减少被引入到电荷测量的整体量化误差。另一方面，覆盖输入电荷量整个范围的量化步长的总数可以保持相同(或者甚至减小)，并且与增加量化步长的数量相关联的前述潜在问题(例如，面积增加、处理速度降低等)可以避免。

图11D示出了像素ADC 808使用非均匀量化过程量化模拟电压的示例。与图11B相比(图11B采用均匀量化过程)，VREF随着每个时钟周期以非线性方式增加，最初具有较浅的斜率(swallower slope)，随后具有较陡的斜率(steeper slope)。斜率的差异归因于不均等(uneven)的量化步长大小。对于较低的计数器计数值(对应于较低输入量范围)，量化步长较小，因此VREF以较慢的速率增加。对于较高的计数器计数值(对应于较高输入量范围)，量化步长较大，因此VREF以较高的速率增加。非均匀的VREF斜率可以基于例如改变计数器814的计数频率、改变VREF电压和计数器914的计数值之间的关系等来生成。在一些示例中，图11D的非均匀量化过程可以被采用以用于低光强度范围1006和中等光强度范围1008的光强度确定。

现在参考图12，图12示出了用于测量入射光强度的像素单元1100的控制信号的示例序列。如图12中所示，在时间T0和T1之间是如图12中的第一复位阶段，其中，控制器1110可以通过将RST和COMP_RST信号宣称有效来将电荷存储设备608和比较器906置于复位状态。此外，LG信号被宣称有效，这允许C_FD电容器和C_EXT电容器通过RST信号被复位，并且PIXEL_OUT信号被设置为复位电平。在COMP_RST信号被宣称有效并且比较器906的正端连接到V_{ref_high}的情况下，COMP_IN可以被设置为V_{ref_high}和比较器失调V_{comp_offset}之和。此外，在RST信号被宣称有效的情况下，PIXEL_OUT可以被设置为复位电压V_{pixel_out_rst}，并且可以包括复位噪声Vσ_KTC。CC电容器可以执行第一采样操作，以存储V_CC电压，该V_CC电压包括比较器失调、复位噪声和处于复位电平的PIXEL_OUT电压的分量，如下所示：

V_cc(T1)＝(V_{ref_high}+V_{comp_offset})-(V_{pixel_out_rst}+Vσ_KTC) (等式1)

此外，可以将快门信号AB宣称有效，以防止光电二极管PD产生的电荷到达电荷存储设备608。

在时间T1，AB、COMP_RST和RST信号被释放，这开始了曝光周期(标记为T_exposure)，在该曝光周期中光电二极管PD可以累积和转移电荷。TG信号可以将转移开关M1设置在部分导通状态，以允许PD将溢出电荷转移到电荷存储设备608。LG信号可以保持被宣称有效以在低增益模式下操作，其中C_FD电容器和C_EXT电容器并联连接以形成电荷存储设备608来存储溢出电荷。溢出电荷产生新的PIXEL_OUT电压V_{pixel_out_sig1}。CC电容器可以将PIXEL_OUT电压交流耦合成为COMP_IN电压。时间T1和T2之间的COMP_IN电压可以基于上面的等式1来设置。

在时间T1和T2之间，可以通过比较器906将COMP_IN电压与静态V_{ref_low}进行比较以生成VOUT来执行饱和时间(TTS)测量。在时间T2，当控制器1110确定比较器906的VOUT的状态时。VOUT的状态可以被提供给输出逻辑电路908，如果VOUT指示COMP_IN电压达到V_{ref_low}(这又指示电荷存储设备902饱和)，则输出逻辑电路908可以生成锁存信号来控制存储器912存储来自计数器914的计数值。输出逻辑电路908还可以将电荷存储设备902饱和存储在其内部状态中，以防止后续的PD ADC和FD ADC操作重写存储器912中的TTS输出。另一方面，如果电荷存储设备902未饱和，则在时间T2，没有计数值将被存储在存储器912中，并且来自后续的PD ADC或FD ADC操作的计数值可以被存储在存储器912中。

在TTS测量之后，在时间T2和T5之间，可以执行PD ADC操作来测量存储在光电二极管PD中的剩余电荷。LG信号被宣称无效，以将C_EXT与C_FD断开连接，从而增加电荷-电压转换比，如上所述。溢出电荷(如果有的话)基于C_FD和C_EXT之间的电容比，在C_FD和C_EXT之间进行分配，使得C_FD存储溢出电荷的第一部分并且C_EXT存储溢出电荷的第二部分。V_{pixel_out_sig1}可以对应于C_FD中存储的溢出电荷的第一部分。

为了给PD ADC操作做好准备，在时间T2和T3之间，再次将COMP_RST信号宣称有效以复位比较器906。比较器906的复位可以基于V_{pixel_out_sig1}和处于复位状态的比较器906的输出之间的差，在CC电容器两端设置新的V_CC电压，如下：

V_cc(T2)＝(V_{ref_high}+V_{comp_offset})-(V_{pixel_out_sig1}(T3)+Vσ_KTC) (等式2)

可选地，在剩余电荷的转移之前，可以在时间T2和T3之间将RST信号宣称有效，以复位C_FD并移除溢出电荷的第一部分。这允许后续的PD ADC操作仅量化剩余电荷，而不是量化剩余电荷和溢出电荷的第一部分的混合。这样的布置可以提高低光强度的测量的准确性，因为不需要(基于后续的FD ADC操作的结果)从PD ADC操作输出中去除溢出电荷分量(这可能以其它方式引入附加的误差)。另一方面，在时间T2和T3之间不将RST信号宣称有效可能是有利的，因为这样的布置可能在PD ADC操作和FD ADC操作中引入冗余并增加信噪比，因为这两种操作都测量剩余电荷和溢出电荷的混合。

在时间T3和T4之间，COMP_RST信号被释放，使得比较器906退出复位状态。此外，TG信号可以将转移开关M1设置在完全导通状态，以将剩余电荷转移到C_FD。剩余电荷可以被转移到C_FD，C_FD将PIXEL_OUT电压改变为V_{pixel_out_sig2}。在时间T4，新的PIXEL_OUT电压可以被交流耦合为新的COMP_IN电压，如下：

V_{comp_in}(T4)＝V_{pixel_out_sig2}-V_{pixel_out_sig1}+V_{ref_high}+V_{comp_offset}

(等式3)

在等式3中，V_{pixel_out_sig2}-V_{pixel_out_sig1}的差表示在时间T3和T4之间由光电二极管转移到电荷存储设备608的剩余电荷的量。

在时间T3和T4之间TG完全导通之后，TG被宣称无效，以将光电二极管PD与C_FD和C_EXT断开连接。因此，在时间T4之后直到下一个曝光周期开始，没有附加的电荷转移到C_FD和C_EXT。

在时间T4和T5之间，控制器1110可以通过将COMP_IN电压与从V_{ref_high}起始到V_{ref_low_margin}的VREF斜坡进行比较来执行PD ADC操作。如上所述，在PD ADC阶段，V_{ref_high}可以表示光电二极管PD中存储的剩余电荷的最小可检测量，而V_{ref_low_margin}可以表示具有考虑暗电流的裕量的光电二极管PD的饱和阈值。

在时间T5，控制器1110可以检查COMP_IN电压是否低于V_{ref_low_margin}，这可以指示光电二极管PD是否饱和。如果COMP_IN电压高于V_{ref_low_margin}(这指示光电二极管PD饱和)，并且如果没有TTS输出存储在存储器中(基于输出逻辑电路908的内部状态)，则输出逻辑电路908可以生成锁存信号，以控制存储器912存储来自计数器914的计数值。输出逻辑电路908还可以将光电二极管PD饱和的指示作为其内部状态的一部分进行存储，使得后续的FD ADC操作将无法重写存储在存储器中的PD ADC输出(或TTS输出)。如果COMP_IN电压低于V_{ref_low_margin}，则在时间T5，没有计数值将被存储到存储器912中，并且来自后续的FD ADC操作的计数值可以被存储到存储器912中。

在时间T5和T8之间，可以进行FD ADC操作，以测量在曝光周期T_exposure内由光电二极管PD转移的溢出电荷。由于光电二极管PD与C_FD和C_EXT保持断开，因此没有附加的电荷转移到C_FD和C_EXT，并且存储在C_FD和C_EXT中的总电荷大部分是在曝光周期T_exposure中产生的(连同光电二极管在时间T3和T4之间产生的附加电荷)。利用这种布置，像素的GSE。

在时间T5，LG信号被宣称有效以将C_FD与C_EXT连接，这允许存储在C_EXT中的溢出电荷的第二部分与存储在C_FD中的剩余电荷(如果在时间T2和T3之间RST没有被宣称有效，则与存储在C_FD中的剩余电荷和溢出电荷的第一部分)组合，并且在C_FD和C_EXT的并联组合处可以产生新的PIXEL_OUT电压V_{pixel_out_sig3}，并且该电压将被量化。

在时间T5和T7之间，可以执行噪声采样操作，以减轻复位噪声和比较器失调对FDADC操作的影响。在时间T5和T6之间，作为第一采样操作的一部分，比较器906可以被复位。比较器906的正端连接到VREF的下端V_{ref_low}。如上所述，V_CC电压可以包括复位噪声和比较器失调的分量。V_CC电压可以如下：

V_cc(T5)＝(V_{ref_low}+V_{comp_offset})-(V_{pixel_out_sig3}+Vσ_KTC1) (等式4)

在时间T6和T7之间，作为第二采样操作的一部分，C_FD和C_EXT都可以被复位，而比较器906退出复位状态。复位的结果是，PIXEL_OUT可以被复位到复位电压V_{pixel_out_rst}。此外，第二复位噪声电荷也被引入到电荷存储设备608中，其可以由Vσ_KTC2表示。第二复位噪声电荷通常跟踪第一复位噪声电荷。在时间T6，作为第二采样操作的结果，V_{pixel_out}可以如下：

V_{pixel_out}(T6)＝V_{pixel_out_rst}+Vσ_KTC2 (等式5)

在时间T7，COMP_RST被释放，并且比较器906退出复位状态。通过AC耦合，COMP_IN电压除了跟踪V_cc(T5)之外，还可以跟踪V_{pixel_out}(T6)，如下：

V_{comp_in}(T7)＝(V_{ref_low}+V_{comp_offset})+(V_{pixel_out_rst}-V_{pixel_out_sig3})+(Vσ_KTC2-Vσ_KTC1)(等式6)

在第二采样操作之后，在时间T7和T8之间，可以通过将COMP_IN电压与VREF斜坡进行比较来量化COMP_IN电压。VREF斜坡可以从V_{ref_low}起始到V_{ref_high}，V_{ref_low}可以表示在包括C_EXT和C_FD的电荷存储设备608中可检测到的溢出电荷的最小量，V_{ref_high}可以表示当电荷存储设备608饱和时的溢出电荷的量。当VOUT翻转时来自计数器914的计数值可以被存储在存储器912中，以表示在曝光周期中接收的光的强度。在时间T8之后，在时间T9，存储在存储器912中的数字值可以被读出，以表示在曝光周期T_exposure内由光电二极管PD接收的光的强度。在单个帧周期中生成一个图像帧的情况下，帧周期可以从时间T0跨越到时间T8。

控制信号的序列及其时序由控制器920以及曝光停止信号922和选择信号924控制。具体而言，控制器920可以将控制信号(例如，AB、RST、COMP_RST、TG和LG信号)宣称有效和宣称无效，并基于预先配置的时序序列来控制VREF信号，该预先配置的时序序列可以由曝光停止信号922和/或选择信号924重写。曝光停止信号922可以触发PD ADC操作(包括将RST和COMP_RST信号宣称有效、将LG信号宣称无效、接着将TG信号宣称有效以转移剩余电荷，然后将AB信号宣称有效以停止曝光周期)，以在比预先配置的时序序列的时间T2更早的时间开始PD ADC操作。曝光停止信号922可以使曝光周期比预先配置的时序序列的时间T4更早地停止。这样的布置可以降低电荷存储设备902被溢出电荷饱和的可能性。此外，选择信号924可以将控制器920配置为跳过TTS、PD ADC和FD ADC操作中的一个或更多个。如下文将详细描述的，在包括多个光电二极管的像素单元中，选择信号924可以被提供来将控制器920配置为针对多个光电二极管中的一些光电二极管跳过TTS操作，以减少像素单元的所有光电二极管的量化操作的总时间，从而减小帧周期，而曝光停止信号922可以被提供来动态地减小没有执行TTS操作的光电二极管的曝光周期，以防止那些光电二极管使它们各自的电荷存储设备902饱和，使得那些光电二极管检测到的光分量的强度可以通过PD ADC和/或FD ADC操作以合理的保真度来测量。

如等式3和6所示，PD ADC操作中的比较的极性(其中V_{comp_in}表示V_{pixel_out_sig2}-V_{pixel_out_sig1})与FD ADC操作中的比较的极性(其中V_{comp_in}表示V_{pixel_out_rst}-V_{pixel_out_sig3})相反。在PD ADC中，当COMP_IN电压高于V_{ref_low_margin}时，图9A的比较器906的VOUT变为逻辑零，这指示光电二极管PD没有饱和。但是为了将在VOUT翻转时的数字值(其表示剩余电荷的测量值)存储到存储器912中，存储器912需要从比较器906接收正VOUT。相比之下，在FD ADC中，当COMP_IN电压高于V_{ref_low}时，图9A的比较器906的VOUT变为逻辑1，这指示溢出电荷超过最小可检测水平。FD ADC操作的比较的极性和TTS操作的比较的极性也是相同的。

返回参考图9A，输出逻辑电路908包括电路，该电路考虑在PD ADC操作、FD ADC操作和TTS操作中的比较的不同极性，并且用于维持内部状态以控制将计数值存储到存储器中。图9B包括输出逻辑电路908的内部部件的示例。如图9B所示，输出逻辑电路908包括反相器链942、多路复用器设备946、标志寄存器948和950以及或非(NOR)门952。标志寄存器948和950可以分别存储FLAG_1状态位和FLAG_2状态位。FLAG_2状态可以指示TTS操作结束时的VOUT状态，而FLAG_1状态可以指示PD ADC操作结束时的VOUT状态。如果在TTS操作之后FLAG_2被宣称有效，这指示TTS操作已经将计数值存储到存储器912中，则或非门952可以保持锁存信号为低以锁定存储器912，防止存储器912被后续的PD ADC操作重写。此外，如果在PD ADC操作之后FLAG_1被宣称有效，则可以防止FD ADC将计数值存储到存储器912中。反相器链942和多路复用器设备946可以基于LG信号来控制去往寄存器948和950以及或非门952的VOUT状态的输出，以考虑PD ADC操作、FD ADC操作和TTS操作中的比较的不同极性。具体地，返回参考图12，对于TTS操作和FD ADC操作，LG信号被宣称有效以将C_EXT与C_FD相组合。多路复用器设备946可以由被宣称有效的LG信号控制，以选择非反相的VOUT来输出到寄存器950(用于FLAG_2位)和或非门952。对于PD ADC操作，LG信号被宣称无效，以将C_EXT与C_FD断开连接，从而增加电荷-电压转换比。多路复用器设备946可以由被宣称无效的LG信号控制，以选择反相的VOUT(图9B中的VOUTb)来输出到寄存器948(用于FLAG_1位)和或非门952。

返回参考图8A和图8B，在一些示例中，具有多个光电二极管的像素单元可以包括用于每个光电二极管的图9A的电荷感测单元614和ADC616，以针对每个光电二极管执行如图12中所述的多级量化操作(TTS、FD ADC和PD ADC)。然而，这样的布置可能显著增加像素单元的占用空间和功耗。具体地，ADC 616的比较器906可以包括模拟差分放大器和其它支持电路(例如，偏置电路、输出缓冲器等)，其可能在像素单元的部件之间占据最大的空间和消耗最多的功率。如果像素单元中包括多个ADC 616(和多个比较器906)，则像素单元以及像素单元阵列的尺寸和功耗可能变得过大。

为了减少像素单元的占用空间和功耗，可以在像素单元的光电二极管之间共享单个ADC 616。每个光电二极管的电荷感测单元614可以依次与该单个ADC 616连接，以执行量化操作并将输出存储在存储器912处。图13A-图13C示出了多光电二极管像素单元的示例，该多光电二极管像素单元包括在像素单元的多个光电二极管之间共享的单个ADC 616。如图13A所示，像素单元602a可以包括在单色通道(M)光电二极管、单色+近红外通道(M+NIR)光电二极管、绿色通道(G)光电二极管和近红外通道(NIR)光电二极管之间共享的单个ADC616a。此外，其它像素单元602b、602c和602d中的每一个也分别包括单个ADC 616b、616c和616d。

图13B示出了包括多个光电二极管的像素单元602a的示例。如图13B所示，像素单元602a包括多个光电二极管(包括PD0、PD1等)以及多个电荷感测单元614(包括电荷感测单元614a、614b等)。电荷感测单元614a包括电荷存储设备902a和可切换缓冲器904a，并且被配置为将从光电二极管PD0转移的剩余电荷和溢出电荷转换成电压。电荷感测单元614b包括电荷存储设备902b和可切换缓冲器904b，并且被配置为将从光电二极管PD1转移的剩余电荷和溢出电荷转换成电压。每个光电二极管与各自的快门开关和各自的转移开关耦合。例如，光电二极管PD0与快门开关M0a和转移开关M1a耦合，而光电二极管PD1与快门开关M0b和转移开关M1b耦合。控制器920可以控制控制信号AB0和AB1(用于快门开关M0a和M0b)、控制信号TG0和TG1(用于转移开关M1a和M1b)、以及控制信号RST0、LG0、RST1和LG1的时序，以使每个光电二极管能够单独地产生/累积剩余电荷，并将溢出电荷转移到各自的电荷感测单元614。此外，控制器920还可以控制控制信号SEL0和SEL1的时序，以向每个电荷感测单元614a和614b提供对ADC 616的访问，从而执行由选择信号924选择的量化操作。

在一个示例配置中，选择信号924可以选择光电二极管中的一个光电二极管(例如，PD0)来执行TTS操作、以及PD ADC操作或FD ADC操作中的至少一个操作，并且选择其余的光电二极管来执行PD ADC操作或FD ADC操作中的至少一个操作。

图13C示出了图13B的像素单元602a的一些控制信号的示例序列1300。该示例序列可以基于图12中描述的序列，并由控制器920提供。在时间T0，每个光电二极管的AB信号(AB0、AB1、ABn等)被宣称无效，以开始每个光电二极管的曝光周期。每个光电二极管的TX信号(TX0、TX1、TXn等)被偏置以允许溢出电荷(如果有的话)流向各自的电荷感测单元，而每个光电二极管的LG信号(LG0、LG1、LGn等)被宣称有效以将C_EXT和C_FD连接在一起以感测溢出电荷。在时间T1，SEL0被宣称有效以将光电二极管PD0的电荷感测单元614a连接到ADC 616，从而量化由PD0产生的电荷。

在时间T1和T2之间，基于选择信号924，ADC 616可以执行TTS操作，以确定来自光电二极管PD0的溢出电荷是否使电荷存储设备902a饱和，以及使电荷存储设备902a饱和所花费的时间(饱和时间)。同时，像素单元602a的其它电荷存储设备902(例如，902b)可以在时间T0和T2之间继续累积由各自的光电二极管PD产生的电荷。其它电荷存储设备与电荷存储设备902a相比可以具有C_EXT和C_FD的更大的组合容量，使得当电荷存储设备902a饱和时，其它电荷存储设备仍然不饱和。

在时间T2，在TTS操作完成之后，每个光电二极管的LG信号(LG0、LG1、LGn等)被宣称有效以将C_EXT与C_FD断开连接，从而为后续的PD ADC操作做好准备。C_EXT可以与C_FD断开连接，以在C_EXT中保留溢出电荷(如果有的话)的一部分用于后续的FD ADC操作，而C_FD可以可选地被复位，使得C_FD仅存储将从各自的光电二极管转移的剩余电荷，如图12中所述。在时间T3，每个光电二极管的TG信号(TG0、TG1、TGn等)被宣称有效以将剩余电荷从光电二极管转移到各自的电荷存储设备902的C_FD。在时间T4，每个光电二极管的AB信号(AB0、AB1、ABn等)被宣称有效以停止像素单元中每个光电二极管的曝光周期。图13C中曝光周期的持续时间是T_{exposure-global}，其跨越时间T0和T4之间。T_{exposure-global}可以被预先配置(例如，基于选择信号924或其它编程信息)，并且可以是用于像素单元阵列的所有像素单元的全局曝光周期。

在时间T4和时间T5之间，基于选择信号924，ADC 616可以对电荷存储设备902a的C_FD执行PD ADC操作，以测量存储在C_FD中的剩余电荷的量。如果TTS操作没有将计数值存储在存储器912中，则对于光电二极管PD0，来自PD ADC操作的计数值可以被存储在存储器912中。在时间T5，在PD ADC操作完成之后，可以将电荷存储设备902a的C_FD复位以移除剩余电荷，然后在时间T6，光电二极管PD0的LG0信号可以被宣称有效，以将C_EXT与C_FD再次连接在一起，从而在电荷存储设备902a内重新分配C_EXT中存储的溢出电荷的部分。然后，在时间T6和T7之间，可以针对光电二极管PD0执行FD ADC操作，以量化存储在电荷存储设备902a中的溢出电荷。如果先前的TTS操作和PD ADC操作都没有将计数值存储在存储器中，则对于光电二极管PD0，来自FD ADC操作的计数值可以被存储在存储器912中。

在时间T7，在针对光电二极管PD0的量化操作完成之后，SEL1可以被宣称有效以将光电二极管PD1的电荷感测单元614b连接到ADC 616。在时间T7和T8之间，基于选择信号924，ADC 616可以对电荷存储设备902b的C_FD执行PD ADC操作，以测量存储在光电二极管PD1的C_FD中的剩余电荷的量。在完成PD ADC操作之后，在时间T8，电荷存储设备902b的C_FD可以被复位，接下来将光电二极管PD1的LG1宣称有效，然后进行FD ADC操作。控制器920还可以控制ADC 616以在序列1300中针对像素单元602a的其它光电二极管执行PD ADC和FD ADC操作，以生成针对其它光电二极管的计数值。

与针对每个光电二极管重复相同的量化操作序列(例如，TTS、PD ADC和FD ADC操作)的情况相比，图13C中的布置可以通过选择性地禁用除一个光电二极管之外的所有光电二极管的TTS操作来减少像素单元的量化操作的总时间。量化操作的总时间的减少可以减小帧周期并提高帧速率。此外，由于像素单元的所有光电二极管的曝光周期在同一时间(图13C中的T4)结束，所以像素单元的所有光电二极管可以具有均匀的曝光周期，这可以提高快门效率。所有这些都可以提高图像传感器的性能(特别是在用于对高速对象进行成像时)。

另一方面，图13C中的布置可能降低图像传感器的动态范围的上限。这是因为仅针对一个光电二极管执行TTS操作，该TTS操作测量饱和时间，以将可测量光强度的上限扩展到超过使电荷感测单元饱和的水平。对于仅对其执行FD ADC和/或PD ADC操作的其它光电二极管，动态范围的上限仍然受到那些光电二极管的电荷感测单元的电荷存储容量的限制，并且不会被TTS操作扩展。因此，可能降低图像传感器整体的动态范围。

图14A示出了可以提供扩展的动态范围的多光电二极管像素单元1400的示例。如图14A所示，输出逻辑电路908可以向控制器920输出饱和指示1402作为曝光停止信号922。饱和指示1402可以在TTS操作期间生成，以指示电荷存储设备902a被溢出电荷饱和。在控制器920接收到曝光停止信号922之后，控制器920可以在预先配置的结束时间之前停止像素单元的所有光电二极管的曝光周期。对于给定的光强度，这样的布置可以减少转移到电荷存储设备的电荷量，这可以降低像素单元的电荷存储设备变得饱和以及无法支持准确的FDADC和/或PD ADC操作的可能性。

图14B示出了图14A的像素单元1400的一些控制信号的示例序列1410。在时间T0和T1的操作与图13C的序列1300相同。在时间T1和T1a之间执行针对光电二极管PD0的TTS操作。在时间T1’，输出逻辑电路908基于VOUT指示COMP_IN电压达到静态VREF阈值，来输出饱和指示1402。基于饱和指示，控制器920可以在时间T1a将所有光电二极管的LG信号(例如，LG0、LG1、LGn等)宣称无效，随后在时间T1b将所有光电二极管的TG信号(例如，TG0、TG1、TGn等)宣称有效，以将剩余电荷从每个光电二极管转移到其各自的电荷存储单元。控制器920然后可以将AB信号宣称有效以在时间T2停止曝光周期。与曝光周期在时间T4结束的序列1300相比，序列1410中的曝光周期在时间T2结束，并且具有跨越时间T0和T2之间的持续时间T_{exposure-reduced}。相对于跨越时间T0和T4之间的全局曝光周期T_{exposure-global}，曝光周期T_{exposure-reduced}被减小。

通过基于光电二极管PD0的TTS输出来减小曝光周期，可以减小光电二极管PD1和其它光电二极管的电荷存储设备变得饱和的可能性。如果那些光电二极管的电荷存储设备的容量大于光电二极管PD0的电荷存储设备的容量，则饱和的可能性进一步减小。因此，来自ADC的光强度测量值的线性度可以变得更加线性，这可以改善图像传感器的动态范围。此外，通过检测饱和并在相同的帧周期内调整曝光周期，曝光周期可以更快地适应变化的光强度，这可以提高图像传感器的性能(特别是当对高速对象和场景进行成像时)。

针对PD0的PD ADC操作可以从曝光周期结束时开始。在一些示例中，在曝光周期在时间T2结束之后，控制器920和像素单元1400可以进入空闲状态直到时间T4，使得针对PD0的PD ADC操作可以在与序列1300中相同的预先配置的时间T4开始。此外，其余的量化操作也在与序列1300中相同的预先配置的时间执行。这样的布置可以确保像素单元1400的帧周期保持与以预先配置的曝光周期操作的其它像素单元相同。在一些示例中，控制器920还可以按比例放大PD ADC和FD ADC操作的持续时间(例如，通过减小时钟速率、通过减小电压斜坡的斜率等)来增加量化分辨率(而不是进入空闲状态以弥补减少的曝光时间)，同时确保像素1400的量化操作在相同的时间完成，以保持像素单元1400和像素单元阵列的其它像素单元的帧周期相同。

由于与其它像素单元相比，像素单元1400可以具有减小的曝光周期，所以当生成包括来自像素单元1400和其它像素单元/光电二极管(所述其它像素单元/光电二极管基于在预先配置的全局曝光时间内暴露于光而生成计数值)的计数值的图像帧时，来自像素单元1400的计数值可以基于以下等式来缩放：

在等式7中，DN_raw表示从曝光周期T_{exposure-reduced}获得的从像素1400的光电二极管输出的PD ADC或FD ADC计数，该曝光周期T_{exposure-reduced}相比于全局曝光周期T_{exposure-global}被减小。由于电荷量(由计数值表示)与曝光周期成正比，因此可以基于T_{exposure-global}和T_{exposure-reduced}之间的比率将DN_raw外推为归一化的计数值DN_norm，使得基于相同的曝光周期并遵循相同的标度(scale)获得来自所有光电二极管的计数值。

在图14A的示例中，像素单元1400的光电二极管共享单个ADC。然而，在一些示例中，不同像素单元的光电二极管可以共享单个ADC，并且针对一个像素单元的一个光电二极管的TTS操作可以控制不同像素单元的另一个光电二极管的曝光周期。共享单个ADC的光电二极管可以在内核中被分组，该内核可以包括来自不同像素单元或来自同一像素单元的光电二极管。内核中的每组光电二极管可以被配置成检测相同或不同的光分量。在内核的光电二极管组中，除主光电二极管(例如，第一光电二极管)之外的所有光电二极管可以访问ADC以仅执行PD ADC和/或FD ADC操作，而第一光电二极管可以访问ADC以执行TTS以及PDADC和/或FD ADC操作。该组内的所有光电二极管可以具有相同的曝光周期，该曝光周期可以在主光电二极管的电荷感测单元饱和时停止。因此，基于PD ADC和/或FD ADC操作的那些光电二极管的电荷感测单元的量化结果仍然可以以合理的保真度表示光分量的强度。另一方面，如果没有来自主光电二极管的饱和指示，则光电二极管可以在预先配置的曝光周期内产生至少阈值量的电荷，以保持最小信噪比以进行对低光强度和中等光强度的测量，这可以设置动态范围的下限。

将光电二极管分组到内核中可以基于各种方案，并且可以是特定于应用的。在一个示例中，可以基于要成像的预先确定的对象的轮廓/形状来定义像素的内核。图15A、图15B和图15C示出了基于目标对象的轮廓/形状而确定的内核的示例。如图15A所示，基于反映来自指向光源1500的光的辐射的形状，内核可以包括五个像素单元，其中一个像素单元在中心，四个像素单元在四个侧面(例如，北、南、左和右)。在图15A中，示出了像素单元的四个内核(包括1502、1504、1506和1508)。内核1502包括像素单元1502a(其包括内核1502的主光电二极管)以及像素单元1502b、1502c和1502d。内核1504包括像素单元1504a(其包括内核1504的主光电二极管)以及像素单元1504b、1504c和1504d。内核1506包括像素单元1502a(其包括内核1506的主光电二极管)以及像素单元1506b、1506c和1506d。此外，内核1508包括像素单元1508a(其包括内核1508的主光电二极管)以及像素单元1508b、1508c和1508d。

在图15A所示的内核中，内核中心的像素单元可以包括主光电二极管(可以对其执行TTS操作)，并且如果检测到饱和，则可以减小内核的所有光电二极管的曝光周期，如上所述。例如，在像素单元阵列用于对指向光源1500进行成像的情况下，内核中心的像素单元可以接收来自指向光源的最亮部分的光，并使电荷存储设备饱和。内核内所有光电二极管的曝光周期可以在检测到饱和时停止，使得内核内的其它像素单元(其可以接收辐射光(radiated light)以及来自场景的其它部分的光)可以生成与入射光线性相关的数字输出，而不是饱和输出。

内核的中心像素中的光电二极管可以被配置为针对不同光分量的主光电二极管。每个主光电二极管可以与(该内核内的)检测相同光分量的其它光电二极管共享ADC，并且可以控制其它光电二极管的曝光周期。例如，如图15B和图15C所示，每个像素单元(例如，像素单元1502c)包括用于检测可见单色光(M)的两个光电二极管、用于检测近红外光(NIR)的一个光电二极管和用于检测绿光(G)的一个光电二极管。每组M光电二极管、每组NIR光电二极管和每组G光电二极管共享ADC，使得为每个内核提供四个ADC，并且每个内核可以在中心像素单元(例如，像素单元1504a)中具有两个主M光电二极管、一个主NIR光电二极管和一个主G光电二极管。在图15B中，主M光电二极管(用圆圈表示)可以控制同一内核中的其它M光电二极管的曝光周期，而在图15C中，主NIR光电二极管(用圆圈表示)可以控制同一内核中的其它NIR光电二极管的曝光周期。

作为另一个示例，可能接收相似强度的光分量的像素单元可以形成内核。内核的光电二极管在像素单元阵列内的空间分布可以基于图像传感器的应用。图16A和图16B示出了在像素单元阵列内具有光电二极管的不同空间分布的内核的示例。如图16A所示，图像传感器1600可以被配置成接收来自场景的图案1602(其包括点1602a、点1602b等)的结构NIR光。在该应用中，内核1604可以包括基于图案1602而间隔开的像素单元(例如，1604a、1604b、1604c和1604d)，其中内核的主像素单元(例如，1604a)包括NIR光电二极管，以控制该内核内的其它像素单元的NIR光电二极管的曝光周期。

在一些示例中，如上所述，内核也可以包括同一像素单元的光电二极管。例如，当图像传感器用于对场景的小部分进行成像时，和/或当图像传感器在具有强环境光的环境中操作，并且在该环境中像素单元的每个光电二极管可以接收高强度的光分量，并且像素单元内的每个光电二极管的电荷感测单元很可能饱和时，可以提供这样的布置。如图16B所示，每个像素单元可以包括用于检测光分量(例如，如圆圈所示的单色)的主光电二极管，该主光电二极管可以控制检测其它或相同光分量(例如，NIR、B、M等)的其它光电二极管的曝光周期。

图17示出了用于通过包括第一光电二极管和第二光电二极管(例如图14A的PD0和PD1)的多个光电二极管来执行光强度测量的方法1700。第一光电二极管和第二光电二极管可以是同一像素单元602a的一部分(如图14A所示)，或者可以在不同的像素单元中(如图15A-16B所示)。第一光电二极管和第二光电二极管可以被配置成检测相同波长范围或不同波长范围的入射光分量。第一光电二极管可以与包括第一电荷存储设备(例如，电荷存储设备902a)和第一可切换缓冲器(例如，缓冲器904a)的第一电荷感测单元(例如，电荷感测单元614a)耦合，而第二光电二极管可以与包括第二电荷存储设备(例如，电荷存储设备902b)和第二可切换缓冲器(例如，缓冲器904b)的第二电荷感测单元(例如，电荷感测单元614b)耦合。第一电荷感测单元的输出端和第二电荷感测单元的输出端与单个ADC(例如，ADC616)耦合，当第一可切换缓冲器接通时，该单个ADC可以量化第一电荷存储设备处的第一电压，当第二可切换缓冲器接通时，该单个ADC可以量化第二电荷存储设备处的第二电压。第一电荷存储设备和第二电荷存储设备都可以包括主电容器和辅助电容器。

方法1700从步骤1702开始，在步骤1702中，第一光电二极管被暴露于入射光以产生第一电荷。在一些示例中，第一快门开关耦合在第一光电二极管和电荷接收器之间，并且第一快门开关可以被关断以将第一光电二极管暴露于入射光以产生第一电荷，并且第一快门开关的关断可以成为曝光周期。

在步骤1704中，第二光电二极管被暴露于入射光以产生第二电荷。在一些示例中，第二快门开关耦合在第二光电二极管和电荷吸收器之间，并且第二快门开关可以被关断以将第二光电二极管暴露于入射光以产生第二电荷。在一些示例中，第一快门开关和第二快门开关可以同时被关断，使得对于第一光电二极管和第二光电二极管，同时开始曝光周期。

在步骤1706中，第一电荷感测单元可以将第一电荷转换成第一电压。在一些示例中，第一电荷感测单元经由第一转移开关与第一光电二极管耦合，第一转移开关可以被偏置，以允许第一光电二极管存储一定量的第一剩余电荷作为第一电荷的一部分，并且将第一电荷的其余部分作为第一溢出电荷转移到第一电荷感测单元的第一电荷存储设备。第一溢出电荷可以存储在第一电荷存储设备的主电容器和辅助电容器中。在步骤1706中，可以基于在曝光周期期间第一电荷存储设备中的第一溢出电荷的累积而产生第一电压。此外，第一可切换缓冲器被打开以将第一电荷存储设备连接到ADC以执行TTS操作。

在步骤1708中，第二电荷感测单元可以将第二电荷转换成第一电压。在一些示例中，第二电荷感测单元经由第二转移开关与第二光电二极管耦合，第二转移开关可以被偏置，以允许第二光电二极管存储一定量的第二剩余电荷作为第二电荷的一部分，并将第二电荷的其余部分作为第二溢出电荷转移到第二电荷感测单元的第二电荷存储设备。第二溢出电荷可以存储在第二电荷存储设备的主电容器和辅助电容器中。在步骤1708中，可以基于在曝光周期期间第二电荷存储设备中的第二溢出电荷的累积而产生第二电压。此外，第二可切换缓冲器被关闭以将第二电荷存储设备与ADC断开连接。

在步骤1710中，作为TTS操作的一部分，ADC被控制以基于第一电压来检测第一电荷的量达到饱和阈值，并且当第一电荷的量达到饱和阈值时测量饱和时间。具体地，在步骤1710中，ADC可以将第一电压与表示第一电荷存储设备的饱和极限的静态阈值电压进行比较。如果第一电压越过静态阈值，则ADC可以输出存储在第一电荷存储设备中的第一电荷(由第一溢出电荷表示)的量达到饱和极限的饱和指示。该指示(例如，图14A的VOUT信号)可以控制存储器(例如，存储器912)存储来自自由运行计数器(例如，计数器914)的计数值，并且该计数值可以表示由第一光电二极管接收的入射光分量的强度。

在步骤1712中，基于检测到第一电荷的量达到饱和阈值，停止第一光电二极管和第二光电二极管的曝光。具体地，来自步骤1710(以及来自第一光电二极管的TTS操作)的饱和指示可以否决第一快门开关和第二快门开关的控制信号，以启用那些开关来停止第一光电二极管和第二光电二极管的曝光周期。

在一些示例中，在曝光结束之后，ADC可以被控制以执行PD ADC和FD ADC测量。具体地，在曝光结束之后，可以将第一电荷存储设备和第二电荷存储设备的主电容器与辅助电容器断开连接，以分别将第一溢出电荷的一部分和第二溢出电荷的一部分保留在第一电荷存储设备和第二电荷存储设备的辅助电容器中。作为PD ADC操作的一部分，可以复位第一电荷感测单元的主电容器，然后可以控制第一转移开关以将第一剩余电荷从第一光电二极管转移到主电容器。如上所述，ADC可以将第一电荷感测单元的主电容器处的第一电压与第一斜坡电压进行比较，以量化第一剩余电荷。在PD ADC操作期间，确定第一光电二极管是否被第一剩余电荷饱和。在FD ADC操作中，可以再次将主电容器和辅助电容器连接在一起，以在主电容器和辅助电容器之间重新分配第一溢出电荷的一部分和第一剩余电荷。ADC可以将主电容器和辅助电容器处的第一电压与第二电压斜坡进行比较，以量化第一溢出电荷和第一剩余电荷的组合，并且可以对量化结果进行后处理，以测量第一溢出电荷的量。可以基于第一电荷存储设备是否被第一溢出电荷饱和以及第一光电二极管是否被第一剩余电荷饱和，提供TTS、PD ADC或FD ADC操作之一的结果，以表示由第一光电二极管接收的入射光分量的强度。

在步骤1714中，可以控制ADC以基于第二电压来测量在曝光周期结束之前由第二光电二极管产生的第二电荷的量。在针对第一光电二极管的TTS、PD ADC和FD ADC操作完成之后，可以禁用第一可切换缓冲器，同时可以启用第二可切换缓冲器，以将ADC连接到第二电荷存储设备的输出端。类似于如步骤1712中所描述的，可以对第二电荷存储设备执行PDADC操作，随后执行FD ADC操作。可以基于第二光电二极管是否被第二剩余电荷饱和，提供PD ADC或FD ADC操作之一的结果，以表示由第二光电二极管接收的入射光分量的强度。

本描述的一些部分从对信息的操作的算法和符号表示方面描述了本公开的示例。数据处理领域的技术人员通常使用这些算法描述和表示来向本领域的其他技术人员有效地传达他们工作的实质。这些操作虽然在功能上、计算上或逻辑上进行了描述，但应理解为将由计算机程序或等效电路、微代码等来实现。此外，将操作的这些布置称为模块有时候也被证明是方便的而不失一般性。所描述的操作和它们的相关模块可以体现在软件、固件和/或硬件中。

可以利用一个或更多个硬件或软件模块单独地或与其他设备组合地来执行或实现所描述的步骤、操作或过程。在一些示例中，利用包括包含计算机程序代码的计算机可读介质的计算机程序产品来实现软件模块，计算机程序代码可以由计算机处理器执行，用于执行所描述的任何或全部步骤、操作或过程。

本公开的示例也可以涉及用于执行所描述操作的装置。该装置可以被特别构造成用于所需的目的，和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。可以将这样的计算机程序存储在非暂时性、有形计算机可读存储介质中，或者存储在可以耦合到计算机系统总线的适合于存储电子指令的任何类型的介质中。此外，说明书中提到的任何计算系统可以包括单个处理器，或者可以是采用多个处理器设计以提高计算能力的架构。

本公开的示例也可以涉及由本文所述的计算过程产生的产品。这样的产品可以包括由计算过程产生的信息，其中信息被存储在非暂时性的、有形的计算机可读存储介质上且可以包括计算机程序产品或本文所述的其他数据组合的任何示例。

在说明书中使用的语言主要出于可读性和指导性的目的而被选择，并且它可以不被选择来描绘或限制发明的主题。因此，意图是本公开的范围不由该详细描述限制，而是由在基于其的申请上发布的任何权利要求限制。因此，示例的公开意图对本公开的范围是说明性的，而不是限制性的，在所附权利要求中阐述了本公开的范围。

Claims

1.一种装置，包括：

第一光电二极管，其用于产生第一电荷；

第二光电二极管，其用于产生第二电荷；

第一电荷感测单元，其用于将所述第一电荷转换成第一电压；

第二电荷感测单元，其用于将所述第二电荷转换成第二电压；

ADC，其能够测量饱和时间和电荷量；和

控制器，其被配置为：

将所述第一光电二极管和所述第二光电二极管暴露于入射光，以分别产生所述第一电荷和所述第二电荷；

将所述ADC连接到所述第一电荷感测单元，以基于所述第一电压来检测所述第一电荷的量达到饱和阈值，并且当所述第一电荷的量达到所述饱和阈值时，测量所述饱和时间；

基于检测到所述第一电荷的量达到所述饱和阈值，停止将所述第一光电二极管和所述第二光电二极管暴露于所述入射光；和

将所述ADC连接到所述第二电荷感测单元，以基于所述第二电压来测量在曝光结束之前由所述第二光电二极管产生的所述第二电荷的量。

2.根据权利要求1所述的装置，还包括：

第一快门开关，其耦合在所述第一光电二极管和第一电荷吸收器之间；和

第二快门开关，其耦合在所述第二光电二极管和第二电荷吸收器之间；

其中，所述控制器被配置为：

基于禁用所述第一快门开关和所述第二快门开关，将所述第一光电二极管和所述第二光电二极管暴露于所述入射光；和

基于启用所述第一快门开关和所述第二快门开关，停止将所述第一光电二极管和所述第二光电二极管暴露于所述入射光。

3.根据权利要求2所述的装置，其中，所述控制器被配置为在第一时间一起禁用所述第一快门开关和所述第二快门开关，并且在第二时间一起启用所述第一快门开关和所述第二快门开关，使得用于所述第一光电二极管和所述第二光电二极管的全局快门开关在第一时间开始并且在第二时间结束。

4.根据权利要求1所述的装置，其中，所述第一电荷感测单元和所述第二电荷感测单元中的每一个分别包括第一电容器和第二电容器；

其中，所述装置还包括：

第一转移开关，其耦合在所述第一光电二极管和所述第一电荷感测单元之间；和

第二转移开关，其耦合在所述第二光电二极管和所述第二电荷感测单元之间；和

其中，所述控制器被配置为：

控制所述第一转移开关，以将所述第一电荷转移到所述第一电荷感测单元的所述第一电容器；

控制所述第二转移开关，以将所述第一电荷转移到所述第一电荷感测单元的所述第二电容器；和

在所述第一电荷和所述第二电荷的转移完成之后，停止将所述第一光电二极管和所述第二光电二极管暴露于所述入射光。

5.根据权利要求4所述的装置，其中，所述控制器被配置为：

在第一时间，以第一偏置电压偏置所述第一转移开关，以将所述第一电荷中的第一溢出电荷从所述第一光电二极管转移到所述第一电荷感测单元用于存储；

在所述第一时间，以所述第一偏置电压偏置所述第二转移开关，以将所述第二电荷中的第二溢出电荷从所述第二光电二极管转移到所述第二电荷感测单元用于存储；

在第二时间，以第二偏置电压偏置所述第一转移开关，以将所述第一电荷中的第一剩余电荷从所述第一光电二极管转移到所述第一电荷感测单元用于存储；和

在所述第二时间，以所述第二偏置电压偏置所述第二转移开关，以将所述第二电荷中的第二剩余电荷从所述第二光电二极管转移到所述第二电荷感测单元用于存储；和

其中，在所述第一剩余电荷的转移和所述第二剩余电荷的转移完成之后，停止将所述第一光电二极管和所述第二光电二极管暴露于所述入射光。

6.根据权利要求5所述的装置，其中：

所述第一电荷感测单元包括耦合在所述第一电容器和所述ADC之间的第一可切换缓冲器；和

所述第二电荷感测单元包括耦合在所述第一电容器和所述ADC之间的第二可切换缓冲器；

所述控制器被配置为：

当所述第一转移开关被以所述第一偏置电压偏置时，启用所述第一切换缓冲器，以控制所述ADC来检测所述第一溢出电荷的量是否超过所述饱和阈值，并且当所述第一溢出电荷的量达到所述饱和阈值时，测量所述饱和时间；和

在停止将所述第一光电二极管和所述第二光电二极管暴露于所述入射光之后：

控制所述ADC以测量存储在所述第二电容器中的所述第二剩余电荷的量。

7.根据权利要求6所述的装置，其中：

当所述第一溢出电荷转移到所述第一电容器时，所述第一电容器产生所述第一电压；和

所述ADC被配置为基于将所述第一电压与表示所述饱和阈值的第一静态阈值电压进行比较来测量所述饱和时间。

8.根据权利要求7所述的装置，其中：

所述第一电容器包括第一主电容器和第一辅助电容器；

在所述第一剩余电荷的转移之前，所述控制器被配置为：

将所述第一辅助电容器与所述第一主电容器断开连接；和

复位所述第一主电容器；

所述第一剩余电荷在所述第一主电容器被复位之后转移到所述第一主电容器，以产生第三电压；和

所述ADC被配置为基于将所述第一主电容器处的所述第三电压与第一斜坡阈值电压进行比较来测量存储在所述第一主电容器中的所述第一剩余电荷的量。

9.根据权利要求8所述的装置，其中，所述ADC被配置为在测量所述第一剩余电荷的量之后：

将存储所述第一溢出电荷的一部分的所述第一辅助电容器与所述第一主电容器连接，以产生第四电压；和

基于将所述第四电压与第二斜坡阈值电压进行比较来测量所述第一溢出电荷的量。

10.根据权利要求9所述的装置，其中，所述控制器被配置为基于所述第一电压、所述第三电压或所述第四电压之一而选择由ADC生成的输出；

其中，所述选择基于所述第一电压是否越过所述第一静态阈值电压以及基于所述第三电压是否越过第二静态阈值电压，所述第二静态阈值电压表示所述第一光电二极管的存储容量；和

其中，所述控制器被配置为提供所选择的输出，以表示由所述第一光电二极管接收的所述入射光的强度。

11.根据权利要求6所述的装置，其中：

所述第二电容器包括第二主电容器和第二辅助电容器；

在所述第二剩余电荷的转移之前，所述控制器被配置为：

将所述第二辅助电容器与所述第二主电容器断开连接；和

复位所述第二主电容器；

所述第二剩余电荷在所述第二主电容器被复位之后转移到所述第二主电容器，以产生所述第二电压；和

所述ADC被配置为基于将所述第二主电容器处的所述第二电压与第一斜坡阈值电压进行比较来测量存储在所述第二主电容器中的所述第二剩余电荷的量。

12.根据权利要求11所述的装置，其中，所述ADC被配置为在测量所述第二剩余电荷的量之后：

将存储所述第二溢出电荷的一部分的所述第二辅助电容器与所述第二主电容器连接，以产生第三电压；和

基于将所述第三电压与第二斜坡阈值电压进行比较来测量所述第二溢出电荷的量。

13.根据权利要求12所述的装置，其中，所述控制器被配置为基于所述第二电压或所述第三电压之一而选择由ADC生成的输出；

其中，所述选择基于所述第二电压是否越过表示所述第二光电二极管的存储容量的静态阈值电压；和

其中，所述控制器被配置为提供所选择的输出，以表示由所述第二光电二极管接收的所述入射光的强度。

14.根据权利要求1所述的装置，其中，所述第一光电二极管被配置为检测所述入射光的具有第一波长范围的第一分量；和

其中，所述第二光电二极管被配置为检测所述入射光的具有第二波长范围的第二分量。

15.根据权利要求14所述的装置，其中，所述第一波长范围和所述第二波长范围是相同的。

16.根据权利要求15所述的装置，其中，所述第一光电二极管和所述第二光电二极管是像素单元的一部分。

17.根据权利要求15所述的装置，其中，所述第一光电二极管和所述第二光电二极管分别是第一像素单元的一部分和第二像素单元的一部分。

18.根据权利要求17所述的装置，其中，所述第一像素单元和所述第二像素单元是像素单元阵列的一部分；和

其中，所述第一像素单元和所述第二像素单元被一个或更多个像素单元分隔开。

19.一种方法，包括：

将第一光电二极管暴露于入射光以产生第一电荷；

将第二光电二极管暴露于所述入射光以产生第二电荷；

由第一电荷感测单元将所述第一电荷转换成第一电压；

由第二电荷感测单元将所述第二电荷转换成第二电压；

控制ADC，以基于所述第一电压来检测所述第一电荷的量达到饱和阈值，并且当所述第一电荷的量达到所述饱和阈值时，测量饱和时间；

控制所述ADC，以基于所述第二电压来测量在曝光结束之前由所述第二光电二极管产生的所述第二电荷的量。

20.根据权利要求19所述的方法，其中，所述第一电荷是由所述第一光电二极管基于检测所述入射光的具有第一波长范围的第一分量而产生的；

其中，所述第二电荷是由所述第二光电二极管基于检测所述入射光的具有第二波长范围的第二分量而产生的；和

其中，所述第一波长范围和所述第二波长范围不同。