CN112262565B

CN112262565B - 图像传感器后处理

Info

Publication number: CN112262565B
Application number: CN201980038967.XA
Authority: CN
Inventors: 安德鲁·塞缪尔·贝尔科维奇; 高伟; 刘新桥; 陈松
Original assignee: Facebook Technologies LLC
Current assignee: Meta Platforms Technologies LLC
Priority date: 2018-06-08
Filing date: 2019-06-06
Publication date: 2022-05-17
Anticipated expiration: 2039-06-06
Also published as: CN112262565A; KR20210018349A; US20190379848A1; TWI793334B; US11363221B2; JP2021526323A; WO2019236839A1; EP3804293A1; TW202011735A

Abstract

在一个示例中，提供了一种装置。该装置包括图像传感器，该图像传感器被配置为：生成第一原始输出，用于基于第一关系表示入射光的第一强度；以及生成第二原始输出，用于基于第二关系表示入射光的第二强度。该装置还包括后处理器，该后处理器被配置为：基于第一原始输出并基于第一关系生成第一后处理输出，使得第一后处理输出基于第三关系与第一强度线性相关；以及基于第二原始输出并基于第二关系生成第二后处理输出，使得第二后处理输出基于第三关系与第二强度线性相关。

Description

图像传感器后处理

相关申请

本专利申请要求2018年6月8日提交的标题为“METHOD AND SYSTEM FORPROCESSING NON-LINEAR OUTPUT OF PIXEL SENSORS”的第62/682,627号美国临时专利申请和2019年6月5日提交的标题为“IMAGE SENSOR POST PROCESSING”的第16/432,072号美国专利申请的优先权，出于所有目的，这些专利申请通过引用以其整体并入本文。

背景

本公开总体上涉及图像传感器，且更具体地涉及包括接口电路的像素单元结构，用于确定用于图像生成的光强度。

典型的图像传感器包括光电二极管，用于通过将光子转换成电荷(例如，电子或空穴)来感测入射光。图像传感器还包括浮置节点(floating node)，该浮置节点被配置为电容器，以收集积分周期期间光电二极管产生的电荷。收集的电荷可以在电容器处产生电压。电压可以被缓冲并馈送到模数转换器(ADC)，模数转换器可以将电压量化为表示入射光的强度的数字值。图像传感器可以产生对于不同的光强度的多个数字值。可以提供这些数字值来支持各种应用，例如图像特征提取、深度感测、位置确定等。

概述

本公开涉及图像传感器。更具体地，但不限于，本公开涉及像素单元。本公开还涉及由像素单元产生的数据的后处理。

本公开提供了一种用于测量入射光的强度的装置。在一个示例中，该装置包括图像传感器和后处理器。图像传感器被配置为：生成第一原始输出(raw output)，以基于第一关系表示入射光的第一强度；以及生成第二原始输出，以基于第二关系表示入射光的第二强度。后处理器被配置为：基于第一原始输出并基于第一关系生成第一后处理输出，使得第一后处理输出基于第三关系与第一强度线性相关；以及基于第二原始输出并基于第二关系生成第二后处理输出，使得第二后处理输出基于第三关系与第二强度线性相关。

在一些方面，第一原始输出和第一强度之间的第一关系与第一强度范围相关联。第二原始输出和第二强度之间的第二关系与第二强度范围相关联。第三关系与包括第一强度范围和第二强度范围的第三强度范围相关联。

在一些方面，图像传感器包括光电二极管和电荷存储单元。光电二极管被配置为：在积分周期内响应于入射光而产生电荷，并且累积所述电荷的至少一部分作为剩余电荷(residual charge)，直到光电二极管饱和。电荷存储单元被配置为累积其余的电荷(theremaining charge)作为溢出电荷，直到电荷存储单元饱和。

在一些方面，第三关系将后处理输出与光电二极管在积分周期内产生的电荷的估计量线性相关。

在一些方面，第一原始输出度量(measure)在积分周期结束之前电荷存储单元饱和时的饱和时间。第二原始输出度量电荷存储单元在积分周期内所累积的溢出电荷的量。

在一些方面，后处理器被配置为：基于饱和时间，确定电荷存储单元对溢出电荷的累积速率；基于溢出电荷的累积速率和积分周期，确定由光电二极管在积分周期内产生的电荷的估计量；以及基于电荷的估计量，确定第一后处理输出。

在一些方面，后处理器被配置为基于在积分周期内由电荷存储单元接收的暗电流的第一量和由光电二极管接收的暗电流的第二量来确定电荷的估计量。

在一些方面，后处理器被配置为基于电荷存储单元的第一电荷存储容量和光电二极管的第二电荷存储容量来确定溢出电荷的累积速率。

在一些方面，后处理器被配置为：基于第二原始输出和光电二极管的电荷存储容量来确定电荷的估计量；以及基于电荷的估计量来确定第二后处理输出。

在一些方面，第一原始输出度量由电荷存储单元在积分周期内累积的溢出电荷的量。第二原始输出度量由光电二极管在积分周期内累积的剩余电荷的量。

在一些方面，图像传感器被配置为生成第三原始输出，用于表示入射光的第三强度，第三原始输出度量电荷存储单元饱和时的饱和时间，并且基于第四关系与入射光的第三强度相关。后处理器被配置为基于第三原始输出并基于第四关系来生成第三后处理输出，使得第三后处理输出基于第三关系与第三强度线性相关。

在一些方面，电荷存储单元具有可配置的电荷存储容量。图像传感器被配置为在具有第一电荷存储容量的电荷存储单元处存储溢出电荷，以生成第一原始输出。图像传感器被配置为将剩余电荷从光电二极管转移到具有第二电荷存储容量的电荷存储单元，以生成第二原始输出。第一后处理输出基于第一电荷存储容量和第二电荷存储容量而被生成。

在一些方面，第一后处理输出基于在积分周期内由电荷存储单元接收的暗电流的第一量和由光电二极管接收的暗电流的第二量而被生成。第二后处理输出基于光电二极管在积分周期内接收的暗电流的第二量而被生成。

在一些方面，后处理器包括一个或更多个查找表，该查找表将第一原始输出映射到第一后处理输出并将第二原始输出映射到第二后处理输出。后处理器被配置为基于一个或更多个查找表来生成第一后处理输出和第二后处理输出。

在一些方面，一个或更多个查找表包括第一查找表和第二查找表，第一查找表将第一原始输出映射到第一后处理输出，第二查找表将第二原始输出映射到第二后处理输出。后处理器被配置为基于第一强度选择第一查找表，并基于第二强度选择第二查找表。

在一些方面，第一原始输出和第二原始输出基于非均匀量化过程而被生成。

在一些示例中，提供了一种方法。该方法包括：由图像传感器生成第一原始输出，用于基于第一关系表示入射光的第一强度；由图像传感器生成第二原始输出，用于基于第二关系表示入射光的第二强度；由后处理器基于第一原始输出并基于第一关系生成第一后处理输出，使得第一后处理输出基于第三关系与第一强度线性相关；以及由后处理器基于第二原始输出并基于第二关系生成第二后处理输出，使得第二后处理输出基于第三关系与第二强度线性相关。

在一些方面，该方法还包括：由图像传感器生成第三原始输出，用于表示入射光的第三强度，其中，第三原始输出度量当图像传感器的电荷存储单元饱和时的饱和时间，并且基于第四关系与入射光的第三强度相关；以及由后处理器基于第三原始输出并基于第四关系生成第三后处理输出，使得第三后处理输出基于第三关系与第三强度线性相关。

在一些示例中，提供了非暂时性计算机可读介质。该非暂时性计算机可读介质存储指令，该指令当由硬件处理器执行时，使硬件处理器：从图像传感器接收第一原始输出，用于基于第一关系表示入射光的第一强度；从图像传感器接收第二原始输出，用于基于第二关系表示入射光的第二强度；基于第一原始输出并基于第一关系生成第一后处理输出，使得第一后处理输出基于第三关系与第一强度线性相关；以及基于第二原始输出并基于第二关系生成第二后处理输出，使得第二后处理输出基于第三关系与第二强度线性相关。

附图简述

参考以下附图描述说明性实施例。

图1A和图1B是近眼显示器的实施例的示意图。

图2是近眼显示器的横截面的实施例。

图3示出了具有单个源组件的波导显示器的实施例的等轴视图。

图4示出了波导显示器的实施例的横截面。

图5是包括近眼显示器的系统的实施例的框图。

图6示出了像素单元的实施例的框图。

图7示出了通过图6的实施例来确定不同范围的光强度的操作。

图8示出了图6的像素单元的内部部件的示例。

图9A和图9B示出了用于确定光强度的示例方法。

图10A和图10B示出了用于执行量化的技术。

图11示出了像素单元的实施例的框图。

图12示出了用于执行光强度测量的控制信号的示例序列。

图13A、图13B和图13C示出了图像传感器的输出和入射光强度之间的关系的示例。

图14示出了执行图像传感器输出的后处理的示例系统。

图15A、图15B和图15C示出了对于各种测量模式的累积电荷量和时间之间的关系的示例。

图16A和图16B示出了用于对图像传感器输出进行后处理的系统的示例。

图17示出了用于测量光强度的示例过程的流程图。

附图仅为了说明的目的而描绘本公开的实施例。本领域中的技术人员从下面的描述中将容易认识到示出的结构和方法的可选的实施例可以被采用而不偏离本公开的原理和所推崇的益处。

在附图中，相似的部件和/或特征可以具有相同的参考标记。此外，可以通过在参考标记之后用短划线(dash)和在相似部件之间进行区分的第二标记来区分相同类型的各个部件。如果说明书中仅使用第一参考标记，则该描述适用于具有相同第一参考标记的任何一个相似部件，而与第二参考标记无关。

详细描述

在以下描述中，为了解释的目的阐述了具体细节，以便提供对某些创造性实施例的透彻理解。然而，很明显，没有这些具体细节也可以实施各种实施例。附图和描述并不旨在是限制性的。

典型的图像传感器包括光电二极管，用于通过将光子转换成电荷(例如，电子或空穴)来感测入射光。图像传感器还包括浮置节点，该浮置节点被配置为电容器，以收集积分周期期间光电二极管产生的电荷。收集的电荷可以在电容器处产生电压。电压可以被缓冲并馈送到模数转换器(ADC)，该模数转换器可以将电压转换成表示入射光的强度的数字值。

ADC生成的数字值反映了在某个周期内存储在浮置节点处的电荷量，该数字值可以与入射光的强度相关。然而，相关程度会受到不同因素的影响。首先，存储在浮置节点中的电荷量可以与入射光的强度直接相关，直到浮置节点达到饱和极限。超过饱和极限后，浮置节点可能无法接受光电二极管生成的额外电荷，而且该额外电荷可能会泄漏并且不被存储。结果，存储在浮置节点处的电荷量可能低于光电二极管实际产生的电荷量。饱和极限可以确定图像传感器的可测量光强度的上限。

各种因素也可以决定图像传感器的可测量光强度的下限。例如，在浮置节点处收集的电荷可以包括与入射光的强度无关的噪声电荷，以及由暗电流贡献的暗电荷。暗电流可以包括由于晶体缺陷(crystallographic defects)在光电二极管的p-n结处和在连接到电容器的其他半导体器件的p-n结处生成的漏电流。暗电流可以流入电容器，并添加与入射光的强度不相关的电荷。光电二极管处生成的暗电流通常小于其他半导体器件处生成的暗电流。噪声电荷的另一个来源可能是与其他电路电容耦合。例如，当ADC电路执行读取操作以确定存储在浮置节点中的电荷量时，ADC电路可能通过电容耦合将噪声电荷引入浮置节点。

除了噪声电荷，ADC还可能在确定电荷量时引入测量误差。测量误差会降低数字输出和入射光的强度之间的相关程度。测量误差的一个来源是量化误差。在量化过程中，一组离散的量级(quantity level)可以用来表示一组连续的电荷量，每个量级表示预定的电荷量。ADC可以将输入电荷量与量级进行比较，确定最接近输入量的量级，并(例如，以表示量级的数字代码的形式)输出所确定的量级。当由量级表示的电荷量与映射到量级的输入电荷量之间不匹配时，可能会出现量化误差。可以用较小的量化步长(quantization stepsize)(例如，通过减小两个相邻量级之间的电荷量差异)来减小量化误差。测量误差的其他来源也可以包括，例如，设备噪声(例如，ADC电路的噪声)和比较器的失调(offset)，它们增加了电荷量测量的不确定性。噪声电荷、暗电荷以及ADC测量误差可以定义图像传感器的可测量光强度的下限，而饱和极限可以确定图像传感器的可测量光强度的上限。上限和下限之间的比率定义了动态范围，该动态范围可以决定图像传感器的操作光强度的范围。

可以在许多不同的应用中发现图像传感器。作为一个示例，图像传感器被包括在数字成像设备(例如，数码相机、智能电话等)中，以提供数字成像。作为另一个示例，图像传感器可以被配置为输入设备，以控制或影响设备的操作，例如控制或影响可佩戴的虚拟现实(VR)系统和/或增强现实(AR)和/或混合现实(MR)系统中近眼显示器的显示内容。例如，图像传感器可以用于生成用户所处物理环境的物理图像数据。物理图像数据可以被提供给定位跟踪系统，该定位跟踪系统操作同步定位和映射(SLAM)算法来跟踪例如，物理环境中用户的定位、用户的定向(orientation)和/或用户的移动路径。图像传感器也可以用于生成包括用于测量物理环境中用户和对象之间距离的立体深度信息的物理图像数据。图像传感器也可以被配置为近红外(NIR)传感器。照明器可以将NIR光的图案投射到用户的眼球中。眼球的内部结构(例如，瞳孔)可以从NIR光生成反射图案。图像传感器可以捕获反射图案的图像，并将图像提供给系统以跟踪用户眼球的移动，从而确定用户的凝视点(gazepoint)。基于这个物理图像数据，VR/AR/MR系统可以生成并更新虚拟图像数据，用于经由近眼显示器向用户显示，以向用户提供交互式体验。例如，VR/AR/MR系统可以基于用户的凝视方向(这可以表示用户对对象的兴趣)、用户的定位等来更新虚拟图像数据。

可佩戴的VR/AR/MR系统可以在光强度范围非常宽的环境中操作。例如，可佩戴的VR/AR/MR系统可以在室内环境或室外环境中和/或在一天中的不同时间操作，并且可佩戴的VR/AR/MR系统的操作环境的光强度可以显著地变化。此外，可佩戴的VR/AR/MR系统还可以包括前述的NIR眼球跟踪系统，其可能需要将非常低强度的光投射到用户的眼球中，以防止损伤眼球。因此，可佩戴的VR/AR/MR系统的图像传感器可能需要具有宽的动态范围，以便能够在与不同操作环境相关联的非常宽的光强度范围中正确操作(例如，生成与入射光强度相关的输出)。可佩戴的VR/AR/MR系统的图像传感器也可能需要以足够高的速度生成图像，以允许跟踪用户的定位、定向、凝视点等。动态范围相对有限并且以相对低的速度生成图像的图像传感器可能不适合这种可佩戴的VR/AR/MR系统。

本公开涉及能够提供扩展的动态范围的像素单元。该像素单元可以包括光电二极管、电荷存储单元、被配置为在光电二极管和电荷存储单元之间的转移栅极(transfergate)的晶体管、以及处理电路。光电二极管可以在积分周期内响应于入射光而产生电荷，并将该电荷中的至少一些电荷存储为剩余电荷，直到光电二极管饱和。电荷存储单元可以是晶体管的浮置漏极、金属电容器、金属氧化物半导体(MOS)电容器或其任意组合。电荷存储单元可以存储溢出电荷以产生第一电压，溢出电荷是当光电二极管饱和并且不能存储额外的电荷时从光电二极管转移的电荷。电荷存储单元可以包括浮置漏极节点。

处理电路可以通过执行多种测量模式来测量光电二极管在积分周期内接收的入射光的强度。在第一测量模式中，处理电路可以通过将第一电压与第一斜坡阈值电压进行比较以生成第一判定(decision)来执行量化过程。当第一判定指示第一电压越过(cross)第一斜坡阈值电压时，可以从计数器捕获第一计数值并将其存储在存储器中。第一计数值可以表示第一斜坡阈值电压越过第一电压所花费的时间的测量值，其也可以表示量化存储在电荷存储单元中的溢出电荷的结果。溢出电荷的量可以与入射光的强度成比例。对于本公开的其余部分，第一测量模式可以被称为“FD ADC”操作。

对于第二测量模式，处理电路可以将剩余电荷从光电二极管转移到电荷存储单元，以产生第二电压。在第二测量模式中，处理电路可以通过将第二电压与第二斜坡阈值电压进行比较以产生第二判定来执行另一量化过程。当第二判定指示第一越过第二斜坡参考电压时，可以从计数器捕获第二计数值并将其存储在存储器中。第二计数值可以表示第二斜坡阈值电压越过第二电压所花费的时间的测量值，其也表示量化存储在电荷存储单元中的剩余电荷的结果。剩余电荷的量可以与入射光的强度成比例。在一些示例中，为了增加电荷-电压(charge-to-voltage)增益(这可以减小量化误差)，当电荷存储单元存储剩余电荷时，电荷存储单元的电容可以被减小。对于本公开的其余部分，第二测量模式可以被称为“PD ADC”操作。

在一些实施例中，处理电路还可以执行第三测量模式。在第三测量模式中，处理电路可以将第一电压与表示电荷存储单元的饱和极限的静态阈值电压进行比较，以产生第三判定。当第三判定指示电荷存储单元达到或超过饱和极限时，可以从计数器捕获第三计数值并将其存储在存储器中。第三计数值可以表示电荷存储单元变得饱和所花费的时间的测量值，并且持续时间可以与入射光的强度成反比。对于本公开的其余部分，第三测量模式可以称为饱和时间(TTS)测量操作。在一些示例中，第三测量模式可以在第一测量模式之前执行。

不同的测量模式可以针对不同的光强度范围，并且处理电路可以基于入射光属于哪个光强度范围，从存储器输出第一计数值、第二计数值或第三计数值之一来表示入射光的强度。第一测量模式可以针对中等光强度范围，对于该范围，光电二极管预期将达到满容量并饱和。第二测量模式可以针对低光强度范围，对于该范围，光电二极管预期不会饱和。第三测量模式可以针对高光强度范围，对于该范围，电荷存储单元饱和。基于入射光的强度范围，处理电路可以从存储器中选择第一计数值、第二计数值或第三计数值之一来表示入射光的强度。

上述多模式测量操作可以扩展像素单元的光强度测量的动态范围。具体地，TTS测量操作允许测量超过使电荷存储单元饱和的强度水平的高光强度，这可以扩展动态范围的上限。此外，PD ADC操作测量低光强度下光电二极管中所存储的剩余电荷。由于光电二极管通常接收非常少的暗电流，因此相对于由入射光导致的真实信号，由暗电流导致的暗电荷的大小可以保持很小，这可以降低可检测到的入射光强度并降低动态范围的下限。

虽然多模式测量操作可以扩展像素单元的动态范围，但是来自每个模式的测量操作的图像传感器的原始输出(例如，计数值)可以相对于计数值所表示的光强度具有不同的关系。例如，来自TTS模式的计数值表示饱和时间，该饱和时间通常与入射光强度成反比或者至少相对于入射光强度是非线性的，而来自FD ADC和PD ADC操作的计数值度量电荷量，并且通常相对于入射光强度是线性的。此外，来自FD ADC操作和PD ADC操作的计数值可以相对于入射光强度具有不同的线性关系。这可能是由于例如，FD ADC操作测量溢出电荷，但不是测量积分周期内光电二极管产生的全部电荷(包括剩余电荷)，而PD ADC操作测量剩余电荷，如果光电二极管未饱和，则剩余电荷可以是积分周期内光电二极管产生的全部电荷。此外，如上所述，相对于PD ADC操作，用于PD ADC操作的电荷存储单元的电容可以被减小，以增加电荷-电压转换率并减小量化误差。因为FD ADC操作和PD ADC操作都基于量化在电荷存储单元处的电压来测量电荷，所以对于FD ADC操作和PD ADC操作，电荷存储单元的不同电容会导致在电荷(其反映光强度)与计数值之间的不同线性关系。

不同模式的操作之间计数值和光强度之间的不同关系会给使用计数值来确定入射光强度的应用带来问题。该应用通常只接收计数值，而不接收关于计数值属于哪种操作模式(或哪种光强度范围)的其他指示，并且可能依赖于相对于整个动态范围内的光强度具有均匀关系的计数值。此外，依赖于图像特征提取的一些应用(例如SLAM)可能依赖于相对于光强度具有均匀关系的计数值，来确定相邻像素的计数值之间的差异，并基于该差异提取图像特征。在没有额外的后处理的情况下，这种应用可能无法利用从上述多模式测量操作输出的计数值来正确地工作。

本公开提出了能够解决至少一些上面的问题的几种技术。在一些示例中，一种装置包括图像传感器和后处理器。图像传感器可以包括光电二极管，该光电二极管被配置为在积分周期内响应于入射光而产生电荷，并且累积该电荷的至少一部分作为剩余电荷，直到光电二极管饱和。图像传感器还可以包括电荷存储单元，该电荷存储单元被配置为累积其余的电荷作为溢出电荷，直到电荷存储器件饱和。图像传感器还可以包括量化器，用于量化剩余电荷或溢出电荷，以生成表示积分周期内入射光的强度的原始输出。量化器可以生成第一原始输出和第二原始输出，第一原始输出用于基于第一关系表示入射光的第一强度，第二原始输出用于基于第二关系表示入射光的第二强度。第一原始输出可以度量例如在积分周期结束之前电荷存储单元被溢出电荷所饱和时的饱和时间，其中饱和时间基于第一关系与第一强度相关。第二原始输出可以度量在积分周期内累积的电荷量(例如，由电荷存储单元累积的溢出电荷的量、由光电二极管累积的剩余电荷的量等)，其中电荷量基于第二关系与第二强度相关。

后处理器可以基于第一原始输出并基于第一关系生成第一后处理输出，使得第一后处理输出基于第三关系与第一强度线性相关。后处理器还可以基于第二原始输出并基于第二关系生成第二后处理输出，使得第二后处理输出基于第三关系与第二强度线性相关。

具体地，第三关系可以将后处理输出与积分内光电二极管产生的电荷的估计量线性相关。为了生成第一后处理输出，后处理器可以基于由来自图像传感器的第一原始输出表示的饱和时间来确定电荷存储单元对溢出电荷的累积速率，然后基于溢出电荷的累积速率和积分周期来确定光电二极管在积分周期内产生的电荷的估计量。然后可以基于电荷的估计量来确定第一后处理输出。此外，在第二原始输出表示由电荷存储单元在积分周期内累积的溢出电荷的测量值的情况下，后处理器可以通过将第二原始输出与光电二极管的电荷存储容量相结合来确定由光电二极管在积分周期内产生的电荷的估计量。后处理器还可以基于将由电荷存储单元和光电二极管在积分周期内累积的暗电荷的估计量相加来确定电荷的估计量。此外，在图像传感器减小用于读出和量化剩余电荷的电荷存储单元的电荷存储容量并增加用于读出和量化溢出电荷的电荷存储单元的电荷存储容量的情况下，基于溢出电荷的测量值的原始输出可以被缩放以考虑不同的电荷存储容量。

在一些示例中，后处理器可以包括硬件电路，例如数字信号处理器、通用中央处理单元(CPU)等，该硬件电路可以执行软件指令以基于上述技术生成第一后处理输出和第二后处理输出。在一些示例中，后处理器可以包括将不同的原始输出映射到不同的后处理输出的一个或更多个查找表(LUT)，并且后处理器可以基于查找表中的映射来提供第一和第二后处理输出。例如，当量化器采用非均匀量化过程来生成第一和第二原始输出，并且不存在将第一关系和第二关系映射到第三关系的闭式解(close form solution)时，可以使用查找表。

本公开的示例可以包括人工现实系统或结合人工现实系统来被实现。人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(mixed reality，MR)、混杂现实(hybrid reality)或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与所捕获的(例如，真实世界的)内容组合地生成的内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合，它们中的任何一个都可以在单个通道或多个通道(例如向观看者产生三维效果的立体视频)中呈现。此外，在一些实施例中，人工现实还可以与应用、产品、附件、服务或其某种组合相关联，这些应用、产品、附件、服务或其某种组合用于例如在人工现实中创建内容和/或在人工现实中以其他方式被使用(例如在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主计算机系统的头戴式显示器(HMD)、独立的HMD、移动设备或计算系统、或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台。

图1A是近眼显示器100的实施例的示意图。近眼显示器100向用户呈现媒体。由近眼显示器100呈现的媒体的示例包括一个或更多个图像、视频和/或音频。在一些实施例中，音频经由外部设备(例如，扬声器和/或头戴式耳机(headphone))呈现，该外部设备从近眼显示器100、控制台或两者接收音频信息，并基于音频信息来呈现音频数据。近眼显示器100通常被配置成作为虚拟现实(VR)显示器进行操作。在一些实施例中，近眼显示器100被修改为作为增强现实(AR)显示器和/或混合现实(MR)显示器来进行操作。

近眼显示器100包括框架105和显示器110。框架105耦合到一个或更多个光学元件。显示器110被配置成让用户看到由近眼显示器100呈现的内容。在一些实施例中，显示器110包括波导显示组件，用于将来自一个或更多个图像的光导向用户的眼睛。

近眼显示器100还包括图像传感器120a、120b、120c和120d。图像传感器120a、120b、120c和120d中的每一个可以包括像素阵列，该像素阵列被配置为生成表示沿着不同方向的不同视场的图像数据。例如，传感器120a和120b可以被配置成提供表示沿着Z轴朝向方向A的两个视场的图像数据，而传感器120c可以被配置成提供表示沿着X轴朝向方向B的视场的图像数据，并且传感器120d可以被配置成提供表示沿着X轴朝向方向C的视场的图像数据。

在一些实施例中，传感器120a-120d可以被配置为输入设备，以控制或影响近眼显示器100的显示内容，从而向佩戴近眼显示器100的用户提供交互式VR/AR/MR体验。例如，传感器120a-120d可以生成用户所处物理环境的物理图像数据。物理图像数据可以被提供给定位跟踪系统，以跟踪用户在物理环境中的定位和/或移动路径。然后，系统可以基于例如用户的定位和定向来更新提供给显示器110的图像数据，以提供交互式体验。在一些实施例中，当用户在物理环境内移动时，定位跟踪系统可以运行SLAM算法来跟踪在物理环境中且在用户的视场内的一组对象。定位跟踪系统可以基于该组对象来构建和更新物理环境的地图(map)，并且跟踪用户在地图内的定位。通过提供对应于多个视场的图像数据，传感器120a-120d可以向定位跟踪系统提供物理环境的更全面的视图，这可以导致更多的对象被包括在地图的构建和更新中。利用这种布置，可以提高跟踪用户在物理环境内的定位的精确度和鲁棒性。

在一些实施例中，近眼显示器100还可以包括一个或更多个有源照明器130，以将光投射到物理环境中。投射的光可以与不同的频谱(例如，可见光、红外光、紫外光等)相关联，并且可以用于各种目的。例如，照明器130可以在黑暗环境中(或者在具有低强度的红外光、紫外光等的环境中)投射光，以帮助传感器120a-120d捕获黑暗环境内不同对象的图像，从而例如实现对用户进行定位跟踪。照明器130可以将某些标记(marker)投射到环境内的对象上，以帮助定位跟踪系统识别对象用于地图构建/更新。

在一些实施例中，照明器130还可以实现立体成像。例如，传感器120a或120b中的一个或更多个可以包括用于可见光感测的第一像素阵列和用于红外(IR)光感测的第二像素阵列。第一像素阵列可以覆盖有彩色滤光器(filter)(例如，Bayer滤光器)，第一像素阵列的每个像素被配置成测量与特定颜色(例如，红色、绿色或蓝色之一)相关联的光的强度。第二像素阵列(用于IR光感测)也可以覆盖有仅允许IR光通过的滤光器，第二像素阵列的每个像素被配置成测量IR光的强度。像素阵列可以生成对象的RGB图像和IR图像，其中IR图像的每个像素被映射到RGB图像的每个像素。照明器130可以将一组IR标记投射到对象上，该对象的图像可以被IR像素阵列捕获。基于图像中所示的对象的IR标记分布，系统可以估计对象的不同部分离IR像素阵列的距离，并基于该距离生成对象的立体图像。基于对象的立体图像，系统可以确定例如，对象相对于用户的相对位置，并且可以基于相对位置信息来更新提供给显示器100的图像数据，以提供交互式体验。

如上面所讨论的，近眼显示器100可以在与非常宽的光强度范围相关联的环境中操作。例如，近眼显示器100可以在室内环境或室外环境中和/或在一天中的不同时间操作。近眼显示器100也可以在开启或不开启有源照明器130的情况下操作。结果，图像传感器120a-120d可能需要具有宽的动态范围，以便能够在与近眼显示器100的不同操作环境相关联的非常宽的光强度范围上正确操作(例如，生成与入射光的强度相关的输出)。

图1B是近眼显示器100的另一个实施例的示意图。图1B示出了近眼显示器100的面向佩戴近眼显示器100的用户的眼球135的一侧。如图1B所示，近眼显示器100还可以包括多个照明器140a、140b、140c、140d、140e和140f。近眼显示器100还包括多个图像传感器150a和150b。照明器140a、140b和140c可以朝向方向D(与图1A的方向A相反)发射特定频率范围(例如NIR)的光。发射的光可以与某种图案相关联，并且可以被用户的左眼球反射。传感器150a可以包括像素阵列，以接收反射的光并生成反射图案的图像。类似地，照明器140d、140e和140f可以发射携带图案的NIR光。NIR光可以被用户的右眼球反射，并且可以被传感器150b接收。传感器150b还可以包括像素阵列，以生成反射图案的图像。基于来自传感器150a和150b的反射图案的图像，系统可以确定用户的凝视点，并基于所确定的凝视点来更新提供给显示器100的图像数据，以向用户提供交互式体验。

如上面所讨论的，为了避免损害用户的眼球，照明器140a、140b、140c、140d、140e和140f通常被配置成输出非常低强度的光。在图像传感器150a和150b包括与图1A的图像传感器120a-120d相同的传感器设备的情况下，当入射光的强度非常低时，图像传感器120a-120d可能需要能够生成与入射光的强度相关的输出，这可能进一步增加图像传感器的动态范围要求。

此外，图像传感器120a-120d可能需要能够以高速度生成输出来跟踪眼球的运动。例如，用户的眼球可以进行非常快速的运动(例如，眼跳运动(saccade movement))，其中可以从一个眼球位置快速跳跃到另一个眼球位置。为了跟踪用户眼球的快速运动，图像传感器120a-120d需要以高速度生成眼球的图像。例如，图像传感器生成图像帧的速率(帧速率)至少需要匹配眼球的运动速度。高的帧速率要求生成图像帧所涉及的所有像素单元的总曝光时间要短，并且要求将传感器输出转换成用于图像生成的数字值的速度要快。此外，如上面所讨论的，图像传感器也需要能够在低光强度的环境下操作。

图2是图1所示的近眼显示器100的横截面200的实施例。显示器110包括至少一个波导显示组件210。出射光瞳(exit pupil)230是当用户佩戴近眼显示器100时，用户的单个眼球220在视窗(eyebox)区域中的定位。为了说明的目的，图2示出了与眼球220和单个波导显示组件210相关联的横截面200，但是第二波导显示器用于用户的第二只眼睛。

波导显示组件210被配置成将图像光导向位于出射光瞳230处的视窗，并导向眼球220。波导显示组件210可以由具有一个或更多个折射率的一种或更多种材料(例如，塑料、玻璃等)组成。在一些实施例中，近眼显示器100包括在波导显示组件210和眼球220之间的一个或更多个光学元件。

在一些实施例中，波导显示组件210包括一个或更多个波导显示器的堆叠，包括但不限于堆叠式波导显示器、变焦波导显示器等。堆叠式波导显示器是通过堆叠波导显示器来创建的多色显示器(例如，红-绿-蓝(RGB)显示器)，波导显示器的相应单色源具有不同的颜色。堆叠式波导显示器也是可以被投射在多个平面上的多色显示器(例如，多平面彩色显示器)。在一些配置中，堆叠式波导显示器是可以被投射在多个平面上的单色显示器(例如，多平面单色显示器)。变焦波导显示器是可以调节从波导显示器发射的图像光的焦点位置的显示器。在替代实施例中，波导显示组件210可以包括堆叠式波导显示器和变焦波导显示器。

图3示出了波导显示器300的实施例的等轴视图。在一些实施例中，波导显示器300是近眼显示器100的部件(例如，波导显示组件210)。在一些实施例中，波导显示器300是将图像光导向特定定位的某个其他近眼显示器或其他系统的一部分。

波导显示器300包括源组件310、输出波导320和控制器330。为了说明的目的，图3示出了与单个眼球220相关联的波导显示器300，但是在一些实施例中，与波导显示器300分离或部分分离的另一个波导显示器向用户的另一只眼睛提供图像光。

源组件310生成图像光355。源组件310生成图像光355并将其输出到位于输出波导320的第一侧面370-1上的耦合元件350。输出波导320是向用户的眼球220输出扩展的图像光340的光波导。输出波导320在位于第一侧面370-1上的一个或更多个耦合元件350处接收图像光355，并将接收到的输入图像光355引导至导向元件360。在一些实施例中，耦合元件350将来自源组件310的图像光355耦合到输出波导320中。耦合元件350可以是，例如，衍射光栅、全息光栅、一个或更多个级联反射器、一个或更多个棱柱面元件(prismatic surfaceelement)、和/或全息反射器阵列。

导向元件360将接收到的输入图像光355重定向到去耦元件(decouplingelement)365，使得接收到的输入图像光355经由去耦元件365从输出波导320去耦出去。导向元件360是输出波导320的第一侧面370-1的一部分，或固定到输出波导320的第一侧面370-1。去耦元件365是输出波导320的第二侧面370-2的一部分，或固定到输出波导320的第二侧面370-2，使得导向元件360与去耦元件365相对。导向元件360和/或去耦元件365可以是例如，衍射光栅、全息光栅、一个或更多个级联反射器、一个或更多个棱柱面元件、和/或全息反射器阵列。

第二侧面370-2表示沿x维度和y维度的平面。输出波导320可以由有助于图像光355的全内反射的一种或更多种材料组成。输出波导320可以由例如硅、塑料、玻璃和/或聚合物组成。输出波导320具有相对较小的形状因子。例如，输出波导320可以沿x维度宽约50mm，沿y维度长约30mm，以及沿z维度厚约0.5mm-1mm。

控制器330控制源组件310的扫描操作。控制器330确定源组件310的扫描指令。在一些实施例中，输出波导320将扩展的图像光340以大视场(FOV)输出到用户的眼球220。例如，扩展的图像光340以(x和y中的)60度和/或更大和/或150度和/或更小的对角FOV被提供给用户的眼球220。输出波导320被配置成提供视窗，该视窗长度为20mm或更大和/或等于或小于50mm；和/或宽度为10mm或更大和/或等于或小于50mm。

此外，控制器330还基于由图像传感器370提供的图像数据来控制由源组件310生成的图像光355。图像传感器370可以位于第一侧面370-1上，并且可以包括例如图1A的图像传感器120a-120d，以生成用户前方的物理环境的图像数据(例如，用于定位确定)。图像传感器370也可以位于第二侧面370-2上，并且可以包括图1B的图像传感器150a和150b，以生成用户的眼球220的图像数据(例如，用于凝视点确定)。图像传感器370可以与不位于波导显示器300内的远程控制台通过接口连接。图像传感器370可以向远程控制台提供图像数据，远程控制台可以确定例如用户的定位、用户的凝视点等，并确定要向用户显示的图像内容。远程控制台可以向控制器330传输与所确定的内容相关的指令。基于这些指令，控制器330可以控制源组件310生成并输出图像光355。

图4示出了波导显示器300的横截面400的实施例。横截面400包括源组件310、输出波导320和图像传感器370。在图4的示例中，图像传感器370可以包括位于第一侧面370-1上的一组像素单元402，以生成用户前方的物理环境的图像。在一些实施例中，可以在该组像素单元402和物理环境之间插入机械快门404，以控制该组像素单元402的曝光。在一些实施例中，如下面将讨论的，机械快门404可以由电子快门(electronic shutter gate)代替。每个像素单元402可以对应于图像的一个像素。尽管图4中未示出，但应当理解，每个像素单元402也可以覆盖有滤光器，以控制要由像素单元感测的光的频率范围。

在从远程控制台接收到指令之后，机械快门404可以在积分周期中打开并曝光该组像素单元402。在积分周期期间，图像传感器370可以获得入射到该组像素单元402上的光样本，并且基于由该组像素单元402检测到的入射光样本的强度分布来生成图像数据。图像传感器370然后可以向远程控制台提供图像数据，该远程控制台确定显示内容，并向控制器330提供显示内容信息。控制器330然后可以基于显示内容信息来确定图像光355。

源组件310根据来自控制器330的指令生成图像光355。源组件310包括源410和光学系统415。源410是生成相干光或部分相干光的光源。源410可以是，例如，激光二极管、垂直腔面发射激光器和/或发光二极管。

光学系统415包括一个或更多个光学部件，光学部件调节来自源410的光。调节来自源410的光可以包括例如，根据来自控制器330的指令来扩展、准直和/或调整定向。一个或更多个光学部件可以包括一个或更多个透镜、液体透镜、反射镜、光圈和/或光栅。在一些实施例中，光学系统415包括具有多个电极的液体透镜，该液体透镜允许用阈值的扫描角度来扫描光束，以将光束移到液体透镜外部的区域。从光学系统415(还有源组件310)发射的光被称为图像光355。

输出波导320接收图像光355。耦合元件350将来自源组件310的图像光355耦合到输出波导320中。在耦合元件350是衍射光栅的实施例中，衍射光栅的栅距被选择成使得在输出波导320中发生全内反射，并且图像光355在输出波导320中(例如，通过全内反射)朝向去耦元件365进行内部传播。

导向元件360将图像光355重定向到去耦元件365，用于从输出波导320去耦。在导向元件360是衍射光栅的实施例中，衍射光栅的栅距被选择成使得入射图像光355以相对于去耦元件365的表面倾斜的角度离开输出波导320。

在一些实施例中，导向元件360和/或去耦元件365在结构上类似。离开输出波导320的扩展的图像光340沿着一个或更多个维度被扩展(例如，可以沿着x维度被拉长)。在一些实施例中，波导显示器300包括多个源组件310和多个输出波导320。每个源组件310发射对应于原色(例如，红色、绿色或蓝色)的特定波段的单色图像光。每个输出波导320可以以一定的间隔距离堆叠在一起，以输出多色的扩展的图像光340。

图5是包括近眼显示器100的系统500的实施例的框图。系统500包括近眼显示器100、成像设备535、输入/输出接口540以及图像传感器120a-120d和150a-150b，它们各自耦合到控制电路510。系统500可以被配置为头戴式设备、可佩戴设备等。

近眼显示器100是向用户呈现媒体的显示器。由近眼显示器100呈现的媒体示例包括一个或更多个图像、视频和/或音频。在一些实施例中，音频经由外部设备(例如，扬声器和/或头戴式耳机)呈现，该外部设备从近眼显示器100和/或控制电路510接收音频信息，并基于音频信息来向用户呈现音频数据。在一些实施例中，近眼显示器100也可以充当AR眼镜。在一些实施例中，近眼显示器100利用计算机生成的元素(例如，图像、视频、声音等)来增强物理、真实世界环境的视图。

近眼显示器100包括波导显示组件210、一个或更多个位置传感器525和/或惯性测量单元(IMU)530。波导显示组件210包括源组件310、输出波导320和控制器330。

IMU 530是一种电子设备，其基于从一个或更多个位置传感器525接收的测量信号生成快速校准数据，该快速校准数据指示相对于近眼显示器100的初始位置的近眼显示器100的估计位置。

成像设备535可以生成用于各种应用的图像数据。例如，成像设备535可以根据从控制电路510接收的校准参数来生成图像数据以提供慢速校准数据。成像设备535可以包括例如图1A的图像传感器120a-120d，用于生成用户所处的物理环境的图像数据，用于执行对用户的定位跟踪。成像设备535还可以包括例如，图1B的图像传感器150a-150b，用于生成用于确定用户的凝视点的图像数据，以识别用户感兴趣的对象。

输入/输出接口540是允许用户向控制电路510发送动作请求的设备。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束应用，或者是在应用内执行特定动作。

控制电路510根据从成像设备535、近眼显示器100和输入/输出接口540中的一个或更多个接收的信息来向近眼显示器100提供媒体以呈现给用户。在一些示例中，控制电路510可以被容纳在被配置为头戴式设备的系统500内。在一些示例中，控制电路510可以是与系统500的其他部件通信耦合的独立控制台设备。在图5所示的示例中，控制电路510包括应用储存器545、跟踪模块550和引擎555。

应用储存器545存储用于由控制电路510执行的一个或更多个应用。应用是一组指令，该组指令当由处理器执行时生成用于显现给用户的内容。应用的示例包括：游戏应用、会议应用、视频回放应用或其他合适的应用。

跟踪模块550使用一个或更多个校准参数来校准系统500，并且可以调整一个或更多个校准参数以减小近眼显示器100的位置确定中的误差。

跟踪模块550使用来自成像设备535的慢速校准信息来跟踪近眼显示器100的移动。跟踪模块550还使用来自快速校准信息的位置信息来确定近眼显示器100的参考点的位置。

引擎555执行系统500内的应用，并从跟踪模块550接收近眼显示器100的位置信息、加速度信息、速度信息和/或预测的未来位置。在一些实施例中，引擎555接收的信息可以用于产生信号(例如，显示指令)给波导显示组件210，该信号确定呈现给用户的内容类型。例如，为了提供交互式体验，引擎555可以基于(例如，由跟踪模块550提供的)用户的定位、或(例如，基于由成像设备535提供的图像数据的)用户的凝视点、(例如，基于由成像设备535提供的图像数据的)对象与用户之间的距离来确定要呈现给用户的内容。

图6示出了像素单元600的示例。像素单元600可以是像素阵列的一部分，并且可以生成对应于图像的像素的数字强度数据。例如，像素单元600可以是图4的像素单元402的一部分。如图6所示，像素单元600可以包括光电二极管602以及处理电路，该处理电路包括快门开关604、转移栅极606、复位开关607、电荷存储单元608、缓冲器609和像素ADC 610。

在一些实施例中，光电二极管602可以包括例如P-N二极管、P-I-N二极管、钉扎二极管(pinned diode)等。光电二极管602可以在接收光时产生电荷，并且产生的电荷量可以与光的强度成比例。光电二极管602还可以存储产生的电荷中的一些电荷，直到光电二极管饱和，光电二极管饱和发生在达到光电二极管的阱容量时。此外，快门开关604、转移栅极606和复位开关607中的每一个都可以包括晶体管。例如，晶体管可以包括金属氧化物半导体场效应晶体管(MOSFET)、双极结型晶体管(BJT)等。快门开关604可以充当电子快门(代替图4的机械快门404或与其结合)，以控制像素单元600的积分周期。在积分周期期间，快门开关604可以由曝光使能信号611禁用(断开)，这允许光电二极管602存储产生的电荷，并且当光电二极管602饱和时，允许溢出电荷流向电荷存储单元608。在积分周期结束时，快门开关604可以被启用，以操纵光电二极管602所产生的电荷进入光电二极管电流吸收器(photodiode current sink)617。此外，复位开关607也可以由复位信号618禁用(断开)，这允许电荷存储单元608累积电荷。电荷存储单元608可以是转移栅极606的浮置端子处的器件电容器、金属电容器、MOS电容器或其任意组合。电荷存储单元608可以用于存储一定量的电荷，这些电荷可以由像素ADC 610进行测量，以提供表示入射光强度的数字输出。在测量模式完成之后，复位开关607可以被启用以将存储在电荷存储单元608处的电荷清空到电荷吸收器620，以使电荷存储单元608可用于下一次测量。

现在参考图7，图7示出了对于不同的光强度范围，累积的电荷量相对于时间的关系。在特定时间点累积的电荷总量可以反映积分周期期间入射到光电二极管602上的光的强度。该量可以在积分周期结束时被测量。对于限定入射光强度的低光强度范围706、中等光强度范围708和高光强度范围710的阈值电荷量，可以定义阈值702和阈值704。例如，如果总累积电荷低于阈值702(例如，Q1)，则入射光强度在低光强度范围706内。如果总累积电荷在阈值704和阈值702之间(例如，Q2)，则入射光强度在中等光强度范围708内。如果总累积电荷高于阈值704，则入射光强度在中等光强度范围710内。如果光电二极管在整个低光强度范围706内不饱和，并且测量电容器在整个中等光强度范围708内不饱和，则对于低光强度范围和中等光强度范围，累积电荷的量可以与入射光的强度相关。

低光强度范围706和中等光强度范围708以及阈值702和704的定义可以基于光电二极管602和电荷存储单元608的存储容量。例如，低光强度范围706可以被定义，使得在积分周期结束时，存储在光电二极管602中的电荷总量低于或等于光电二极管的存储容量，并且阈值702可以基于光电二极管602的存储容量。如下所述，阈值702可以基于光电二极管602的缩放的存储容量来设置，以考虑光电二极管的潜在容量变化。这样的布置可以确保，当为了强度确定而测量光电二极管602中存储的电荷量时，光电二极管不会饱和，并且所测量到的量与入射光强度相关。此外，中等光强度范围708可以被定义，使得在积分周期结束时，存储在电荷存储单元608中的电荷总量低于或等于测量电容器的存储容量，并且阈值704可以基于电荷存储单元608的存储容量。典型地，阈值704也被设置为基于电荷存储单元608的缩放的存储容量，以确保当为了强度确定而测量存储在电荷存储单元608中的电荷量时，测量电容器不会饱和，并且所测量到的量也与入射光强度相关。如下所述，阈值702和704可以用于检测光电二极管602和电荷存储单元608是否饱和，这可以确定入射光的强度范围和要输出的测量结果。

此外，在入射光强度在高光强度范围710内的情况下，在积分周期结束之前，电荷存储单元608处累积的总溢出电荷可能超过阈值704。随着额外的电荷被累积，电荷存储单元608可能在积分周期结束之前达到满容量，而且可能发生电荷泄漏。为了避免由于电荷存储单元608达到满容量而引起的测量误差，可以执行饱和时间测量，以测量在电荷存储单元608处累积的总溢出电荷达到阈值704所花费的持续时间。可以基于阈值704与饱和时间之间的比率来确定电荷存储单元608处的电荷累积速率，并且可以根据电荷累积速率通过外推(extrapolation)来确定在积分周期结束时(如果电容器具有无限的容量)在电荷存储单元608处可能已经累积的假设电荷量(Q3)。假设电荷量(Q3)可以对在高光强度范围710内的入射光强度提供合理准确的表示。

返回参考图6，如上所述，转移栅极606可以由测量控制信号612来控制，以控制剩余电荷电容器603和电荷存储单元608处对于不同光强度范围的电荷累积。为了测量高光强度范围710和中等光强度范围708，可以控制转移栅极606在部分导通状态下操作。例如，转移栅极606的栅极电压可以基于光电二极管602处产生的、对应于光电二极管的电荷存储容量的电压来设置。利用这种布置，只有溢出电荷(例如，在光电二极管饱和后由光电二极管产生的电荷)将通过转移栅极606转移到达电荷存储单元608，以测量饱和时间(对于高光强度范围710)和存储在电荷存储单元608中的电荷量(对于中等光强度范围708)。此外，为了测量低光强度范围706，转移栅极606可以被控制在完全导通状态，以将存储在光电二极管602中的电荷转移到电荷存储单元608，从而测量存储在光电二极管602中的电荷量。

在电荷存储单元608处累积的电荷可以由缓冲器609感测，以在模拟输出节点614处生成模拟电压的副本(但是具有更大的驱动强度)。像素ADC 610可以将模拟输出节点614处的模拟电压转换成一组数字数据(例如，包括逻辑1和0)。在积分周期结束之前(例如，对于中等光强度范围708和高光强度范围710)，或者在积分周期之后(对于低光强度范围706)，电荷存储单元608处产生的模拟电压可以被采样，并且数字输出可以被生成。数字数据可以通过一组像素输出总线616传输到例如图5的控制电路510，以表示积分周期期间的光强度。

在一些示例中，电荷存储单元608的电容可以是可配置的，以提高对于低光强度范围的光强度确定的准确度。例如，当电荷存储单元608被用于测量存储在剩余电荷电容器603处的剩余电荷时，可以减小电荷存储单元608的电容。电荷存储单元608电容的减小可以增加电荷存储单元608处的电荷-电压转换比，使得对于一定量的存储电荷可以产生更高的电压。较高的电荷-电压转换比可以降低由像素ADC 610引入的测量误差(例如，量化误差、比较器的失调等)对低光强度确定的准确度的影响。测量误差可以对像素ADC 610可以检测和/或区分的最小电压差设置限制。通过增加电荷-电压转换比，对应于最小电压差的电荷量可以被减少，这又降低了像素单元600的可测量光强度的下限，并扩展了动态范围。另一方面，对于中等光强度，可以增加电荷存储单元608的电容，以确保电荷存储单元608具有足够的容量来存储多达例如由阈值704定义的量的电荷量。

图8示出了像素ADC 610的内部部件的示例。如图8所示，像素ADC610包括阈值生成器802、比较器804和数字输出生成器806。数字输出生成器806还可以包括计数器808和存储器810。计数器808可以基于自由运行时钟信号812生成一组计数值，而存储器810可以存储由计数器808生成的计数值中的至少一些计数值(例如，最新计数值)。在一些实施例中，存储器810可以是计数器808的一部分。存储器810可以是例如如下所述的基于局部像素值存储计数器值的锁存电路。阈值生成器802包括数模转换器(DAC)813，DAC 813可以接受一组数字值并输出表示该组数字值的参考电压(VREF)815。如下文更详细讨论的，阈值生成器802可以接受静态数字值以生成固定阈值，或者接受计数器808的输出814以生成斜坡阈值。

尽管图8示出了DAC 813(以及阈值生成器802)是像素ADC 610的一部分，但应当理解，DAC 813(以及阈值生成器802)可以与来自不同像素单元的多个数字输出生成器806耦合。此外，数字输出生成器806的至少一部分(例如计数器808)可以在多个多像素单元之间共享，以生成数字值。

比较器804可以将模拟输出节点614处产生的模拟电压与阈值生成器802提供的阈值进行比较，并基于比较结果生成判定816。例如，如果模拟输出节点614处的模拟电压等于或超过阈值生成器802生成的阈值，则比较器804可以针对判定816生成逻辑1。如果模拟电压下降到低于阈值，则比较器804还可以针对判定816生成逻辑0。判定816可以控制计数器808的计数操作和/或存储在存储器810中的计数值，以对模拟输出节点614处的斜坡模拟电压执行前述饱和时间测量，以及对模拟输出节点614处的模拟电压执行量化处理，用于入射光强度确定。

图9A示出了像素ADC 610的饱和时间测量的示例。为了执行饱和时间测量，阈值生成器802可以控制DAC 813生成固定VREF 815。固定VREF 815可以被设置在对应于使电荷存储单元608饱和的电荷量阈值(例如，图7的阈值704)的电压。计数器808可以在积分周期开始之后(例如，就在快门开关604被禁用之后)立即开始计数。随着模拟输出节点614处的模拟电压斜坡下降(或上升，这取决于实现方式)，时钟信号812持续切换(toggle)以更新计数器808处的计数值。模拟电压可以在某个时间点达到固定阈值，这导致比较器804处的判定816翻转(flip)。判定816的翻转可以停止计数器808的计数，并且计数器808处的计数值可以表示饱和时间。饱和时间测量的分辨率可以基于例如计数器808更新计数值的频率来定义。如下面更详细讨论的，电荷存储单元608处的电荷累积速率也可以基于持续时间来确定，并且入射光强度可以基于电荷累积速率来确定。

图9B示出了像素ADC 610量化模拟电压的示例。在测量开始之后，DAC 813可以由计数器输出714编程，以生成斜坡VREF 815，斜坡VREF 815可以根据实现方式而斜坡上升(在图9B的示例中)或斜坡下降。斜坡VREF 815的电压范围可以是在阈值704(使电荷存储单元608饱和的电荷量阈值)和阈值702(使光电二极管602饱和的电荷量阈值)之间(其可以定义中等光强度范围)。在图9B的示例中，可以用均匀的量化阶梯(quantization step)来执行量化过程，对于时钟信号812的每个时钟周期，VREF 815增加(或减少)相同的量。VREF815增加(或减少)的量对应于量化步长。当VREF 815达到模拟输出节点614处模拟电压的一个量化阶梯内时，比较器804的判定816从负到正翻转。判定816的翻转可以停止计数器808的计数，并且计数值可以对应于累积的量化阶梯总数，以在一个量化阶梯内匹配模拟电压。计数值对应于VREF 815达到模拟电压所花费的时间的测量值，并且可以是电荷存储单元608处所存储的电荷量的数字表示，以及入射光强度的数字表示。如上面所讨论的，模拟电压的量化可以发生在积分周期期间(例如，对于中等光强度范围708)和在积分周期之后(例如，对于低光强度范围706)。

如上面所讨论的，当由ADC 610输出的量级所表示(例如，由量化阶梯的总数表示)的电荷量与由ADC 610映射到量级的实际输入电荷量之间不匹配时，ADC 610会引入量化误差。可以通过使用较小的量化步长来减小量化误差。在图9B的示例中，可以基于例如减小量化操作的输入范围902(在阈值702和阈值704之间)、减小计数器808要测量的相应时间范围、增加时钟信号812的时钟频率或其任意组合，通过VREF 815在每个时钟周期增加(或减小)的量来减小量化步长。

虽然可以通过使用较小的量化步长来减小量化误差，但是面积和性能速度可能会限制量化步长可以减小的程度。例如，在时钟信号812的时钟频率被增加，同时输入范围902保持不变的情况下，表示特定范围的电荷量(和光强度)所需的量化阶梯的总数可能增加。可能需要较大数量的数据位来表示量化阶梯的增加的数量(例如，需要8位来表示255个阶梯，需要7位来表示127个阶梯等等)。较大数量的数据位可能需要将附加总线添加到像素输出总线616，而如果像素单元600用于头戴式设备或具有非常有限空间的其他可佩戴设备，这可能是不可行的。此外，使用较大数量的量化阶梯，ADC 610可能需要在找到(与一个量化阶梯)匹配的量级之前在较大数量的量化阶梯中循环，这导致处理功耗和时间的增加，以及图像数据生成速率的降低。对于一些需要高帧速率的应用(例如，跟踪眼球运动的应用)，降低的速率可能是不可接受的。

减小量化误差的一种方法是采用非均匀量化方案，其中量化阶梯在输入范围上是不均匀的。图10A示出了对于非均匀量化过程和均匀量化过程，ADC代码(量化过程的输出)与输入电荷量级之间的映射的示例。虚线示出了针对非均匀量化过程的映射，而实线示出了针对均匀量化过程的映射。对于均匀量化过程，量化步长(用Δ₁表示)对于输入电荷量的整个范围是相同的。相反，对于非均匀量化过程，量化步长根据输入电荷量而不同。例如，低输入电荷量的量化步长(用Δ_S表示)小于大输入电荷量的量化步长(用Δ_L表示)。此外，对于相同的低输入电荷量，可以使非均匀量化过程的量化步长(Δ_S)小于均匀量化过程的量化步长(Δ₁)。

采用非均匀量化方案的一个优点是可以减小用于量化低输入电荷量的量化步长，这进而减小了量化低输入电荷量的量化误差，并且可以减小可由ADC 610区分的最小输入电荷量。因此，减小的量化误差可以降低图像传感器的可测量光强度的下限，并且可以增加动态范围。此外，尽管对于高输入电荷量，量化误差增加了，但是与高输入电荷量相比，量化误差可以保持很小。因此，可以减少被引入到电荷测量的整体量化误差。另一方面，覆盖输入电荷量整个范围的量化阶梯的总数可以保持相同(或者甚至减小)，并且与增加量化阶梯的数量相关联的前述潜在问题(例如，面积增加、处理速度降低等)可以避免。

图10B示出了像素ADC 610使用非均匀量化过程量化模拟电压的示例。与图9B相比，(图9B采用均匀量化过程)，VREF 815随着每个时钟周期以非线性方式增加，最初具有较小的斜率(swallower slope)，随后具有较大的斜率(steeper slope)。斜率的差异归因于不均等(uneven)的量化步长。对于较低的计数器计数值(对应于较低输入量范围)，量化步长较小，因此VREF 815以较慢的速率增加。对于较高的计数器计数值(对应于较高输入量范围)，量化步长较大，因此VREF 815以较高的速率增加。VREF 815中不均等的量化步长可以使用不同的方案来引入。例如，如上面所讨论的，DAC 813被配置成输出对于(来自计数器808的)不同计数器计数值的电压。DAC 813可以被配置成使得对于不同的计数器计数值，两个相邻计数器计数值之间的输出电压的差(其限定量化步长)是不同的。作为另一个示例，计数器808还可以被配置成在计数器计数值中生成跳跃以生成不均等的量化步长，而不是增加或减小相同的计数步长。在一些示例中，图10B的非均匀量化过程可以用于低光强度范围706和中等光强度范围708的光强度确定。

现在参考图11，图11示出了像素单元1100的示例，像素单元1100可以是图6的像素单元600的实施例。在图11的示例中，PD可以对应于光电二极管602，晶体管M0可以对应于快门开关604，晶体管M1可以对应于转移栅极606，而晶体管M2可以对应于复位开关607。此外，COF电容器和CEXT电容器的组合可以对应于电荷存储单元608。COF电容器可以是浮置漏极节点的寄生电容器。电荷存储单元608的电容可由信号LG配置。当LG被启用(enabled)时，电荷存储单元608提供COF电容器和CEXT电容器的组合容量。当LG被禁用(disabled)时，CEXT电容器可以从并联组合断开，并且电荷存储单元608仅包括COF电容器(加上其他寄生电容)。如上面所讨论的，可以减小电荷存储单元608的电容以增加电荷-电压转换比以用于低光强度确定，并且可以增加电荷存储单元608的电容以提供用于中等光强度确定的必要容量。

像素单元1100还包括缓冲器609的示例和像素ADC 610的示例。例如，晶体管M3和M4形成源极跟随器(source follower)，该源极跟随器可以是图6的缓冲器609，以缓冲在OF节点处产生的模拟电压，该模拟电压表示存储在COF电容器(或COF和CEXT电容器)处的电荷量。此外，CC电容器、比较器1102、晶体管M5、或非门(NOR gate)1112以及存储器810可以是像素ADC 610的一部分，以生成表示OF节点处的模拟电压的数字输出。如上面所讨论的，量化可以基于由比较器1102生成的、在OF节点处产生的模拟电压与VREF之间的比较结果(VOUT)。此处，CC电容器被配置成生成VIN电压(在比较器1102的一个输入端处)，该CC电容器跟踪缓冲器609的输出，并将VIN电压提供给比较器1102以与VREF进行比较。VREF可以是用于饱和时间测量的静态电压(对于高光强度范围)或者是用于模拟电压量化的斜坡电压(对于低光强度范围和中等光强度范围)。ADC代码可以由自由运行计数器(例如，计数器808)生成，并且比较器1102生成的比较结果可以确定将被存储在存储器810中并且将作为入射光强度的数字表示被输出的ADC代码。在一些示例中，用于低光强度确定和中等光强度确定的VREF的生成可以基于如图10A和图10B中讨论的非均匀量化方案。

除了以上公开的技术，像素单元1100还包括可以进一步提高入射光强度确定的准确度的技术。例如，CC电容器和晶体管M5的组合可以用于补偿由比较器1102引入的测量误差(例如，比较器的失调)以及被引入比较器1102的其他误差信号，从而可以提高比较器1102的准确度。噪声信号可以包括例如由复位开关607引入的复位噪声电荷、由于源极跟随器阈值不匹配而在缓冲器609的输出端产生的噪声信号等。在复位阶段，当晶体管M2和M5都被启用时，反映比较器的失调以及误差信号的电荷量可以被存储在CC电容器处。在复位阶段期间，由于存储的电荷，还可能在CC电容器两端产生电压差。在测量阶段期间，CC电容器两端的电压差保持不变，并且CC电容器可以通过减去(或加上)电压差来跟踪缓冲器609的输出电压，以生成VIN。因此，可以针对测量误差和误差信号来补偿VIN电压，这提高了VIN和VREF之间比较的准确度以及随后量化的准确度。

此外，像素单元1100还包括控制器1110。控制器1110可以产生一系列控制信号，例如快门(SHUTTER)、TX、RST1、RST2等，以操作像素单元1100来执行对应于图7的三个光强度范围(例如，低光强度范围706、中等光强度范围708和高光强度范围710)的三阶段测量操作。在每个阶段，像素单元1100可以在针对相应光强度范围的测量模式中操作，并且基于比较器1102的判定输出(VOUT)来确定入射光强度是否落在相应光强度范围内。像素单元1100还包括一组寄存器，用于将一些阶段的判定输出存储为FLAG_1和FLAG_2信号。基于FLAG_1和FLAG_2信号，控制器1110可以从三个阶段之一中选择ADC代码来表示入射光强度。所选择的ADC代码可以存储在存储器810中，并且存储器810可以由或非门1116基于FLAG_1和FLAG_2信号的组合来锁定，以防止后续测量阶段在存储器810中重写所选择的ADC代码输出。在三阶段测量过程结束时，控制器1110可以检索存储在存储器810中的ADC代码，并提供ADC代码作为表示入射光强度的数字输出。

现在参考图12，图12示出了三阶段测量操作的像素单元1100的控制信号相对于时间的序列。参考图12，T0’和T0之间的时间对应于第一复位阶段。T0和T1之间的时间段对应于积分周期和时间饱和测量模式。T1和T2之间的时间段对应于测量存储在浮置漏极中的溢出电荷的量的测量模式。用于测量溢出电荷的测量模式在图12中被标记为“FD ADC”，并且可以用于测量中等光强度708。此外，T2和T3之间的时间段包括第二复位阶段，在第二复位阶段后，存储在光电二极管602中的电荷转移到浮置漏极。此外，T3和T4之间的时间段对应于测量存储在光电二极管中并转移到浮置漏极的电荷量的测量模式。用于测量存储在光电二极管中的电荷的测量模式在图12中被标记为“PD ADC”，并且可以用于测量低光强度712。在时间T4，像素单元1100可以提供表示入射光强度的数字输出，然后开始下一个三阶段测量操作。

如图12所示，在T0之前，RST1和RST2信号、LG信号和快门信号被宣称有效，而TX信号被偏置在电压V_LOW。V_LOW可以对应于光电二极管PD的电荷容量，以仅允许溢出电荷(如果有的话)从光电二极管PD经由晶体管M1流到CEXT电容器和COF电容器。利用这种布置，光电二极管PD以及CEXT电容器和COF电容器都可以复位。此外，没有电荷被添加到这些电容器，因为由光电二极管PD产生的电荷被晶体管M0转移走了。光电二极管PD两端的电压以及OF节点的电压可以设置为等于V_RESET的电压，这可以表示光电二极管PD、CEXT电容器和COF电容器不存储任何电荷的状态。此外，比较器1102也处于复位阶段，并且CC电容器可以存储反映由M2引入的复位噪声、比较器的失调、缓冲器609的阈值不匹配等的电荷。此外，VREF也可以设置为等于V_RESET的值。在一些示例中，V_RESET可以等于像素单元1100的电源电压(例如，VDD)。此外，计数器808可以处于复位状态。

在时间T0，计数器808可以从初始值(例如，零)开始计数。在T0和T1之间的时间段期间，快门信号被宣称无效，而LG信号保持有效，并且TX信号保持在V_LOW。T0和T1之间的时间段可以是积分周期。VREF可以被设置为等于V_FDSAT的值，V_FDSAT可以对应于当CEXT和COF电容器都处于满容量时OF节点的电压。V_FDSAT和V_RESET之间的差值可以对应于例如图7的阈值704。在T0和T1之间的时间段期间，可以执行饱和时间(TTS)测量，其中溢出电荷从光电二极管PD经由晶体管M1流到COF电容器和CEXT电容器，以在OF节点处产生斜坡电压。当计数器808自由运行时，可以将在OF节点处的模拟电压的缓冲和误差补偿版本(VIN)与V_FDSAT进行比较。如果存储在COF电容器和CEXT电容器处的总电荷超过阈值704(基于OF节点电压)，则比较器1102的输出可以翻转，这指示入射光在高强度范围内，并且TTS测量结果可以用于表示入射光的强度。因此，在翻转时由计数器808产生的计数值可以被存储到存储器810中。可以在时间T1对比较器1102的输出进行检查1202，并且比较器1102的翻转还导致控制器1110将寄存器1112中的FLAG_1信号宣称有效。非零的FLAG_1信号值可以使或非门1116的输出保持为低，而不管或非门的其他输入，并且可以锁定存储器并防止后续测量阶段重写计数值。另一方面，如果比较器1102在T1和T2之间的时间段期间从不翻转，这表明入射光强度低于高光强度范围，则FLAG_1信号保持为零。控制器1110在时间段T0-T1之间不更新存储在寄存器1114中的FLAG_2值，并且FLAG_2值可以保持为零。

在时间T1，计数器808可以从其初始值(例如，零)重新开始计数。在T1和T2之间的时间段期间，可以执行FD ADC操作，其中，OF节点处的模拟电压可以由ADC 610量化，以测量存储在CEXT电容器和COF电容器中的溢出电荷的量。在一些示例中，在时间段T1-T2期间，光电二极管PD可以(例如，通过机械快门404)被屏蔽而不暴露于入射光，使得存储在CEXT电容器和COF电容器中的总溢出电荷以及OF节点处的模拟电压保持恒定。第一斜坡阈值电压(在图12中被标记为“第一斜坡VREF”)可以被提供给比较器1102，以与OF节点处的模拟电压的缓冲和误差补偿版本(VIN)进行比较。在一些示例中，第一斜坡VREF可以由DAC基于来自自由运行计数器的计数值生成。如果该斜坡VREF与VIN匹配(在一个量化阶梯内)，则比较器1102的输出可以翻转，并且如果存储器没有被第一测量阶段锁定(如由FLAG_1信号的零值所指示的)，则在翻转时计数器808生成的计数值可以被存储到存储器810中。如果存储器被锁定，则计数值将不被存储到存储器810中。

在一些示例中，如图12所示，第一斜坡VREF的电压范围可以是在V_FDSAT和V_RESET之间。V_FDSAT可以定义存储在CEXT电容器和COF电容器(当它们接近饱和时)中的总溢出电荷的上限，而V_RESET可以定义存储在这些电容器中的总溢出电荷的下限(当没有溢出电荷时，因此OF节点的电压保持在V_RESET)。比较器1102在FD ADC阶段中的翻转可以指示OF节点的电压低于V_RESET，这可能意味着存储在电容器中的总溢出电荷超过下限。因此，比较器1102在FD ADC阶段中的翻转可以指示光电二极管PD饱和，因此可以指示在电容器中存储有溢出电荷，并且溢出电荷的量化结果可以表示入射光的强度。对比较器1102的输出的检查1204可以在FDADC阶段之后的时间T2进行，并且控制器1110可以基于比较器1102的翻转来将寄存器1114中的FLAG_2信号宣称有效，以锁定存储在存储器810中的计数值，这防止后续阶段在存储器810中存储另一个计数值。

在T2和T3之间的时间段开始时，RST1和RST2信号可以被再次宣称有效以进行第二复位阶段。第二复位阶段的目的是复位CEXT和COF电容器，并准备COF电容器用于存储在第三阶段测量(针对低光强度范围)中从PDCAP电容器转移的电荷。LG信号也可以被宣称无效，以将CEXT电容器与COF电容器断开连接，从而减小测量电容器的电容。如上面所讨论的，电容的减小是为了增加电荷-电压转换比，以改善低光强度确定。比较器1102也进入复位状态，在该状态下，CC电容器可以用来存储由CEXT和COF电容器的复位生成的噪声电荷。在接近时间T3时，复位完成后，RST1和RST2信号被宣称无效，而偏置TX可以增加到V_HIGH以使晶体管M1完全导通。然后，存储在光电二极管PD中的电荷可以经由M1移动COF电容器中。

在时间T3，计数器808可以从其初始值(例如，零)重新开始计数。在T3和T4之间的时间段期间，可以针对低光强度范围执行PD ADC操作。在该时段期间，快门信号被宣称有效，而TX信号被宣称无效(例如，设置为零)或设置回V_LOW，以防止存储在COF电容器处的电荷经由M1泄漏。第二斜坡阈值电压(在图12中被标记为“第二斜坡VREF”)可以被提供给比较器1102，以与OF节点处的模拟电压的缓冲和误差补偿版本(VIN)进行比较。第二斜坡VREF可以具有在V_PDSAT和V_RESET之间的电压范围，V_PDSAT表示当COF电容器存储了使光电二极管PD饱和的一定量的剩余电荷时，在COF电容器处的电压。如果第二斜坡VREF与VIN匹配(在一个量化阶梯内)，则比较器1102的输出可以翻转，并且如果存储器没有被第一测量阶段锁定(如由FLAG_1信号的零值所指示的)且没有被第二测量阶段锁定(如由FLAG_2信号的零值所指示的)，则在翻转时计数器808产生的计数值可以被存储到存储器810中。

虽然图12示出了测量入射光强度的三阶段测量操作，但是应当理解，基于例如操作环境的预期入射光强度范围，可以跳过一个或更多个阶段。例如，如果像素单元在具有低环境光的环境中工作(例如，在夜间)，则可以跳过针对高光强度的第一测量阶段。此外，如果像素单元在具有中等或强环境光的环境中工作(例如，在白天)，则可以跳过针对低光强度的第三测量阶段。

图13A示出了像素单元1100输出的计数值和入射光强度之间的关系的示例。在图13A中，x轴表示对数标度上的入射光强度的范围，包括TTS、FD ADC和PD ADC操作的强度范围，而y轴表示线性标度上的针对入射光强度范围而输出的计数值。如图13A所示，对于不同的强度范围，计数值可以相对于入射光强度具有不同的关系。例如，在PD ADC中，计数值相对于入射光强度的变化速率比在FD ADC中更高。这可能是由于电荷存储单元608的电荷存储容量在PD ADC中被减小，以增加电荷-电压转换增益。因此，给定范围的PD ADC计数值可以比相同范围的FD ADC计数值覆盖更小的强度范围，并且可以提高PD ADC的量化分辨率。此外，在TTS中，计数值相对于入射光强度的变化速率甚至比在FD ADC中(和在PD ADC中)更高。这可能是因为TTS测量饱和时间，而不是如在FD ADC和PD ADC操作中那样测量电荷量的事实。

图13B示出了由像素单元1100输出的计数值和入射光强度之间的关系的另一示例，其中使用了图10A和图10B的非均匀量化方案。在图13B中，x轴表示线性标度上的入射光强度的范围，包括例如FD ADC操作的强度范围，而y轴表示线性标度上的针对入射光强度范围而输出的计数值。如图13B所示，由于非均匀量化方案，计数值与入射光强度不是线性相关的。朝向强度范围的低端，计数值相对于入射光强度的变化速率由于较小的量化步长而会较高。此外，朝向强度范围的高端，计数值相对于入射光强度的变化速率由于较大的量化步长而会较低。

计数值和光强度之间的变化关系会给使用计数值来确定入射光强度的应用带来问题。该应用通常只接收计数值，而没有图像传感器操作的其他信息，例如哪种或哪些模式的操作产生计数值、量化分辨率等。该应用可以基于计数值相对于整个动态范围内的光强度具有均匀关系的预期，对计数值进行操作。此外，依赖于图像特征提取的一些应用(例如SLAM)可能要求计数值相对于光强度具有均匀关系(例如图13C所示的关系)，以确定相邻像素的计数值之间的差异，并基于该差异提取图像特征。在没有额外的后处理的情况下，这种应用可能无法利用从上述多模式测量操作输出的计数值来正确地工作。

图14示出了示例系统1400，其可以提供相对于入射光强度具有均匀关系的图像传感器输出。如图14所示，系统1400包括像素单元600和后处理模块1402。像素单元600可以接收入射光1401，并生成原始输出1404和1406(例如，计数值)，用于表示入射光1401的不同强度。原始输出1404和1406相对于由原始输出表示的光强度可以具有不同的关系。例如，原始输出1404可以从TTS操作中产生，而原始输出1406可以从FD ADC或PD ADC操作中产生。

后处理模块1402可以对原始输出1404和1406执行后处理操作，以分别生成后处理输出1404和1406，后处理输出1404和1406相对于由后处理输出表示的光强度具有相同的关系，例如图13C所示的关系。在一些示例中，后处理模块1402可以包括硬件处理器(例如，通用中央处理单元、数字信号处理器等)来执行用于执行后处理操作的软件指令。在一些示例中，后处理模块1402可以包括专用集成电路(ASIC)、现场可编程门阵列(FPGA)等，其可以包括执行后处理的逻辑电路。

此外，如图14所示，像素单元600和后处理模块1402都可以接收编程数据1430。编程数据1430可以配置像素单元600处的原始输出的生成的各个方面，例如模数转换增益(ADC增益)、积分周期等。ADC增益可以定义计数值和OF电压(其表示存储在电荷存储单元608中的电荷量)之间的关系，而积分周期可以定义由光电二极管产生并被存储在电荷存储单元中的电荷量和光强度之间的关系。基于编程数据1430，后处理模块1402还可以确定原始输出和光强度之间的关系，以执行后处理操作。

返回参考图13C，在积分周期内，在入射光强度和由光电二极管PD响应于入射光而产生的电荷量之间可以存在均匀关系。因此，为了从原始输出确定后处理输出，对于FD ADC和PD ADC操作，后处理模块1402可以估计光电二极管PD在积分周期内产生的电荷量。对于TTS操作，假设原始输出度量饱和时间，并且电荷存储单元608可以在积分周期结束之前停止累积电荷，则后处理模块1402还可以估计光电二极管PD在积分周期内将会产生的电荷量。然后，后处理模块1402可以基于电荷量来确定后处理输出。后处理模块1402还可以调整电荷量以加入或衬底其他噪声电荷，例如由光电二极管PD和浮置漏极节点处的暗电流产生的暗电荷，以进一步改善后处理输出和光强度之间的关系的均匀性。

图15A、图15B和图15C示出了不同测量操作中电荷和时间之间的示例关系，其可以作为后处理模块1402处的后处理操作的基础。图15A示出了对于PD ADC测量操作的示例关系。如图15A所示，在积分周期内，当累积的剩余电荷的量等于光电二极管满阱容量FW_PD时，光电二极管PD可以在其饱和之前累积一定量的剩余电荷Q_PD。Q_PD的部分是由光电二极管PD响应于入射光而产生的Q_{PD_light_PDADC}，它与入射光的强度线性相关。其余的是暗电荷Q_{Dark_PDADC}，其来自在积分周期T_int内光电二极管PD处的暗电流DC_PD的积分，如下所示：

Q_{PD_light_PDADC}＝Q_PD–Q_{Dark_PDADC}＝Q_PD–DC_PD×T_int (等式1)

如上所述，在PD ADC操作期间，剩余电荷Q_PD被转移到电荷存储单元608以产生电压，该电压可以被量化器(例如，比较器1102、计数器808和存储器810)量化成计数值D_{out_PD}。V_RESET和由D_{out_PD}表示的电压之间的电压差可以表示Q_PD的(以ADC增益G)经量化的表示。等式1可以重写如下：

在上面的等式2中，V_{RESET_Q}表示模拟复位电压V_RESET的经量化的版本。C_HG表示在高增益模式下将电荷转换为经量化的值的转换因子，单位为e-/LSB，并且它是基于用于PD ADC测量的高增益模式下电荷存储单元608的电容。D_{out_PD}的后处理输出D_{out_PD_post}可以表示用ADC增益G的量化器来量化通过在高增益模式下在电荷存储单元608中存储Q_{PD_light_PDADC}而产生的电压的结果，如下：

基于来自像素单元600的计数值是来自PD ADC操作的指示(例如，基于计数值在与PD ADC相关联的计数值的范围内，或者基于来自像素单元600的其他信号)，后处理器1402可以使用等式3从原始输出D_{out_PD}计算后处理输出D_{out_PD_post}。后处理器1402还可以从编程数据1430获得ADC增益G、积分周期T_int、经量化的复位电压V_RESET-Q、暗电流、光电二极管的满阱容量等。

图15B示出了对于FD ADC测量操作的在电荷和时间之间的示例关系。如图15B所示，在积分周期内，当光电二极管PD饱和时，光电二极管PD可以累积等于光电二极管满阱容量FW_PD(以e-为单位)的剩余电荷量。超过饱和点时，溢出电荷Q_ov可以在电荷存储单元608处累积，直到积分周期结束。在积分周期内光电二极管PD响应于光而产生的总电荷Q_{PD_light_PDADC}可以是FW_PD和Q_ov的和，但是被暗电荷Q_{Dark_PDADC}偏移，暗电荷Q_{Dark_PDADC}来自在积分周期T_int内光电二极管PD处的暗电流DC_PD的积分和浮置漏极节点处的暗电流DC_FD的积分，如下：

Q_{PD_light_FDADC}＝Q_ov+FW_PD–Q_{Dark_FDADC}

＝Q_ov+FW_PD–(DC_PD+DC_FD)×T_int (等式4)

如上所述，在FD ADC操作期间，溢出电荷Q_FD在电荷存储单元608处被累积以产生电压，该电压可由量化器(例如，比较器1102、计数器808和存储器810)量化成计数值D_{out_FD}。V_RESET和由D_{out_FD}表示的电压之间的电压差可以表示Q_FD的(以ADC增益G)经量化的表示。等式4可以改写如下：

在上面的等式5中，C_LG表示低增益模式下的转换因子，单位为e-/LSB，并且它基于低增益模式下电荷存储单元608的电容，其中相对于PD ADC，电荷存储单元608的电容增加。D_{out_FD}的后处理输出D_{out_FD_post}可以表示用ADC增益G的量化器量化通过以C_HG存储Q_{PD_light_FDADC}(以具有与PD ADC相同的标度)而产生的电压的结果，如下所示：

基于来自像素单元600的计数值是来自FD ADC操作的指示(例如，基于计数值在与FD ADC相关联的计数值的范围内，或者基于来自像素单元600的其他信号)，后处理器1402可以使用等式6从原始输出D_{out_FD}计算后处理输出D_{out_FD_post}。后处理器1402还可以从编程数据1430获得ADC增益G、积分周期T_int、经量化的复位电压V_RESET-Q、暗电流、光电二极管的满阱容量等。

图15C示出了对于TTS测量操作的在电荷和时间之间的示例关系。如图15C所示，在积分周期结束之前，溢出电荷可能在(相对于积分周期的开始的)时间Ts时饱和。从积分周期开始到时间Ts，由光电二极管产生的总电荷量等于FW_PD(光电二极管PD的满阱容量)和Q_{ov_saturate}的总和，Q_{ov_saturate}是在低增益模式下使电荷存储器件608饱和的溢出电荷量，其可以由(V_RESET-V_FDSAT)×C_LG给出。时间Ts可以由计数器808测量和量化，以产生计数值D_{out_TTS}。积分周期的结束可以用计数值D_{out_MAX}来表示。为了在电荷和光强度之间建立与等式3(对于PD ADC)和等式6(对于FD ADC)中相同的均匀关系，后处理模块1402可以基于以下等式外推在TTS操作的积分周期内在高增益模式下将会被存储在电荷存储器件608处的电荷量Q_{TTS_extrapolate}：

此外，在积分周期开始和Ts之间，光电二极管PD和浮置漏极节点可以累积一定量的暗电荷Q_{Dark_TTS}，如下所示：

外推的电荷Q_{TTS-extrapolate}可以被Q_Dark-TTS偏移以获得Q_PD-TTS，Q_PD-TTS对应于光电二极管响应于入射光而产生的电荷的部分，如下所示：

Q_{PD_light_TTS}＝Q_{TTS_extrapolate}–Q_Dark-TTS (等式9)

等式9可以用D_{out_TTS}改写如下：

D_{out_TTS}的后处理输出D_{out_TTS_post}可以表示用ADC增益G的量化器量化通过以C_HG存储Q_PD-light(以与PD ADC和FD ADC具有相同的标度)而产生的电压的结果，如下所示：

等式11可以与等式10组合如下：

基于来自像素单元600的计数值是来自TTS操作的指示(例如，基于计数值在与TTS相关联的计数值的范围内，或者基于来自像素单元600的其他信号)，后处理器1402可以使用等式12从原始输出D_{out_TTS}计算后处理输出D_{out_TTS_post}。后处理器1402还可以从编程数据1430获得ADC增益G、积分周期T_int、低增益模式下的电荷存储单元608的电荷存储容量(就电荷而言)、暗电流、光电二极管的满阱容量等。

以上等式中的参数，例如光电二极管PD的满阱容量、暗电流、ADC增益、转换增益等，可以在校准过程中进行测量。这些参数中的一些参数也可以针对不同的环境条件进行测量，例如温度(其会影响暗电流)。然后，对应于特定温度的一组参数可以被提供给后处理模块1402，以对在该特定温度获得的计数值执行后处理操作，从而进一步改善后处理输出和不同光强度之间的关系的均匀性。

在某些场景下，不存在用于将原始输出映射到后处理输出的闭式等式，例如等式3、6和12。一个示例场景是当使用非均匀量化时。在这种情况下，可以在后处理模块1402中实现一个或更多个查找表来执行后处理操作。图16A和图16B示出了可以作为后处理模块1402的一部分的查找表的示例。如图16A所示，查找表1602可以将一组计数值(例如，0000、0001、0002等)映射到一组将被提供作为后处理输出的强度值。可以从非均匀量化方案生成计数值，使得较低的值表示较精细的量化步长，而较高的值表示较粗糙的量化步长，这通过相应强度值之间的间隔来反映。

在一些示例中，如图16B所示，后处理模块1402可以包括多个查找表，例如查找表1610、1612和1614。每个查找表可以用于特定的测量模式(例如，TTS、PD ADC、FD ADC)、特定的环境条件(例如，温度)，其中的每一个可能需要原始输入和后处理输出之间的不同映射。后处理模块1402还包括路由逻辑1616和输出逻辑1620。路由逻辑1616可以接收来自像素单元600的原始输出1624以及接收编程数据1430，并确定将原始输出1624路由到查找表1610、1612或1614中的哪一个。该确定可以基于例如原始输出1624是来自TTS操作、PD ADC操作或FD ADC操作的指示(例如，基于原始输出在与TTS、PD ADC或FD ADC相关联的计数值的范围内，或者基于来自像素单元600的其他信号)、(例如，来自编程数据1430的)环境条件等。路由逻辑1616还可以向输出逻辑1620发送关于哪个查找表被选择来对原始输出1624进行后处理的指示。基于该指示，输出逻辑1620可以将来自所选择的查找表的输出作为后处理输出1630进行转发。

图17示出了测量光强度的示例方法1700的流程图。方法1700可以由例如包括图像传感器(例如，像素单元600)和后处理模块1402的系统1400来执行。

在步骤1702中，图像传感器可以生成第一原始输出，用于基于第一关系表示入射光的第一强度。第一关系可以与第一强度范围相关联，例如用于TTS操作的强度范围，其中第一原始输出可以度量像素单元600的电荷存储单元608的饱和时间。

在步骤1704中，图像传感器可以生成第二原始输出，用于基于第二关系表示入射光的第二强度。第二关系可以与不同于第一强度范围的第二强度范围相关联。例如，第二强度范围可以是用于FD ADC操作或PD ADC操作的强度范围。在FD ADC操作的情况下，第二原始输出可以度量当电荷存储单元608在低增益模式下操作(例如，具有增加的电容)时，在光电二极管饱和之后存储在电荷存储单元608中的溢出电荷的量。在PD ADC操作的情况下，第二原始输出可以度量在高增益模式下(例如，具有减小的电容)从光电二极管转移到电荷存储单元608的剩余电荷的量。

在步骤1706中，后处理器可以基于第一原始输出并基于第一关系生成第一后处理输出，使得第一后处理输出基于第三关系与第一强度线性相关。第三关系可以是计数值和光强度之间的(例如光电二极管所产生的电荷量的估计相对于光强度的)线性且均匀的关系，例如图13C所示的关系。第一后处理输出可以基于第一关系和第三关系之间的映射来确定，如针对TTS操作的图15C和等式12中所描述的。

在步骤1708中，后处理器可以基于第二原始输出并基于第二关系生成第二后处理输出，使得第二后处理输出基于第三关系与第二强度线性相关。第二后处理输出可以基于第一关系和第三关系之间的映射来确定，如针对PD ADC操作的图15A和等式3中所描述的，或者如针对FD ADC操作的图15B和等式6中所描述的。

本公开的实施例的前述描述为了说明的目的被提出；它并不意图为无遗漏的或将本公开限制到所公开的精确形式。相关领域中的技术人员可以认识到，按照上面的公开，许多修改和变化是可能的。

本描述的一些部分从对信息的操作的算法和符号表示方面描述了本公开的实施例。数据处理领域的技术人员通常使用这些算法描述和表示来向本领域的其他技术人员有效地传达他们工作的实质。这些操作虽然在功能上、计算上或逻辑上进行了描述，但应理解为将由计算机程序或等效电路、微代码等来实现。此外，将操作的这些布置称为模块有时候也被证明是方便的而不失一般性。所描述的操作和它们的相关模块可以体现在软件、固件和/或硬件中。

可以利用一个或更多个硬件或软件模块单独地或与其他设备组合地来执行或实现所描述的步骤、操作或过程。在一些实施例中，利用包括包含计算机程序代码的计算机可读介质的计算机程序产品来实现软件模块，计算机程序代码可以由计算机处理器执行，用于执行所描述的任何或全部步骤、操作或过程。

本公开的实施例也可以涉及用于执行所描述操作的装置。该装置可以被特别构造成用于所需的目的，和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这种计算机程序可以存储在非暂时性的、有形的计算机可读存储介质中，或者任何类型的适于存储电子指令的介质中，其可以耦合到计算机系统总线。此外，说明书中提到的任何计算系统可以包括单个处理器，或者可以是采用多处理器设计来提高计算能力的架构。

本公开的实施例也可以涉及由本文所述的计算过程产生的产品。这样的产品可以包括由计算过程产生的信息，其中信息被存储在非暂时性的、有形的计算机可读存储介质上且可以包括计算机程序产品或本文所述的其他数据组合的任何实施例。

在说明书中使用的语言主要出于可读性和指导性的目的而被选择，并且它可以不被选择来描绘或限制发明的主题。因此，意图是本公开的范围不由该详细描述限制，而是由在基于其的申请上发布的任何权利要求限制。因此，实施例的公开意图对本公开的范围是说明性的，而不是限制性的，在所附权利要求中阐述了本公开的范围。

Claims

1.一种用于测量入射光的强度的装置，包括：

图像传感器，其被配置为：

生成第一原始输出，用于基于第一关系表示入射光的第一强度，所述第一关系与第一强度范围相关联；以及

生成第二原始输出，用于基于第二关系表示入射光的第二强度，所述第二关系与第二强度范围相关联；

和

后处理器，其被配置为：

确定存在于所述第一原始输出中的第一暗电荷分量，所述第一暗电荷分量是基于第一参数确定的，所述第一参数基于所述第一强度范围；

确定存在于所述第二原始输出中的第二暗电荷分量，所述第二暗电荷分量是基于第二参数确定的，所述第二参数基于所述第二强度范围；

基于所述第一原始输出、所述第一关系和表示所述第一暗电荷分量的第一分量生成第一后处理输出，使得所述第一后处理输出基于第三关系与所述第一强度线性相关，所述第一分量基于处于所述第一强度范围中的所述第一强度而被包括在生成的所述第一后处理输出中；和

基于所述第二原始输出、所述第二关系和表示所述第二暗电荷分量的第二分量生成第二后处理输出，使得所述第二后处理输出基于所述第三关系与所述第二强度线性相关，所述第二分量基于处于所述第二强度范围中的所述第二强度而被包括在生成的所述第一后处理输出中。

2.根据权利要求1所述的装置，其中：

所述第一原始输出和所述第一强度之间的所述第一关系与第一强度范围相关联；

所述第二原始输出和所述第二强度之间的所述第二关系与第二强度范围相关联；和

所述第三关系与包括所述第一强度范围和所述第二强度范围的第三强度范围相关联。

3.根据权利要求2所述的装置，其中所述图像传感器包括：

光电二极管，其被配置为：

在积分周期内响应于入射光而产生电荷，以及

累积所述电荷的至少一部分作为剩余电荷，直到所述光电二极管饱和；和

电荷存储单元，其被配置为累积其余的电荷作为溢出电荷，直到所述电荷存储单元饱和。

4.根据权利要求3所述的装置，其中所述第三关系将后处理输出与所述光电二极管在所述积分周期内产生的电荷的估计量线性相关。

5.根据权利要求4所述的装置，

其中所述第一原始输出度量在所述积分周期结束之前所述电荷存储单元饱和时的饱和时间；和

其中所述第二原始输出度量由所述电荷存储单元在所述积分周期内累积的所述溢出电荷的量。

6.根据权利要求5所述的装置，其中所述后处理器被配置成：

基于所述饱和时间，确定所述电荷存储单元对所述溢出电荷的累积速率；

基于所述溢出电荷的累积速率和所述积分周期，确定由所述光电二极管在所述积分周期内产生的电荷的估计量；和

基于所述电荷的估计量确定所述第一后处理输出。

7.根据权利要求6所述的装置，其中所述后处理器被配置为基于在所述积分周期内由所述电荷存储单元接收的暗电流的第一量和由所述光电二极管接收的暗电流的第二量来确定所述电荷的估计量。

8.根据权利要求6所述的装置，其中所述后处理器被配置为基于所述电荷存储单元的第一电荷存储容量和所述光电二极管的第二电荷存储容量来确定所述溢出电荷的累积速率。

9.根据权利要求4所述的装置，其中所述后处理器被配置成：

基于所述第二原始输出和所述光电二极管的电荷存储容量来确定所述电荷的估计量；和

基于所述电荷的估计量确定所述第二后处理输出。

10.根据权利要求9所述的装置，其中所述后处理器被配置为基于在所述积分周期内由所述电荷存储单元接收的暗电流的第一量和由所述光电二极管接收的暗电流的第二量来确定所述电荷的估计量。

11.根据权利要求3所述的装置，

其中所述第一原始输出度量由所述电荷存储单元在所述积分周期内累积的所述溢出电荷的量；和

其中所述第二原始输出度量由所述光电二极管在所述积分周期内累积的所述剩余电荷的量。

12.根据权利要求11所述的装置，其中，所述图像传感器被配置为生成用于表示入射光的第三强度的第三原始输出，所述第三原始输出度量当所述电荷存储单元饱和时的饱和时间，并且基于第四关系与入射光的所述第三强度相关；和

其中所述后处理器被配置为基于所述第三原始输出并基于所述第四关系生成第三后处理输出，使得所述第三后处理输出基于所述第三关系与所述第三强度线性相关。

13.根据权利要求11所述的装置，其中所述电荷存储单元具有可配置的电荷存储容量；

其中所述图像传感器被配置为在具有第一电荷存储容量的所述电荷存储单元处存储所述溢出电荷，以生成所述第一原始输出；

其中所述图像传感器被配置为将所述剩余电荷从所述光电二极管转移到具有第二电荷存储容量的所述电荷存储单元，以生成所述第二原始输出；和

其中，基于所述第一电荷存储容量和所述第二电荷存储容量生成所述第一后处理输出。

14.根据权利要求13所述的装置，其中所述第一后处理输出基于在所述积分周期内由所述电荷存储单元接收的暗电流的第一量和由所述光电二极管接收的暗电流的第二量被生成；以及

其中所述第二后处理输出基于由所述光电二极管在所述积分周期内接收的所述暗电流的第二量被生成。

15.根据权利要求1所述的装置，其中所述后处理器包括一个或更多个查找表，所述一个或更多个查找表将所述第一原始输出映射到所述第一后处理输出，并将所述第二原始输出映射到所述第二后处理输出；和

其中所述后处理器被配置成基于所述一个或更多个查找表生成所述第一后处理输出和所述第二后处理输出。

16.根据权利要求15所述的装置，其中所述一个或更多个查找表包括第一查找表和第二查找表，所述第一查找表将所述第一原始输出映射到所述第一后处理输出，所述第二查找表将所述第二原始输出映射到所述第二后处理输出；和

其中所述后处理器被配置为基于所述第一强度而选择所述第一查找表，以及基于所述第二强度而选择所述第二查找表。

17.根据权利要求16所述的装置，其中所述第一原始输出和所述第二原始输出是基于非均匀量化过程来生成的。

18.一种用于测量入射光的强度的方法，包括：

由图像传感器生成第一原始输出，用于基于第一关系表示入射光的第一强度，所述第一关系与第一强度范围相关联；

由所述图像传感器生成第二原始输出，用于基于第二关系表示入射光的第二强度，所述第二关系与第二强度范围相关联；

由后处理器确定存在于所述第一原始输出中的第一暗电荷分量，所述第一暗电荷分量是基于第一参数确定的，所述第一参数基于所述第一强度范围；

由所述后处理器确定存在于所述第二原始输出中的第二暗电荷分量，所述第二暗电荷分量是基于第二参数确定的，所述第二参数基于所述第二强度范围；

由所述后处理器基于所述第一原始输出、所述第一关系和表示所述第一暗电荷分量的第一分量生成第一后处理输出，使得所述第一后处理输出基于第三关系与所述第一强度线性相关，所述第一分量基于处于所述第一强度范围中的所述第一强度而被包括在生成的所述第一后处理输出中；和

由所述后处理器基于所述第二原始输出、所述第二关系和表示所述第二暗电荷分量的第二分量生成第二后处理输出，使得所述第二后处理输出基于所述第三关系与所述第二强度线性相关，所述第二分量基于处于所述第二强度范围中的所述第二强度而被包括在生成的所述第一后处理输出中。

19.根据权利要求18所述的方法，还包括：

由所述图像传感器生成用于表示入射光的第三强度的第三原始输出，其中所述第三原始输出度量当所述图像传感器的电荷存储单元饱和时的饱和时间，并且基于第四关系与入射光的所述第三强度相关；和

由所述后处理器基于所述第三原始输出并基于所述第四关系生成第三后处理输出，使得所述第三后处理输出基于所述第三关系与所述第三强度线性相关。

20.一种非暂时性计算机可读介质，其存储指令，所述指令当由硬件处理器执行时，使得所述硬件处理器：

从图像传感器接收第一原始输出，用于基于第一关系表示入射光的第一强度，所述第一关系与第一强度范围相关联；

从所述图像传感器接收第二原始输出，用于基于第二关系表示入射光的第二强度，所述第二关系与第二强度范围相关联；