CN112088529B - 具有自适应曝光的数字像素阵列 - Google Patents

具有自适应曝光的数字像素阵列 Download PDF

Info

Publication number
CN112088529B
CN112088529B CN201980029816.8A CN201980029816A CN112088529B CN 112088529 B CN112088529 B CN 112088529B CN 201980029816 A CN201980029816 A CN 201980029816A CN 112088529 B CN112088529 B CN 112088529B
Authority
CN
China
Prior art keywords
pixel
pixel cell
charge
exposure period
capacitor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980029816.8A
Other languages
English (en)
Other versions
CN112088529A (zh
Inventor
刘新桥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Meta Platforms Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meta Platforms Technologies LLC filed Critical Meta Platforms Technologies LLC
Publication of CN112088529A publication Critical patent/CN112088529A/zh
Application granted granted Critical
Publication of CN112088529B publication Critical patent/CN112088529B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/53—Constructional details of electronic viewfinders, e.g. rotatable or detachable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/621—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming
    • H04N25/623—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming by evacuation via the output or reset lines
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

提供了用于光感测的方法和系统。在一个示例中，装置包括像素单元阵列和控制器。像素单元阵列中的每个像素单元包括被配置成在接收入射光时生成电荷的光电二极管和被配置成累积由光电二极管生成的电荷的电容器。控制器被配置成：开始曝光周期，以在像素单元处累积电荷；以及基于由至少一个像素单元累积的电荷量超过预定阈值的确定：结束曝光周期，以使像素单元阵列的电容器停止累积电荷，基于曝光周期内在每个像素单元的电容器处累积的电荷，为每个像素单元生成输出像素值；以及提供输出像素值以生成图像帧。

Description

具有自适应曝光的数字像素阵列
背景
本公开总体上涉及图像传感器，且更具体地涉及包括接口电路的像素单元(pixelcell)结构，该接口电路用于确定用于图像生成的光强度。
典型的图像传感器包括光电二极管，用于通过将光子转换成电荷(例如，电子或空穴)来感测入射光。图像传感器还包括浮置节点(floating node)，该浮置节点被配置为电容器，以收集曝光周期期间光电二极管生成的电荷。收集的电荷可以在电容器处产生电压。电压可以被缓冲并馈送到模数转换器(ADC)，ADC可以将电压转换成表示入射光强度的数字值。
概述
本公开涉及图像传感器。更具体地且没有限制地，本公开涉及一种像素单元阵列，其支持曝光周期中的多级读出以生成图像帧。
在一个示例中，提供了一种装置。该装置包括像素单元阵列，每个像素单元包括被配置成在接收入射光时生成电荷的光电二极管和被配置成累积由光电二极管生成的电荷的电容器。该装置还包括控制器，该控制器被配置成：开始曝光周期，以使像素单元阵列的电容器能够累积电荷；确定由像素单元阵列中的至少一个像素单元累积的电荷量是否超过预定阈值；以及基于由至少一个像素单元累积的电荷量超过预定阈值的确定：结束曝光周期，以使像素单元阵列的电容器停止累积电荷；基于曝光周期内在每个像素单元的电容器处累积的电荷，为每个像素单元生成输出像素值；以及提供输出像素值用于生成图像帧。
在一些方面，控制器还被配置成：基于曝光周期内在每个像素单元的电容器处累积的电荷来确定每个像素单元的中间像素值；基于结束的曝光周期的持续时间来确定缩放值；以及使用缩放值来缩放中间像素值中的每一个，以生成输出像素值。
在一些方面，基于使至少一个像素单元饱和的入射光的强度范围来设置预定阈值。在一些方面，基于至少一个像素单元的用于累积电荷的电容器的容量来设置预定阈值。
在一些方面，该装置还包括一个或更多个模数转换器(ADC)，该一个或更多个ADC被配置成基于以下至少一项来生成数字像素值：像素单元的电容器累积等于预定阈值的电荷量的时间测量值，或者当曝光周期结束时在电容器处累积的电荷量的测量值；以及选择模块，该选择模块被配置成将像素单元阵列中的每个像素单元顺序地耦合到该一个或更多个ADC，以基于在每个像素单元的光电二极管处累积的电荷来为每个像素单元生成数字像素值。
在一些方面，控制器被配置成在多个曝光周期中的每个曝光周期中：从像素单元阵列选择一像素单元作为至少一个像素单元；控制选择模块将选定像素单元耦合到一个或更多个ADC，以确定在选定像素单元处累积的电荷量是否超过预定阈值；以及响应于确定在选定像素单元处累积的电荷量超过预定阈值，结束每个曝光周期。
在一些方面，控制器被配置成在多个曝光周期中的每个曝光周期中选择相同的像素单元。在一些方面，控制器被配置成在多个曝光周期中的第一曝光周期和第二曝光周期中选择不同的像素单元。在一些方面，控制器还被配置成基于像素单元的数字像素值在先前曝光周期中超过预定阈值，来在当前曝光周期中选择该像素单元。在一些方面，控制器被配置成基于随机函数来选择像素单元。
在一些方面，该装置的每个像素单元可以包括模数转换器(ADC)，该ADC被配置成基于以下至少一项来为每个像素单元生成数字像素值：每个像素单元的电容器累积等于预定阈值的电荷量的时间测量值，或者当曝光周期结束时在电容器处累积的电荷量的测量值。控制器可以监控在至少一个像素单元处累积的电荷量超过预定阈值的指示；并且基于接收到该指示来结束每个像素单元的曝光周期。
在一些方面，曝光周期可以具有默认结束时间。控制器可以基于由至少一个像素单元累积的电荷量超过预定阈值的确定，在默认结束时间之前结束曝光周期。可以基于环境光强度来预设默认结束时间。
在一些方面，该装置的像素单元阵列是第一像素单元阵列。该装置还可以包括第二像素单元阵列。控制器可以在第一时间开始第一阵列和第二阵列的曝光周期；在第二时间结束第一阵列的曝光周期；并且在不同于第二时间的第三时间结束第二阵列的曝光周期。
在一个示例中，提供了一种方法。该方法可以包括：开始曝光周期，以使像素单元阵列中的每个像素单元的电容器能够累积由包括在每个像素单元中的光电二极管生成的电荷；确定由像素单元阵列中的至少一个像素单元累积的电荷量是否超过预定阈值；以及基于由至少一个像素单元累积的电荷量超过预定阈值的确定：结束曝光周期，以使像素单元阵列的电容器停止累积电荷；基于曝光周期内在每个像素单元的电容器处累积的电荷，为每个像素单元生成输出像素值；以及提供输出像素值用于生成图像帧。
在一些方面，该方法还包括：基于曝光周期内在每个像素单元的电容器处累积的电荷，确定每个像素单元的中间像素值；基于结束的曝光周期的持续时间来确定缩放值；以及使用缩放值来缩放中间像素值中的每一个以生成输出像素值。
在一些方面，该方法还包括：使用ADC基于以下至少一项来为每个像素单元生成数字像素值：每个像素单元的电容器累积等于预定阈值的电荷量的时间测量值，或者当曝光周期结束时在每个像素单元的电容器处累积的电荷量的测量值。
在一些方面，该方法还包括，在多个曝光周期中的每个曝光周期中：从像素单元阵列选择一像素单元作为至少一个像素单元；控制ADC以确定在选定像素单元处累积的电荷量是否超过预定阈值；以及响应于确定在选定像素单元处累积的电荷量超过预定阈值，结束每个曝光周期。在一些方面，在多个曝光周期中的每个曝光周期中选择相同的像素单元。在一些方面，在多个曝光周期中的第一曝光周期和第二曝光周期中，选择第一曝光周期中的不同的像素单元。在一些方面，基于像素单元的数字像素值在先前曝光周期中超过预定阈值，来在当前曝光周期中选择该像素单元。在一些方面，基于随机函数来选择像素单元。
附图简述
参考以下附图描述说明性实施例。
图1A和图1B是近眼显示器实施例的示意图。
图2是近眼显示器的横截面的实施例。
图3示出了具有单个源组件的波导显示器实施例的等轴视图。
图4示出了波导显示器实施例的横截面。
图5是包括近眼显示器的系统实施例的框图。
图6A和图6B示出了曝光时间调整的示例，曝光时间调整可以由图5的近眼显示器来执行。
图7A和图7B示出了图像传感器实施例的框图。
图8示出了由图7A和图7B的实施例来确定不同范围光强度的操作。
图9示出了图7的像素单元的内部部件的示例。
图10A、图10B、图10C和图10D示出了用于量化光强度的技术。
图11示出了像素单元实施例的框图。
图12A、图12B、图12C和图12D示出了用于确定光强度的示例方法。
图13示出了用于确定光强度的另一示例方法。
图14示出了用于确定光强度的过程的流程图的实施例。
图15示出了用于操作像素单元阵列的过程的流程图的实施例。
附图仅为了说明的目的而描绘本公开的实施例。本领域中的技术人员从下面的描述中将容易认识到示出的结构和方法的可选的实施例可以被采用而不偏离本公开的原理和所推崇的益处。
在附图中，相似的部件和/或特征可以具有相同的附图标记。此外，可以通过在附图标记之后用破折号和在相似部件之间进行区分的第二标记来区分相同类型的各个部件。如果说明书中仅使用第一附图标记，则该描述适用于具有相同第一附图标记的任何一个相似部件，而与第二附图标记无关。
详细描述
在以下描述中，为了解释的目的阐述了具体细节，以便提供对某些创造性实施例的透彻理解。然而，很明显，没有这些具体细节也可以实施各种实施例。附图和描述并不旨在是限制性的。
典型的图像传感器包括光电二极管，用于通过将光子转换成电荷(例如，电子或空穴)来感测入射光。图像传感器还包括浮置节点，该浮置节点被配置为电容器，以收集曝光周期期间光电二极管生成的电荷。收集的电荷可以在电容器处产生电压。电压可以被缓冲并馈送到模数转换器(ADC)，ADC可以将电压转换成表示入射光强度的数字像素数据。每个数字值具有基于ADC的量化分辨率确定的比特深度(例如，8比特、16比特等)。
可以基于由图像传感器阵列提供的强度数据来生成图像，每个图像传感器形成对应于图像像素的像素单元。像素单元阵列可以排列成行和列，每个像素单元生成电压，该电压表示与图像中的特定位置相关联的像素强度。阵列中包括的像素数量可以确定所生成图像的分辨率。可以基于由ADC生成的每个像素的数字强度数据来重建图像。图像帧的每个像素的数字强度数据可以存储在帧缓冲器中，用于后续处理。
由ADC生成的数字值反映了在曝光周期内存储在浮置节点处的电荷数量，该数字值可以与入射光的强度相关。然而，相关程度会受到不同因素的影响。例如，存储在浮置节点中的电荷量可以与入射光的强度直接相关，直到浮置节点达到饱和极限。超过饱和极限后，浮置节点可能无法累积光电二极管生成的附加电荷，并且附加电荷可能会泄漏并且不被存储。结果，存储在浮置节点处的电荷量可能低于光电二极管实际生成的电荷量。饱和极限可以决定图像传感器的可测量光强度的上限，并且图像传感器在具有强环境光的环境中可能变得不可操作(或生成低质量图像)。
此外，使像素单元的浮置节点饱和可能导致其他效应(例如高光溢出(blooming))，这些效应会进一步降低成像质量。当图像传感器暴露于场景中的高强度光源(例如，灯泡)时，会发生高光溢出，这可能使一些但不是所有像素单元的浮置节点饱和。电荷可以从饱和的像素单元泄漏到其他相邻像素单元中，并污染存储在这些相邻像素单元中的电荷。污染会降低入射光强度与那些相邻像素单元中累积的电荷之间的相关性。泄漏会产生一种光线覆盖(blanket of light)的效应，这种效应使图像中场景的其余部分变得模糊，并降低场景的成像质量。由于饱和效应和高光溢出效应，图像传感器也可能变得不可操作来捕获包括高强度光源的场景的图像。
可以在许多不同的应用中发现图像传感器。例如，图像传感器被包括在数字成像设备(例如，数码相机、智能电话等)中，以提供数字成像。作为另一个示例，图像传感器可以被配置为输入设备，以控制或影响设备的操作，例如控制或影响可佩戴虚拟现实(VR)系统和/或增强现实(AR)和/或混合现实(MR)系统中近眼显示器的显示内容。例如，图像传感器可以用于生成用户所处物理环境的物理图像数据。物理图像数据可以被提供给位置跟踪系统。位置跟踪系统可以从帧缓冲器获得图像帧的数字强度数据，并搜索表示某些图像特征的强度数据图案，以识别图像中的一个或更多个物理对象。可以跟踪物理对象的图像位置，以(例如，通过三角测量)确定物理对象在环境中的位置。物理对象的位置信息可以被提供给同步定位和地图构建(SLAM)算法来确定例如，物理环境中用户的位置、用户的定向(orientation)和/或用户的移动路径。图像数据还可以用于例如，生成立体深度信息以用于测量物理环境中用户和物理对象之间的距离、跟踪物理对象(例如，用户的眼球)的移动等。在所有这些示例中，VR/AR/MR系统可以基于从物理图像数据获得的信息(例如，用户的位置、凝视点方向等)生成和/或更新虚拟图像数据，并提供虚拟图像数据以经由近眼显示器向用户显示，从而提供交互式体验。
可佩戴VR/AR/MR系统可以在光强度范围非常宽的环境中操作。例如，可佩戴VR/AR/MR系统可以在室内环境或室外环境中和/或在一天中的不同时间操作，并且可佩戴VR/AR/MR系统的操作环境的光强度可以变化明显。此外，可佩戴VR/AR/MR系统还可以包括前述的NIR眼球跟踪系统，其可能需要将非常低强度的光投射到用户的眼球中，以防止损伤眼球。结果，可佩戴VR/AR/MR系统的图像传感器可能需要具有宽的动态范围，以便能够在与不同操作环境相关联的非常宽的光强度范围上正确操作(例如，生成与入射光强度有关的输出)。可佩戴VR/AR/MR系统的图像传感器可能还需要以足够高的速度生成图像，以允许跟踪用户的位置、定向、凝视点等。动态范围相对有限并且以相对较低的速度生成图像的图像传感器可能不适合这种可佩戴VR/AR/MR系统。然而，如上所述，图像感测的饱和效应和高光溢出效应可能限制可佩戴VR/AR/MR系统在强环境光环境或具有高强度光源的环境中的应用，这可能降低用户体验。
本公开涉及图像传感器。图像传感器可以包括像素单元阵列，其中每个像素单元包括被配置成在接收入射光时生成电荷的光电二极管，以及被配置成累积由光电二极管生成的电荷的电容器。图像传感器还可以包括控制器，该控制器被配置成开始曝光周期，以使像素单元阵列的电容器能够累积电荷，以及确定由像素单元阵列中的至少一个像素单元累积的电荷量是否超过预定阈值。基于由至少一个像素单元累积的电荷量超过预定阈值的确定，控制器可以停止曝光周期，以使像素单元阵列的电容器停止累积电荷，并且基于曝光周期内在每个像素单元的电容器处累积的电荷，为每个像素单元生成输出像素值。输出像素值可以被提供给例如图像处理器用于生成图像帧。
所公开的技术可以动态地调整像素单元阵列的曝光周期，以例如在像素单元阵列暴露于高强度光的情况下降低像素单元饱和的可能性，这也降低了高光溢出的可能性。此外，可以在单个图像帧的曝光周期内执行动态调整，这使得调整能够更加响应于由例如环境中的对象和/或光源的移动、结合了像素单元阵列的可佩戴VR/AR/MR系统的移动等引起的像素单元阵列接收的光强度的变化。所有这些都可以扩展像素单元阵列的动态范围，并使可佩戴VR/AR/MR系统能够为更广泛的应用执行准确的图像感测，从而改善用户体验。
本公开的实施例可以包括人工现实系统或结合人工现实系统来被实现。人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(mixed reality，MR)、混杂现实(hybrid reality)或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与捕获的(例如，真实世界的)内容相结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合，它们中的任何一个都可以在单个通道或多个通道中呈现(例如向观众产生三维效果的立体视频)。此外，在一些实施例中，人工现实还可以与应用、产品、附件、服务或其某种组合相关联，这些应用、产品、附件、服务或其某种组合用于例如在人工现实中创建内容和/或在人工现实中以其他方式使用(例如在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主计算机系统的头戴式显示器(HMD)、独立的HMD、移动设备或计算系统、或者能够向一个或更多个观众提供人工现实内容的任何其他硬件平台。
图1A是近眼显示器100的实施例的示意图。近眼显示器100向用户呈现媒体。由近眼显示器100呈现的媒体的示例包括一个或更多个图像、视频和/或音频。在一些实施例中，音频经由外部设备(例如，扬声器和/或头戴式耳机)呈现，该外部设备从近眼显示器100、控制台或两者接收音频信息，并基于音频信息来呈现音频数据。近眼显示器100通常被配置成作为虚拟现实(VR)显示器进行操作。在一些实施例中，近眼显示器100被修改为作为增强现实(AR)显示器和/或混合现实(MR)显示器来进行操作。
近眼显示器100包括框架105和显示器110。框架105耦合到一个或更多个光学元件。显示器110被配置成让用户看到由近眼显示器100呈现的内容。在一些实施例中，显示器110包括波导显示组件，用于将来自一个或更多个图像的光导向用户的眼睛。
近眼显示器100还包括图像传感器120a、120b、120c和120d。图像传感器120a、120b、120c和120d中的每一个可以包括像素阵列，该像素阵列被配置成生成表示沿着不同方向的不同视场的图像数据。例如，传感器120a和120b可以被配置成提供表示沿着Z轴朝向方向A的两个视场的图像数据，而传感器120c可以被配置成提供表示沿着X轴朝向方向B的视场的图像数据，并且传感器120d可以被配置成提供表示沿着X轴朝向方向C的视场的图像数据。
在一些实施例中，传感器120a-120d可以被配置为输入设备，以控制或影响近眼显示器100的显示内容，从而向佩戴近眼显示器100的用户提供交互式VR/AR/MR体验。例如，传感器120a-120d可以生成用户所处物理环境的物理图像数据。物理图像数据可以被提供给位置跟踪系统，以跟踪用户在物理环境中的位置和/或移动路径。然后，系统可以基于例如用户的位置和定向来更新提供给显示器110的图像数据，以提供交互式体验。在一些实施例中，当用户在物理环境内移动时，位置跟踪系统可以运行SLAM算法来跟踪在物理环境中和用户视场内的一组对象。位置跟踪系统可以基于该组对象来构建并更新物理环境的地图(map)，并且跟踪用户在地图内的位置。通过提供对应于多个视场的图像数据，传感器120a-120d可以向位置跟踪系统提供物理环境的更全面的视图，这可以导致更多的对象被包括在地图的构建和更新中。利用这种布置，可以提高在物理环境中跟踪用户位置的精度和鲁棒性。
在一些实施例中，近眼显示器100还可以包括一个或更多个有源照明器130，以将光投射到物理环境中。投射的光可以与不同的频谱(例如，可见光、红外光、紫外光等)相关联，并且可以用于各种目的。例如，照明器130可以在黑暗环境中(或者在具有低强度红外光、紫外光等的环境中)投射光，以帮助传感器120a-120d捕获黑暗环境内不同对象的图像，从而例如实现对用户进行位置跟踪。照明器130可以将某些标记投射到环境内的对象上，以帮助位置跟踪系统识别对象用于地图构建/更新。
在一些实施例中，照明器130还可以实现立体成像。例如，一个或更多个传感器120a或120b可以包括用于可见光感测的第一像素阵列和用于红外(IR)光感测的第二像素阵列。第一像素阵列可以覆盖有彩色滤光器(filter)(例如，Bayer滤光器)，第一像素阵列的每个像素被配置成测量与特定颜色(例如，红色、绿色或蓝色之一)相关联的光的强度。第二像素阵列(用于IR光感测)也可以覆盖有仅允许IR光通过的滤光器，第二像素阵列的每个像素被配置成测量IR光的强度。像素阵列可以生成对象的RGB图像和IR图像，IR图像的每个像素被映射到RGB图像的每个像素。照明器130可以在对象上投射一组IR标记，该对象的图像可以被IR像素阵列捕获。基于图像中所示对象的IR标记分布，系统可以估计对象的不同部分离IR像素阵列的距离，并基于该距离生成对象的立体图像。基于对象的立体图像，系统可以确定例如，对象相对于用户的相对位置，并且可以基于相对位置信息来更新提供给显示器100的图像数据，以提供交互式体验。
如上所讨论，近眼显示器100可以在与非常宽的光强度范围相关联的环境中操作。例如，近眼显示器100可以在室内环境或室外环境中和/或在一天中的不同时间操作。近眼显示器100也可以在开启或不开启有源照明器130的情况下操作。结果，图像传感器120a-120d可能需要具有宽的动态范围，以便能够在与近眼显示器100的不同操作环境相关联的非常宽的光强度范围上正确操作(例如，生成与入射光强度有关的输出)。
图1B是近眼显示器100的另一个实施例的示意图。图1B示出了近眼显示器100的面向佩戴近眼显示器100的用户的眼球135的一侧。如图1B所示，近眼显示器100还可以包括多个照明器140a、140b、140c、140d、140e和140f。近眼显示器100还包括多个图像传感器150a和150b。照明器140a、140b和140c可以朝向方向D(与图1A的方向A相反)发射特定频率范围(例如，NIR)的光。发射的光可以与某种图案相关联，并且可以被用户的左眼球反射。传感器150a可以包括像素阵列，以接收反射的光并生成反射图案的图像。类似地，照明器140d、140e和140f可以发射携带图案的NIR光。NIR光可以被用户的右眼球反射，并且可以被传感器150b接收。传感器150b也可以包括像素阵列，以生成反射图案的图像。基于来自传感器150a和150b的反射图案的图像，系统可以确定用户的凝视点，并基于所确定的凝视点来更新提供给显示器100的图像数据，以向用户提供交互式体验。
如上所讨论，为了避免损害用户的眼球，照明器140a、140b、140c、140d、140e和140f通常被配置成输出非常低强度的光。在图像传感器150a和150b包括与图1A的图像传感器120a-120d相同的传感器设备的情形中，当入射光的强度非常低时，图像传感器120a-120d可能需要能够生成与入射光的强度有关的输出，这可以进一步增加图像传感器的动态范围要求。
此外，图像传感器120a-120d可能需要能够高速生成输出来跟踪眼球的移动。例如，用户的眼球可以进行非常快速的移动(例如，眼跳移动(saccade movement))，其中可以从一个眼球位置快速跳跃到另一个眼球位置。为了跟踪用户眼球的快速移动，图像传感器120a-120d需要高速生成眼球的图像。例如，图像传感器生成图像帧的速率(帧速率)至少需要匹配眼球的移动速度。高的帧速率要求生成图像帧所涉及的所有像素单元的总曝光周期要短，并且要求将传感器输出转换成用于图像生成的数字值的速度要快。此外，如上所讨论，图像传感器还需要能够在低光强度的环境下操作。
图2是图1A和图1B所示的近眼显示器100的横截面200的实施例。显示器110包括至少一个波导显示组件210。出射光瞳(exit pupil)230是当用户佩戴近眼显示器100时，用户的单只眼睛220在视窗(eyebox)区域中的位置。为了说明的目的，图2示出了具有眼睛220和单个波导显示组件210的横截面200，但是第二波导显示器用于用户的第二只眼睛。
波导显示组件210被配置成将图像光导向位于出射光瞳230处的视窗，并导向眼睛220。波导显示组件210可以由具有一个或更多个折射率的一种或更多种材料(例如，塑料、玻璃等)组成。在一些实施例中，近眼显示器100包括在波导显示组件210和眼睛220之间的一个或更多个光学元件。
在一些实施例中，波导显示组件210包括一个或更多个波导显示器的堆叠，该一个或更多个波导显示器包括但不限于堆叠式波导显示器、变焦波导显示器等。堆叠式波导显示器是通过堆叠其相应单色源具有不同颜色的波导显示器而产生的多色显示器(例如，红绿蓝(RGB)显示器)。堆叠式波导显示器也是可以被投射在多个平面上的多色显示器(例如，多平面彩色显示器)。在一些配置中，堆叠式波导显示器是可以被投射在多个平面上的单色显示器(例如，多平面单色显示器)。变焦波导显示器是可以调节从波导显示器发射的图像光的焦点位置的显示器。在替代实施例中，波导显示组件210可以包括堆叠式波导显示器和变焦波导显示器。
图3示出了波导显示器300的实施例的等轴视图。在一些实施例中，波导显示器300是近眼显示器100的部件(例如，波导显示组件210)。在一些实施例中，波导显示器300是将图像光导向特定位置的某个其他近眼显示器或其他系统的一部分。
波导显示器300包括源组件310、输出波导320和控制器330。为了说明的目的，图3示出了与单只眼睛220相关联的波导显示器300，但是在一些实施例中，与波导显示器300分离或部分分离的另一个波导显示器向用户的另一只眼睛提供图像光。
源组件310生成图像光355。源组件310生成图像光355并将其输出到位于输出波导320的第一侧面370-1上的耦合元件350。输出波导320是向用户的眼睛220输出扩展的图像光340的光波导。输出波导320在位于第一侧面370-1上的一个或更多个耦合元件350处接收图像光355，并将接收到的输入图像光355引导至导向元件360。在一些实施例中，耦合元件350将来自源组件310的图像光355耦合到输出波导320中。耦合元件350可以是，例如，衍射光栅、全息光栅、一个或更多个级联反射器、一个或更多个棱柱面元件(prismatic surfaceelement)、和/或全息反射器阵列。
导向元件360将接收到的输入图像光355重定向到去耦元件(decouplingelement)365，使得接收到的输入图像光355经由去耦元件365从输出波导320去耦出去。导向元件360是输出波导320的第一侧面370-1的一部分或固定到其上。去耦元件365是输出波导320的第二侧面370-2的一部分或固定到其上，使得导向元件360与去耦元件365相反。导向元件360和/或去耦元件365可以是例如，衍射光栅、全息光栅、一个或更多个级联反射器、一个或更多个棱柱面元件、和/或全息反射器阵列。
第二侧面370-2表示沿x维度和y维度的平面。输出波导320可以由有助于图像光355的全内反射的一种或更多种材料组成。输出波导320可以由例如硅、塑料、玻璃和/或聚合物组成。输出波导320具有相对较小的形状因子。例如，输出波导320可以沿x维度宽约50mm，沿y维度长约30mm，以及沿z维度厚约0.5mm-1mm。
控制器330控制源组件310的扫描操作。控制器330确定源组件310的扫描指令。在一些实施例中，输出波导320将扩展的图像光340输出到具有大视场(FOV)的用户的眼睛220。例如，扩展的图像光340以(x和y中的)60度和/或更大和/或150度和/或更小的对角FOV被提供给用户的眼睛220。输出波导320被配置成提供视窗，其长度为20mm或更大和/或等于或小于50mm；和/或宽度为10mm或更大和/或等于或小于50mm。
此外，控制器330还基于由图像传感器370提供的图像数据来控制由源组件310生成的图像光355。图像传感器370可以位于第一侧面370-1上，并且可以包括例如，图1A的图像传感器120a-120d，以生成用户前方物理环境的图像数据(例如，用于位置确定)。图像传感器370也可以位于第二侧面370-2上，并且可以包括图1B的图像传感器150a和150b，以生成用户眼睛220的图像数据(例如，用于凝视点确定)。图像传感器370可以与不位于波导显示器300内(例如，在远程控制台中)的控制电路接口。图像传感器370可以向控制电路提供图像数据，控制电路可以确定例如，用户的位置、用户的凝视点等，并确定要向用户显示的图像内容。控制电路可以向控制器330传输与所确定的内容相关的指令。基于这些指令，控制器330可以控制源组件310生成并输出图像光355。
图4示出了波导显示器300的横截面400的实施例。横截面400包括源组件310、输出波导320和图像传感器370。在图4的示例中，图像传感器370可以包括位于第一侧面370-1上的一组像素单元402，以生成用户前方物理环境的图像。在一些实施例中，可以在该组像素单元402和物理环境之间插入机械快门404，以控制该组像素单元402的曝光。在一些实施例中，如下面将讨论的，机械快门404可以由电子快门栅极(shutter gate)代替。每个像素单元402可以对应于图像的一个像素。尽管图4中未示出，但应当理解，每个像素单元402也可以覆盖有滤光器，以控制要由像素单元感测的光的频率范围。
在从控制电路接收到指令之后，机械快门404可以在曝光周期中打开并曝光该组像素单元402。在曝光周期期间，图像传感器370可以获得入射到该组像素单元402上的光样本，并且基于由该组像素单元402检测到的入射光样本的强度分布来生成图像数据。图像传感器370然后可以向远程控制台提供图像数据，该远程控制台确定显示内容，并向控制器330提供显示内容信息。控制器330然后可以基于显示内容信息来确定图像光355。
源组件310根据来自控制器330的指令生成图像光355。源组件310包括源410和光学系统415。源410是生成相干光或部分相干光的光源。源410可以是，例如，激光二极管、垂直腔面发射激光器和/或发光二极管。
光学系统415包括一个或更多个光学部件，光学部件调节来自源410的光。调节来自源410的光可以包括例如，根据来自控制器330的指令来扩展、准直和/或调整定向。一个或更多个光学部件可以包括一个或更多个透镜、液体透镜、反射镜、光圈和/或光栅。在一些实施例中，光学系统415包括具有多个电极的液体透镜，液体透镜允许用阈值的扫描角度来扫描光束，以将光束移到液体透镜外部的区域。从光学系统415(还有源组件310)发射的光被称为图像光355。
输出波导320接收图像光355。耦合元件350将来自源组件310的图像光355耦合到输出波导320中。在耦合元件350是衍射光栅的实施例中，衍射光栅的间距被选择成使得全内反射在输出波导320中发生，并且图像光355在输出波导320中朝向去耦元件365进行内部传播(例如，通过全内反射)。
导向元件360将图像光355重定向到去耦元件365，用于从输出波导320去耦。在导向元件360是衍射光栅的实施例中，衍射光栅的间距被选择成使得入射图像光355以相对于去耦元件365的表面倾斜的角度离开输出波导320。
在一些实施例中，导向元件360和/或去耦元件365在结构上类似。离开输出波导320的扩展的图像光340沿着一个或更多个维度被扩展(例如，可以沿着x维度被拉长)。在一些实施例中，波导显示器300包括多个源组件310和多个输出波导320。每个源组件310发射对应于原色(例如，红色、绿色或蓝色)的特定波段的单色图像光。每个输出波导320可以以一定的间隔距离堆叠在一起，以输出多色的扩展的图像光340。
图5是包括近眼显示器100的系统500的实施例的框图。系统500包括近眼显示器100、成像设备535、输入/输出接口540以及图像传感器120a-120d和150a-150b，它们各自耦合到控制电路510。系统500可以被配置为头戴式设备、可佩戴设备等。
近眼显示器100是向用户呈现媒体的显示器。由近眼显示器100呈现的媒体示例包括一个或更多个图像、视频和/或音频。在一些实施例中，音频经由外部设备(例如，扬声器和/或头戴式耳机)呈现，该外部设备从近眼显示器100和/或控制电路510接收音频信息，并基于音频信息来向用户呈现音频数据。在一些实施例中，近眼显示器100也可以充当AR眼镜。在一些实施例中，近眼显示器100利用计算机生成的元素(例如，图像、视频、声音等)来增强物理、现实世界环境的视图。
近眼显示器100包括波导显示组件210、一个或更多个位置传感器525和/或惯性测量单元(IMU)530。波导显示组件210包括源组件310、输出波导320和控制器330。
IMU 530是一种电子设备，其基于从一个或更多个位置传感器525接收的测量信号生成快速校准数据，该快速校准数据指示相对于近眼显示器100的初始位置的近眼显示器100的估计位置。
成像设备535可以生成各种应用的图像数据。例如，成像设备535可以根据从控制电路510接收的校准参数来生成图像数据以提供慢速校准数据。成像设备535可以包括例如，用于生成用户所处物理环境的图像数据的图1A的图像传感器120a-120d，以执行用户的位置跟踪。成像设备535还可以包括例如，用于生成用于确定用户凝视点的图像数据的图1B的图像传感器150a-150b，以识别用户感兴趣的对象等。
输入/输出接口540是允许用户向控制电路510发送动作请求的设备。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束应用，或者是在应用内执行特定动作。
控制电路510根据从成像设备535、近眼显示器100和输入/输出接口540中的一个或更多个接收的信息来向近眼显示器100提供媒体以呈现给用户。在一些示例中，控制电路510可以被容纳在被配置为头戴式设备的系统500内。在一些示例中，控制电路510可以是与系统500的其他部件通信耦合的独立控制台设备。在图5所示的示例中，控制电路510包括应用储存器545、跟踪模块550和引擎555。
应用储存器545存储用于由控制电路510执行的一个或更多个应用。应用是一组指令，该组指令当由处理器执行时生成用于呈现给用户的内容。应用的示例包括：游戏应用、会议应用、视频回放应用或其他合适的应用。
跟踪模块550使用例如来自成像设备535的图像数据来跟踪近眼显示器100的移动。如下面更详细讨论的，跟踪模块550可以获得由成像设备535捕获的图像帧的像素数据，并基于像素数据识别图像帧中的一个或更多个对象，确定多个图像帧上该一个或更多个对象的图像位置，并基于图像位置确定该一个或更多个对象的物理位置。在一些示例中，物理位置信息可以被提供给在跟踪模块550中运行的SLAM算法，以生成近眼显示器100的位置信息。在一些示例中，图像位置信息可以用于生成所识别对象的位置信息。
引擎555执行系统500内的应用，并从跟踪模块550接收近眼显示器100的位置信息、加速度信息、速度信息和/或预测的未来位置。引擎555还可以从跟踪模块550接收物理对象(除了近眼显示器100)的位置信息。在一些实施例中，引擎555接收的信息可以用于产生信号(例如，显示指令)给波导显示组件210，该信号确定呈现给用户的内容类型。例如，为了提供交互式体验，引擎555可以基于(例如，由跟踪模块550提供的)用户的位置、(例如，基于由成像设备535提供的图像数据的)用户的凝视点、(例如，基于由成像设备535提供的图像数据的)对象与用户之间的距离来确定要呈现给用户的内容。
图6A-图6B示出了可以被执行来扩展图像传感器370的动态范围的操作的示例。图像传感器370可以包括像素单元阵列，该像素单元阵列包括像素单元600。像素单元600包括光电二极管602和电容器604。在图6A的示例中，图像传感器370可用于捕获包括光源606和对象608的场景的图像。由于其在像素单元阵列内的位置，像素单元600可以接收来自光源606的高强度光。
图6B示出了曲线图610，曲线图610示出了当光电二极管602暴露于光时，在电容器604处累积的电荷量关于时间的变化。如图6B所示，在开始时(例如，在时间T1之前)，电容器604具有累积由光电二极管602生成的电荷的能力，并且电荷量随着时间增加。在时间T1之前，存储在电容器604中的电荷量以及电荷量增加的速率可以与光电二极管602接收的光强度相关。另一方面，在时间T1之后，电容器604变满，并且已经达到像素单元600的饱和极限。结果，超过时间T1，电容器604可以停止累积电荷，并且电容器604中累积的电荷量可以保持基本恒定。在T1之后的时间(例如，在时间T2)，电容器604中累积的电荷量可能与光电二极管602接收的光强度不相关。此外，超过时间T1，如果光电二极管602保持暴露于入射光并继续生成电荷，这些电荷可能泄漏到相邻像素的像素单元600中并污染这些像素单元中的电容器，这导致如上所讨论的高光溢出。
本公开的实施例可以通过检测像素单元600处的饱和起始(onset ofsaturation)来降低使像素单元600饱和的可能性(以及由此导致的高光溢出效应)。饱和起始检测可以基于例如确定存储在电容器604中的电荷是否超过预定阈值。可以基于电容器604饱和容量的某个百分比来设置预定阈值，使得当达到预定阈值时，像素单元600不饱和。在确定达到预定阈值后，可以停止曝光周期，以防止光电二极管602将附加的电荷转移到电容器604。在图6B的示例中，曝光周期可以在时间T1之前(例如，在时间T1’)结束。利用这种布置，可以降低像素单元600饱和的可能性。可以基于例如在时间T1测量电容器604中累积的电荷量，或者测量反映电荷累积速率的时间T1’的持续时间来生成像素值。在这两种情况下，像素值可以更准确地表示光电二极管602接收的光的强度，并且图像传感器370的动态范围的上限可以被扩展。
图7A示出了包括一个或更多个像素单元700(例如，像素单元700a、700b、...、700n)、ADC 710、选择模块730和控制器740的图像传感器370的示例。像素单元700可以是像素阵列750的一部分，并且每个像素单元可以生成输出(例如，基于累积电荷的电压输出)来表示像素单元上的光强度。选择模块730可以被配置成将输出路由到ADC 710，以基于输出生成数字像素值，从而使像素单元能够分时使用(time-share)ADC 710。例如，选择模块730可以被配置成按照循环方式(round-robin fashion)将输出路由到ADC 710(例如，从像素单元700a开始，然后是像素单元700b等等)，以使ADC 710能够处理像素单元阵列中每个像素单元700的输出。作为另一个示例，ADC 710可以包括多个ADC 710，每个ADC 710对应于像素单元700，并且选择模块730可以被控制来将像素单元700的输出转发(或者不转发)到对应的ADC 710。在这样的示例中，选择模块730和ADC 710可以是每个像素单元700的一部分。
ADC 710可以生成像素单元输出的数字表示。在一些示例中，如下面更详细讨论的，在第一测量阶段，ADC 710可以生成使电容器中累积的电荷量达到预定阈值的持续时间的数字表示。第一测量阶段可以在曝光周期期间进行。预定阈值可以基于一个或更多个预定像素单元的电容器的饱和容量的某个百分比。在第一测量阶段，ADC 710可以基于电容器中累积的电荷量达到那些预定像素单元的预定阈值来生成饱和起始指示，并将该指示传输到控制器740。此外，ADC 710还可以执行第二测量阶段和第三测量阶段，其中ADC 710可以生成像素单元的电容器中累积的电荷量的数字表示。第二测量阶段可以发生在曝光周期期间的第一测量阶段之后，而第三阶段可以发生在曝光周期结束之后。ADC 710可以对来自像素单元的输出执行多级处理，例如，通过执行第一测量阶段以检测曝光周期期间的饱和起始，随后是第二测量阶段和第三测量阶段。如果检测到饱和起始，ADC 710可以将饱和起始指示传输到控制器740。ADC 710还可以将(在第一测量阶段或第二测量阶段生成的)数字表示传输到控制器740用于进一步处理。
控制器740可以包括曝光周期设置模块742和像素值生成模块744。曝光周期设置模块742可以监控来自ADC 710的一组预定像素单元的饱和起始指示，并且在接收到该指示后，停止像素阵列750的所有像素单元700的曝光周期。曝光周期的结束也停止了ADC 710的第一测量阶段和第二测量阶段。此外，在一些示例中，响应于接收到饱和起始指示，控制器740可以跳过第三测量阶段。另一方面，如果没有从ADC 710接收到饱和起始指示，曝光周期设置模块742可以采用预设的曝光周期默认结束时间，并且在默认结束时间到达时结束曝光周期，并且可以执行例如第一测量阶段、第二测量阶段和第三测量阶段。预设的默认结束时间可以基于各种因素来被确定，这些因素包括例如像素单元700处电容器的容量、环境中的平均环境光强度、光电二极管对于平均环境光强度的电荷生成速率、容纳图像传感器370的设备(例如，HMD)的运动速率等。例如，在设备正在经历快速运动的情况下，可以减小默认曝光周期以最小化图像中的运动模糊。预设的默认结束时间可以被配置成使得当光电二极管在曝光周期中暴露于环境光时，当曝光周期在预设的默认结束时间结束时，足够的备用容量(spare capacity)(例如，50％)保留在电容器处。
此外，像素值生成模块744还可以控制未被选择用于饱和起始检测的第二组像素单元，以在同一曝光周期内执行例如第二测量阶段和第三测量阶段，从而获得像素值的数字表示。像素值生成模块744可以从ADC 710获得由第二组像素单元提供的中间像素值，并且基于来自预定像素单元的饱和起始检测来执行后处理。例如，在检测到饱和起始的情况下，像素值生成模块744可以基于默认曝光时间与调整后的曝光时间(由于饱和起始指示而调整)的比率来确定缩放值，并且基于缩放值来归一化从每个像素单元获得的中间像素值。归一化可用于例如相对于场景的其余部分(其可能包括更多图像细节)去强调(deemphasize)某些区域(例如，具有最高光强度的区域)的图像，以使图像处理器能够为依赖于那些细节的其他应用(例如，位置跟踪应用)提取场景的其余部分的图像细节。
如上所讨论，ADC 710可以检测一组预定像素单元的饱和起始指示，这使得曝光周期设置模块742能够为像素单元阵列750的其余像素单元设置曝光周期的结束。可以有不同的方式用来选择像素单元组，以便由ADC 710检测饱和起始。例如，像素单元阵列750可以被划分成多个像素单元块，并且可以从每个像素单元块中选择一个或更多个像素单元用于饱和起始检测。在一些示例中，选择模块730可以被配置成将相同像素单元的输出路由到ADC710，用于每个曝光周期开始时的饱和起始检测。可以基于例如像素单元在像素单元阵列中的位置(例如，在每个块的中心)来选择像素单元，这使得例如由该像素单元接收的光的强度更有可能代表该块的平均光强度水平。在一些示例中，选择模块730还可以被配置成将不同像素单元的输出路由到ADC 710，用于不同曝光周期开始时的饱和起始检测。例如，由于光源和/或图像传感器370的移动，呈现饱和起始的像素单元可以随时间变化，这可以由控制器740跟踪。例如，控制器740可以基于像素单元在前一曝光周期中呈现饱和起始来指示选择模块730将该像素单元的输出路由到ADC 710，以进行当前曝光周期的饱和起始检测。如果该像素单元在当前曝光周期中不再呈现出饱和起始，则控制器740可以指示选择模块730不将该像素单元的输出路由到ADC 710用于随后曝光周期的饱和起始检测。在一些示例中，控制器740还可以应用随机函数来确定用于饱和起始检测的像素单元，使得像素单元选择可以被随机化。所有这些技术可以适用于，例如，降低控制器740未能检测到未被选择用于检测并且没有相应地调整曝光周期的其他像素单元中的饱和起始的可能性。
在一些示例中，如上所述，图像传感器370的每个像素单元700还可以包括ADC710，并且选择模块730可以被省略(或者被配置成转发或不转发像素单元输出到ADC 710)。在这种情况下，一旦默认曝光时间结束，每个像素单元700可以停止曝光。此外，(例如，基于上述技术选择的)预定的一组像素单元700可以使用其本地ADC 710来执行第一测量阶段，以生成饱和起始指示，并将该指示传输到曝光周期设置模块742。曝光周期设置模块742可以在检测到来自像素单元的最早的饱和起始指示后停止每个像素单元700的曝光周期。另一方面，可以控制预定组中的其他像素单元700来执行例如第二测量阶段和第三测量阶段，以生成表示在默认曝光周期期间或调整后的曝光周期期间接收的那些像素单元处的入射光强度的数字像素值。
图7B示出了像素单元700的示例。如图7B所示，像素单元700可以包括光电二极管702、剩余电荷电容器703、快门开关704、转移栅极706、复位开关707、测量电容器708、缓冲器709和ADC 710。
在一些实施例中，光电二极管702可以包括PN二极管或PIN二极管。快门开关704、转移栅极706和复位开关707中的每一个都可以包括晶体管。晶体管可以包括例如，金属氧化物半导体场效应晶体管(MOSFET)、双极结型晶体管(BJT)等。快门开关704可以充当电子快门栅极(代替图4的机械快门404，或者与机械快门404相结合)，以控制像素单元700的曝光周期。在曝光周期期间，快门开关704可以被曝光启用信号(enable signal)711禁用(disable)(关断)，而转移栅极706可以被测量控制信号712启用(开启)，这允许光电二极管702生成的电荷移动到剩余电荷电容器703和/或测量电容器708。在曝光周期结束时，快门开关704可以被启用，以操纵由光电二极管702生成的电荷进入光电二极管电流吸收器(current sink)717。此外，复位开关707也可以被复位信号718禁用(关断)，这允许测量电容器708累积电荷并产生反映累积电荷量的电压。电压可以由缓冲器709缓冲，并且缓冲器709的输出(在模拟输出节点714处)可以被提供给选择模块730，选择模块730可以将输出路由到ADC 710进行处理。在测量阶段完成之后，复位开关707可以被启用以将存储在测量电容器708处的电荷清空到电荷吸收器720，以使测量电容器708可用于下一次测量。曝光周期设置模块742可以通过例如控制快门开关704、测量控制信号712和复位信号718的定时来控制曝光周期和存储在剩余电荷电容器703和测量电容器708处的电荷量。
剩余电荷电容器703可以是光电二极管702的器件电容器，并且可以存储由光电二极管702生成的电荷。剩余电荷电容器703可以包括例如，PN二极管结接口处的结电容器(junction capacitor)，或者连接到光电二极管702的其他器件电容器。由于剩余电荷电容器703靠近光电二极管702，所以由光电二极管702生成的电荷可以在电荷电容器703处累积。测量电容器708可以是转移栅极706的浮置端子处的器件电容器、金属电容器、MOS电容器或其任意组合。测量电容器708可以用于存储一定量的电荷，这些电荷可以由ADC 710进行测量，以提供表示入射光强度的数字输出。存储在测量电容器708处的电荷可以是不会在剩余电荷电容器703处累积的溢出电荷(来自光电二极管702)，或者是从剩余电荷电容器703清空的剩余电荷。
现在参考图8，其示出了在剩余电荷电容器703和测量电容器708处对于不同目标光强度范围的电荷累积操作。图8示出了在剩余电荷电容器703和测量电容器708处对于不同光强度范围的关于时间所累积(或预期累积)的电荷总量。累积的电荷总量可以反映光电二极管702在曝光周期期间生成的总电荷，这又反映了在曝光周期期间入射到光电二极管702上的光强度。曝光周期结束时，可以测量数量。对于限定入射光强度的低光强度范围806、中等光强度范围808和高光强度范围810的阈值电荷量，可以定义阈值802和阈值804。例如，如果总累积电荷低于阈值802(例如，Q1)，则入射光强度在低光强度范围806内。如果总累积电荷在阈值804和阈值802之间(例如，Q2)，则入射光强度在中等光强度范围808内。如果总累积电荷高于阈值804，则入射光强度在高光强度范围810内。
阈值802和804可以被设置成控制剩余电荷电容器703和测量电容器708处电荷的累积，以确保当入射光强度落入低光强度范围806或中等光强度范围808内时，电容器处累积的电荷量与入射光强度相关。例如，阈值802和804可以被设置为低于剩余电荷电容器703和测量电容器708的容量。如上所讨论，一旦剩余电荷电容器703和测量电容器708达到满容量，电容器就可能开始泄漏电荷，并且电容器处产生的电压可能无法准确地表示或反映在曝光周期期间由光电二极管702生成的电荷总数。通过将阈值802和804设置为低于剩余电荷电容器703和测量电容器708的容量，可以避免由电荷泄漏引起的测量误差。在一些示例中，阈值802可以被设置为2000e-(2000个电荷)，而阈值804可以被设置为63000e-(63000个电荷)。
剩余电荷电容器703和测量电容器708处的电荷累积可以由阈值802和804控制。例如，落在低光强度范围806内的入射光强度可以基于在剩余电荷电容器703处累积的总电荷。假设剩余电荷电容器703在曝光周期结束时还没有满，则在剩余电荷电容器703处累积的总电荷可以反映光电二极管702在曝光周期期间生成的总电荷，并且可以用于确定入射光强度。当在剩余电荷电容器703处累积的总电荷超过阈值802时，光电二极管702生成的附加电荷可以作为溢出电荷转到测量电容器608。假设测量电容器708在曝光周期结束时还没有满，在测量电容器708处累积的总溢出电荷也可以反映光电二极管702在曝光周期期间生成的总电荷，并且可以用于确定入射光强度(其落在中等光强度范围808内)。
另一方面，在入射光强度在高光强度范围810内的情形中，在曝光周期结束之前，在测量电容器708处累积的总溢出电荷可能超过阈值804。随着附加电荷的累积，测量电容器708可能在曝光周期结束之前达到满容量，并且可能发生电荷泄漏。为了避免由于测量电容器708达到满容量而引起的测量误差，可以执行饱和时间测量，以测量在测量电容器708处累积的总溢出电荷达到阈值804所需的持续时间。可以基于阈值804与饱和时间之间的比率来确定测量电容器708处的电荷累积速率，并且可以根据电荷累积速率通过外推(extrapolation)来确定在曝光周期结束时在测量电容器708处可能已经累积的假设电荷量(Q3)(如果电容器具有无限制的容量)。假设电荷量(Q3)可以在高光强度范围810内提供入射光强度的合理准确的表示。此外，利用本公开的实施例，当累积电荷量达到阈值804时，曝光周期可以被调整为向左移动到时间T’，以降低像素单元饱和的可能性。
返回参考图7B，如上所述，转移栅极706可以由测量控制信号712来控制，以控制剩余电荷电容器703和测量电容器708处对于不同光强度范围的电荷累积。例如，对于低光强度范围806，转移栅极706可以被控制为在部分导通(turned-on)状态下操作。在曝光周期期间，当剩余电荷电容器703处的总累积电荷达到阈值802时，转移栅极706的栅极电压可以基于剩余电荷电容器703处产生的电压来设置。利用这种布置，光电二极管702生成的电荷将首先存储在剩余电荷电容器703中，直到累积电荷量达到阈值802。就在曝光周期结束之前，转移栅极706可以被控制为在完全导通状态下操作，以将存储在剩余电荷电容器703中的电荷移动到测量电容器708。在电荷转移结束时，转移栅极706可以被控制为在完全关断(turned-off)状态下操作，以保持存储在测量电容器708中的电荷。此时，存储在测量电容器708中的电荷可以表示存储在剩余电荷电容器703中的电荷，并且可以用于确定入射光强度。另一方面，对于中等光强度范围808和高光强度范围810，当转移栅极706仍然处于部分导通状态并且存储在剩余电荷电容器703中的电荷尚未被转移到测量电容器708时，也可以就在曝光周期结束之前测量在测量电容器708处累积的溢出电荷。
缓冲器709可以感测在测量电容器708处累积的电荷，以在模拟输出节点714处生成模拟电压的副本(但是具有更大的驱动强度)。ADC 710可以将模拟输出节点714处的模拟电压转换成一组数字数据(例如，包括逻辑1和0)。在曝光周期结束之前(例如，对于中等光强度范围808和高光强度范围810)，或者在曝光周期之后(对于低光强度范围806)，测量电容器708处生成的模拟电压可以被采样，并且数字输出可以被生成。数字数据可以由一组像素输出总线716传输到例如，图5的控制电路510，用于表示曝光周期期间的光强度。
在一些示例中，测量电容器708的电容是可配置的，以提高低光强度范围的光强度确定的精度。例如，当测量电容器708被用于测量存储在剩余电荷电容器703中的剩余电荷时，可以减小测量电容器708的电容。测量电容器708电容的减小可以提高测量电容器708处的电荷电压转换比，使得对于一定量的存储电荷可以产生更高的电压。较高的电荷电压转换比可以减小由ADC 710引入的测量误差(例如，量化误差、比较器失调(offset)、与缓冲器电路相关联的噪声等)对低光强度确定的精度的影响。测量误差可以对ADC 710可以检测和/或区分的最小电压差设置限制。通过增加电荷电压转换比，可以减少对应于最小电压差的电荷量，这又降低了像素单元700的可测量光强度的下限，并扩展了动态范围。另一方面，对于中等光强度，可以增加测量电容器708的电容，以确保测量电容器708具有足够的容量来存储例如，达到由阈值804定义的量的电荷量。
图9示出了ADC 710的内部部件的示例。如图9所示，ADC 710包括阈值生成器902、比较器904和数字输出生成器906。数字输出生成器906还可以包括计数器908和存储器910。计数器908可以基于自由运行时钟信号912生成一组计数值，而存储器910可以存储由计数器908生成的至少一些计数值(例如，最新计数值)。在一些实施例中，存储器910可以是计数器908的一部分。存储器910可以是例如，如下所述，基于局部像素值存储计数器值的锁存电路。阈值生成器902包括数模转换器(DAC)913，DAC 913可以接受一组数字值并输出表示该组数字值的参考电压(VREF)915。如下文更详细讨论的，阈值生成器902可以接受静态数字值以生成固定阈值，或者接受计数器908的输出914以生成斜坡阈值。
尽管图9示出了DAC 913(以及阈值生成器902)是ADC 710的一部分，但应当理解，DAC 913(以及阈值生成器802)可以与来自不同像素单元的多个数字输出生成器906耦合。此外，也可以在多个像素单元中共享数字输出生成器906(以及ADC 710)，以生成数字值。
比较器904可以将模拟输出节点714处产生的模拟电压与阈值生成器902提供的阈值进行比较，并基于比较结果生成判定(decision)916。例如，如果模拟输出节点714处的模拟电压等于或超过阈值生成器902生成的阈值，则比较器904可以针对判定916生成逻辑1。如果模拟电压下降到低于阈值，则比较器904还可以针对判定916生成逻辑0。判定916可以控制计数器908的计数操作和/或存储在存储器910中的计数值，以执行模拟输出节点714处的斜坡模拟电压的前述饱和时间测量，以及执行模拟输出节点714处的模拟电压的量化处理，用于入射光强度确定。
图10A示出了ADC 710的饱和时间测量的示例。为了执行饱和时间测量，阈值生成器802可以控制DAC 813生成固定VREF 915。可以在对应于中等光强度范围和高光强度范围之间的电荷量阈值(例如，图8的阈值804)的电压处设置固定VREF 915。计数器908可以在曝光周期开始之后(例如，就在快门开关704被禁用之后)立即开始计数。随着模拟输出节点714处的模拟电压斜坡下降(或上升，取决于实现方式)，时钟信号912持续切换(toggle)以更新计数器908的计数值。模拟电压可以在某个时间点达到固定阈值，这导致比较器904的判定916翻转(flip)。判定916的翻转可以停止计数器908的计数，并且计数器908的计数值可以表示饱和时间，其中较小的计数值指示较高的电荷累积速率和较高的光强度。在模拟输出节点714处的电压与表示饱和极限的分数(fraction)的预定阈值进行比较的情况下，图10A的判定916也可用于提供饱和起始的指示。
图10B示出了由ADC 710量化模拟电压的示例。在测量开始之后，DAC 913可以由计数器输出914编程，以生成斜坡VREF 915，斜坡VREF 915可以斜坡上升(在图10B的示例中)或者斜坡下降，这取决于实现方式。在图10B的示例中，可以用均匀的量化阶梯(quantization step)来执行量化过程，对于时钟信号912的每个时钟周期，VREF 915增加(或减少)相同的量。VREF 915的增加(或减少)量对应于量化步长。当VREF 915达到模拟输出节点714处模拟电压的一个量化阶梯内时，比较器904的判定916翻转。判定916的翻转可以停止计数器908的计数，并且计数值可以对应于累积的量化阶梯总数，以在一个量化阶梯内匹配模拟电压。计数值可以变成存储在测量电容器708处的电荷量的数字表示，以及入射光强度的数字表示。如上所讨论，模拟电压的量化可以发生在曝光周期期间(例如，对于中等光强度范围808)和曝光周期之后(例如，对于低光强度范围806)。
如上所讨论，当由ADC 710输出的量级所表示(例如，由量化阶梯的总数表示)的电荷量与由ADC 710映射到量级的实际输入电荷量之间不匹配时，ADC 710可能引入量化误差。减小量化误差的一种方法可以通过采用非均匀量化方案，其中量化阶梯在输入范围上是不均匀的。图10C示出了对于非均匀量化过程和均匀量化过程，ADC编码(量化过程的输出)与输入电荷量级之间的映射的示例。虚线示出了针对非均匀量化过程的映射，而实线示出了针对均匀量化过程的映射。对于均匀量化过程，量化步长(quantization step size)(用Δl表示)对于输入电荷量的整个范围是相同的。相反，对于非均匀量化过程，量化步长根据输入电荷量而不同。例如，低输入电荷量的量化步长(用ΔS表示)小于大输入电荷量的量化步长(用ΔL表示)。此外，对于相同的低输入电荷量，可以使非均匀量化过程的量化步长(ΔS)小于均匀量化过程的量化步长(Δl)。
采用非均匀量化方案的一个优点是可以减小用于量化低输入电荷量的量化阶梯，这又减小了量化低输入电荷量的量化误差，并且可以减小可由ADC 710区分的最小输入电荷量。因此，减小的量化误差可以降低图像传感器的可测量光强度的下限，并且可以增加动态范围。此外，尽管对于高输入电荷量，量化误差增加了，但是与高输入电荷量相比，量化误差可以保持很小。因此，可以减少被引入到电荷测量的整体量化误差。另一方面，覆盖输入电荷量整个范围的量化阶梯的总数可以保持相同(或者甚至减小)，并且与增加量化阶梯数量相关联的前述潜在问题(例如，面积增加、较高的带宽要求、处理速度降低等)可以避免。
图10D示出了ADC 710使用非均匀量化过程量化模拟电压的示例。与图10B相比(图10B采用均匀量化过程)，VREF 915随着每个时钟周期以非线性方式增加，最初具有吞咽斜率(swallower slope)，随后具有更大的斜率。斜率的差异归因于不均等(uneven)的量化步长。对于较低的计数器计数值(对应于较低输入量范围)，量化阶梯变小，因此VREF 915以较慢的速率增加。对于较高的计数器计数值(对应于较高输入量范围)，量化阶梯变大，因此VREF 915以较高的速率增加。VREF 915中不均等的量化阶梯可以使用不同的方案被引入。例如，如上所讨论，DAC 913被配置成输出不同计数器计数值(来自计数器908)的电压。DAC913可以被配置成使得对于不同的计数器计数值，两个相邻计数器计数值之间的输出电压的差(其限定量化步长)是不同的。作为另一个示例，计数器908还可以被配置成在计数器计数值中生成跳跃(jump)以生成不均等的量化阶梯，而不是增加或减小相同的计数阶梯。在一些示例中，图10D的非均匀量化过程可用于低光强范围806和中等光强范围808的光强度确定。
现在参考图11，其示出了像素单元1100的示例，像素单元1100可以是图7的像素单元700的实施例。在图11的示例中，PD可以对应于光电二极管702，晶体管M0可以对应于快门开关704，晶体管M1可以对应于转移栅极706，而晶体管M2可以对应于复位开关707。此外，PDCAP可以对应于剩余电荷电容器703，而COF和CEXT电容器的组合可以对应于测量电容器708。测量电容器708的电容可由信号LG配置。当LG被启用时，测量电容器708提供COF和CEXT电容器的组合容量。当LG被禁用时，CEXT电容器可以从并联组合断开，并且测量电容器708仅包括COF电容器(加上其他寄生电容)。如上所讨论，可以减小测量电容器708的电容以增加用于低光强度确定的电荷电压转换比，并且可以增加测量电容器708的电容以提供用于中等光强度确定的必要容量。
像素单元1100还包括缓冲器709的示例，缓冲器709经由选择模块(图11中未示出)与ADC 710的示例耦合。例如，晶体管M3和M4形成源极跟随器(source follower)(其可以是图7B的缓冲器709)，以缓冲在OF节点处产生的模拟电压，该模拟电压表示存储在COF电容器处(或在COF和CEXT电容器处)的电荷量。此外，CC电容器(CC cap)、比较器1110、晶体管M5、或非门(NOR gate)1112以及存储器910可以是ADC 710的一部分，以生成表示OF节点处的模拟电压的数字输出。如上所讨论，量化可以基于由比较器1110生成的、在OF节点处产生的模拟电压与VREF之间的比较结果(VOUT)。这里，CC电容器被配置成生成VIN电压(在比较器1110的一个输入端)，该CC电容器跟踪缓冲器709的输出，并将VIN电压提供给比较器1110以与VREF进行比较。VREF可以是用于饱和时间测量的静态电压(对于高光强度范围)或者是用于模拟电压量化的斜坡电压(对于低光强度范围和中等光强度范围)。ADC编码输入可以由自由运行计数器(例如，计数器908)生成，并且由比较器1110生成的比较结果可以确定将要存储在存储器910中并且将作为入射光强度的数字表示被输出的ADC编码输入。在一些示例中，用于低光强度确定和中等光强度确定的VREF的生成可以基于如图10C和图10D中讨论的非均匀量化方案。
除了以上公开的技术，像素单元1100还包括可以进一步提高入射光强度确定的精度的技术。例如，CC电容器和晶体管M5的组合可以用于补偿由比较器1110引入的测量误差(例如，比较器失调和各种噪声)以及被引入到比较器1110的其他误差信号，从而可以提高比较器1110的精度。噪声信号可以包括例如由复位开关707引入的复位噪声电荷、由于源极跟随器阈值不匹配导致的缓冲器709输出端的噪声信号等。在复位阶段期间，当晶体管M2和M5都被启用时，反映比较器失调以及误差信号的一定量的电荷可以被存储在CC电容器上。在复位阶段期间，由于存储的电荷，还可能在CC电容器两端产生电压差。在测量阶段期间，CC电容器两端的电压差保持不变，并且CC电容器可以通过减去(或加上)电压差来跟踪缓冲器709的输出电压，以生成VIN。结果，可以针对测量误差和误差信号来补偿VIN电压，这提高了VIN和VREF之间比较的精度以及随后量化的精度。
在一些示例中，像素单元1100可以在三阶段测量过程或两阶段测量过程中操作。三阶段测量过程可用于识别物理对象(例如手642)的纹理或其他图像特征。三个阶段中的每一个可以对应于图8的三个光强度范围(例如，低光强度范围806、中等光强度范围808和高光强度范围810)中的一个。另一方面，两阶段测量过程可用于识别从低光强度范围806的光和高光强度范围810的光生成的对象或事件的图像，而不是从中等光强度范围808的光生成的图像。两阶段测量过程可用于例如检测对应于闪烁片(glint patch)632(可能在高光强度范围810内)的像素数据和对应于光瞳634(可能在低光强度范围806内)的像素数据，检测红外光的点图案(可能在高光强度范围810内)等。通过跳过一个测量阶段，可以缩短测量过程的总持续时间，从而降低功耗和输出延迟。此外，通过使用一组比特来表示低光强度范围806，而不是包括低光强度范围806和中等光强度范围808的组合(以及更大的)范围，量化误差可以被减小，并且结果是可以提高检测低光强度对象(例如，光瞳634)的精度。
在三阶段测量过程或两阶段测量过程的每个阶段，像素单元1100可以在针对相应光强度范围的测量阶段中被操作，并且基于比较器1110的输出来确定入射光强度是否落入相应的光强度范围内。如果入射光强度落入相应的光强度范围内，则像素单元1100可以将(来自计数器908的)ADC编码输入锁存到存储器910中，并(使用FLAG_1和FLAG_2信号的组合)将存储器910锁定以防止后续测量阶段重写存储器910。在两阶段测量过程或三阶段测量过程结束时，存储在存储器910中的ADC编码输入然后可以被提供作为表示入射光强度的数字输出。
现在参考图12A-图12D，它们示出了三阶段测量过程中像素单元1100的控制信号关于时间的变化。参考图12A，T0和T1之间的时间周期对应于第一复位阶段，而T1和T4之间的时间周期对应于曝光周期。在曝光周期内，T1和T2之间的时间周期对应于高光强度范围(例如，高光强度范围810)的第一阶段测量，T2和T3之间的时间周期对应于中等光强度范围(例如，中等光强度范围808)的第二阶段测量，而T3和T4之间的时间周期对应于第二复位阶段。此外，T4和T5之间的时间周期对应于低光强度范围(例如，低光强度范围806)的第三阶段测量。像素单元1100可以在时间T5提供表示入射光强度的数字输出，然后开始下一个三阶段测量过程。
如图12A所示，在T0和T1之间的时间周期期间，RST1和RST2信号以及LG信号、TX信号和快门信号都有效(asserted)。结果，存储在PDCAP电容器、CEXT电容器和COF电容器中的电荷被移除。此外，没有电荷被添加到电容器，因为由光电二极管PD生成的电荷被晶体管M0转移走了。此外，比较器1110也处于复位阶段，并且CC电容器可以存储反映由M2引入的复位噪声、比较器失调、缓冲器709的阈值失配等的电荷。在该周期接近结束时，TX栅极被偏置在阈值电平，以在PDCAP处俘获预定数量的电荷(例如，阈值802)。阈值电平可以基于对应于预定数量电荷的电压来被设置。
在T1和T2之间的时间周期期间，快门信号是无效的(de-asserted)，而LG信号保持有效，这允许由PD光电二极管生成的电荷流入PD电容器，并且如果PD电容器处产生的电压超过由TX设置的阈值电平，则该电荷流入COF电容器和CEXT电容器。图12B示出了在该时间周期期间由ADC 710执行的测量操作。如图12B所示，ADC 710可以执行饱和时间测量，并且当计数器908自由运行时，可以将OF节点处模拟电压的缓冲的且经误差补偿的版本(VIN)与表示阈值804电荷量的阈值电压进行比较。如果存储在COF电容器和CEXT电容器处的总电荷超过阈值804(基于OF节点电压)，则比较器1110将跳闸(trip)，并且计数器908在跳闸时生成的计数值可以存储在存储器910中。比较器1110的跳闸还导致存储FLAG_l的寄存器存储值1。FLAG_1信号也可以被发送到控制器740，以表示饱和起始指示。非零FLAG_l值可以使或非门1112的输出保持为低，而不管到或非门的其它输入，并且可以锁定存储器并防止随后的测量阶段重写计数器908。另一方面，如果比较器1110在T1和T2之间的时间周期期间从未跳闸，这表明入射光强度低于高光强度范围，FLAG_l保持为零。无论比较器1110是否跳闸，可由随后测量阶段更新的FLAG_2都保持为零。
在对应于第二阶段测量的T2和T3之间的时间周期期间，可以由ADC 710量化OF节点处的模拟电压。图12C示出了在该时间周期期间由ADC 710执行的测量操作。如图12C所示，斜坡VREF可以被提供给比较器1110，以与OF节点处模拟电压的缓冲的且经误差补偿的版本(VIN)进行比较。尽管图12C示出了对应于均匀量化过程的斜坡VREF，但应当理解，斜坡VREF也可以包括对应于如参照图10B所描述的非均匀量化过程的非均匀斜坡。第二阶段测量在T3结束，此时已经循环经过了表示整个中等入射光范围的ADC输入编码。如果斜坡VREF匹配VIN(在一个量化阶梯内)，则比较器1110将跳闸，并且如果存储器没有被第一阶段测量锁定(如FLAG_l的零值所指示的)，计数器908在跳闸时生成的计数值可以存储在存储器910中。如果存储器被锁定，则计数值将不被存储在存储器910中。另一方面，如果存储器没有被锁定，则计数器908在跳闸时生成的计数值可以存储在存储器910中，并且可以通过将值1写入存储FLAG_2的寄存器来锁定存储器。
在T3和T4之间的时间周期开始时，RST1和RST2信号可以在第二复位阶段再次有效。第二复位阶段的目的是复位CEXT和COF电容器，并准备COF电容器用于存储在第三阶段测量中(针对低光强度范围)从PDCAP电容器转移的电荷。LG信号也可以无效，以将CEXT电容器从COF电容器断开，并减小测量电容器708的电容。如上所讨论，电容的减小是为了增加电荷电压转换比，以改善低光强度确定。比较器1110也进入复位状态，在该状态下，CC电容器可以用来存储由CEXT和COF电容器的复位生成的噪声电荷。接近时间T4时，在复位完成之后，RST1和RST2信号无效，而偏置TX可以增加以完全导通晶体管M1。存储在PD电容器中的电荷然后可以经由M1进入COF电容器。如上所讨论，曝光周期设置模块742可以通过例如基于接收到指示像素单元处于饱和起始的有效的FLAG_1信号来设置T4的定时来设置曝光周期。
在T4和T5之间的时间周期期间，针对低光强度范围执行第三阶段测量。在该周期期间，快门信号有效以结束曝光周期，而TX信号无效以从COF电容器断开PDCA电容器和PD光电二极管，以确保COF电容器在测量时间期间仅存储曝光周期期间存储在PDCAP电容器中的电荷。图12D示出了在该时间周期期间由ADC 710执行的测量操作。如图12D所示，斜坡VREF可以被提供给比较器1110，以与OF节点处模拟电压的缓冲的且经误差补偿的版本(VIN)进行比较。尽管图12D示出了对应于均匀量化过程的斜坡VREF，但应当理解，斜坡VREF也可以包括对应于如参照图10D所描述的非均匀量化过程的非均匀斜坡。第三阶段测量在T5结束，此时已经循环经过了表示整个低入射光范围的ADC输入编码。如图12D所示，如果斜坡VREF匹配VIN(在一个量化阶梯内)，则比较器1110将跳闸，并且如果存储器没有被第一测量阶段和第二测量阶段锁定(如FLAG_l和FLAG_2的零值所指示的)，计数器908在跳闸时生成的计数值可以存储在存储器910中。如果存储器被锁定，则计数值将不被存储在存储器910中。存储在存储器910中的计数值然后可以被提供作为表示入射光强度的数字输出。
现在参考图13，它示出了两阶段测量过程中像素单元1100的控制信号关于时间的变化。参考图13，T0和T1之间的时间周期对应于第一复位阶段，而T1和T2之间的时间周期对应于曝光周期。在曝光周期内，可以执行针对高光强度范围(例如，高光强度范围810)的第一测量阶段。此外，T2和T3之间的时间周期对应于OF复位和PD电荷转移，而T3和T4之间的时间周期对应于针对低光强度范围(例如，低光强度范围810)的第二测量阶段，针对中等光强度范围的测量阶段被跳过。像素单元1100在每个测量阶段中的操作类似于关于图12B和图12D所讨论的，这里不再重复其细节。
图14示出了用于确定像素单元(例如，像素单元700、像素单元1100等)处入射光强度的过程1400的流程图的实施例。过程1400可以由控制器连同像素单元700和像素单元1100的各种部件一起执行。过程1400开始于步骤1402，其中在曝光模式中操作像素单元，在曝光模式中，光电二极管可以将电荷转移到剩余电荷电容器和/或测量电容器。在步骤1404中，可以操作像素单元来将测量电容器处产生的电压与固定阈值电压进行比较，以生成第一判定和计数器处的第一计数。步骤1404可以是针对高光强度范围的第一测量阶段，并且第一计数可以表示饱和时间测量。如果第一判定是肯定的(在步骤1406中)，则像素单元可以前进到步骤1408并将第一计数存储在存储器中，然后通过使第一标志(例如，FLAG_1)有效来锁定存储器，并且然后前进到步骤1410以执行第二测量阶段。如果第一判定不是肯定的，则像素单元也可以直接前进到步骤1410以执行第二测量阶段。
在步骤1410中，操作像素单元以将测量电容器处产生的电压与第一斜坡电压进行比较，以生成第二判定和计数器处的第二计数。步骤1410可以是针对中等光强度范围的第二测量阶段。然后，在步骤1412中，像素单元可以确定第二判定是否为肯定的，以及存储器是否未被锁定(例如，基于第一标志FLAG_l保持是无效的)。如果第二判定是肯定的并且存储器未被锁定，则像素单元可以前进到步骤1414并且将第二计数存储在存储器中，并且通过使第二标志(例如，FLAG_2)有效来锁定存储器，并且然后前进到步骤1416以执行第三测量阶段。如果第一判定不是肯定的，则像素单元也可以直接前进到步骤1416以执行第三测量阶段。
在步骤1416中，作为第三测量阶段的一部分，像素单元可以复位测量电容器以清空存储的电荷。在步骤1418中，像素单元还可以减小测量电容器的电容，以增加电荷电压转换比。在步骤1420中，像素单元可以将存储在光电二极管的剩余电荷电容器中的剩余电荷转移到测量电容器。像素单元然后前进到步骤1422，以将测量电容器处产生的电压与第二斜坡电压进行比较，以生成第三判定和计数器处的第三计数。然后，在步骤1424中，像素单元继续确定第三判定是否是肯定的以及存储器是否未被锁定(例如，基于第一标志FLAG_1和第二标志FLAG_2中的任何一个是否有效)。如果第三判定是肯定的并且存储器未被锁定，则在步骤1426中，像素单元将第三计数存储在存储器中，然后前进到步骤1428以输出存储在存储器中的计数值。另一方面，如果第三判定不是肯定的，或者存储器已经被锁定，则像素单元将直接前进到步骤1428以输出存储在存储器中的计数值(其可以是第一计数或第二计数之一)。在一些示例中，步骤1428可以在稍后的时间执行，并且步骤1428不需要紧接在步骤1424或1426之后执行。
图15示出了用于操作像素单元阵列的过程1500的流程图的实施例。像素单元阵列可以包括例如像素单元阵列700、像素单元阵列1100等。过程1500可以由与像素单元阵列和ADC(例如，ADC 710)接口的控制器(例如，控制器740)来执行。每个像素单元可以结合ADC执行图14的过程1400。过程1500开始于步骤1502，其中控制器开始预设持续时间的曝光周期，以使像素单元阵列能够累积基于入射光生成的电荷。可以基于例如像素单元700处电容器的容量、环境中的平均环境光强度、光电二极管对于平均环境光强度的电荷生成速率等来配置预设持续时间。可以通过例如打开机械快门以将像素单元暴露于入射光、禁用电荷操纵开关(例如，快门开关704)和/或启用电荷转移开关(例如，转移栅极706)等来开始曝光周期，以使像素单元处的电容器能够累积电荷。
在步骤1504，控制器确定由像素单元阵列中的至少一个像素单元累积的电荷量是否超过预定阈值。像素单元阵列可以被划分成多个像素单元块，并且该至少一个像素单元可以包括从每个像素单元块中选择的一个像素单元。可以为不同的曝光周期选择相同或不同的像素单元。预定阈值可以基于至少一个像素单元的电容器的饱和极限的一个分数。由像素单元阵列中的至少一个像素单元累积的电荷量是否超过预定阈值的确定可以基于例如由比较器生成的饱和起始指示(例如，图11的FLAG_1)。
如果电荷量超过阈值(在步骤1506中)，控制器可以前进到步骤1508，以停止像素单元阵列中的每个像素单元处的电荷累积。另一方面，如果电荷量没有超过阈值(在步骤1506中)，控制器可以前进到步骤1510，以确定预设持续时间是否已经到期。如果预设持续时间没有到期，则控制器可以返回到步骤1504，以继续监控至少一个像素单元处的饱和起始。如果预设持续时间已经到期，控制器也可以前进到步骤1508，以停止像素单元阵列中的每个像素单元处的电荷累积。电荷累积的停止可以通过例如关闭机械快门以使像素单元免受入射光影响、启用电荷操纵开关(例如，快门开关704)和/或禁用电荷转移开关(例如，转移栅极706)等来执行，以防止像素单元处的电容器累积电荷。
在步骤1512中，控制器可以(例如，从ADC 710)接收基于像素单元阵列中的每个像素单元处的累积电荷的每个像素单元的中间像素值。中间像素值可以基于第一测量阶段中的饱和时间输出来生成，或者基于第二测量阶段或第三测量阶段中存储在电容器处的电荷量来生成。
在步骤1514，控制器可以确定用于缩放中间像素值的缩放值。可以基于例如调整后的曝光周期的持续时间和默认曝光周期的持续时间之间的比率来确定缩放值。
在步骤1516中，控制器可以使用缩放值来缩放中间像素值中的每一个以生成一组数字像素值，并且在步骤1518中将数字像素值提供给图像处理器以生成图像帧。
本公开的实施例的前述描述为了说明的目的被提出；它并不意图为无遗漏的或将本公开限制到所公开的精确形式。相关领域中的技术人员可以认识到，按照上面的公开，许多修改和变化是可能的。
本描述的一些部分从对信息的操作的算法和符号表示方面描述了本公开的实施例。数据处理领域的技术人员通常使用这些算法描述和表示来向本领域的其他技术人员有效地传达他们工作的实质。这些操作虽然在功能上、计算上或逻辑上进行了描述，但应理解为将由计算机程序或等效电路、微代码等来实现。此外，将操作的这些布置称为模块有时候也被证明是方便的而不失一般性。所描述的操作和它们的相关模块可以体现在软件、固件和/或硬件中。
可以利用一个或更多个硬件或软件模块单独地或与其他设备组合地来执行或实现所描述的步骤、操作或过程。在一些实施例中，利用包括包含计算机程序代码的计算机可读介质的计算机程序产品来实现软件模块，计算机程序代码可以由计算机处理器执行，用于执行所描述的任何或全部步骤、操作或过程。
本公开的实施例也可以涉及用于执行所描述操作的装置。该装置可以被特别构造成用于所需的目的，和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这种计算机程序可以存储在非暂时性的、有形的计算机可读存储介质中，或者适于存储电子指令的任何类型的介质中，这些介质可以耦合到计算机系统总线。此外，说明书中提到的任何计算系统可以包括单个处理器，或者可以是采用多处理器设计以提高计算能力的架构。
本公开的实施例也可以涉及由本文所述的计算过程产生的产品。这样的产品可以包括由计算过程产生的信息，其中信息被存储在非暂时性的、有形的计算机可读介质上且可以包括计算机程序产品或本文所述的其他数据组合的任何实施例。
在说明书中使用的语言主要出于可读性和指导性的目的而被选择，并且它可以不被选择来描绘或限制发明的主题。因此，意图是本公开的范围不由该详细描述限制，而是由在基于其的申请上发布的任何权利要求限制。因此，实施例的公开意图对本公开的范围是说明性的，而不是限制性的，在所附权利要求中阐述了本公开的范围。

Claims (23)

1.一种装置，包括：
像素单元阵列，每个像素单元包括：
光电二极管，其被配置成在接收入射光时生成电荷并且累积所述电荷的第一部分作为剩余电荷直到所述光电二极管饱和；以及
电容器，其被配置成累积由所述光电二极管生成的电荷的第二部分作为溢出电荷；以及
控制器，其被配置成：
开始曝光周期，以使所述像素单元阵列的每个像素单元的光电二极管和电容器能够分别累积剩余电荷和溢出电荷；
确定由所述像素单元阵列中的至少一个像素单元的电容器自所述曝光周期开始后累积的溢出电荷量是否超过预定阈值；以及
基于由所述至少一个像素单元的电容器累积的溢出电荷量超过所述预定阈值的确定：
结束所述像素单元阵列的所述曝光周期，
为所述像素单元阵列的每个像素单元生成输出像素值，所述至少一个像素单元的输出像素值是基于测量所述溢出电荷量超过所述预定阈值的持续时间被生成的，所述像素单元阵列的其他像素单元的输出像素值是基于所述曝光周期内在所述其他像素单元的每个像素单元处生成的电荷量被生成的；以及
提供所述输出像素值用于生成图像帧。
2.根据权利要求1所述的装置，其中，所述控制器还被配置成：
基于所述曝光周期内在每个像素单元的电容器处累积的电荷，确定所述每个像素单元的中间像素值；
基于结束的曝光周期的持续时间来确定缩放值；以及
使用所述缩放值来缩放所述中间像素值中的每一个，以生成所述输出像素值。
3.根据权利要求1所述的装置，其中，基于使所述至少一个像素单元饱和的入射光的强度范围来设置所述预定阈值。
4.根据权利要求1所述的装置，其中，基于所述至少一个像素单元的用于累积电荷的电容器的容量来设置所述预定阈值。
5.根据权利要求1所述的装置，还包括：
一个或更多个模数转换器ADC，其被配置成基于以下至少一项来生成数字像素值：像素单元的电容器累积等于所述预定阈值的电荷量的时间测量值，或者当所述曝光周期结束时在所述电容器处累积的电荷量的测量值；以及
选择模块，其被配置成将所述像素单元阵列中的每个像素单元顺序地耦合到所述一个或更多个ADC，以基于在所述每个像素单元的光电二极管处累积的电荷来为所述每个像素单元生成数字像素值。
6.根据权利要求5所述的装置，其中，所述控制器被配置成在多个曝光周期中的每个曝光周期中：
从所述像素单元阵列选择一像素单元作为所述至少一个像素单元；
控制所述选择模块将选定像素单元耦合到所述一个或更多个ADC，以确定在所述选定像素单元处累积的电荷量是否超过所述预定阈值；以及
响应于确定在所述选定像素单元处累积的电荷量超过所述预定阈值，结束所述每个曝光周期。
7.根据权利要求6所述的装置，其中，所述控制器被配置成在所述多个曝光周期中的每个曝光周期中选择相同的像素单元。
8.根据权利要求6所述的装置，其中，所述控制器被配置成在所述多个曝光周期中的第一曝光周期和第二曝光周期中选择不同的像素单元。
9.根据权利要求6所述的装置，其中，所述控制器被配置成基于所述像素单元的数字像素值在先前曝光周期中超过所述预定阈值，来在当前曝光周期中选择所述像素单元。
10.根据权利要求6所述的装置，其中，所述控制器被配置成基于随机函数来选择所述像素单元。
11.根据权利要求1所述的装置，其中，每个像素单元包括模数转换器ADC，所述ADC被配置成基于以下至少一项来为所述每个像素单元生成数字像素值：所述每个像素单元的电容器累积等于所述预定阈值的电荷量的时间测量值，或者当所述曝光周期结束时在所述电容器处累积的电荷量的测量值；并且
其中，所述控制器被配置成：
监控在至少一个像素单元处累积的电荷量超过所述预定阈值的指示；以及
根据接收到所述指示来结束每个像素单元的曝光周期。
12.根据权利要求1所述的装置，其中，所述曝光周期具有默认结束时间；
其中，所述控制器被配置成基于由所述至少一个像素单元累积的电荷量超过所述预定阈值的确定，在所述默认结束时间之前结束所述曝光周期；并且
其中，基于环境光强度来预设所述默认结束时间。
13.根据权利要求1所述的装置，其中，所述像素单元阵列是像素单元的第一阵列；
其中，所述装置还包括像素单元的第二阵列；并且
其中，所述控制器被配置成：
在第一时间开始所述第一阵列和所述第二阵列的曝光周期；
在第二时间结束所述第一阵列的曝光周期；以及
在不同于所述第二时间的第三时间结束所述第二阵列的曝光周期。
14.一种方法，包括：
开始曝光周期，以使像素单元阵列中的每个像素单元的光电二极管和电容器能够分别累积剩余电荷和溢出电荷，所述剩余电荷是由所述光电二极管生成的电荷的第一部分，所述光电二极管在接收到入射光后生成所述电荷直到所述光电二极管饱和，所述溢出电荷是所述电荷的第二部分；
确定由所述像素单元阵列中的至少一个像素单元的电容器自所述曝光周期开始累积的溢出电荷量是否超过预定阈值；以及
基于由所述至少一个像素单元的电容器累积的溢出电荷量超过预定阈值的确定：
结束所述像素单元阵列的所述曝光周期；
为所述像素单元阵列的每个像素单元生成输出像素值，所述至少一个像素单元的输出像素值是基于测量所述溢出电荷量超过所述预定阈值的持续时间来生成的，所述像素单元阵列中的其他像素单元的输出像素值是基于在所述曝光周期内在所述其他像素单元中的每个像素单元处生成的电荷量而生成的；以及
提供所述输出像素值用于生成图像帧。
15.根据权利要求14所述的方法，还包括：
基于所述曝光周期内在每个像素单元的电容器处累积的电荷，确定所述每个像素单元的中间像素值；
基于结束的曝光周期的持续时间来确定缩放值；以及
使用所述缩放值来缩放所述中间像素值中的每一个，以生成所述输出像素值。
16.根据权利要求14所述的方法，其中，基于使所述至少一个像素单元饱和的入射光的强度范围来设置所述预定阈值。
17.根据权利要求14所述的方法，其中，基于所述至少一个像素单元的用于累积电荷的电容器的容量来设置所述预定阈值。
18.根据权利要求14所述的方法，还包括：
使用ADC基于以下至少一项来为每个像素单元生成数字像素值：所述每个像素单元的电容器累积等于所述预定阈值的电荷量的时间测量值，或者当所述曝光周期结束时在所述每个像素单元的电容器处累积的电荷量的测量值。
19.根据权利要求18所述的方法，还包括：
在多个曝光周期中的每个曝光周期中：
从所述像素单元阵列选择一像素单元作为所述至少一个像素单元；
控制所述ADC以确定在选定像素单元处累积的电荷量是否超过所述预定阈值；以及
响应于确定在所述选定像素单元处累积的电荷量超过所述预定阈值，结束所述每个曝光周期。
20.根据权利要求19所述的方法，其中，在所述多个曝光周期中的每个曝光周期中选择相同的像素单元。
21.根据权利要求19所述的方法，其中，在所述多个曝光周期中的第一曝光周期和第二曝光周期中，选择所述第一曝光周期中的不同的像素单元。
22.根据权利要求19所述的方法，其中，基于所述像素单元的数字像素值在先前曝光周期中超过所述预定阈值，来在当前曝光周期中选择所述像素单元。
23.根据权利要求19所述的方法，其中，基于随机函数来选择所述像素单元。
CN201980029816.8A 2018-03-02 2019-02-27 具有自适应曝光的数字像素阵列 Active CN112088529B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862637970P 2018-03-02 2018-03-02
US62/637,970 2018-03-02
US16/285,873 2019-02-26
US16/285,873 US10827142B2 (en) 2018-03-02 2019-02-26 Digital pixel array with adaptive exposure
PCT/US2019/019765 WO2019168929A1 (en) 2018-03-02 2019-02-27 Digital pixel array with adaptive exposure

Publications (2)

Publication Number Publication Date
CN112088529A CN112088529A (zh) 2020-12-15
CN112088529B true CN112088529B (zh) 2023-04-28

Family

ID=67768768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980029816.8A Active CN112088529B (zh) 2018-03-02 2019-02-27 具有自适应曝光的数字像素阵列

Country Status (5)

Country Link
US (1) US10827142B2 (zh)
JP (1) JP2021515481A (zh)
CN (1) CN112088529B (zh)
TW (1) TWI787472B (zh)
WO (1) WO2019168929A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10904514B2 (en) 2017-02-09 2021-01-26 Facebook Technologies, Llc Polarization illumination using acousto-optic structured light in 3D depth sensing
US10613413B1 (en) * 2017-05-31 2020-04-07 Facebook Technologies, Llc Ultra-wide field-of-view scanning devices for depth sensing
US10419701B2 (en) 2017-06-26 2019-09-17 Facebook Technologies, Llc Digital pixel image sensor
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10181200B1 (en) 2017-06-28 2019-01-15 Facebook Technologies, Llc Circularly polarized illumination and detection for depth sensing
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
US10574973B2 (en) 2017-09-06 2020-02-25 Facebook Technologies, Llc Non-mechanical beam steering for depth sensing
US11393867B2 (en) 2017-12-06 2022-07-19 Facebook Technologies, Llc Multi-photodiode pixel cell
US10969273B2 (en) 2018-03-19 2021-04-06 Facebook Technologies, Llc Analog-to-digital converter having programmable quantization resolution
US11004881B2 (en) 2018-04-03 2021-05-11 Facebook Technologies, Llc Global shutter image sensor
US11233085B2 (en) 2018-05-09 2022-01-25 Facebook Technologies, Llc Multi-photo pixel cell having vertical gate structure
US10834344B2 (en) 2018-06-09 2020-11-10 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10903260B2 (en) 2018-06-11 2021-01-26 Facebook Technologies, Llc Multi-photodiode pixel cell
US11089241B2 (en) 2018-06-11 2021-08-10 Facebook Technologies, Llc Pixel cell with multiple photodiodes
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11089210B2 (en) 2018-06-11 2021-08-10 Facebook Technologies, Llc Configurable image sensor
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
US10931884B2 (en) * 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11102430B2 (en) 2018-12-10 2021-08-24 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
CN110719412B (zh) * 2019-09-29 2022-09-16 炬佑智能科技(苏州)有限公司 一种cmos图像传感器曝光时间的控制方法
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
CN114868379A (zh) * 2019-11-08 2022-08-05 ams国际有限公司 光传感器
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
WO2021236021A1 (en) * 2020-05-22 2021-11-25 Brillnics Singapore Pte. Ltd. System, method, device and data structure for digital pixel sensors
US11363188B2 (en) * 2020-06-17 2022-06-14 Microsoft Technology Licensing, Llc Motion-based operation of imaging devices
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
US12022218B2 (en) 2020-12-29 2024-06-25 Meta Platforms Technologies, Llc Digital image sensor using a single-input comparator based quantizer
US11663739B2 (en) * 2021-03-11 2023-05-30 Microsoft Technology Licensing, Llc Fiducial marker based field calibration of a device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1965410A (zh) * 2004-06-08 2007-05-16 伊斯曼柯达公司 具有集成变容二极管的有源像素传感器单元
US7326903B2 (en) * 2006-06-29 2008-02-05 Noble Peak Vision Corp. Mixed analog and digital pixel for high dynamic range readout

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4334627B2 (ja) * 1997-04-14 2009-09-30 オリンパス株式会社 光電変換装置
US6580454B1 (en) * 1998-11-18 2003-06-17 Agilent Technologies, Inc. CMOS active pixel sensor having in-pixel local exposure control
US6069377A (en) * 1999-05-13 2000-05-30 Eastman Kodak Company Image sensor incorporating saturation time measurement to increase dynamic range
US6486504B1 (en) 1999-10-26 2002-11-26 Eastman Kodak Company CMOS image sensor with extended dynamic range
US7280143B2 (en) 2003-04-14 2007-10-09 Micron Technology, Inc. CMOS image sensor with active reset and 4-transistor pixels
US6885331B2 (en) 2003-09-15 2005-04-26 Micron Technology, Inc. Ramp generation with capacitors
JP4317115B2 (ja) 2004-04-12 2009-08-19 国立大学法人東北大学 固体撮像装置、光センサおよび固体撮像装置の動作方法
TWI429066B (zh) 2005-06-02 2014-03-01 Sony Corp Semiconductor image sensor module and manufacturing method thereof
KR20080034508A (ko) * 2005-08-08 2008-04-21 요셉 러브너 적응형 노출 제어
KR100775058B1 (ko) 2005-09-29 2007-11-08 삼성전자주식회사 픽셀 및 이를 이용한 이미지 센서, 그리고 상기 이미지센서를 포함하는 이미지 처리 시스템
EP2104234B1 (en) 2008-03-21 2011-08-31 STMicroelectronics Limited Analog-to-digital conversion in image sensors
US7795650B2 (en) * 2008-12-09 2010-09-14 Teledyne Scientific & Imaging Llc Method and apparatus for backside illuminated image sensors using capacitively coupled readout integrated circuits
CN102334293B (zh) 2009-09-11 2014-12-10 松下电器产业株式会社 模拟/数字变换器、图像传感器系统、照相机装置
TWI410128B (zh) * 2010-01-21 2013-09-21 Inventec Appliances Corp 數位相機及其運作方法
TWI462265B (zh) 2010-11-30 2014-11-21 Ind Tech Res Inst 影像擷取裝置
KR101241704B1 (ko) 2011-04-14 2013-03-19 엘지이노텍 주식회사 픽셀, 픽셀 어레이, 이를 포함하는 이미지센서 및 그 구동방법
JP5868065B2 (ja) 2011-08-05 2016-02-24 キヤノン株式会社 撮像装置
JP5901186B2 (ja) 2011-09-05 2016-04-06 キヤノン株式会社 固体撮像装置及びその駆動方法
US20130056809A1 (en) 2011-09-07 2013-03-07 Duli Mao Image Sensor with Reduced Noiseby Blocking Nitridation Over Selected Areas
WO2013070942A1 (en) * 2011-11-08 2013-05-16 Rambus Inc. Image sensor sampled at non-uniform intervals
KR20130062188A (ko) 2011-12-02 2013-06-12 삼성전자주식회사 이미지 센서 및 이를 포함하는 이미지 처리 장치
TW201340708A (zh) 2012-03-19 2013-10-01 Sony Corp 固體攝像裝置及電子機器
US8957358B2 (en) 2012-04-27 2015-02-17 Taiwan Semiconductor Manufacturing Company, Ltd. CMOS image sensor chips with stacked scheme and methods for forming the same
US8779346B2 (en) 2012-05-14 2014-07-15 BAE Systems Imaging Solutions Inc. Digital pixel sensor with reduced noise
JP2014236183A (ja) 2013-06-05 2014-12-15 株式会社東芝 イメージセンサ装置及びその製造方法
JP6188451B2 (ja) 2013-06-27 2017-08-30 オリンパス株式会社 アナログデジタル変換器および固体撮像装置
JP6413233B2 (ja) * 2013-11-26 2018-10-31 株式会社ニコン 撮像装置および撮像素子
KR102210539B1 (ko) 2013-12-26 2021-02-01 삼성전자주식회사 상관 이중 샘플링 회로, 이를 포함하는 아날로그-디지털 컨버터, 및 이미지 센서
EP2924979B1 (en) 2014-03-25 2023-01-18 IMEC vzw Improvements in or relating to imaging sensors
TWI656631B (zh) 2014-03-28 2019-04-11 日商半導體能源研究所股份有限公司 攝像裝置
WO2016013412A1 (ja) * 2014-07-25 2016-01-28 ソニー株式会社 固体撮像素子、撮像制御方法、信号処理方法、及び、電子機器
US9432597B2 (en) 2014-07-25 2016-08-30 Rambus Inc. Low-noise, high dynamic-range image sensor
JP2016039392A (ja) * 2014-08-05 2016-03-22 ソニー株式会社 撮像装置及び画素信号読み出し方法
US9560296B2 (en) 2014-12-05 2017-01-31 Qualcomm Incorporated Pixel readout architecture for full well capacity extension
US9819882B2 (en) 2015-06-05 2017-11-14 Caeleste Cvba Global shutter high dynamic range sensor
KR102523136B1 (ko) * 2015-09-01 2023-04-19 삼성전자주식회사 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀
US11297258B2 (en) * 2015-10-01 2022-04-05 Qualcomm Incorporated High dynamic range solid state image sensor and camera system
US10072974B2 (en) * 2016-06-06 2018-09-11 Semiconductor Components Industries, Llc Image sensors with LED flicker mitigaton global shutter pixles
US9935618B1 (en) * 2016-09-30 2018-04-03 Tower Semiconductor Ltd. Schmitt trigger circuit with hysteresis determined by modified polysilicon gate dopants

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1965410A (zh) * 2004-06-08 2007-05-16 伊斯曼柯达公司 具有集成变容二极管的有源像素传感器单元
US7326903B2 (en) * 2006-06-29 2008-02-05 Noble Peak Vision Corp. Mixed analog and digital pixel for high dynamic range readout

Also Published As

Publication number Publication date
TW201939736A (zh) 2019-10-01
US10827142B2 (en) 2020-11-03
WO2019168929A1 (en) 2019-09-06
JP2021515481A (ja) 2021-06-17
CN112088529A (zh) 2020-12-15
TWI787472B (zh) 2022-12-21
US20190273114A1 (en) 2019-09-05

Similar Documents

Publication Publication Date Title
CN112088529B (zh) 具有自适应曝光的数字像素阵列
CN110959288B (zh) 具有扩展动态范围的数字像素
CN111919157B (zh) 具有多阶段读出的数字像素阵列
US11863886B2 (en) Pixel sensor having multiple photodiodes
US11089210B2 (en) Configurable image sensor
CN111989911B (zh) 具有扩展的动态范围的数字像素
CN112369013B (zh) 全局快门图像传感器
JP7279082B2 (ja) 拡張されたダイナミックレンジをもつデジタルピクセル
US11595602B2 (en) Image sensor post processing
CN112470460B (zh) 具有扩展的动态范围的数字像素
US20200186731A1 (en) Pixel sensor having multiple photodiodes
CN112262565B (zh) 图像传感器后处理

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC

GR01 Patent grant
GR01 Patent grant