CN111955002A - 全局快门图像传感器 - Google Patents

全局快门图像传感器 Download PDF

Info

Publication number
CN111955002A
CN111955002A CN201980024435.0A CN201980024435A CN111955002A CN 111955002 A CN111955002 A CN 111955002A CN 201980024435 A CN201980024435 A CN 201980024435A CN 111955002 A CN111955002 A CN 111955002A
Authority
CN
China
Prior art keywords
voltage
charge
sensing device
sampling
capacitor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980024435.0A
Other languages
English (en)
Other versions
CN111955002B (zh
Inventor
刘新桥
陈松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN111955002A publication Critical patent/CN111955002A/zh
Application granted granted Critical
Publication of CN111955002B publication Critical patent/CN111955002B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14603Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14609Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/1461Pixel-elements with integrated switching, control, storage or amplification elements characterised by the photosensitive area
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/59Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/79Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

提供了图像传感器的示例。在一个示例中,像素单元包括第一半导体晶片、采样电容器和可以包括采样电容器的第二半导体晶片。第一半导体晶片包括光电二极管和电荷感测器件。第二半导体晶片与第一半导体晶片形成叠层,第二半导体晶片包括与光电二极管、电荷感测器件和采样电容器耦合的接口电路。接口电路被配置成:启用光电二极管以在积分周期内响应于入射光累积电荷;将电荷从光电二极管转移到电荷感测器件;使用采样电容器执行采样保持操作,以将电荷感测器件中的电荷转换成电压;以及基于该电压生成数字输出,以表示由光电二极管接收的入射光的强度。

Description

全局快门图像传感器
背景
本公开总体上涉及图像传感器,且更具体地涉及包括接口电路的像素单元(pixelcell)结构,用于确定用于图像生成的光强度。
典型的图像传感器包括光电二极管阵列,用于通过将光子转换成电荷(例如,电子或空穴)来感测入射光。为了减少图像失真,可以执行全局快门(global shutter)操作,其中光电二极管阵列中的每个光电二极管同时感测入射光以生成电荷。由光电二极管阵列生成的电荷然后可以由模数转换器(ADC)量化为数字值以生成图像。
概述
本公开涉及图像传感器。更具体地且没有限制地,本公开涉及像素单元。本公开还涉及操作像素单元的电路以生成入射光强度的数字表示。
在一个示例中,提供了一种像素单元。像素单元包括第一半导体晶片(die),该第一半导体晶片包括光电二极管和电荷感测器件。像素单元还包括采样电容器和与第一半导体晶片形成叠层(stack)的第二半导体晶片,该第二半导体晶片包括与光电二极管、电荷感测器件和采样电容器耦合的接口电路。接口电路被配置成:启用光电二极管以在积分周期内响应于入射光累积电荷;将电荷从光电二极管转移到电荷感测器件;使用采样电容器执行采样保持操作(sample-and-hold operation),以将电荷感测器件中的电荷转换成电压;以及基于该电压生成数字输出,以表示由光电二极管接收的入射光的强度。
在一些方面,像素单元还包括耦合在电荷感测器件和采样电容器之间的采样开关。接口电路被配置成,作为采样保持操作的一部分:启用采样开关,以使采样电容器对电荷感测器件中累积的电荷进行采样,从而产生电压;以及禁用采样开关,以使采样电容器保持电压。
在一些方面,电压是第一电压。电荷感测器件被配置成基于存储的电荷来输出第二电压。像素单元还包括耦合在电荷感测器件和采样电容器之间的电压缓冲器,该电压缓冲器被配置成缓冲第二电压以将第一电压输出到采样电容器。采样电容器被操作以在采样开关被启用时对从电压缓冲器接收的第一电压进行采样,并且在采样开关被禁用之后保持第一电压。
在一些方面,采样开关和电压缓冲器被包括在第一半导体晶片中。
在一些方面,采样电容器包括以下至少一项:夹在叠层中的第一半导体晶片和第二半导体晶片之间的金属电容器或半导体电容器,或者形成在第二半导体晶片中的金属电容器或半导体电容器。
在一些方面,接口电路还包括可复位的比较器。像素单元还包括耦合在采样电容器和比较器之间的AC电容器。接口电路被配置成当采样开关被启用时:控制比较器进入复位状态;操作AC电容器以:获得由电荷感测器件的先前复位操作引起的该电荷感测器件的复位电压的第一样本;在比较器处于复位状态时,获得该比较器的偏移的第二样本;基于复位电压的第一样本和偏移的第二样本,存储AC电容器两端的第三电压;以及基于第一电压和第三电压来向比较器输出第四电压。基于第四电压生成数字输出。
在一些方面,像素单元还包括耦合在光电二极管和电荷感测器件之间的转移开关。接口电路被配置成:控制比较器退出复位状态以保持AC电容器两端的第三电压;启用转移开关以将电荷从光电二极管转移到电荷感测器件,其中电荷的转移在采样电容器处产生第一电压;以及禁用转移开关以停止电荷的转移,其中禁用转移开关导致采样电容器保持第一电压并且AC电容器保持第四电压用于生成数字输出。
在一些方面,像素单元的比较器的输出端与存储器耦合。存储器与计数器耦合,计数器被配置成基于时钟周期性地更新计数值。比较器被配置成在转移开关被禁用之后,将第四电压与斜坡阈值(ramping threshold)进行比较以输出判定(decision)。存储器被配置成基于该判定来存储来自计数器的计数值。所存储的计数值表示数字输出。
在一些方面,像素单元还包括耦合在比较器的输出端和存储器之间的选择开关。接口电路被配置成:当像素单元被选择来将数字输出存储在存储器中时,启用选择开关以将判定传输到存储器;以及当像素单元未被选择来将数字输出存储在存储器中时,禁用选择开关以从存储器阻挡判定。
在一些方面,存储器和计数器被包括在第二半导体晶片中。
在一些方面,像素单元还包括耦合在光电二极管和电荷吸收器(charge sink)之间的快门开关。接口电路被配置成:禁用快门开关以开始积分周期,并启用光电二极管以累积电荷,以及启用快门开关以结束积分周期,并防止光电二极管累积电荷。
在一些方面,电荷感测器件包括以下至少一项:浮置漏极节点(floating drainnode)或钉扎存储节点(pinned storage node)。
在一些示例中,提供了一种图像传感器。图像传感器包括第一半导体晶片,该第一半导体晶片包括光感测电路阵列,光感测电路阵列中的每个光感测电路包括光电二极管和电荷感测器件。图像传感器还包括采样电容器阵列,采样电容器阵列中的每个采样电容器对应于光感测电路阵列中的光感测电路。图像传感器还包括与第一半导体晶片形成叠层的第二半导体晶片,第二半导体晶片包括接口电路阵列,接口电路阵列中的每个接口电路、光感测电路阵列中的每个光感测电路以及采样电容器阵列中的每个采样电容器形成像素单元。每个像素单元的每个接口电路被配置成:启用相应的光感测电路的光电二极管,以在全局积分周期内响应于入射光累积电荷;将电荷从光电二极管转移到相应的光感测电路的电荷感测器件;使用相应的采样电容器对存储在电荷感测器件中的电荷执行采样保持操作,以获得电压;以及基于该电压生成数字输出,以表示由相应的像素单元接收的入射光的强度。
在一些方面,在每个像素单元中:光感测电路还包括耦合在电荷感测器件和采样电容器之间的采样开关。接口电路被配置成,作为采样保持操作的一部分:启用采样开关,以使采样电容器对存储在电荷感测器件中的电荷进行采样,从而产生电压;以及禁用采样开关,以使采样电容器保持电压。
在一些方面,在每个像素单元中:电压是第一电压。电荷感测器件被配置成基于所存储的电荷输出第二电压。光感测电路还包括耦合在电荷感测器件和采样电容器之间的电压缓冲器,该电压缓冲器被配置成缓冲第二电压以将第一电压输出到采样电容器。采样电容器被操作以在采样开关被启用时对从电压缓冲器接收的第一电压进行采样,并且在采样开关被禁用之后保持第一电压。
在一些方面,在每个像素单元中:每个接口电路还包括可复位的比较器。每个光感测电路还包括耦合在采样电容器和比较器之间的AC电容器。每个接口电路被配置成当采样开关被启用时:控制比较器进入复位状态;操作AC电容器以:获得由电荷感测器件的先前复位操作引起的该电荷感测器件的复位电压的第一样本;在比较器处于复位状态时,获得该比较器的偏移的第二样本;基于复位电压的第一样本和偏移的第二样本,存储AC电容器两端的第三电压;以及基于第一电压和第三电压,向比较器输出第四电压。基于第四电压生成数字输出。
在一些方面,每个光感测电路还包括耦合在光电二极管和电荷感测器件之间的转移开关。每个接口电路被配置成:控制比较器退出复位状态,以保持AC电容器两端的第三电压;启用转移开关以将电荷从光电二极管转移到电荷感测器件,其中电荷的转移在采样电容器处产生第一电压;以及禁用转移开关以停止电荷的转移,其中禁用转移开关导致采样电容器保持第一电压并且AC电容器保持第四电压用于生成数字输出。
在一些方面,图像传感器还包括控制器、计数器和存储器缓冲器组。存储器缓冲器组中的每个存储器缓冲器与计数器耦合。计数器被配置成基于时钟周期性地更新计数值。每个接口电路的比较器的输出端经由被控制器控制的选择开关耦合到每个存储器缓冲器。比较器被配置成在转移开关被禁用之后,将第四电压与斜坡阈值进行比较以生成判定。控制器被配置成在不同时间启用像素单元子集的选择开关,以将选定的像素单元子集的比较器的判定传输到存储器缓冲器组。存储器缓冲器组被配置成基于在不同时间选定的像素单元子集的判定来存储来自计数器的计数值。所存储的计数值表示像素单元的数字输出。
在一些示例中,提供了一种方法。该方法包括:通过接口电路启用光感测电路的光电二极管,以在积分周期内响应于入射光累积电荷,其中光感测电路和接口电路分别位于形成叠层的第一半导体晶片和第二半导体晶片中;通过接口电路将电荷从光电二极管转移到光感测电路的电荷感测器件;通过接口电路并使用采样电容器执行采样保持操作,以将存储在电荷感测器件中的电荷转换成电压;以及通过接口电路基于电压生成数字输出,以表示由光电二极管接收的入射光的强度。
在一些方面,该方法还包括:将电压与斜坡阈值进行比较以输出判定;基于该判定控制存储器存储来自计数器的计数值;以及提供计数值作为数字输出。存储器和计数器在第二半导体晶片中。
附图简述
参考以下附图描述说明性实施例。
图1A和图1B是近眼显示器实施例的示意图。
图2是近眼显示器的横截面的实施例。
图3示出了具有单个源组件的波导显示器实施例的等轴视图。
图4示出了波导显示器的实施例的横截面。
图5是包括近眼显示器的系统实施例的框图。
图6A、图6B和图6C示出了像素单元及其操作的示例。
图7A、图7B、图7C、图7D和图7E示出了像素单元及其操作的示例。
图8A、图8B、图8C、图8D和图8E示出了图像传感器及其操作的示例。
图9示出了用于测量光强度的示例过程的流程图。
附图仅为了说明的目的而描绘本公开的实施例。本领域中的技术人员从下面的描述中将容易认识到示出的结构和方法的可选的实施例可以被采用而不偏离本公开的原理和所推崇的益处。
在附图中,相似的部件和/或特征可以具有相同的附图标记。此外,可以通过在附图标记之后用破折号和在相似部件之间进行区分的第二标记来区分相同类型的各个部件。如果说明书中仅使用第一附图标记,则该描述适用于具有相同第一附图标记的任何一个相似部件,而与第二附图标记无关。
详细描述
在以下描述中,为了解释的目的阐述了具体细节,以便提供对某些创造性实施例的透彻理解。然而,很明显,没有这些具体细节也可以实施各种实施例。附图和描述并不旨在是限制性的。
典型的图像传感器包括像素单元阵列。每个像素单元包括光电二极管,用于通过将光子转换成电荷(例如,电子或空穴)来感测入射光。然后,由像素单元阵列的光电二极管生成的电荷可以由模数转换器(ADC)量化成数字值。ADC可以通过例如使用比较器将表示电荷的电压与一个或更多个量化电平进行比较来量化电荷,并且可以基于比较结果生成数字值。然后,数字值可以存储在存储器中以生成图像。
由于功率和芯片面积的限制,通常ADC和存储器由至少一些像素单元共享,而不是为每个像素单元提供专用的ADC和存储器。可以执行滚动快门(rolling shutter)操作以适应像素单元之间的ADC和存储器的共享。例如,像素单元阵列可以被划分成多个组(例如,像素单元的行或列),其中每个组中的像素共享ADC和存储器。为了适应ADC和存储器的共享,可以执行滚动快门操作,其中组内的每个像素单元可以轮流暴露于入射光以生成电荷,随后访问ADC以执行电荷到数字值的量化,并将数字值存储到存储器中。由于滚动快门操作在不同时间将不同的像素单元暴露于入射光,所以由滚动快门操作生成的图像会经历失真,尤其是对于移动对象的图像和/或当图像传感器移动时捕获的图像。由滚动快门操作引入的潜在失真使得它不适用于增强现实/混合现实/虚拟现实(AR/MR/VR)应用、可穿戴应用(wearable application)等,在这些应用中,图像传感器可以是头戴式装置(headset)的一部分,并且在捕获图像时可以是运动的。
为了减少图像失真,可以执行全局快门操作,其中像素单元阵列中的每个像素单元在全局快门周期(或全局积分周期)内同时暴露于入射光以生成电荷。每个像素单元可以包括电荷感测器件,以临时存储由光电二极管生成的电荷。当像素单元被授权访问ADC和存储器时,像素单元可以将电荷从电荷感测器件提供到ADC,以执行量化来生成数字值,然后将数字值存储在存储器中。
有各种技术来实现像素单元中的电荷感测器件,例如将电荷感测器件实现为浮置漏极节点、(钉扎二极管的)钉扎存储节点等。但是使用这些技术实现的电荷感测器件易受噪声电荷的影响,噪声电荷会降低存储在电荷感测器件中的电荷与入射光强度之间的相关性,并降低像素单元的灵敏度。例如,被配置作为电荷感测器件的浮置漏极节点容易受到暗电流(dark current)的影响,暗电流可以是由于晶体缺陷而在半导体器件的p-n结(junction)处生成的漏电流(leakage current)。暗电流可以流入电荷感测器件,并增加光电二极管生成的电荷。作为另一个示例,当入射光的光子穿透像素单元的半导体衬底并到达钉扎存储节点时,钉扎存储节点可以生成电荷。电荷感测器件生成的电荷可以增加光电二极管生成的电荷。在这两种情况下,存储在电荷感测器件中的电荷不同于光电二极管在全局快门周期期间生成的电荷,并且电荷感测器件中的电荷的量化结果可能无法提供入射光强度的精确表示。
还有其他噪声源会进一步降低入射光强度的精确表示。例如,在测量之间复位电荷感测器件期间,热噪声(以及其他噪声,例如1/f噪声等)可以作为复位噪声被注入到电荷感测器件中,复位噪声将不反映入射光强度的电荷添加到浮置节点。此外,如上所述,量化过程通常包括使用比较器将表示电荷的电压与一个或更多个量化电平进行比较,并且可以基于比较的结果生成数字值。比较器偏移也会导致与量化电平的比较出现误差,从而在数字值中引入误差。
本公开涉及可以改善全局快门操作的像素单元。在一个示例中,像素单元可以包括第一半导体晶片、采样电容器和第二半导体晶片。第一半导体晶片包括光接收表面、经由光接收表面接收入射光的光电二极管、以及累积由光电二极管生成的电荷的电荷感测器件。第二半导体晶片与第一半导体晶片形成叠层,并且包括与采样电容器、光电二极管和电荷感测器件耦合的接口电路。采样电容器可以包括夹在叠层内的第一半导体晶片和第二半导体晶片之间的金属电容器,或者可以包括形成在第二半导体晶片中的器件电容器。电荷感测器件可以包括浮置漏极节点、钉扎存储节点等。
为了执行入射光的感测,接口电路可以在积分周期内将光电二极管暴露于入射光,以使光电二极管生成电荷。接口电路可以使用采样电容器对积分周期内在存储器件中累积的电荷执行采样保持操作,以获得电压。更具体地,像素单元可以包括耦合在电荷感测器件和采样电容器之间的采样开关,以支持采样保持操作。接口电路可以启用采样开关以使采样电容器对在存储器件中累积的电荷进行采样以产生电压,然后禁用采样开关以使采样电容器保持电压。采样开关被禁用之后,采样电容处保持的电压可以被量化以生成数字输出。
像素单元的接口电路可以包括比较器来执行量化。比较器可以与存储器和计数器耦合,存储器和计数器两者都可以在像素单元的外部。计数器可以基于时钟周期性地更新计数值。比较器可以将采样电容器处保持的电压与斜坡阈值进行比较,以生成判定。基于判定,存储器可以存储来自计数器的计数值。存储在存储器中的计数值可以是数字输出。
在一些示例中,为了进一步提高入射光的感测精度,可以在采样电容器和比较器之间提供AC电容器,以存储表示被引入到电荷感测器件的复位噪声和比较器的偏移的第二电压。AC电容器还可以包括夹在叠层内的第一半导体晶片和第二半导体晶片之间的金属电容器。AC电容器可以将第二电压与采样电容器处保持的电压(“第一电压”)组合,以向比较器输出第三电压,作为组合的结果,将复位噪声分量从第三电压中去除。比较器可以将第三电压与阈值进行比较以执行量化操作,在该量化操作中,第三电压中的比较器偏移分量可以补偿比较器的实际偏移。
所公开的技术可以以多种方式改善光感测。首先,采样电容器可以提供额外的电荷感测器件来存储由光电二极管生成的电荷。采样电容器对噪声电荷也不太敏感。例如,采样电容器可以是金属电容器,其对源于晶体缺陷的暗电流不太敏感,并且在接收光子时不生成电荷。如上所述,与将复位噪声和比较器偏移预存储在AC电容器中以减小复位噪声和比较器偏移对量化操作的影响的技术组合,可以显著提高光感测操作的精度和图像生成操作的保真度。
所公开的技术还可以减小像素单元的覆盖区(footprint),这允许在图像传感器中封装大量像素单元以提高分辨率,同时最小化图像传感器的覆盖区。例如,通过将光电二极管与处理电路堆叠以形成像素单元,并且通过将存储器置于像素单元外部,可以减小像素单元的覆盖区。此外,通过在半导体晶片之间形成采样电容器和AC电容器,这些电容器不覆盖光接收表面,这可以最大化光接收表面的可用像素单元面积,并且允许像素单元的覆盖区进一步减小。利用所公开的技术,可以实现具有较小覆盖区的高分辨率图像传感器,这对于可用空间非常有限的可穿戴设备(例如,头戴式装置)上的应用特别有用。
所公开的技术还可以提高图像生成的可靠性和速度。例如,由于存储器位于像素单元外部并且不影响像素单元的覆盖区,所以可以提供冗余存储器设备来存储来自每个像素单元的数字输出,以降低由于有缺陷的存储器而丢失数字输出(和像素值)的可能性。但是由于存储器主要包括数字电路,并且通常具有非常小的覆盖区,所以添加冗余存储器(由像素单元共享)通常不会显著增加图像传感器的覆盖区。此外,与像素单元将模拟电压(例如,电荷感测器件处的电压)传输到外部ADC以执行量化操作的实现相比,所公开的技术允许在像素单元内执行部分量化(比较器比较)操作,并且仅将数字输出(比较器的判定)从像素单元传输到外部存储器。与模拟电压相比,可以以高保真度(在0和1之间进行区分)和较高速度传输数字输出。所有这些都可以提高基于像素单元的光感测操作的图像生成的可靠性和速度。
所公开的技术可以包括人工现实系统或者结合人工现实系统来实现。人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实形式,其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(mixed reality,MR)、混杂现实(hybrid reality)或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与所捕获的(例如,现实世界)内容组合的所生成的内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合,它们中的任何一个都可以在单个通道或多个通道中呈现(例如向观众产生三维效果的立体视频)。此外,在一些实施例中,人工现实还可以与应用、产品、附件、服务或其某种组合相关联,这些应用、产品、附件、服务或其某种组合用于例如在人工现实中创建内容和/或在人工现实中以其他方式使用(例如在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现,这些平台包括连接到主计算机系统的头戴式显示器(HMD)、独立的HMD、移动设备或计算系统、或者能够向一个或更多个观众提供人工现实内容的任何其他硬件平台。
图1A是近眼显示器100的实施例的示意图。近眼显示器100向用户呈现媒体。由近眼显示器100呈现的媒体的示例包括一个或更多个图像、视频和/或音频。在一些实施例中,音频经由外部设备(例如,扬声器和/或头戴式耳机)呈现,该外部设备从近眼显示器100、控制台或两者接收音频信息,并基于音频信息来呈现音频数据。近眼显示器100通常被配置成作为虚拟现实(VR)显示器进行操作。在一些实施例中,近眼显示器100被修改为作为增强现实(AR)显示器和/或混合现实(MR)显示器来进行操作。
近眼显示器100包括框架105和显示器110。框架105耦合到一个或更多个光学元件。显示器110被配置成让用户看到由近眼显示器100呈现的内容。在一些实施例中,显示器110包括波导显示组件,用于将来自一个或更多个图像的光导向用户的眼睛。
近眼显示器100还包括图像传感器120a、120b、120c和120d。图像传感器120a、120b、120c和120d中的每一个可以包括像素阵列,该像素阵列被配置成生成表示沿着不同方向的不同视场的图像数据。例如,传感器120a和120b可以被配置成提供表示沿着Z轴朝向方向A的两个视场的图像数据,而传感器120c可以被配置成提供表示沿着X轴朝向方向B的视场的图像数据,并且传感器120d可以被配置成提供表示沿着X轴朝向方向C的视场的图像数据。
在一些实施例中,传感器120a-120d可以被配置为输入设备,以控制或影响近眼显示器100的显示内容,从而向佩戴近眼显示器100的用户提供交互式VR/AR/MR体验。例如,传感器120a-120d可以生成用户所处物理环境的物理图像数据。物理图像数据可以被提供给定位跟踪系统,以跟踪用户在物理环境中的定位和/或移动路径。然后,系统可以基于例如用户的定位和定向来更新提供给显示器110的图像数据,以提供交互式体验。在一些实施例中,当用户在物理环境内移动时,定位跟踪系统可以运行SLAM算法来跟踪在物理环境中和用户视场内的一组对象。定位跟踪系统可以基于该组对象来构建并更新物理环境的地图(map),并且跟踪用户在地图内的定位。通过提供对应于多个视场的图像数据,传感器120a-120d可以向定位跟踪系统提供物理环境的更全面的视图,这可以导致更多的对象被包括在地图的构建和更新中。利用这种布置,可以提高在物理环境中跟踪用户定位的精度和鲁棒性。
在一些实施例中,近眼显示器100还可以包括一个或更多个有源照明器130,以将光投射到物理环境中。投射的光可以与不同的频谱(例如,可见光、红外光、紫外光等)相关联,并且可以用于各种目的。例如,照明器130可以在黑暗环境中(或者在具有低强度红外光、紫外光等的环境中)投射光,以帮助传感器120a-120d捕获黑暗环境内不同对象的图像,从而例如实现对用户进行定位跟踪。照明器130可以将某些标记投射到环境内的对象上,以帮助定位跟踪系统识别对象用于地图构建/更新。
在一些实施例中,照明器130还可以实现立体成像。例如,一个或更多个传感器120a或120b可以包括用于可见光感测的第一像素阵列和用于红外(IR)光感测的第二像素阵列。第一像素阵列可以覆盖有彩色滤光器(filter)(例如,Bayer滤光器),第一像素阵列的每个像素被配置成测量与特定颜色(例如,红色、绿色或蓝色之一)相关联的光的强度。第二像素阵列(用于IR光感测)也可以覆盖有仅允许IR光通过的滤光器,第二像素阵列中的每个像素被配置成测量IR光的强度。像素阵列可以生成对象的RGB图像和IR图像,IR图像的每个像素被映射到RGB图像的每个像素。照明器130可以在对象上投射一组IR标记,该对象的图像可以被IR像素阵列捕获。基于图像中所示对象的IR标记分布,系统可以估计对象的不同部分离IR像素阵列的距离,并基于该距离生成对象的立体图像。基于对象的立体图像,系统可以确定例如,对象相对于用户的相对位置,并且可以基于相对位置信息来更新提供给显示器100的图像数据,以提供交互式体验。
如上所讨论,近眼显示器100可以在与非常宽的光强度范围相关联的环境中操作。例如,近眼显示器100可以在室内环境或室外环境中和/或在一天中的不同时间操作。近眼显示器100也可以在开启或不开启有源照明器130的情况下操作。结果,图像传感器120a-120d可能需要具有宽的动态范围,以便能够在与近眼显示器100的不同操作环境相关联的非常宽的光强度范围上正确操作(例如,生成与入射光强度有关的输出)。
图1B是近眼显示器100的另一个实施例的示意图。图1B示出了近眼显示器100的面向佩戴近眼显示器100的用户的眼球135的一侧。如图1B所示,近眼显示器100还可以包括多个照明器140a、140b、140c、140d、140e和140f。近眼显示器100还包括多个图像传感器150a和150b。照明器140a、140b和140c可以朝向方向D(与图1A的方向A相反)发射特定频率范围(例如,NIR)的光。发射的光可以与某种图案相关联,并且可以被用户的左眼球反射。传感器150a可以包括像素阵列,以接收反射的光并生成反射图案的图像。类似地,照明器140d、140e和140f可以发射携带图案的NIR光。NIR光可以被用户的右眼球反射,并且可以被传感器150b接收。传感器150b也可以包括像素阵列,以生成反射图案的图像。基于来自传感器150a和150b的反射图案的图像,系统可以确定用户的凝视点,并基于所确定的凝视点来更新提供给显示器100的图像数据,以向用户提供交互式体验。
如上所讨论,为了避免损害用户的眼球,照明器140a、140b、140c、140d、140e和140f通常被配置成输出非常低强度的光。在图像传感器150a和150b包括与图1A的图像传感器120a-120d相同的传感器设备的情形中,当入射光的强度非常低时,图像传感器120a-120d可能需要能够生成与入射光的强度有关的输出,这可能进一步增加图像传感器的动态范围要求。
此外,图像传感器120a-120d可能需要能够高速生成输出来跟踪眼球的移动。例如,用户的眼球可以进行非常快速的移动(例如,眼跳移动(saccade movement)),其中可以从一个眼球位置快速跳跃到另一个眼球位置。为了跟踪用户眼球的快速移动,图像传感器120a-120d需要高速生成眼球的图像。例如,图像传感器生成图像帧的速率(帧速率)至少需要匹配眼球的移动速度。高的帧速率要求生成图像帧所涉及的所有像素单元的总曝光时间要短,并且要求将传感器输出转换成用于图像生成的数字值的速度要快。此外,如上所讨论,图像传感器也需要能够在低光强度的环境下操作。
图2是图1所示的近眼显示器100的横截面200的实施例。显示器110包括至少一个波导显示组件210。出射光瞳(exit pupil)230是当用户佩戴近眼显示器100时,用户的单个眼球220在视窗(eyebox)区域中的定位。为了说明的目的,图2示出了与眼球220和单个波导显示组件210相关联的横截面200,但是第二波导显示器用于用户的第二只眼睛。
波导显示组件210被配置成将图像光导向位于出射光瞳230处的视窗,并导向眼球220。波导显示组件210可以由具有一个或更多个折射率的一种或更多种材料(例如,塑料、玻璃等)组成。在一些实施例中,近眼显示器100包括在波导显示组件210和眼球220之间的一个或更多个光学元件。
在一些实施例中,波导显示组件210包括一个或更多个波导显示器的叠层,这些波导显示器包括但不限于堆叠式波导显示器、变焦波导显示器等。堆叠式波导显示器是通过堆叠相应单色源具有不同的颜色的波导显示器而产生的多色显示器(例如,红绿蓝(RGB)显示器)。堆叠式波导显示器也是可以被投射在多个平面上的多色显示器(例如,多平面彩色显示器)。在一些配置中,堆叠式波导显示器是可以被投射在多个平面上的单色显示器(例如,多平面单色显示器)。变焦波导显示器是可以调节从波导显示器发射的图像光的焦点位置的显示器。在替代实施例中,波导显示组件210可以包括堆叠式波导显示器和变焦波导显示器。
图3示出了波导显示器300的实施例的等轴视图。在一些实施例中,波导显示器300是近眼显示器100的部件(例如,波导显示组件210)。在一些实施例中,波导显示器300是将图像光导向特定定位的某个其他近眼显示器或其他系统的一部分。
波导显示器300包括源组件310、输出波导320和控制器330。为了说明的目的,图3示出了与单个眼球220相关联的波导显示器300,但是在一些实施例中,与波导显示器300分离或部分分离的另一个波导显示器向用户的另一只眼睛提供图像光。
源组件310生成图像光355。源组件310生成图像光355并将其输出到位于输出波导320的第一侧面370-1上的耦合元件350。输出波导320是向用户的眼球220输出扩展的图像光340的光波导。输出波导320在位于第一侧面370-1上的一个或更多个耦合元件350处接收图像光355,并将接收到的输入图像光355引导至导向元件360。在一些实施例中,耦合元件350将来自源组件310的图像光355耦合到输出波导320中。耦合元件350可以是,例如,衍射光栅、全息光栅、一个或更多个级联反射器、一个或更多个棱柱面元件(prismatic surfaceelement)、和/或全息反射器阵列。
导向元件360将接收到的输入图像光355重定向到去耦元件(decouplingelement)365,使得接收到的输入图像光355经由去耦元件365从输出波导320去耦出去。导向元件360是输出波导320的第一侧面370-1的一部分或固定到其上。去耦元件365是输出波导320的第二侧面370-2的一部分或固定到其上,使得导向元件360与去耦元件365相反。导向元件360和/或去耦元件365可以是例如,衍射光栅、全息光栅、一个或更多个级联反射器、一个或更多个棱柱面元件、和/或全息反射器阵列。
第二侧面370-2表示沿x维度和y维度的平面。输出波导320可以由有助于图像光355的全内反射的一种或更多种材料组成。输出波导320可以由例如硅、塑料、玻璃和/或聚合物组成。输出波导320具有相对较小的形状因子。例如,输出波导320可以沿x维度宽约50mm,沿y维度长约30mm,以及沿z维度厚约0.5mm-1mm。
控制器330控制源组件310的扫描操作。控制器330确定源组件310的扫描指令。在一些实施例中,输出波导320将扩展的图像光340输出到具有大视场(FOV)的用户的眼球220。例如,扩展的图像光340以(x和y中的)60度和/或更大和/或150度和/或更小的对角FOV被提供给用户的眼球220。输出波导320被配置成提供视窗,其长度为20mm或更大和/或等于或小于50mm;和/或宽度为10mm或更大和/或等于或小于50mm。
此外,控制器330还基于由图像传感器370提供的图像数据来控制由源组件310生成的图像光355。图像传感器370可以位于第一侧面370-1上,并且可以包括例如,图1A的图像传感器120a-120d,以生成用户前方物理环境的图像数据(例如,用于定位确定)。图像传感器370也可以位于第二侧面370-2上,并且可以包括图1B的图像传感器150a和150b,以生成用户的眼球220的图像数据(例如,用于凝视点确定)。图像传感器370可以与不位于波导显示器300内的远程控制台通过接口连接。图像传感器370可以向远程控制台提供图像数据,远程控制台可以确定例如,用户的定位、用户的凝视点等,并确定要向用户显示的图像内容。远程控制台可以向控制器330传输与所确定的内容相关的指令。基于这些指令,控制器330可以控制源组件310生成并输出图像光355。
图4示出了波导显示器300的横截面400的实施例。横截面400包括源组件310、输出波导320和图像传感器370。在图4的示例中,图像传感器370可以包括位于第一侧面370-1上的一组像素单元402,以生成用户前方物理环境的图像。在一些实施例中,可以在该组像素单元402和物理环境之间插入机械快门404,以控制该组像素单元402的曝光。在一些实施例中,如下面将讨论的,机械快门404可以由电子快门栅极(shutter gate)代替。每个像素单元402可以对应于图像的一个像素。尽管图4中未示出,但应当理解,每个像素单元402也可以覆盖有滤光器,以控制要由像素单元感测的光的频率范围。
在从远程控制台接收到指令之后,机械快门404可以在曝光周期中打开并曝光该组像素单元402。在曝光周期期间,图像传感器370可以获得入射到该组像素单元402上的光样本,并且基于由该组像素单元402检测到的入射光样本的强度分布来生成图像数据。图像传感器370然后可以向远程控制台提供图像数据,该远程控制台确定显示内容,并向控制器330提供显示内容信息。控制器330然后可以基于显示内容信息来确定图像光355。
源组件310根据来自控制器330的指令生成图像光355。源组件310包括源410和光学系统415。源410是生成相干光或部分相干光的光源。源410可以是,例如,激光二极管、垂直腔面发射激光器和/或发光二极管。
光学系统415包括一个或更多个光学部件,光学部件调节来自源410的光。调节来自源410的光可以包括例如,根据来自控制器330的指令来扩展、准直和/或调整定向。一个或更多个光学部件可以包括一个或更多个透镜、液体透镜、反射镜、光圈和/或光栅。在一些实施例中,光学系统415包括具有多个电极的液体透镜,液体透镜允许用阈值的扫描角度来扫描光束,以将光束移到液体透镜外部的区域。从光学系统415(还有源组件310)发射的光被称为图像光355。
输出波导320接收图像光355。耦合元件350将来自源组件310的图像光355耦合到输出波导320中。在耦合元件350是衍射光栅的实施例中,衍射光栅的间距被选择成使得全内反射在输出波导320中发生,并且图像光355在输出波导320中朝向去耦元件365进行内部传播(例如,通过全内反射)。
导向元件360将图像光355重定向到去耦元件365,用于从输出波导320去耦。在导向元件360是衍射光栅的实施例中,衍射光栅的间距被选择成使得入射图像光355以相对于去耦元件365的表面倾斜的角度离开输出波导320。
在一些实施例中,导向元件360和/或去耦元件365在结构上类似。离开输出波导320的扩展的图像光340沿着一个或更多个维度被扩展(例如,可以沿着x维度被拉长)。在一些实施例中,波导显示器300包括多个源组件310和多个输出波导320。每个源组件310发射对应于原色(例如,红色、绿色或蓝色)的特定波段的单色图像光。每个输出波导320可以以一定的间隔距离堆叠在一起,以输出多色的扩展的图像光340。
图5是包括近眼显示器100的系统500的实施例的框图。系统500包括近眼显示器100、成像设备535、输入/输出接口540以及图像传感器120a-120d和150a-150b,它们各自耦合到控制电路510。系统500可以被配置为头戴式设备、可穿戴设备等。
近视显示器100是向用户呈现媒体的显示器。由近眼显示器100呈现的媒体示例包括一个或更多个图像、视频和/或音频。在一些实施例中,音频经由外部设备(例如,扬声器和/或头戴式耳机)呈现,该外部设备从近眼显示器100和/或控制电路510接收音频信息,并基于音频信息来向用户呈现音频数据。在一些实施例中,近眼显示器100也可以充当AR眼镜。在一些实施例中,近眼显示器100利用计算机生成的元素(例如,图像、视频、声音等)来增强物理、现实世界环境的视图。
近眼显示器100包括波导显示组件210、一个或更多个位置传感器525和/或惯性测量单元(IMU)530。波导显示组件210包括源组件310、输出波导320和控制器330。
IMU 530是一种电子设备,其基于从一个或更多个位置传感器525接收的测量信号生成快速校准数据,该快速校准数据指示相对于近眼显示器100的初始位置的近眼显示器100的估计位置。
成像设备535可以生成各种应用的图像数据。例如,成像设备535可以根据从控制电路510接收的校准参数来生成图像数据以提供慢速校准数据。成像设备535可以包括例如,图1A的图像传感器120a-120d用于生成用户所处物理环境的图像数据,以执行用户的定位跟踪。成像设备535还可以包括例如,图1B的图像传感器150a-150b,用于生成用于确定用户的凝视点的图像数据,以识别用户感兴趣的对象。
输入/输出接口540是允许用户向控制电路510发送动作请求的设备。动作请求是执行特定动作的请求。例如,动作请求可以是开始或结束应用,或者是在应用内执行特定动作。
控制电路510根据从成像设备535、近眼显示器100和输入/输出接口540中的一个或更多个接收的信息来向近眼显示器100提供媒体以呈现给用户。在一些示例中,控制电路510可以被容纳在被配置为头戴式设备的系统500内。在一些示例中,控制电路510可以是与系统500的其他部件通信耦合的独立控制台设备。在图5所示的示例中,控制电路510包括应用储存器545、跟踪模块550和引擎555。
应用储存器545存储用于由控制电路510执行的一个或更多个应用。应用是一组指令,该组指令当由处理器执行时生成用于显现给用户的内容。应用的示例包括:游戏应用、会议应用、视频回放应用或其他合适的应用。
跟踪模块550使用一个或更多个校准参数来校准系统500,并且可以调整一个或更多个校准参数以减小近眼显示器100的位置确定中的误差。
跟踪模块550使用来自成像设备535的慢速校准信息来跟踪近眼显示器100的移动。跟踪模块550还使用来自快速校准信息的位置信息来确定近眼显示器100的参考点的位置。
引擎555执行系统500内的应用,并从跟踪模块550接收近眼显示器100的位置信息、加速度信息、速度信息和/或预测的未来位置。在一些实施例中,引擎555接收的信息可以用于产生信号(例如,显示指令)给波导显示组件210,该信号确定呈现给用户的内容类型。例如,为了提供交互式体验,引擎555可以基于(例如,由跟踪模块550提供的)用户的定位、或(例如,基于由成像设备535提供的图像数据的)用户的凝视点、(例如,基于由成像设备535提供的图像数据的)对象与用户之间的距离来确定要呈现给用户的内容。
图6A、图6B和图6C示出了图像传感器及其操作的示例。如图6A所示,图像传感器600可以包括包括像素单元601的像素单元阵列,并且可以生成对应于图像像素的数字强度数据。像素单元601可以是图4的像素单元402的一部分。如图6A所示,像素单元601可以包括光电二极管602、转移栅极(transfer gate)604和电荷感测器件606。光电二极管602可以包括例如PN二极管、PIN二极管、钉扎二极管等。光电二极管602可以在在曝光周期内接收光时生成电荷,并且在曝光周期内生成的电荷量可以与光的强度成比例。光电二极管602也可以存储生成的电荷。转移栅极604可以包括例如金属氧化物半导体场效应晶体管(MOSFET)、双极结型晶体管(BJT)等。电荷感测器件606可以包括例如转移栅极604的晶体管的浮置漏极(FD)节点、由钉扎二极管形成的钉扎存储器件等。在曝光周期接近结束时,转移栅极604可以被启用以将存储在光电二极管602中的电荷转移到电荷感测器件606来产生电压。可以获得包括v00、v01、…、vji的电压阵列。电压阵列可以由A/D转换器(其可以在像素单元的外部或内部)量化为数字值。数字值可以被进一步处理以生成图像610。
在图6A中,即使像素单元必须共享A/D转换器,电荷感测器件606在每个像素单元中的存在也使得图像传感器600能够执行全局快门操作。具体地,每个像素单元的光电二极管602可以在同一全局曝光周期内被曝露于入射光以生成电荷。电荷可以暂时存储在像素单元的电荷感测器件606中,至少直到该像素单元可以访问A/D转换器来量化电荷。利用这种布置,即使像素单元生成的电压没有被同时量化,也可以支持全局快门操作。
图6B和图6C示出了图像传感器600的示例的横截面图。图像传感器600可以包括多个像素单元601(例如,像素单元601a、601b、601c等),其中每个像素单元包括光电二极管602(例如,光电二极管602a、602b、602c等)和电荷感测器件606(例如,电荷感测器件606a、606b、606c等)。电荷感测器件606可以是例如钉扎存储节点、浮置漏极节点等。如图6B和图6C所示,图像传感器600可以被包括在具有前侧表面622和背侧表面624的半导体晶片620中。前侧表面622可以是从其制造半导体晶片620的半导体晶圆(wafer)的前侧,而背侧表面624可以是半导体晶圆的背侧。半导体晶圆的前侧可以接受掺杂、离子植入等,以形成光电二极管602和电荷感测器件606,使得比起背侧表面624,光电二极管602和电荷感测器件606更靠近前侧表面622。金属互连部626(例如,金属互连部626a、626b、626c等)可以形成在前侧表面622上(如图6B所示),或者形成在背侧表面624上(如图6C所示)。金属互连部626可以用于将电荷从光电二极管602转移到电荷感测器件606。
图像传感器600可以具有不同的配置。例如,如图6B所示,图像传感器600可以具有背侧照明(BSI)配置,其中背侧表面624可以是图像传感器600的光接收表面。此外,如图6C所示,图像传感器600可以具有前侧照明(FSI)配置,其中前侧表面622可以是图像传感器600的光接收表面。在图6B和图6C中,图像传感器600可以包括形成在光接收表面上的彩色滤光器632(例如,滤光器632a、632b、632c等)和微透镜634(例如,微透镜634a、634b、634c等)。光可以穿过微透镜634、彩色滤光器632和光接收表面(图6B中的背侧表面624、图6C中的前侧表面622)到达光电二极管602。
如上所述,噪声电荷可能被添加到电荷感测器件606,这可能给光强度测量操作引入误差。例如,在电荷感测器件606是浮置漏极节点的情况下,由于晶体缺陷导致的暗电流会将噪声电荷添加到从光电二极管602转移的电荷中。由于光强度测量操作是基于测量光电二极管602在全局快门周期内生成的电荷量,而测量结果是基于电荷感测器件606中存储的电荷,所以来自暗电流的噪声电荷会给光强度测量操作带来误差。
在电荷感测器件606是钉扎二极管的钉扎存储节点的情况下,与浮置漏极节点相比,暗电流可以减小,但是钉扎二极管可以经由光接收表面接收光子640,并且响应于光子640生成光子噪声电荷,该光子噪声电荷也可以被添加到从光电二极管602转移的电荷。浮置漏极节点虽然易受暗电流影响,但通常比钉扎二极管生成更少的光子噪声电荷。图6C的FSI配置中的电荷感测器件606可以生成比图6B的BSI配置中更多的噪声电荷,因为在该FSI配置中电荷感测器件606更靠近光接收表面,并且缺少遮光结构来阻挡光子640到达电荷感测器件606。结果,与BSI配置相比,在FSI配置中,电荷感测器件606可能接收更多的光子640并生成更多的噪声电荷。此外,如图6B和图6C所示,在BSI配置中,光电二极管602比在FSI配置中更远离光接收表面。结果,与在FSI配置相比,在BSI配置中,入射光在到达光电二极管602之前需要在半导体620内行进更长的距离,并且因此受到更大的功率损耗。结果,具有BSI配置的图像传感器600通常提供比FSI配置更低的光电荷转换率,这会降低图像传感器600(尤其是在弱光环境中)的灵敏度。
图7A和图7B示出了像素单元700的示例。图7A示出了像素单元700的横截面结构图,而图7B示出了像素单元700的示意图。像素单元700可以执行具有改善的噪声性能的全局快门操作。如图7A所示,像素单元700可以包括沿着垂直方向(例如,沿着z轴)形成叠层的第一半导体晶片702、第二半导体晶片704和采样电容器706。第一半导体晶片702可以包括光电二极管716和电荷感测器件718。第二半导体晶片704可以包括接口电路720。在图7A的示例中,采样电容器706可以包括由夹在第一半导体晶片702和第二半导体晶片704之间的一个或更多个金属层708形成的金属电容器。在一些示例中,采样电容器706也可以形成为在第一半导体晶片702或第二半导体晶片704之一中的器件电容器(例如,浮置漏极节点、钉扎存储节点等)。通过沿垂直方向堆叠光电二极管716、采样电容器706和接口电路720,可以减小像素单元700的(沿x/y轴)水平覆盖区,这允许在图像传感器中封装大量像素单元以提高分辨率,同时最小化图像传感器的覆盖区。此外,通过在半导体晶片之间形成采样电容器和AC电容器,这些电容器不覆盖光接收表面,这可以最大化光接收表面的可用像素单元面积,并且允许像素单元的覆盖区进一步减小。利用所公开的技术,可以实现具有小覆盖区的高分辨率图像传感器,这对于可用空间非常有限的可穿戴设备(例如,头戴式装置)上的应用特别有用。
如上所述,第一半导体晶片702可以包括光电二极管716和电荷感测器件718。光电二极管716可以在积分周期内暴露于入射光,以生成并存储电荷。在积分周期接近结束时,存储在光电二极管716中的电荷可以被转移到电荷感测器件718以产生电压。第二半导体晶片704的接口电路720可以包括控制电路722,以控制采样电容器706执行采样保持操作来对电压进行采样,然后存储该电压。接口电路720还包括处理电路724,用于对所存储的电压执行量化操作,以生成表示由光电二极管716接收的入射光强度的数字输出。如下所述,采样保持操作可以减少采样电容器706暴露于暗电流,这可以提高光感测操作的精度。
第一半导体晶片702包括前侧表面710和背侧表面712。可以通过例如在前侧表面710上执行掺杂工艺、离子植入工艺等形成光电二极管716和电荷感测器件718,使得比起背侧表面712,光电二极管716和电荷感测器件718都更靠近前侧表面710。为了提高光电荷转换率,像素单元700可以具有FSI配置,其中前侧表面710被配置为光接收表面,微透镜726和彩色滤光器728位于前侧表面710上以聚焦和过滤入射光。为了减小光子噪声电荷生成的影响,电荷感测器件718可以被形成为浮置漏极节点、金属电容器、多晶硅电容器等。
参考图7B,第一半导体晶片702还包括其他电路,包括例如可选的快门开关732、转移开关734、存储复位开关736、电压缓冲器738和采样开关740。开关可以由控制电路722控制,以测量入射光强度。具体地,(由标记为“AB”的信号控制的)快门开关732可以充当电子快门栅极(代替图4的机械快门404或与机械快门404组合),以控制曝光/积分周期,在该周期内光电二极管716可以累积电荷用于光强度测量。在一些示例中,快门开关732也可以被配置为抗高光溢出栅极(anti-blooming gate),以防止当光电二极管饱和时由光电二极管716生成的电荷泄漏到其他像素单元中。此外,可以控制转移开关734将电荷从光电二极管716转移到电荷感测器件718来产生电压,该电压可以由电压缓冲器738缓冲。采样开关740连同采样电容器706可以被控制来执行所缓冲的电压的采样保持操作。存储复位开关736可以在采样保持操作之前和之后复位电荷感测器件718,以重新开始新的光强度测量。
图7C示出了用于快门开关732、转移开关734、存储复位开关736和采样开关740执行采样保持操作的控制信号的示例序列。如图7C所示,快门开关732可以在时间T0被禁用(通过使AB信号无效(de-assert)),以开始积分/快门周期,在该周期内,光电二极管716可以累积电荷用于光强度测量。在时间T0和T1之间,电荷感测器件718可以处于复位状态,存储复位开关736被启用(通过使RST信号有效(assert)),同时光电二极管716累积电荷。在时间T1和T4之间可以是采样周期,在该周期内,采样开关740被启用以将采样电容器706电连接到电压缓冲器738的输出端,电压缓冲器738缓冲电荷感测器件718的电压。在采样周期期间,存储复位开关736可以被禁用(通过使RST信号无效)。采样电容器706两端的电压可以跟踪电荷感测器件718处所缓冲的电压。在采样周期内的时间T2和T3之间,转移开关734可以被启用以将光电二极管716中累积的电荷转移到电荷感测器件718。在时间T3,可以禁用转移开关734,这结束了积分周期,并且在时间T3,电荷感测器件718处的电压可以表示在时间T0和T3之间的积分周期内由光电二极管716累积的(并且转移到电荷感测器件718的)电荷量。采样电容器706可以对电荷感测器件718处所缓冲的电压进行采样,直到时间T4,使得采样电容器706处的电压跟踪电荷感测器件718处所缓冲的电压。在时间T4之后,采样电容器706可以保持经采样电压(sampled voltage),该经采样电压然后可以由处理电路724在时间T4之后的后续时间进行量化。
图像传感器可以包括像素单元700阵列。为了支持全局快门操作,像素单元700阵列可以共享全局AB信号和全局TG信号,使得对于每个像素单元700,全局积分周期在同一时间T0开始,并且在同一时间T3结束。每个像素单元的采样电容器706可以存储表示在全局积分周期内由每个像素单元的光电二极管716累积的电荷的电压。存储在像素中的电压然后可以被一个或更多个ADC量化。
与图6的像素单元601相比,像素单元700可以提供改善的噪声性能。具体地,电荷感测器件718在大部分积分周期(例如,从时间T0和T1)处于复位状态,并且在采样周期期间脱离复位状态。与电荷感测器件718处于复位状态时相比,在采样周期期间,电荷感测器件718对暗电流和光子更敏感,并且可能累积更多的暗电流噪声电荷和光子噪声电荷。如果采样周期相对较短,则可以减少添加到从光电二极管716转移的电荷中的噪声电荷。此外,通过执行采样保持操作,在对电荷感测器件718处所缓冲的电压进行采样之后,采样电容器706可以从电荷感测器件718断开,这可以防止暗电流从电荷感测器件718(或第一半导体晶片702的其他部件)流入采样电容器706(这会污染经采样电压)。此外,通过将采样电容器706实现为金属电容器而不是浮置漏极节点或钉扎存储节点,采样电容器706在保持经采样电压时对暗电流和光子噪声电荷更不敏感。所有这些可以减少被量化的电压中的噪声分量,并且可以提高光感测操作的精度。
图7D示出了处理电路724的示例。如图7D所示,处理电路724包括比较器750。比较器750可以与存储器760耦合,存储器760也与计数器762耦合。在一些示例中,存储器760和计数器762可以是像素单元700和处理电路724的一部分。在一些示例中,如下所述,存储器760和计数器762可以在像素单元700的外部,并且在像素单元700阵列之间共享,以减小像素单元700的覆盖区。
比较器750、存储器760和计数器762可以执行采样电容器706处的经采样电压(标记为“VS”)的量化过程。具体地,存储器760可以是锁存存储器(latch memory)。计数器762可以基于时钟信号周期性地更新其输出计数值(标记为“cnt”)。比较器750可以将从采样电容器706处的经采样电压(标记为“VS”)导出的输入电压(标记为“VCOMP_IN”)与斜坡阈值电压(标记为“VREF”)进行比较,以生成判定(标记为“VOUT”)。判定可以是控制锁存存储器存储由计数器762输出的计数值的锁存信号。当斜坡VREF电压达到或超过VCOMP_IN时,比较器750的判定输出跳转(trip),并且计数器762在判定跳转时输出的计数值可以存储在存储器760中。存储在存储器760中的计数值可以表示VCOMP_IN和VS的量化结果,该量化结果可以表示图7C的全局快门周期内入射光强度的测量结果。
如图7D所示,像素单元700还包括AC电容器746和比较器复位开关752,比较器复位开关752可以被操作来补偿由比较器750引入的测量误差(例如,比较器偏移)以及其他误差信号,例如,(通过使RST信号有效)被引入到电荷感测器件718的复位噪声,其可能存在于经采样电压VS中。AC电容器746可以被实现为第一半导体晶片702和第二半导体晶片704之间的金属电容器。AC电容器746可以用于在采样周期内执行两次采样操作。可以在将电荷从光电二极管716转移到电荷感测器件718之前执行第一采样操作,这存储了复位噪声电荷。作为第一采样操作的一部分,可以启用比较器复位开关752(通过使COMP_RST信号有效),这可以使比较器的负输入端和输出端短路。作为第一采样操作的结果,AC电容器746可以存储电容器两端的电压(被标记为“VCC”),该电压包括复位噪声的分量和比较器750的偏移电压。然后可以执行第二采样操作,其中可以禁用比较器复位开关752,随后启用电荷转移开关742以将电荷从光电二极管716转移到电荷感测器件718。输入电压VCOMP_IN可以包括最新的经采样电压VS(其表示存储在光电二极管716中并转移到电荷感测器件718的电荷)和电压VCC。最新的经采样电压VS中的复位噪声电荷分量可以被电压VCC中的复位噪声电荷分量抵消,而电压VCC中的比较器偏移分量保留在输入电压VCOMP_IN中。当比较器750将新的输入电压VCOMP_IN与斜坡阈值电压进行比较时,输入电压VCOMP_IN中的比较器偏移分量可以抵消或显著减小比较器750的比较器偏移的影响。由于比较器偏移和复位噪声都被消除或至少被显著减小,量化的精度可以提高。
图7D示出了用于采样保持操作的包括COMP_RST的示例控制信号序列。图7C中的AB信号、RST信号、TG信号和采样(SAMPLE)信号的时序与图7C中的相同,并且在此不再重复它们的描述。如图7D所示,在采样周期内并且在时间T1和T2之间,从光电二极管716到电荷感测器件718的电荷转移还没有开始。电荷感测器件718处的电压(以及经采样电压VS)可以是复位电压VS_rst,并且还可以包括复位噪声分量VσKTC。在时间T1和T2之间,经采样电压VS可以如下所示:
VS(T2)=VS_rst+VσKTC (方程1)
此外,随着比较器复位开关752被启用,并且比较器750的正端子连接到电压VREF,电压COMP_IN(VCOMP_IN)可以跟踪电压VREF,但是相差比较器偏移Vcomp_offset如下所示:
VCOMP_IN(T2)=VREF+Vcomp_offset (方程2)
在时间T2,AC电容器746的右极板(right plate)(与COMP_IN连接)和AC电容器746的左极板(与采样电容器706连接)之间的电压差VCC可以如下所示:
VCC(T2)=VCOMP_IN(T2)-VS(T2) (方程3)
组合方程1、方程2和方程3,在T2时间的电压差VCC可以如下所示:
VCC(T2)=(VREF+Vcomp_offset)-(VS_rst+VσKTC) (方程4)
电压差VCC(T2)可以表示第一采样操作的结果。
在T2和T3之间,电荷转移开关734被启用,并且电荷从光电二极管716转移到电荷感测器件718,以产生新的电压。在时间T3,经采样电压VS(T3)可以包括对应于转移电荷的、可以由采样电容器706采样的新电压VS_out,以及保留在电荷感测器718处的复位噪声分量VσKTC,如下所示:
VS(T3)=VS_out+VσKTC (方程5)
VS(T3)可以表示第二采样操作的结果。
在时间T3,比较器复位开关752被禁用。AC电容器746两端的电压差VCC保持与在时间T2时的相同。经由AC耦合,AC电容器746的右极板在时间T3的电压(VCOMP_IN)可以跟踪VS(T3),但是相差电压差VCC,如下所示:
VCOMP_IN(T3)=VS(T3)+VCC(T2) (方程6)
组合方程6和方程4就变成:
VCOMP_IN(T3)=VS_out+VσKTC+(VREF+Vcomp_offset)-(VS_rst+VσKTC) (方程7)
如方程7所示,VS(T3)的VσKTC分量和VCC(T2)(以及VCC(T3))的VσKTC分量可以抵消。方程7可以简化如下:
VCOMP_IN(T3)=VS_out-VS_res+VREF+Vcomp_offset (方程8)
在T3之后,当没有额外的电荷被转移到电荷感测器件718时和/或采样开关740被禁用之后,电压VCOMP_IN可以保持在VCOMP_IN(T3)。
如方程8所示,VCOMP_IN(T3)包括差值分量
Figure BDA0002713731390000261
该差值分量表示在时间T2和T3之间从光电二极管转移到电荷感测器件718的电荷量。VCOMP_IN(T3)还包括Vcomp_offset分量以及VREF(来自VCC)。当比较器470将VCOMP_IN与VREF进行比较时,由比较器470引入的比较器偏移可以被Vcomp_offset分量抵消,并且作为量化过程的一部分,只有表示来自光电二极管的电荷量的差值
Figure BDA0002713731390000271
与VREF进行比较,以生成量化结果。这种布置可以从量化结果中去除复位噪声和比较器偏移,并提高光强度测量的精度。
如上所述,为了进一步减少像素单元700的覆盖区,存储器760和计数器762可以位于像素单元700的外部,并且可以在像素单元700集合之间共享。图8A示出了包括共享的计数器和存储器的示例图像传感器800。如图8A所示,图像传感器800包括第一半导体晶片802和第二半导体晶片804。半导体晶片802包括光感测电路806阵列(包括光感测电路806a),每个光感测电路806包括光电二极管716、电荷感测器件718、快门开关732、转移开关734、存储复位开关736、电压缓冲器738和采样开关740。半导体晶片804包括接口电路808阵列(包括接口电路808a)。每个接口电路808包括比较器750和比较器复位开关752,并且对应于每个光感测电路806。图像传感器800还包括采样电容器706阵列和AC电容器746阵列。每个采样电容器706和AC电容器746耦合在相应的一对光感测电路806和接口电路808之间,以形成像素单元810。采样电容器706阵列和AC电容器746阵列可以形成在堆叠在第一半导体晶片802和第二半导体晶片804之间的金属层812中。使用采样电容器706和AC电容器746的光感测电路806和接口电路808的光感测操作类似于图7B-图7E中描述的操作,在此不再重复。
此外,图像传感器800包括计数器820、存储器缓冲器822组和控制器824,它们中的一些或全部可以是接口电路808的一部分。组内的每个存储器缓冲器822可以是类似于存储器760的锁存存储器。计数器820可以基于时钟周期性地更新计数值(“cnt”)。计数器820可以将计数值输出到存储器缓冲器822组。如上所述,基于将存储在像素单元处的经采样电压与斜坡阈值进行比较以量化经采样电压,像素单元810可以控制计数值被存储在存储器缓冲器822组中的定时。控制器824可以控制对像素单元810中的存储器缓冲器822组的访问,以量化经采样电压。在图8A中,控制器824可以允许一行像素单元810(例如,沿着图8A的x轴排列的像素单元集合)访问存储器缓冲器822组,以量化该行像素单元810处的经采样电压,随后是另一行。在一列像素单元810(例如,沿着图8A的y轴排列的像素单元集合)内,每个像素单元的比较器750可以经由行开关830选择性地与组内的存储器缓冲器耦合。每个像素单元的比较器750也经由电源开关832选择性地与电源耦合。
图8B和图8C示出了图像传感器800的控制信号的示例序列。图8B的控制信号的序列可以是例如包括快门开关732的像素单元810的控制信号的序列,而图8C的控制信号的序列可以是例如不包括快门开关732的像素单元810的控制信号的序列。在图8B和图8C中,RST、TG、AB和COMP_RST可以是到每个像素单元的全局信号,以在全局积分周期中执行全局快门操作,以及在采样周期中执行第一采样操作(对复位噪声电荷和比较器偏移进行采样)和第二采样操作(对在全局积分周期中累积的电荷进行采样)。在采样周期之后,多行(rows)像素单元810可以轮流访问存储器缓冲器822组以执行量化。例如,当选择第一行像素单元810来访问存储器缓冲器822组时,该行内每个像素单元的行开关830(标记为“ROW[1]”)被启用以将比较器750的输出端耦合到存储器缓冲器822,而该行内每个像素单元的电源开关832(标记为“ON[1]”)被控制器824启用以启用比较器750。每个像素单元的比较器750可以将存储在像素单元处的经采样电压与斜坡阈值VREF进行比较,以生成判定,该判定可以经由行开关830传输,以控制存储器缓冲器822存储来自计数器820的计数值的时间。存储在存储器缓冲器822组中的计数值可以表示第一行像素单元810的量化结果。存储器缓冲器822组中的计数值可以经由data_out总线被读出(例如,被图像重建引擎读出)。在从第一行像素单元810的存储器缓冲器组中读出计数值之后,控制器824可以禁用第一行像素单元810的行开关830和电源开关832(ROW[1]和ON[1])。控制器824然后可以选择第二行像素单元810来访问存储器缓冲器822组,以量化存储在第二行像素单元810处的经采样电压。第二行像素单元的行开关830和电源开关832(ROW[2]和ON[2])可以由控制器824启用以执行量化。
尽管图8A示出了在多行像素单元810之间共享单个存储器缓冲器822组,但是应当理解,可以提供多个存储器缓冲器组,这可以增加可以使用计数器820和存储器缓冲器同时执行量化的像素单元的数量,并且可以提高读出和图像生成的速度。例如,如图8D所示,可以提供两个存储器组840和842。第一存储器组840可以在像素单元810的多个行850之间共享,而底部存储器组842可以在像素单元810的多个行852之间共享。此外,如图8E所示,可以提供四个存储器组860、862、864和866。存储器组870可以在像素单元810的行880a和880b之间共享,存储器组872可以在像素单元810的行882a和882b之间共享,存储器组874可以在像素单元810的行884a和884b之间共享,而存储器组876可以在像素单元810的行886a和886b之间共享。
通过将存储器置于像素单元外部,图8A-图8E中的布置还可以扩大像素单元的覆盖区,这允许在图像传感器中封装大量像素单元以提高分辨率,同时最小化图像传感器的覆盖区。此外,还可以提高图像生成的可靠性和速度。例如,由于存储器位于像素单元外部并且不影响像素单元的覆盖区,所以可以提供冗余存储器器件来存储来自每个像素单元的数字输出,以降低由于有缺陷的存储器而丢失数字输出(和像素值)的可能性。但是由于存储器主要包括数字电路并且通常具有非常小的覆盖区,所以增加冗余存储器(以由像素单元共享)通常不会显著增加图像传感器的覆盖区。此外,与像素单元将模拟电压(例如,电荷感测器件处的电压)传输到外部ADC以执行量化操作的实现相比,所公开的技术允许在像素单元内执行部分量化(比较器比较)操作,并且仅将数字输出(比较器的判定)从像素单元传输到外部存储器。与模拟电压相比,可以以高保真度(在0和1之间进行区分)和较高速度传输数字输出。所有这些都可以提高基于像素单元的光感测操作的图像生成的可靠性和速度。
图9包括示出了用于执行光强度测量的示例方法900的流程图。方法900可以由例如图7A-图7E的像素单元700和图8A-图8D的图像传感器800基于上述技术来执行。
在步骤902中,接口电路(例如,接口电路720、接口电路808)可以启用光感测电路(例如,光感测电路806)的光电二极管以在积分周期内响应于入射光累积电荷。光感测电路可以在第一半导体晶片(例如,第一半导体晶片702、802等)中,而接口电路可以在第二半导体晶片(例如,第二半导体晶片704、804等)中。如图7A和图8A所示,第一半导体晶片和第二半导体晶片可以形成叠层。第一半导体晶片中的光感测电路可以被配置为如图6A和图6B所示的前侧照明设备或背侧照明设备。启用可以基于例如禁用快门开关732来启用光电二极管来累积电荷。
在步骤904,接口电路可以将电荷从光电二极管转移到光感测电路的电荷感测器件(例如,电荷感测器件718)。转移可以在接口电路的控制下经由转移开关734来执行。电荷感测器件可以是例如浮置漏极器件、金属电容器、多晶硅电容器等。
在步骤906中,接口电路可以使用采样电容器(例如,采样电容器706)执行采样保持操作,以将存储在电荷感测器件中的电荷转换成电压。具体地,采样电容器可以经由由接口电路控制的采样开关与电荷感测器件耦合。返回参考图7C,在采样周期内,作为步骤904的一部分,可以启用转移开关,以将电荷从光电二极管转移到电荷感测器件,从而产生电压,同时还启用采样开关,以使采样电容器能够跟踪电荷感测器件的电压。转移开关可以在采样周期结束之前被禁用,以冻结电荷感测器件处的电压,并且采样电容器继续跟踪电荷感测器件处的电压,直到采样周期结束。采样周期结束之后,可以禁用采样开关,并且采样电容器可以为后续量化过程保持经采样电压。
在一些示例中,接口电路可以包括可复位的比较器(例如,比较器750)和AC电容器(例如,AC电容器746)。返回参考图7E,作为步骤906的一部分,可以在采样周期内复位比较器,以在AC电容器中存储比较器偏移和复位噪声(其也存在于电荷感测器件中并且在采样电容器处的经采样电压中得到反映)。AC电容器还可以跟踪由采样电容器采样并保持的电压,并将经采样电压与复位噪声和比较器偏移信息组合,以生成输出电压(例如,VCOMP_IN)。
在步骤908中,接口电路可以基于采样电容器处的电压采样和保持来生成数字输出,以表示由光电二极管接收的入射光的强度。数字输出可以基于量化过程生成,在量化过程中,比较器可以将AC电容器的输出电压与斜坡阈值进行比较,以生成判定。判定可以控制存储器(例如,存储器760、822等)来存储从计数器(例如,计数器762、820等)生成的数字值。如图8A至图8E中所述,存储器和计数器可以由多个像素单元共享,使得像素单元组可以轮流在共享存储器处存储数字值。
本描述的一些部分从对信息的操作的算法和符号表示方面描述了本公开的实施例。数据处理领域的技术人员通常使用这些算法描述和表示来向本领域的其他技术人员有效地传达他们工作的实质。这些操作虽然在功能上、计算上或逻辑上进行了描述,但应理解为将由计算机程序或等效电路、微代码等来实现。此外,将操作的这些布置称为模块有时候也被证明是方便的而不失一般性。所描述的操作和它们的相关模块可以体现在软件、固件和/或硬件中。
可以利用一个或更多个硬件或软件模块单独地或与其他设备组合地来执行或实现所描述的步骤、操作或过程。在一些实施例中,利用包括包含计算机程序代码的计算机可读介质的计算机程序产品来实现软件模块,计算机程序代码可以由计算机处理器执行,用于执行所描述的任何或全部步骤、操作或过程。
本公开的实施例也可以涉及用于执行所描述操作的装置。该装置可以被特别构造成用于所需的目的,和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这种计算机程序可以存储在非暂时性的、有形的计算机可读存储介质中,或者适于存储电子指令的任何类型的介质中,该介质可以耦合到计算机系统总线。此外,说明书中提到的任何计算系统可以包括单个处理器,或者可以是采用多处理器设计以提高计算能力的架构。
本公开的实施例也可以涉及由本文所述的计算过程产生的产品。这样的产品可以包括由计算过程产生的信息,其中信息被存储在非暂时性的、有形的计算机可读介质上且可以包括计算机程序产品或本文所述的其他数据组合的任何实施例。
在说明书中使用的语言主要出于可读性和指导性的目的而被选择,并且它可以不被选择来描绘或限制发明的主题。因此,意图是本公开的范围不由该详细描述限制,而是由在基于其的申请上发布的任何权利要求限制。因此,实施例的公开意图对本公开的范围是说明性的,而不是限制性的,在所附权利要求中阐述了本公开的范围。

Claims (20)

1.一种像素单元,包括:
第一半导体晶片,所述第一半导体晶片包括光电二极管和电荷感测器件;
采样电容器;
第二半导体晶片,其与所述第一半导体晶片形成叠层,所述第二半导体晶片包括与所述光电二极管、所述电荷感测器件和所述采样电容器耦合的接口电路,所述接口电路被配置成:
启用所述光电二极管以在积分周期内响应入射光累积电荷;
将所述电荷从所述光电二极管转移到所述电荷感测器件;
使用所述采样电容器执行采样保持操作,以将所述电荷感测器件中的电荷转换成电压;以及
基于所述电压生成数字输出,以表示由所述光电二极管接收的入射光的强度。
2.根据权利要求1所述的像素单元,其中:
所述像素单元还包括耦合在所述电荷感测器件和所述采样电容器之间的采样开关;以及
所述接口电路被配置成作为所述采样保持操作的一部分:
启用所述采样开关,以使所述采样电容器对所述电荷感测器件中累积的电荷进行采样,从而产生所述电压;以及
禁用所述采样开关,以使所述采样电容器保持所述电压。
3.根据权利要求2所述的像素单元,其中:
所述电压是第一电压;
所述电荷感测器件被配置成基于所存储的电荷来输出第二电压;
所述像素单元还包括耦合在所述电荷感测器件和所述采样电容器之间的电压缓冲器,所述电压缓冲器被配置成缓冲所述第二电压以将所述第一电压输出到所述采样电容器;以及
所述采样电容器被操作以在所述采样开关被启用时对从所述电压缓冲器接收的第一电压进行采样,并且在所述采样开关被禁用之后保持所述第一电压。
4.根据权利要求3所述的像素单元,其中,所述采样开关和所述电压缓冲器被包括在所述第一半导体晶片中。
5.根据权利要求4所述的像素单元,其中,所述采样电容器包括以下至少一项:
夹在所述叠层中的所述第一半导体晶片和所述第二半导体晶片之间的金属电容器或半导体电容器,或者
形成在所述第二半导体晶片中的金属电容器或半导体电容器。
6.根据权利要求4所述的像素单元,其中:
所述接口电路还包括能够复位的比较器;
所述像素单元还包括耦合在所述采样电容器和所述比较器之间的AC电容器;
所述接口电路被配置成,在所述采样开关被启用时:
控制所述比较器进入复位状态;
操作所述AC电容器以:
获得由所述电荷感测器件的先前复位操作引起的所述电荷感测器件的复位电压的第一样本;
在所述比较器处于所述复位状态时,获得所述比较器的偏移的第二样本;
基于所述复位电压的第一样本和所述偏移的第二样本,存储所述AC电容器两端的第三电压;以及
基于所述第一电压和所述第三电压,向所述比较器输出第四电压;
以及
基于所述第四电压生成所述数字输出。
7.根据权利要求6所述的像素单元,还包括耦合在所述光电二极管和所述电荷感测器件之间的转移开关;
其中,所述接口电路被配置成:
控制所述比较器退出所述复位状态,以保持所述AC电容器两端的第三电压;
启用所述转移开关以将所述电荷从所述光电二极管转移到所述电荷感测器件,其中,所述电荷的转移在所述采样电容器处产生所述第一电压;以及
禁用所述转移开关以停止所述电荷的转移,其中,所述转移开关的禁用导致所述采样电容器保持所述第一电压并且导致所述AC电容器保持所述第四电压以生成所述数字输出。
8.根据权利要求7所述的像素单元,其中:
所述比较器的输出端与存储器耦合;
所述存储器与计数器耦合,所述计数器被配置成基于时钟周期性地更新计数值;
所述比较器被配置成在所述转移开关被禁用之后,将所述第四电压与斜坡阈值进行比较以输出判定;
所述存储器被配置成基于所述判定来存储来自所述计数器的计数值;以及
所存储的计数值表示所述数字输出。
9.根据权利要求8所述的像素单元,还包括耦合在所述比较器的输出端和所述存储器之间的选择开关;并且
其中,所述接口电路被配置成:
在所述像素单元被选择来将所述数字输出存储在所述存储器中时,启用所述选择开关以将所述判定传输到所述存储器;以及
在所述像素单元未被选择来将所述数字输出存储在所述存储器中时,禁用所述选择开关以从所述存储器阻挡所述判定。
10.根据权利要求8所述的像素单元,其中,所述存储器和所述计数器被包括在所述第二半导体晶片中。
11.根据权利要求1所述的像素单元,还包括耦合在所述光电二极管和电荷吸收器之间的快门开关,
其中,所述接口电路被配置成:
禁用所述快门开关以开始所述积分周期,并启用所述光电二极管以累积所述电荷;以及
启用所述快门开关以结束所述积分周期,并防止所述光电二极管累积所述电荷。
12.根据权利要求1所述的像素单元,其中,所述电荷感测器件包括以下至少一项:浮置漏极节点或钉扎存储节点。
13.一种图像传感器,包括:
第一半导体晶片,所述第一半导体晶片包括光感测电路阵列,所述光感测电路阵列中的每个光感测电路包括光电二极管和电荷感测器件;
采样电容器阵列,所述采样电容器阵列中的每个采样电容器对应于所述光感测电路阵列中的光感测电路;
第二半导体晶片,其与所述第一半导体晶片形成叠层,所述第二半导体晶片包括接口电路阵列,所述接口电路阵列中的每个接口电路、所述光感测电路阵列中的每个光感测电路以及所述采样电容器阵列中的每个采样电容器形成像素单元,每个像素单元的每个接口电路被配置成:
启用相应的光感测电路的光电二极管,以在全局积分周期内响应于入射光累积电荷;
将所述电荷从所述光电二极管转移到相应的光感测电路的电荷感测器件;
使用相应的采样电容器对存储在所述电荷感测器件中的电荷执行采样保持操作,以获得电压;以及
基于所述电压生成数字输出,以表示由相应的像素单元接收的入射光的强度。
14.根据权利要求13所述的图像传感器,其中,在每个像素单元中:
所述光感测电路还包括耦合在所述电荷感测器件和所述采样电容器之间的采样开关;以及
所述接口电路被配置成,作为所述采样保持操作的一部分:
启用所述采样开关,以使所述采样电容器对所述电荷感测器件中存储的电荷进行采样,从而产生所述电压;以及
禁用所述采样开关,以使所述采样电容器保持所述电压。
15.根据权利要求14所述的图像传感器,其中,在每个像素单元中:
所述电压是第一电压;
所述电荷感测器件被配置成基于所存储的电荷来输出第二电压;
所述光感测电路还包括耦合在所述电荷感测器件和所述采样电容器之间的电压缓冲器,所述电压缓冲器被配置成缓冲所述第二电压以将所述第一电压输出到所述采样电容器;以及
所述采样电容器被操作以在所述采样开关被启用时对从所述电压缓冲器接收的第一电压进行采样,并且在所述采样开关被禁用之后保持所述第一电压。
16.根据权利要求15所述的图像传感器,其中,在每个像素单元中:
每个接口电路还包括能够复位的比较器;
每个光感测电路还包括耦合在所述采样电容器和所述比较器之间的AC电容器;
每个接口电路被配置成,在所述采样开关被启用时:
控制所述比较器进入复位状态;
操作所述AC电容器以:
获得由所述电荷感测器件的先前复位操作引起的所述电荷感测器件的复位电压的第一样本;
在所述比较器处于所述复位状态时,获得所述比较器的偏移的第二样本;
基于所述复位电压的第一样本和所述偏移的第二样本,存储所述AC电容器两端的第三电压;以及
基于所述第一电压和所述第三电压,向所述比较器输出第四电压;
以及
基于所述第四电压生成所述数字输出。
17.根据权利要求16所述的图像传感器,其中,每个光感测电路还包括耦合在所述光电二极管和所述电荷感测器件之间的转移开关;
其中,每个接口电路被配置成:
控制所述比较器退出所述复位状态,以保持所述AC电容器两端的第三电压;
启用所述转移开关以将所述电荷从所述光电二极管转移到所述电荷感测器件,其中,所述电荷的转移在所述采样电容器处产生所述第一电压;以及
禁用所述转移开关以停止所述电荷的转移,其中,所述转移开关的禁用导致所述采样电容器保持所述第一电压并且导致所述AC电容器保持所述第四电压以生成所述数字输出。
18.根据权利要求17所述的图像传感器,还包括控制器、计数器和存储器缓冲器组;
其中:
所述存储器缓冲器组中的每个存储器缓冲器与所述计数器耦合;
所述计数器被配置成基于时钟周期性地更新计数值;
每个接口电路的比较器的输出端经由被所述控制器控制的选择开关耦合到每个存储器缓冲器;
所述比较器被配置成在所述转移开关被禁用之后,将所述第四电压与斜坡阈值进行比较以生成判定;
所述控制器被配置成在不同时间启用像素单元子集的选择开关,以将选定的像素单元子集的比较器的判定传输到所述存储器缓冲器组;
所述存储器缓冲器组被配置成基于在不同时间的选定的像素单元子集的判定来存储来自所述计数器的计数值;以及
所存储的计数值表示所述像素单元的所述数字输出。
19.一种方法,包括:
通过接口电路启用光感测电路的光电二极管,以在积分周期内响应于入射光累积电荷,其中,所述光感测电路和所述接口电路分别位于形成叠层的第一半导体晶片和第二半导体晶片中;
通过所述接口电路将所述电荷从所述光电二极管转移到所述光感测电路的电荷感测器件;
通过所述接口电路并使用采样电容器执行采样保持操作,以将存储在所述电荷感测器件中的电荷转换成电压;以及
通过所述接口电路基于所述电压生成数字输出,以表示由所述光电二极管接收的入射光的强度。
20.根据权利要求19所述的方法,还包括:
将所述电压与斜坡阈值进行比较以输出判定;
基于所述判定控制存储器存储来自计数器的计数值;以及
提供所述计数值作为所述数字输出,
其中,所述存储器和所述计数器在所述第二半导体晶片中。
CN201980024435.0A 2018-04-03 2019-04-01 全局快门图像传感器 Active CN111955002B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862652220P 2018-04-03 2018-04-03
US62/652,220 2018-04-03
US16/369,763 2019-03-29
US16/369,763 US11004881B2 (en) 2018-04-03 2019-03-29 Global shutter image sensor
PCT/US2019/025170 WO2019195162A1 (en) 2018-04-03 2019-04-01 Global shutter image sensor

Publications (2)

Publication Number Publication Date
CN111955002A true CN111955002A (zh) 2020-11-17
CN111955002B CN111955002B (zh) 2023-05-02

Family

ID=68057359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980024435.0A Active CN111955002B (zh) 2018-04-03 2019-04-01 全局快门图像传感器

Country Status (7)

Country Link
US (2) US11004881B2 (zh)
EP (1) EP3777132A1 (zh)
JP (1) JP2021517764A (zh)
KR (1) KR20200139187A (zh)
CN (1) CN111955002B (zh)
TW (1) TW201943093A (zh)
WO (1) WO2019195162A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112804467A (zh) * 2021-04-15 2021-05-14 北京惠风智慧科技有限公司 一种基于多cmos传感器的图像编码方法及装置

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
KR20210035950A (ko) * 2019-09-24 2021-04-02 삼성전자주식회사 이미지 센서 장치
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
US20210360177A1 (en) * 2020-05-12 2021-11-18 Microsoft Technology Licensing, Llc Global shutter time-of-flight camera
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
US12022218B2 (en) 2020-12-29 2024-06-25 Meta Platforms Technologies, Llc Digital image sensor using a single-input comparator based quantizer

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120267511A1 (en) * 2011-04-19 2012-10-25 Altasens, Inc. Image sensor with hybrid heterostructure
CN103730455A (zh) * 2012-10-16 2014-04-16 全视科技有限公司 底部芯片上具有光敏电路元件的堆叠芯片图像传感器

Family Cites Families (183)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4596977A (en) 1984-12-03 1986-06-24 Honeywell Inc. Dual slope analog to digital converter with out-of-range reset
US5053771A (en) 1990-07-16 1991-10-01 Eastman Kodak Company Adaptive dual range analog to digital converter
JP2953297B2 (ja) 1994-03-30 1999-09-27 日本電気株式会社 受光素子およびその駆動方法
US5844512A (en) 1997-07-28 1998-12-01 Hewlett-Packard Company Autoranging apparatus and method for improved dynamic ranging in analog to digital converters
US6529241B1 (en) 1998-02-27 2003-03-04 Intel Corporation Photodetecting device supporting saturation detection and electronic shutter
US6522395B1 (en) * 1999-04-30 2003-02-18 Canesta, Inc. Noise reduction techniques suitable for three-dimensional information acquirable with CMOS-compatible image sensor ICS
US6486504B1 (en) 1999-10-26 2002-11-26 Eastman Kodak Company CMOS image sensor with extended dynamic range
US6545624B2 (en) 2000-02-11 2003-04-08 Hyundai Electronics Industries Co., Ltd. Image sensor with analog-to-digital converter that generates a variable slope ramp signal
US20030049925A1 (en) 2001-09-10 2003-03-13 Layman Paul Arthur High-density inter-die interconnect structure
JP4938221B2 (ja) 2002-02-01 2012-05-23 ピコメトリックス インコーポレイテッド プレーナ・アバランシェ・フォトダイオード
CN1234234C (zh) 2002-09-30 2005-12-28 松下电器产业株式会社 固体摄像器件及使用该固体摄像器件的设备
US7280143B2 (en) 2003-04-14 2007-10-09 Micron Technology, Inc. CMOS image sensor with active reset and 4-transistor pixels
US6885331B2 (en) 2003-09-15 2005-04-26 Micron Technology, Inc. Ramp generation with capacitors
DE60333757D1 (de) 2003-11-04 2010-09-23 St Microelectronics Res & Dev Verbesserungen in oder in Bezug auf Bildsensoren
KR100574959B1 (ko) 2003-11-24 2006-04-28 삼성전자주식회사 자동 노출 조절 기능을 갖는 시모스 이미지 센서
US6864817B1 (en) 2003-12-30 2005-03-08 Freescale Semiconductor, Inc. Signaling dependent adaptive analog-to-digital converter (ADC) system and method of using same
WO2005083790A1 (ja) 2004-02-27 2005-09-09 Texas Instruments Japan Limited 固体撮像装置、ラインセンサ、光センサおよび固体撮像装置の動作方法
JP4317115B2 (ja) 2004-04-12 2009-08-19 国立大学法人東北大学 固体撮像装置、光センサおよび固体撮像装置の動作方法
GB0412296D0 (en) 2004-06-02 2004-07-07 Council Cent Lab Res Councils Imaging device
US7508431B2 (en) 2004-06-17 2009-03-24 Hoya Corporation Solid state imaging device
JP4349232B2 (ja) 2004-07-30 2009-10-21 ソニー株式会社 半導体モジュール及びmos型固体撮像装置
JP4816457B2 (ja) 2004-09-02 2011-11-16 ソニー株式会社 撮像装置及び撮像結果の出力方法
JP4835856B2 (ja) 2005-01-06 2011-12-14 日本電気株式会社 半導体集積回路装置
JP2006197393A (ja) 2005-01-14 2006-07-27 Canon Inc 固体撮像装置、カメラ、及び固体撮像装置の駆動方法
JP4459064B2 (ja) 2005-01-14 2010-04-28 キヤノン株式会社 固体撮像装置、その制御方法及びカメラ
GB2438693B (en) * 2005-03-30 2009-07-08 Micron Technology Inc High density row ram for column parallel CMOS image sensors
TW201101476A (en) 2005-06-02 2011-01-01 Sony Corp Semiconductor image sensor module and method of manufacturing the same
US20070013983A1 (en) 2005-07-04 2007-01-18 Dai Nippon Printing Co., Ltd. Holographic viewing device, and holographic viewing card incorporating it
KR100775058B1 (ko) 2005-09-29 2007-11-08 삼성전자주식회사 픽셀 및 이를 이용한 이미지 센서, 그리고 상기 이미지센서를 포함하는 이미지 처리 시스템
US7608823B2 (en) 2005-10-03 2009-10-27 Teledyne Scientific & Imaging, Llc Multimode focal plane array with electrically isolated commons for independent sub-array biasing
US7546026B2 (en) 2005-10-25 2009-06-09 Zoran Corporation Camera exposure optimization techniques that take camera and scene motion into account
US7652313B2 (en) 2005-11-10 2010-01-26 International Business Machines Corporation Deep trench contact and isolation of buried photodetectors
EP1874043B1 (en) 2006-02-20 2013-12-04 Panasonic Corporation Image pick up apparatus
US7609079B2 (en) 2006-03-02 2009-10-27 Dialog Semiconductor Gmbh Probeless DC testing of CMOS I/O circuits
US7326903B2 (en) 2006-06-29 2008-02-05 Noble Peak Vision Corp. Mixed analog and digital pixel for high dynamic range readout
JP4289377B2 (ja) * 2006-08-21 2009-07-01 ソニー株式会社 物理量検出装置及び撮像装置
JP4855192B2 (ja) 2006-09-14 2012-01-18 富士フイルム株式会社 イメージセンサ及びデジタルカメラ
US7361989B1 (en) 2006-09-26 2008-04-22 International Business Machines Corporation Stacked imager package
US8107751B2 (en) 2007-03-16 2012-01-31 Sharp Laboratories Of America, Inc. DPCM with adaptive range and PCM escape mode
US7839703B2 (en) 2007-06-15 2010-11-23 Micron Technology, Inc. Subtraction circuits and digital-to-analog converters for semiconductor devices
US7825966B2 (en) 2007-06-29 2010-11-02 Omnivision Technologies, Inc. High dynamic range sensor with blooming drain
US7940311B2 (en) 2007-10-03 2011-05-10 Nokia Corporation Multi-exposure pattern for enhancing dynamic range of images
US8426793B1 (en) 2007-10-04 2013-04-23 Geoffrey L. Barrows Vision sensor
EP2063630A1 (en) 2007-11-26 2009-05-27 Thomson Licensing Video capture device with variable shutter integration time
US8369458B2 (en) 2007-12-20 2013-02-05 Ralink Technology Corporation Wireless receiving system with an adaptively configurable analog to digital converter
WO2009111556A1 (en) 2008-03-04 2009-09-11 Mesa Imaging Ag Drift field demodulation pixel with pinned photo diode
EP2104234B1 (en) 2008-03-21 2011-08-31 STMicroelectronics Limited Analog-to-digital conversion in image sensors
US8089035B2 (en) 2008-04-16 2012-01-03 Tower Semiconductor Ltd. CMOS image sensor with high sensitivity wide dynamic range pixel for high resolution applications
JP4661912B2 (ja) 2008-07-18 2011-03-30 ソニー株式会社 固体撮像素子およびカメラシステム
US7795650B2 (en) 2008-12-09 2010-09-14 Teledyne Scientific & Imaging Llc Method and apparatus for backside illuminated image sensors using capacitively coupled readout integrated circuits
ATE543215T1 (de) 2009-03-24 2012-02-15 Sony Corp Festkörper-abbildungsvorrichtung, ansteuerverfahren für festkörper- abbildungsvorrichtung und elektronische vorrichtung
JP5306269B2 (ja) 2009-06-25 2013-10-02 キヤノン株式会社 光干渉断層法を用いる撮像装置及び撮像方法
US8569807B2 (en) 2009-09-01 2013-10-29 Taiwan Semiconductor Manufacturing Company, Ltd. Backside illuminated image sensor having capacitor on pixel region
CN102334293B (zh) 2009-09-11 2014-12-10 松下电器产业株式会社 模拟/数字变换器、图像传感器系统、照相机装置
KR101727270B1 (ko) 2009-11-06 2017-04-17 삼성전자주식회사 이미지 센서
KR101111946B1 (ko) 2009-12-17 2012-02-14 엠텍비젼 주식회사 촬상 장치, 이미지 시그널 프로세서 칩 및 칩 간의 메모리 공유 방법
US8606051B2 (en) 2010-08-16 2013-12-10 SK Hynix Inc. Frame-wise calibration of column-parallel ADCs for image sensor array applications
KR20120029840A (ko) 2010-09-17 2012-03-27 삼성전자주식회사 이미지 센서의 구동 방법
US8928789B2 (en) 2010-09-30 2015-01-06 Canon Kabushiki Kaisha Solid-state imaging apparatus
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
TWI462265B (zh) 2010-11-30 2014-11-21 Ind Tech Res Inst 影像擷取裝置
KR101754131B1 (ko) 2010-12-01 2017-07-06 삼성전자주식회사 샘플링 회로와 광감지 장치
US8294077B2 (en) * 2010-12-17 2012-10-23 Omnivision Technologies, Inc. Image sensor having supplemental capacitive coupling node
US8847136B2 (en) 2011-01-02 2014-09-30 Pixim, Inc. Conversion gain modulation using charge sharing pixel
US8717467B2 (en) 2011-01-25 2014-05-06 Aptina Imaging Corporation Imaging systems with array cameras for depth sensing
US8674282B2 (en) 2011-03-25 2014-03-18 Aptina Imaging Corporation Pumped pinned photodiode pixel array
KR101251744B1 (ko) 2011-04-13 2013-04-05 엘지이노텍 주식회사 Wdr 픽셀 어레이, 이를 포함하는 wdr 이미징 장치 및 그 구동방법
KR101241704B1 (ko) 2011-04-14 2013-03-19 엘지이노텍 주식회사 픽셀, 픽셀 어레이, 이를 포함하는 이미지센서 및 그 구동방법
US8575531B2 (en) 2011-04-26 2013-11-05 Aptina Imaging Corporation Image sensor array for back side illumination with global shutter using a junction gate photodiode
JP5808162B2 (ja) 2011-06-23 2015-11-10 キヤノン株式会社 撮像素子、撮像装置及び撮像素子の駆動方法
JP5868065B2 (ja) 2011-08-05 2016-02-24 キヤノン株式会社 撮像装置
JP5901186B2 (ja) 2011-09-05 2016-04-06 キヤノン株式会社 固体撮像装置及びその駆動方法
US20130056809A1 (en) 2011-09-07 2013-03-07 Duli Mao Image Sensor with Reduced Noiseby Blocking Nitridation Over Selected Areas
US8461660B2 (en) 2011-09-30 2013-06-11 Omnivision Technologies, Inc. CMOS image sensor with reset shield line
JP2013084785A (ja) 2011-10-11 2013-05-09 Sony Corp 固体撮像装置、撮像装置
JP2013090127A (ja) * 2011-10-18 2013-05-13 Olympus Corp 固体撮像装置および撮像装置
US8804021B2 (en) 2011-11-03 2014-08-12 Omnivision Technologies, Inc. Method, apparatus and system for providing improved full well capacity in an image sensor pixel
JP5963421B2 (ja) 2011-11-17 2016-08-03 オリンパス株式会社 固体撮像装置および撮像装置
KR20130062188A (ko) 2011-12-02 2013-06-12 삼성전자주식회사 이미지 센서 및 이를 포함하는 이미지 처리 장치
KR101801339B1 (ko) 2011-12-07 2017-11-27 한국전자통신연구원 고속 광대역 주파수 비교 장치
US8754798B2 (en) 2011-12-21 2014-06-17 Realtek Semiconductor Corp. High-speed successive-approximation-register analog-to-digital converter and method thereof
US9531990B1 (en) 2012-01-21 2016-12-27 Google Inc. Compound prediction using multiple sources or prediction modes
CN103258829A (zh) 2012-02-16 2013-08-21 索尼公司 固态成像装置、图像传感器及其制造方法以及电子设备
JP6164846B2 (ja) 2012-03-01 2017-07-19 キヤノン株式会社 撮像装置、撮像システム、撮像装置の駆動方法
JP5965674B2 (ja) 2012-03-05 2016-08-10 オリンパス株式会社 固体撮像装置および撮像装置
US8569700B2 (en) 2012-03-06 2013-10-29 Omnivision Technologies, Inc. Image sensor for two-dimensional and three-dimensional image capture
TW201340708A (zh) 2012-03-19 2013-10-01 Sony Corp 固體攝像裝置及電子機器
JP6402624B2 (ja) 2012-03-30 2018-10-10 株式会社ニコン 撮像素子および撮像装置
US8957358B2 (en) 2012-04-27 2015-02-17 Taiwan Semiconductor Manufacturing Company, Ltd. CMOS image sensor chips with stacked scheme and methods for forming the same
US9270906B2 (en) 2012-05-02 2016-02-23 Semiconductor Components Industries, Llc Exposure time selection using stacked-chip image sensors
US8779346B2 (en) 2012-05-14 2014-07-15 BAE Systems Imaging Solutions Inc. Digital pixel sensor with reduced noise
JP5885608B2 (ja) 2012-07-23 2016-03-15 株式会社東芝 固体撮像装置
JP6071315B2 (ja) 2012-08-08 2017-02-01 オリンパス株式会社 固体撮像装置および撮像装置
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9185273B2 (en) 2012-09-19 2015-11-10 Semiconductor Components Industries, Llc Imaging pixels with improved dynamic range
US9343497B2 (en) 2012-09-20 2016-05-17 Semiconductor Components Industries, Llc Imagers with stacked integrated circuit dies
US9094612B2 (en) 2012-09-25 2015-07-28 Semiconductor Components Industries, Llc Back side illuminated global shutter image sensors with back side charge storage
US9478579B2 (en) 2012-10-16 2016-10-25 Omnivision Technologies, Inc. Stacked chip image sensor with light-sensitive circuit elements on the bottom chip
ES2476115B1 (es) 2012-12-11 2015-04-20 Consejo Superior De Investigaciones Científicas (Csic) Metodo y dispositivo para la deteccion de la variacion temporal de la intensidad luminosa en una matriz de fotosensores
US9153616B2 (en) 2012-12-26 2015-10-06 Olympus Corporation Solid-state imaging device and imaging device with circuit elements distributed on multiple substrates, method of controlling solid-state imaging device, and imaging device with circuit elements distributed on multiple substrates
US8773562B1 (en) 2013-01-31 2014-07-08 Apple Inc. Vertically stacked image sensor
KR20140104169A (ko) 2013-02-20 2014-08-28 삼성전자주식회사 이미지 센서 및 이를 포함하는 컴퓨팅 시스템
JP2014236183A (ja) 2013-06-05 2014-12-15 株式会社東芝 イメージセンサ装置及びその製造方法
JP6188451B2 (ja) 2013-06-27 2017-08-30 オリンパス株式会社 アナログデジタル変換器および固体撮像装置
TWI659652B (zh) 2013-08-05 2019-05-11 新力股份有限公司 攝像裝置、電子機器
JP5604703B1 (ja) 2013-09-10 2014-10-15 弘一 関根 固体撮像装置
US10043843B2 (en) 2013-10-01 2018-08-07 Forza Silicon Corporation Stacked photodiodes for extended dynamic range and low light color discrimination
JP6394056B2 (ja) 2013-11-27 2018-09-26 ソニー株式会社 A/d変換装置、グレイコード生成装置、撮像素子、並びに、電子機器
KR102210539B1 (ko) 2013-12-26 2021-02-01 삼성전자주식회사 상관 이중 샘플링 회로, 이를 포함하는 아날로그-디지털 컨버터, 및 이미지 센서
KR102159261B1 (ko) 2014-01-21 2020-09-23 삼성전자 주식회사 출력신호를 보정할 수 있는 이미지 센서
JP2015146364A (ja) 2014-02-03 2015-08-13 ソニー株式会社 固体撮像素子、固体撮像素子の駆動方法、固体撮像素子の製造方法および電子機器
WO2015120328A1 (en) 2014-02-07 2015-08-13 Rambus Inc. Feedthrough-compensated image sensor
WO2015119243A1 (ja) 2014-02-07 2015-08-13 国立大学法人静岡大学 イメージセンサ
KR102245973B1 (ko) 2014-02-17 2021-04-29 삼성전자주식회사 상관 이중 샘플링 회로 및 이를 포함하는 이미지 센서
JP6278730B2 (ja) 2014-02-20 2018-02-14 オリンパス株式会社 固体撮像装置および撮像システム
EP2924979B1 (en) 2014-03-25 2023-01-18 IMEC vzw Improvements in or relating to imaging sensors
TWI656631B (zh) 2014-03-28 2019-04-11 日商半導體能源研究所股份有限公司 攝像裝置
US20150287766A1 (en) 2014-04-02 2015-10-08 Tae-Chan Kim Unit pixel of an image sensor and image sensor including the same
US9531976B2 (en) 2014-05-29 2016-12-27 Semiconductor Components Industries, Llc Systems and methods for operating image sensor pixels having different sensitivities and shared charge storage regions
JP2015230355A (ja) 2014-06-04 2015-12-21 リコーイメージング株式会社 撮像装置および撮像素子
JP2015231046A (ja) 2014-06-09 2015-12-21 株式会社東芝 固体撮像装置
JP6406888B2 (ja) 2014-06-17 2018-10-17 キヤノン株式会社 アナログデジタル変換回路の駆動方法、アナログデジタル変換回路、撮像装置、撮像システム、アナログデジタル変換回路の検査方法
US9699393B2 (en) 2014-06-26 2017-07-04 Semiconductor Components Industries, Llc Imaging systems for infrared and visible imaging with patterned infrared cutoff filters
KR102134636B1 (ko) 2014-07-14 2020-07-16 삼성전자주식회사 이미지 센서의 단위 픽셀 및 이를 포함하는 이미지 센서
JP6602763B2 (ja) 2014-07-25 2019-11-06 株式会社半導体エネルギー研究所 撮像装置
US10165209B2 (en) 2014-07-25 2018-12-25 Rambus Inc. Low-noise, high dynamic-range image sensor
US9344658B2 (en) 2014-07-31 2016-05-17 Omnivision Technologies, Inc. Negative biased substrate for pixels in stacked image sensors
JP6522919B2 (ja) 2014-10-15 2019-05-29 オリンパス株式会社 撮像素子、撮像装置
US9325335B1 (en) 2014-10-24 2016-04-26 Teledyne Scientific & Imaging, Llc Comparator circuits with local ramp buffering for a column-parallel single slope ADC
US9332200B1 (en) 2014-12-05 2016-05-03 Qualcomm Incorporated Pixel readout architecture for full well capacity extension
KR102410019B1 (ko) 2015-01-08 2022-06-16 삼성전자주식회사 이미지 센서
US9515105B2 (en) 2015-02-18 2016-12-06 Semiconductor Components Industries, Llc Dual photodiode image pixels with preferential blooming path
US9524994B2 (en) 2015-04-14 2016-12-20 Semiconductor Components Industries, Llc Image sensor pixels with multiple compartments
US9819882B2 (en) 2015-06-05 2017-11-14 Caeleste Cvba Global shutter high dynamic range sensor
US9848142B2 (en) 2015-07-10 2017-12-19 Semiconductor Components Industries, Llc Methods for clocking an image sensor
TWI704811B (zh) 2015-07-27 2020-09-11 日商新力股份有限公司 固體攝像裝置及其控制方法、以及電子機器
KR102460175B1 (ko) 2015-08-21 2022-10-28 삼성전자주식회사 쉐어드 픽셀 및 이를 포함하는 이미지 센서
US10014333B2 (en) 2015-08-26 2018-07-03 Semiconductor Components Industries, Llc Back-side illuminated pixels with interconnect layers
US9909922B2 (en) 2015-09-03 2018-03-06 Johnson & Johnson Vision Care, Inc. Anti-aliasing photodetector system
US9948875B2 (en) 2015-10-01 2018-04-17 Semiconductor Components Industries, Llc High dynamic range imaging pixels with improved readout
US11297258B2 (en) 2015-10-01 2022-04-05 Qualcomm Incorporated High dynamic range solid state image sensor and camera system
US9654712B2 (en) 2015-10-07 2017-05-16 Semiconductor Components Industries, Llc Pixels with a global shutter and high dynamic range
KR102433575B1 (ko) 2015-10-12 2022-08-19 삼성전자주식회사 이미지 센서
US9936151B2 (en) 2015-10-16 2018-04-03 Capsovision Inc Single image sensor for capturing mixed structured-light images and regular images
CN108391450B (zh) 2015-10-21 2022-07-01 赫普塔冈微光有限公司 解调像素元件、像素元件阵列以及结合它们的光电元件
US9818777B2 (en) 2015-11-12 2017-11-14 Stmicroelectronics (Research & Development) Limited Hybrid analog-digital pixel implemented in a stacked configuration
JP6700758B2 (ja) * 2015-12-04 2020-05-27 キヤノン株式会社 撮像装置の駆動方法
US9991306B2 (en) 2015-12-10 2018-06-05 Semiconductor Components Industries, Llc Hybrid bonded image sensor and method of operating such image sensor
CN108886048B (zh) 2016-03-31 2022-12-16 索尼公司 摄像装置、摄像装置的制造方法和电子装置
US10225499B2 (en) * 2016-04-11 2019-03-05 Semiconductor Components Industries, Llc Backside illuminated global shutter pixel with active reset
US10015416B2 (en) 2016-05-24 2018-07-03 Semiconductor Components Industries, Llc Imaging systems with high dynamic range and phase detection pixels
US9900117B2 (en) 2016-05-27 2018-02-20 Nxp Usa, Inc. Communication unit receiver, integrated circuit and method for ADC dynamic range selection
EP3414777B1 (en) * 2016-06-08 2021-01-06 Invisage Technologies, Inc. Image sensors with electronic shutter
EP3258683A1 (en) 2016-06-13 2017-12-20 ams AG Image sensor and method for operating an image sensor
US20170366766A1 (en) 2016-06-16 2017-12-21 Semiconductor Components Industries, Llc Image sensors having high dynamic range functionalities
US9967496B2 (en) 2016-06-30 2018-05-08 Sony Corporation Active reset circuit for reset spread reduction in single-slope ADC
JP7125345B2 (ja) 2016-07-06 2022-08-24 ソニーセミコンダクタソリューションズ株式会社 撮像素子、撮像素子の製造方法、及び、電子機器
IL246796B (en) 2016-07-14 2020-05-31 Semi Conductor Devices An Elbit Systems Rafael Partnership Two-color light sensor and method
US9979912B2 (en) 2016-09-12 2018-05-22 Semiconductor Components Industries, Llc Image sensors with power supply noise rejection capabilities
US9800260B1 (en) 2016-11-04 2017-10-24 Analog Devices Global Method and apparatus to increase dynamic range in delta-sigma ADC using internal feedback across all integrators in loop-filter
KR20180072134A (ko) 2016-12-21 2018-06-29 에스케이하이닉스 주식회사 아날로그-디지털 변환 장치 및 그에 따른 씨모스 이미지 센서
WO2018140012A1 (en) 2017-01-25 2018-08-02 BAE Systems Imaging Solutions Inc. Imaging array with extended dynamic range
US20180220093A1 (en) 2017-02-01 2018-08-02 Renesas Electronics Corporation Image sensor
US10070081B2 (en) * 2017-02-03 2018-09-04 SmartSens Technology (U.S.), Inc. Stacked image sensor pixel cell with dynamic range enhancement and selectable shutter modes and in-pixel CDS
CN110771155B (zh) * 2017-05-10 2021-11-16 普里露尼库斯新加坡私人有限公司 固态摄像装置、固态摄像装置的驱动方法、以及电子设备
US10419701B2 (en) 2017-06-26 2019-09-17 Facebook Technologies, Llc Digital pixel image sensor
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10090342B1 (en) * 2017-08-01 2018-10-02 Semiconductor Components Industries, Llc Stacked image sensor capacitors and related methods
US10750097B2 (en) 2017-08-14 2020-08-18 Facebooke Technologies, Llc Varying exposure time of pixels in photo sensor using motion prediction
US10825854B2 (en) 2017-08-16 2020-11-03 Facebook Technologies, Llc Stacked photo sensor assembly with pixel level interconnect
US10608101B2 (en) 2017-08-16 2020-03-31 Facebook Technologies, Llc Detection circuit for photo sensor with stacked substrates
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
JP7039236B2 (ja) 2017-09-29 2022-03-22 キヤノン株式会社 逐次比較型ad変換器、撮像装置、撮像システム、移動体
JP6929750B2 (ja) 2017-09-29 2021-09-01 キヤノン株式会社 撮像装置、撮像システム、移動体
JP7100439B2 (ja) 2017-10-20 2022-07-13 ブリルニクス シンガポール プライベート リミテッド 固体撮像装置、固体撮像装置の駆動方法、および電子機器
US11393867B2 (en) 2017-12-06 2022-07-19 Facebook Technologies, Llc Multi-photodiode pixel cell
US10827142B2 (en) 2018-03-02 2020-11-03 Facebook Technologies, Llc Digital pixel array with adaptive exposure
US10812742B2 (en) 2018-04-18 2020-10-20 Facebook Technologies, Llc Apparatus and method for determining whether a photodiode saturates and outputting a digital value representing a charge from that photodiode based on that determination
US11233085B2 (en) 2018-05-09 2022-01-25 Facebook Technologies, Llc Multi-photo pixel cell having vertical gate structure
US10804926B2 (en) 2018-06-08 2020-10-13 Facebook Technologies, Llc Charge leakage compensation in analog-to-digital converter
US11089210B2 (en) 2018-06-11 2021-08-10 Facebook Technologies, Llc Configurable image sensor
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120267511A1 (en) * 2011-04-19 2012-10-25 Altasens, Inc. Image sensor with hybrid heterostructure
CN103730455A (zh) * 2012-10-16 2014-04-16 全视科技有限公司 底部芯片上具有光敏电路元件的堆叠芯片图像传感器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112804467A (zh) * 2021-04-15 2021-05-14 北京惠风智慧科技有限公司 一种基于多cmos传感器的图像编码方法及装置

Also Published As

Publication number Publication date
JP2021517764A (ja) 2021-07-26
KR20200139187A (ko) 2020-12-11
CN111955002B (zh) 2023-05-02
TW201943093A (zh) 2019-11-01
WO2019195162A1 (en) 2019-10-10
US11004881B2 (en) 2021-05-11
EP3777132A1 (en) 2021-02-17
US20190305020A1 (en) 2019-10-03
US20210265401A1 (en) 2021-08-26

Similar Documents

Publication Publication Date Title
CN111955002B (zh) 全局快门图像传感器
TWI774803B (zh) 具有堆疊結構的像素單元
US11863886B2 (en) Pixel sensor having multiple photodiodes
US11102430B2 (en) Pixel sensor having multiple photodiodes
US11956413B2 (en) Pixel sensor having multiple photodiodes and shared comparator
TWI825092B (zh) 以多光二極體型像素單元量測入射光強度的設備和方法
US20200059589A1 (en) Pixel sensor having adaptive exposure time
CN112369013A (zh) 全局快门图像传感器
CN112640434A (zh) 可配置的图像传感器
CN111684599A (zh) 多光电二极管像素单元
US11877080B2 (en) Pixel sensor having shared readout structure
US20230092325A1 (en) Digital pixel sensor
US11902685B1 (en) Pixel sensor having hierarchical memory

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC

GR01 Patent grant
GR01 Patent grant