CN104702861A - 具有光子计数器的低功率成像系统及操作像素阵列的方法 - Google Patents

具有光子计数器的低功率成像系统及操作像素阵列的方法 Download PDF

Info

Publication number
CN104702861A
CN104702861A CN201410311079.XA CN201410311079A CN104702861A CN 104702861 A CN104702861 A CN 104702861A CN 201410311079 A CN201410311079 A CN 201410311079A CN 104702861 A CN104702861 A CN 104702861A
Authority
CN
China
Prior art keywords
pixel
photon
exposure
counting
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410311079.XA
Other languages
English (en)
Other versions
CN104702861B (zh
Inventor
代铁军
王睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omnivision Technologies Inc
Original Assignee
Omnivision Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Inc filed Critical Omnivision Technologies Inc
Publication of CN104702861A publication Critical patent/CN104702861A/zh
Application granted granted Critical
Publication of CN104702861B publication Critical patent/CN104702861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H04N25/773—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters comprising photon counting circuits, e.g. single photon detection [SPD] or single photon avalanche diodes [SPAD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

本申请案揭示一种具有光子计数器的低功率成像系统及一种操作像素阵列的方法。一种成像系统包含像素阵列，所述像素阵列包含多个像素。所述像素中的每一者包含经耦合以响应于入射光而检测光子的单光子雪崩二极管SPAD。读出电路中所包含的光子计数器耦合到每一像素以对由每一像素检测到的光子的数目进行计数。所述光子计数器经耦合以在针对每一像素达到阈值光子计数时停止对每一像素中的光子进行计数。控制电路耦合到所述像素阵列以控制所述像素阵列的操作。所述控制电路包含经耦合以对在每一像素检测到所述阈值光子计数之前逝去的曝光时间的数目进行计数的曝光时间计数器。针对所述像素阵列的每一像素组合相应曝光时间计数与光子计数。

Description

具有光子计数器的低功率成像系统及操作像素阵列的方法
技术领域
本发明大体来说涉及光电检测器，且更具体来说，本发明针对于包含光子计数器的成像系统。
背景技术
硅光电倍增管(SiPM)是能够检测低强度单一者(低到单一光子)的一种类型的光电检测器。SiPM装置可使用数字计数器来对入射光子进行计数直到达到入射光子的阈值计数为止。SiPM为由盖格(Geiger)模式光子检测单元(例如制作于硅衬底中的单光子雪崩二极管(SPAD))的阵列构成的半导体光敏装置。盖格模式光子检测单元具有被偏置超出其击穿电压使得每一电子-空穴对可触发转变为离散电脉冲的雪崩倍增过程的p-n结。单一光子或多个光子将不改变来自光子检测单元的所得脉冲的振幅，因为触发雪崩倍增过程仅需要单一光子。主动地或被动地使雪崩猝灭，此对光子检测单元进行复位，使得其可检测进一步的入射光子。
数字计数器的位计数的增加将增加入射光子的准确度及/或计数，然而，此也将增加由SiPM需要的硅面积及功率消耗。需要大硅面积的计数器可阻止电路到测量装置中的实施。
发明内容
本申请案涉及一种成像系统，其包括：像素阵列，其包含多个像素，其中所述像素中的每一者包含经耦合以响应于入射光而检测光子的单光子雪崩二极管(SPAD)；光子计数器，其包含于读出电路中，耦合到每一像素以对由每一像素检测到的光子的数目进行计数，其中所述光子计数器经耦合以在针对每一像素达到阈值光子计数时停止对每一像素中的光子进行计数；控制电路，其耦合到所述像素阵列以控制所述像素阵列的操作，所述控制电路包含经耦合以对在每一像素检测到所述阈值光子计数之前逝去的曝光时间进行计数的曝光时间计数器，其中针对所述像素阵列的每一像素组合相应曝光时间计数与光子计数。
本申请案进一步涉及一种操作像素阵列的方法，其包括：将像素阵列的像素曝光于入射光；对由每一像素检测到的光子进行计数；停止对达到阈值光子计数的像素中的光子的计数；保存已达到所述阈值光子计数的像素的逝去曝光时间计数；保存在曝光时间计数器已达到阈值曝光时间计数之后尚未达到所述阈值光子计数的像素的所述阈值曝光时间计数；以及针对所述像素阵列的每一像素组合相应曝光时间计数与光子计数。
附图说明
参考以下各图描述本发明的非限制性及非详尽实施例，其中在所有各视图中相似参考编号指代相似部件，除非另有规定。
图1是展示根据本发明的教示包含耦合到光子计数器的单光子雪崩二极管(SPAD)的实例性像素的示意图。
图2是展示根据本发明的教示包含具有耦合到曝光时间计数器及光子计数器的SPAD的实例性像素阵列的实例性成像系统的图式。
图3是图解说明根据本发明的教示用以操作包含具有耦合到曝光时间计数器及光子计数器的SPAD的像素阵列的成像系统的一个实例的处理的实例性流程图。
图4是图解说明根据本发明的教示用以操作包含具有耦合到曝光时间计数器及光子计数器的SPAD的像素阵列的成像系统的一个实例的处理的另一实例性流程图。
在图式的所有数个视图中，对应参考字符指示对应组件。所属领域的技术人员将了解，图中的元件是为简单及清晰起见而图解说明的，且未必按比例绘制。举例来说，为了有助于改进对本发明的各种实施例的理解，图中的元件中的一些元件的尺寸可能相对于其它元件放大。此外，通常未描绘在商业上可行的实施例中有用或必需的常见而众所周知的元件以便促进对本发明的这各种实施例的较不受阻挡的观察。
具体实施方式
在以下描述中，陈述众多特定细节以便提供对本发明的透彻理解。然而，所属领域的技术人员将明了，不需要采用所述特定细节来实践本发明。在其它实例中，未详细描述众所周知的材料或方法以避免使本发明模糊。
在本说明书通篇中对“一个实施例”、“一实施例”、“一个实例”或“一实例”的提及意指结合所述实施例或实例所描述的特定特征、结构或特性包含于本发明的至少一个实施例中。因此，在本说明书通篇的各个位置中短语“在一个实施例中”、“在一实施例中”、“一个实例”或“一实例”的出现未必全部指代同一实施例或实例。此外，在一或多个实施例或实例中，可以任何适合组合及/或子组合的形式来组合特定特征、结构或特性。特定特征、结构或特性可包含于集成电路、电子电路、组合逻辑电路或提供所描述的功能性的其它适合组件中。另外，应了解，随本文提供的各图用于向所属领域的技术人员解释的目的且图式未必按比例绘制。
根据本发明的教示的实例描述一种包含具有带有光子计数器的单光子雪崩二极管(SPAD)的像素阵列的低功率成像系统。如将论述，利用具有根据本发明的教示的光子计数器的SPAD的成像系统使得可同时进行全局快门及高动态范围(HDR)成像两者。在一个实例中，可堆叠成像系统中所包含的芯片以便使得大量生产更实际。在各种实例中，与利用SPAD光子计数器的其它HDR应用相比，实质上减少了功率消耗。
为了图解说明，假定SPAD输出负载电容器具有10fF的电容及3V的输出摆幅。对于借助20位计数器及60MHz的最大计数器速率实现的60fps速度，对应电流将为1.8μA。进一步假定SPAD以20V操作，则最大功率将为每像素36μW。因此，对于1百万像素图像传感器，对应功率消耗将为36W，此对于大量生产来说大得不可接受，且还将耗散过量的热以致为不实际的且实质上使SPAD性能降级。
图1是展示根据本发明的教示可用于提供低功率成像系统的耦合到光子计数器的实例性像素的示意图。特定来说，图1中所描绘的实例展示包含于像素阵列中的多个像素P1100A到Pn100N。在一个实例中，像素P1100A到Pn100N彼此实质上类似。如所描绘的实例中所展示，像素P1100A包含耦合到猝灭元件MQ104的SPAD102。在所述实例中，输出信号VOUT106指示何时检测到来自入射光的光子hv。借助读出电路116读出输出信号VOUT106，在所图解说明的实例中，读出电路116包含可对由每一像素P1100A到Pn100N检测到的光子的数目进行计数的光子计数器150。
在图1中所展示的实例中，应了解，包含多个像素P1100A到Pn100N的像素阵列包含于第一芯片108中，且包含光子计数器150的读出电路116包含于第二芯片110中。在所述实例中，第一芯片108与第二芯片110堆叠到一起。应了解，根据本发明的教示，通过将多个像素P1100A到Pn100N包含于与第二芯片110中的读出电路分离的芯片108上，包含多个像素P1100A到Pn100N及读出电路116的光子计数器150的成像系统的大量生产为较实际的。
图2是展示根据本发明的教示包含具有耦合到曝光时间计数器及光子计数器的SPAD的实例性像素阵列的成像系统212的图式。特定来说，如所描绘的实例中所展示，成像系统212包含耦合到控制电路218及读出电路216的像素阵列214，读出电路216包含耦合到功能逻辑220的光子计数器250。在一个实例中，像素阵列214为图像传感器像素(例如，像素P1、P2、P3、...、Pn)的二维(2D)阵列。应注意，图2的像素阵列214中的像素P1、P2、...Pn可为图1的像素单元P1100A到Pn100N的实例，且图2的读出电路216及光子计数器250可为图1的读出电路116及光子计数器150的实例，且下文所提及的类似命名及编号的元件类似于如上文所描述而耦合及发挥作用。如所图解说明，像素P1...Pn被布置成多个行(例如，行R1到Ry)及多个列(例如，列C1到Cx)以获取人、地点、物体等的图像数据，接着可使用所述图像数据再现所述人、地点、物体等的2D图像。
在一个实例中，在光子计数器250已对已由每一像素单元P1、P2、P3、...、Pn检测的光子进行计数之后，可接着将由读出电路216通过输出信号206读出的光子计数图像数据传送到功能逻辑220。功能逻辑220可简单地存储所述图像数据或甚至通过应用图像后效果(例如，剪裁、旋转、移除红眼、调整亮度、调整对比度或其它)来操纵所述图像数据。在一个实例中，控制电路218耦合到像素阵列214以控制像素阵列214的操作特性。在一个实例中，控制电路218经耦合以产生用于控制每一像素单元的光子计数及图像获取的全局快门信号。在所述实例中，所述全局快门信号同时启用像素阵列214内的所有像素P1、P2、P3、...Pn以使像素阵列214中的所有像素能够同时开始对在单一帧间检测的入射光子的数目进行计数。
如所描绘的实例中所展示，根据本发明的教示，控制电路218还包含曝光时间计数器248，如下文将进一步详细地描述，曝光时间计数器248用于对光子计数器250经启用以对在像素阵列214的帧或子帧期间在像素阵列214中的每一像素P1、P2、P3、...Pn中检测的光子进行计数的曝光时间进行计数。在一个实例中，根据本发明的教示，在已针对像素阵列214的每一像素P1、P2、P3、...Pn对光子进行计数之后，组合像素P1、P2、P3、...Pn的相应曝光时间252及光子计数254以形成像素帧值256或在另一实例中形成像素子帧值。
为了图解说明，图3是图解说明根据本发明的教示经执行以操作成像系统的一个实例(例如图2的成像系统212，其包含具有带有耦合到曝光时间计数器248及光子计数器250的SPAD的像素的像素阵列214)的处理的实例性流程图322。
如图3的实例中所展示，处理在过程框324处开始，其中将光子计数器初始化为0且将曝光时间计数器初始化为1。在过程框326处，将像素曝光于入射光达单位时间×2(T-1)。在一个实例中，在确定像素帧值时的单位时间可为(举例来说)16μs。在决策框328处，确定像素P1、P2、P3、...Pn的相应光子计数器中的任一者是否已达到阈值光子计数。在一个实例中，在确定像素帧值时的阈值光子计数可为(举例来说)512个光子。如果光子计数器尚未达到阈值光子计数(例如，512个光子)，那么处理继续到决策框334。然而，如果像素的相应光子计数器已达到阈值光子计数(例如，512个光子)，那么过程框330展示停止或停用对所述像素的计数，且过程框332展示接着保存已达到阈值光子计数(例如，512个光子)的所述像素的逝去曝光时间计数。
决策框334展示接下来确定曝光时间计数器T是否已达到阈值曝光时间计数。在一个实例中，针对像素阵列的帧，阈值曝光时间计数为T＝11，在所述实例中，其对应于总共高达16ms(即，16μs×2(11-1))的曝光时间。如果曝光时间计数器T尚未达到阈值曝光时间(例如，T＝11)，那么处理继续到过程框336，其中针对尚未达到阈值光子计数(例如，512个光子)的像素使曝光时间计数器递增。一旦在过程框336中使曝光时间计数器T递增，处理便接着循环回到过程框326，其中将像素进一步曝光于入射光达额外曝光时间。在所图解说明的实例中，每一额外曝光将针对所述像素逝去的总曝光时间增加到2倍。
在每一曝光时间期间对光子的计数继续如上文所描述而循环直到在决策框334中确定曝光时间计数器已达到阈值曝光时间计数(例如，T＝11)为止。一旦已达到阈值曝光时间计数(例如，T＝11)，过程框338便展示针对尚未达到阈值光子计数(例如，512个光子)的每一像素保存阈值曝光时间计数T(例如，T＝11)。过程框340展示针对每一像素组合相应曝光时间计数T与光子计数。如图2中的实例中所展示，根据本发明的教示，组合相应曝光时间计数T(1...n)252与相应光子计数(1...n)254以形成帧的每一像素的像素帧值(1...n)256。
可如下图解说明执行流程图322的处理步骤的实例。假定最初将像素曝光于入射光达16μs(即，16μs×2(1-1))的单位时间，则如果某一像素计数器在此曝光时间期间计数到512个光子的阈值光子计数，那么停止所述像素中的计数且针对所述像素保存T＝1(4位二进制0001)的曝光时间计数。其它像素中的计数将继续。
假定曝光时间计数器花费32μs(即，16μs×2(2-1))递增到T＝2，则如果像素计数器计数到512个光子的阈值光子计数，那么停止所述像素中的计数且针对所述像素保存T＝2(4位二进制0010)的曝光时间计数。其它像素中的计数将继续。
假定曝光时间计数器花费64μs(即，16μs×2(3-1))递增到T＝3，则如果像素计数器计数到512个光子的阈值光子计数，那么停止所述像素中的计数且针对所述像素保存T＝3(4位二进制0011)的曝光时间计数。其它像素中的计数将继续。
继续所述实例，假定曝光时间计数器花费8ms(即，16μs×2(10-1))递增到T＝10，则如果像素计数器计数到512个光子的阈值光子计数，那么停止所述像素中的计数且针对所述像素保存T＝10(4位二进制1010)的曝光时间计数。其它像素中的计数将继续。
当16ms(即，16μs×2(11-1))已逝去时，停止计数，且针对所述像素保存T＝11(4位二进制1011)的曝光时间计数。
最终，针对每一像素组合相应曝光时间计数T与光子计数。在一个实例中，组合相应曝光时间计数T与光子计数以形成像素阵列的每一像素的对应像素帧值。
应了解，在上文所描述的实例中，在4位二进制曝光时间计数器T值0000到1011的情况下，在所述实例中利用总共11个曝光时间值来将动态范围增加10个位。另外，10位计数器也用于对光子进行计数最高达512的阈值光子计数，此提供10位计数器动态范围。因此，根据本发明的教示，针对像素帧值组合曝光时间计数器的4个位与光子计数器的10个位借助仅14个位提供20位范围。
与先前所论述的具有60MHz的最大计数器速率且为了操作消耗36W的1百万像素实例相比，目前所描述的实例仍可提供具有20位动态范围的60fps图像传感器，但消耗36mW的实质上较少功率而非36W，因为根据本发明的教示的光子计数器计数高达10位值且因此仅需要60KHz的最大计数器速率。因此，根据本发明的教示，功率消耗减少到1/210或1/1000。
在其它实例中，应了解，可在计数器的末端处添加额外锁存器以防止计数器溢出。在又一实例中，应了解，12位计数器可用于光子计数器，提供额外动态余量。
图4是图解说明根据本发明的教示用以操作包含耦合到曝光时间计数器及光子计数器的SPAD的像素阵列的一个实例的处理的另一实例性流程图422。应了解，图4的流程图422与图3的流程图322共享许多相似性，且类似编号的元件及处理框可执行类似功能。图4的实例性流程图422图解说明根据本发明的教示可由成像系统(例如图2的成像系统212，其包含具有带有耦合到曝光时间计数器248及光子计数器250的SPAD的像素的像素阵列214)执行以减少重像的处理。
特定来说，可在物体快速移动时发生不期望的重像，但曝光时间针对像素阵列中的不同像素而不同。举例来说，如在上文于图3中所论述的实例中所描述，像素阵列的每一像素可具有不同曝光时间。此可导致快速移动的物体的重像。在于图4的流程图422中所描述的实例中，将每一帧的曝光划分成多个子帧。举例来说，在图4中所描述的实例中，将每一帧划分成16个像素子帧值。通过将曝光划分成16个部分或子帧，总体曝光时间可较短且因此跨越整个帧较均匀地分布。根据本发明的教示，可接着通过对所有16个子帧求平均以确定像素阵列中的像素中的每一者的平均像素帧值来构造最终图像。
为了图解说明，如图4的实例中所展示，处理在过程框424处开始，其中将光子计数器初始化为0，将曝光时间计数器初始化为1，且将子帧计数器初始化为1。在过程框426处，将像素曝光于入射光达单位时间×2(T-1)。在一个实例中，在确定像素子帧值时的单位时间可为(举例来说)1μs。在决策框428处，确定像素P1、P2、P3、...Pn的相应光子计数器中的任一者是否已达到阈值光子计数。在一个实例中，在确定像素子帧值时的子帧阈值光子计数可为(举例来说)32个光子。如果光子计数器尚未达到子帧阈值光子计数(例如，32个光子)，那么处理继续到决策框434。然而，如果像素的相应光子计数器已达到子帧阈值光子计数(例如，32个光子)，那么过程框430展示停止或停用针对所述像素的计数，且过程框432展示接着保存已达到子帧阈值光子计数(例如，32个光子)的所述像素的逝去曝光时间计数。
决策框434展示接下来确定曝光时间计数器T已达到子帧阈值曝光时间计数。在一个实例中，子帧阈值曝光时间计数针对像素阵列的子帧为T＝11，在所述实例中，其对应于总共1ms(即，1μs×2(11-1))的曝光时间。如果曝光时间计数器T尚未达到子帧阈值曝光时间(例如，T＝11)，那么处理继续到过程框436，其中针对尚未达到子帧阈值光子计数(例如，32个光子)的像素使曝光时间计数器递增。一旦在过程框436中使曝光时间计数器T递增，处理便接着循环回到过程框426，其中将像素进一步曝光于入射光达额外曝光时间。在所图解说明的实例中，每一额外曝光将针对所述像素逝去的总曝光时间增加到2倍。
在每一曝光时间期间对光子的计数继续如上文所描述而循环直到在决策框434中确定曝光时间计数器已达到阈值曝光时间计数(例如，T＝11)为止。一旦已达到子帧阈值曝光时间计数(例如，T＝11)，过程框438便展示针对尚未达到子帧阈值光子计数(例如，32个光子)的每一像素保存阈值曝光时间计数T(例如，T＝11)。过程框440展示针对每一像素组合相应曝光时间计数T与光子计数。类似于图2中所描述的实例，根据本发明的教示，组合相应曝光时间计数T(1...n)252与相应光子计数(1...n)254以形成子帧的每一像素的像素子帧值(1...n)256。
决策框442展示确定帧中是否存在任何更多待处理的子帧。如果否，那么过程框444展示使子帧值递增且接着处理循环回到过程框426。然而，如果已处理所有子帧，那么过程框446展示接着对帧的所有像素子帧值求平均以确定像素阵列的平均像素帧值。在一个实例中，可将所有子帧一起求和以获得像素阵列的经求和像素帧值。
可如下图解说明执行流程图422的处理步骤的实例。假定最初将像素曝光于入射光达1μs(即，1μs×2(1-1))的单位时间，则如果某一像素计数器在此曝光时间期间计数到32个光子的阈值光子计数，那么停止所述像素中的计数且针对所述像素保存T＝1(4位二进制0001)的曝光时间计数。其它像素中的计数将继续。
假定曝光时间计数器花费2μs(即，1μs×2(2-1))递增到T＝2，则如果像素计数器计数到32个光子的阈值光子计数，那么停止所述像素中的计数且针对所述像素保存T＝2(4位二进制0010)的曝光时间计数。其它像素中的计数将继续。
假定曝光时间计数器花费4μs(即，1μs×2(3-1))递增到T＝3，则如果像素计数器计数到32个光子的阈值光子计数，那么停止所述像素中的计数且针对所述像素保存T＝3(4位二进制0011)的曝光时间计数。其它像素中的计数将继续。
继续所述实例，假定曝光时间计数器花费512μs(即，1μs×2(10-1))递增到T＝10，则如果像素计数器计数到32个光子的阈值光子计数，那么停止所述像素中的计数且针对所述像素保存T＝10(4位二进制1010)的曝光时间计数。其它像素中的计数将继续。
当1ms(即，1μs×2(11-1))已逝去时，停止计数且针对所述像素保存T＝11(4位二进制1011)的曝光时间计数。
最终，针对每一像素组合相应曝光时间计数T与光子计数。在一个实例中，组合相应曝光时间计数T与光子计数以形成像素阵列的每一像素的对应像素子帧值。根据本发明的教示，在已处理帧的所有16个子帧之后，对所有16个像素子帧值求平均以确定帧的平均像素帧值。如先前所提及，根据本发明的教示，平均或经求和像素帧值将减少重像。
包含发明摘要中所描述内容的本发明的所图解说明实例的以上描述并非打算为穷尽性或限制于所揭示的精确形式。尽管出于说明性目的而在本文中描述本发明的特定实施例及实例，但可在不背离本发明的较宽广精神及范围的情况下做出各种等效修改。
可根据以上详细描述对本发明的实例做出这些修改。所附权利要求书中所使用的术语不应理解为将本发明限制于说明书及权利要求书中所揭示的特定实施例。相反，范围将完全由所附权利要求书来确定，所述权利要求书将根据所创建的权利要求解释原则来加以理解。因此，应将本说明书及图视为说明性而非限制性。

Claims (18)

1.一种成像系统，其包括：
像素阵列，其包含多个像素，其中所述像素中的每一者包含经耦合以响应于入射光而检测光子的单光子雪崩二极管SPAD；
光子计数器，其包含于读出电路中，耦合到每一像素以对由每一像素检测到的光子的数目进行计数，其中所述光子计数器经耦合以在针对每一像素达到阈值光子计数时停止对每一像素中的光子进行计数；
控制电路，其耦合到所述像素阵列以控制所述像素阵列的操作，所述控制电路包含经耦合以对在每一像素检测到所述阈值光子计数之前逝去的曝光时间进行计数的曝光时间计数器，其中针对所述像素阵列的每一像素组合相应曝光时间计数与光子计数。
2.根据权利要求1所述的成像系统，其进一步包括耦合到所述读出电路以存储从所述多个像素读出的图像数据的功能逻辑。
3.根据权利要求1所述的成像系统，其中每一像素进一步包含耦合到每一SPAD的猝灭元件。
4.根据权利要求1所述的成像系统，所述像素阵列中的所述多个像素被布置成多个行及多个列。
5.根据权利要求1所述的成像系统，其中所述像素阵列包含于第一芯片中，且其中所述读出电路包含于第二芯片中，其中所述第一及第二芯片堆叠在一起。
6.根据权利要求1所述的成像系统，其中针对所述像素阵列的每一像素组合所述相应曝光时间计数与光子计数以确定所述像素阵列的每一像素的像素帧值。
7.根据权利要求1所述的成像系统，其中针对所述像素阵列的每一像素组合所述相应曝光时间计数与光子计数以确定所述像素阵列的每一像素的像素子帧值。
8.根据权利要求7所述的成像系统，其中平均像素帧值为所述像素阵列的每一像素的帧的所有像素子帧值的平均值。
9.根据权利要求1所述的成像系统，其中每次使所述曝光时间计数器递增时，逝去的所述曝光时间就增加2倍。
10.一种操作像素阵列的方法，其包括：
将像素阵列的像素曝光于入射光；
对由每一像素检测到的光子进行计数；
停止对达到阈值光子计数的像素中的光子的计数；
保存已达到所述阈值光子计数的像素的逝去曝光时间计数；
保存在曝光时间计数器已达到阈值曝光时间计数之后尚未达到所述阈值光子计数的像素的所述阈值曝光时间计数；以及
针对所述像素阵列的每一像素组合相应曝光时间计数与光子计数。
11.根据权利要求10所述的方法，其进一步包括在尚未达到所述阈值光子计数的像素的每一曝光之后使所述曝光时间计数器递增直到所述曝光时间计数器达到所述阈值曝光时间计数为止。
12.根据权利要求11所述的方法，其中每次使所述逝去曝光时间计数递增时，逝去的曝光时间就增加2倍。
13.根据权利要求10所述的方法，其进一步包括在对所述光子进行计数之前初始化光子计数器。
14.根据权利要求10所述的方法，其进一步包括在对所述光子进行计数之前初始化曝光时间计数器。
15.根据权利要求10所述的方法，其中针对所述像素阵列的每一像素组合所述相应曝光时间计数与光子计数以确定所述像素阵列的每一像素的像素帧值。
16.根据权利要求10所述的方法，其进一步包括在对所述光子进行计数之前初始化子帧计数器。
17.根据权利要求10所述的方法，其中针对所述像素阵列的每一像素组合所述相应曝光时间计数与光子计数以确定所述像素阵列的每一像素的像素子帧值。
18.根据权利要求17所述的方法，其进一步包括对所述像素阵列的每一像素的帧的所有像素子帧值求平均以确定所述像素阵列的每一像素的平均像素帧值。
CN201410311079.XA 2013-12-09 2014-07-01 具有光子计数器的低功率成像系统及操作像素阵列的方法 Active CN104702861B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/100,941 US9210350B2 (en) 2013-12-09 2013-12-09 Low power imaging system with single photon avalanche diode photon counters and ghost image reduction
US14/100,941 2013-12-09

Publications (2)

Publication Number Publication Date
CN104702861A true CN104702861A (zh) 2015-06-10
CN104702861B CN104702861B (zh) 2018-02-09

Family

ID=53272418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410311079.XA Active CN104702861B (zh) 2013-12-09 2014-07-01 具有光子计数器的低功率成像系统及操作像素阵列的方法

Country Status (4)

Country Link
US (1) US9210350B2 (zh)
CN (1) CN104702861B (zh)
HK (1) HK1207224A1 (zh)
TW (1) TWI541985B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100654A (zh) * 2015-09-18 2015-11-25 中国科学院高能物理研究所 一种像素单元电路及像素读出芯片
CN105450948A (zh) * 2015-12-15 2016-03-30 中国科学院西安光学精密机械研究所 一种电子轰击固态光电倍增管式微光数字图像传感器
CN105929437A (zh) * 2016-06-18 2016-09-07 武汉京邦科技有限公司 一种硅光电倍增器的片上读出系统
CN107422392A (zh) * 2017-08-08 2017-12-01 中国科学院西安光学精密机械研究所 一种基于单光子探测的绕角定位与追踪系统及方法
CN107449516A (zh) * 2017-07-06 2017-12-08 东南大学 一种自适应探测模式的光子计数线阵读出电路及方法
CN110022446A (zh) * 2017-12-15 2019-07-16 佳能株式会社 图像传感器
CN110632639A (zh) * 2019-09-18 2019-12-31 北京格物时代科技发展有限公司 探头、探测器及多像素光子计数器总计数修正方法
CN111434105A (zh) * 2018-02-02 2020-07-17 索尼半导体解决方案公司 固态成像元件、成像装置和固态成像元件的控制方法
CN112558097A (zh) * 2020-11-23 2021-03-26 Oppo（重庆）智能科技有限公司 电子装置、电子装置的控制方法、及计算机可读存储介质
CN112585953A (zh) * 2018-09-06 2021-03-30 松下知识产权经营株式会社 固体摄像元件、摄像系统、固体摄像元件的驱动方法及光检测器
CN113272684A (zh) * 2019-01-04 2021-08-17 感觉光子公司 具有信号相关有效读出率的高动态范围直接飞行时间传感器
CN113424027A (zh) * 2019-03-07 2021-09-21 索尼半导体解决方案公司 光接收装置
CN113538217A (zh) * 2021-06-21 2021-10-22 天津大学 应用于单比特量子图像传感器的最佳阈值图像重构方法

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9819144B2 (en) 2015-05-14 2017-11-14 Apple Inc. High-efficiency vertical emitters with improved heat sinking
US10034375B2 (en) 2015-05-21 2018-07-24 Apple Inc. Circuit substrate with embedded heat sink
US9735539B2 (en) 2015-07-20 2017-08-15 Apple Inc. VCSEL structure with embedded heat sink
US10620300B2 (en) 2015-08-20 2020-04-14 Apple Inc. SPAD array with gated histogram construction
KR101712288B1 (ko) * 2015-11-12 2017-03-03 앰코 테크놀로지 코리아 주식회사 반도체 패키지 및 그 제조 방법
US10324171B2 (en) 2015-12-20 2019-06-18 Apple Inc. Light detection and ranging sensor
US9997551B2 (en) 2015-12-20 2018-06-12 Apple Inc. Spad array with pixel-level bias control
CN105634619A (zh) * 2016-01-25 2016-06-01 中国人民解放军信息工程大学 一种水下通信的接收端设备及系统
JP2018191230A (ja) * 2017-05-11 2018-11-29 ソニーセミコンダクタソリューションズ株式会社 撮像素子及びその駆動方法、並びに、電子機器
US10830879B2 (en) 2017-06-29 2020-11-10 Apple Inc. Time-of-flight depth mapping with parallax compensation
US10677899B2 (en) * 2017-08-07 2020-06-09 Waymo Llc Aggregating non-imaging SPAD architecture for full digital monolithic, frame averaging receivers
US10581521B2 (en) 2017-08-30 2020-03-03 Massachusetts Institute Of Technology Dual-mode imaging receiver
US10955552B2 (en) 2017-09-27 2021-03-23 Apple Inc. Waveform design for a LiDAR system with closely-spaced pulses
JP7132799B2 (ja) * 2017-12-07 2022-09-07 キヤノン株式会社 撮像素子、撮像装置及び撮像方法
EP3704510B1 (en) 2017-12-18 2022-10-05 Apple Inc. Time-of-flight sensing using an addressable array of emitters
WO2019150752A1 (ja) * 2018-02-02 2019-08-08 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US10616512B2 (en) 2018-07-27 2020-04-07 Wisconsin Alumni Research Foundation Systems, methods, and media for high dynamic range imaging using dead-time-limited single photon detectors
CN108871596B (zh) * 2018-09-10 2023-09-15 湖北京邦科技有限公司 成像装置和包括该成像装置的成像系统
WO2020167338A1 (en) 2019-02-11 2020-08-20 Apple Inc. Depth sensing using a sparse array of pulsed beams
US11500094B2 (en) 2019-06-10 2022-11-15 Apple Inc. Selection of pulse repetition intervals for sensing time of flight
US10881028B1 (en) 2019-07-03 2020-12-29 Apple Inc. Efficient heat removal from electronic modules
US11555900B1 (en) 2019-07-17 2023-01-17 Apple Inc. LiDAR system with enhanced area coverage
JP7379000B2 (ja) 2019-07-29 2023-11-14 キヤノン株式会社 光電変換装置、光電変換システム、および移動体
US20220264047A1 (en) 2019-08-01 2022-08-18 Ecole Polytechnique Federale De Lausanne (Epfl) Low-power image sensor system with single-photon avalanche diode photodetectors
CN110943714B (zh) * 2019-11-21 2023-03-31 电子科技大学 带时钟门控的数据读出接口电路
US11733359B2 (en) 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
US11710945B2 (en) 2020-05-25 2023-07-25 Apple Inc. Projection of patterned and flood illumination
US11699715B1 (en) 2020-09-06 2023-07-11 Apple Inc. Flip-chip mounting of optoelectronic chips
EP3989535A1 (en) 2020-10-20 2022-04-27 Canon Kabushiki Kaisha Photoelectric conversion device, method of controlling photoelectric conversion device, and information processing apparatus
US11563908B2 (en) * 2021-02-22 2023-01-24 Microsoft Technology Licensing, Llc Image acquisition techniques with reduced noise using single photon avalanche diodes
JP2023004679A (ja) * 2021-06-28 2023-01-17 キヤノン株式会社 撮像装置
US11681028B2 (en) 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift
JP2023028992A (ja) 2021-08-20 2023-03-03 キヤノン株式会社 撮像装置およびその制御方法
JP2023032298A (ja) 2021-08-26 2023-03-09 キヤノン株式会社 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム
JP2023032283A (ja) 2021-08-26 2023-03-09 キヤノン株式会社 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム
US11539895B1 (en) * 2021-09-27 2022-12-27 Wisconsin Alumni Research Foundation Systems, methods, and media for motion adaptive imaging using single-photon image sensor data
US12010443B2 (en) * 2021-10-19 2024-06-11 Microsoft Technology Licensing, Llc Systems and methods for selectively modifying gating rate in single photon avalanche diodes
KR20230061032A (ko) * 2021-10-28 2023-05-08 삼성전자주식회사 이미지 센서, 영상 획득 장치 및 이를 포함하는 전자 장치
JP2023081558A (ja) * 2021-12-01 2023-06-13 キヤノン株式会社 撮像センサ及び撮像センサの制御方法
JP2023099398A (ja) * 2022-01-01 2023-07-13 キヤノン株式会社 光電変換装置、撮像システム、光検出システム、および移動体
JP2023118323A (ja) * 2022-02-15 2023-08-25 キヤノン株式会社 固体撮像素子、固体撮像素子の制御方法、プログラム、記憶媒体、及び撮像装置
WO2024078721A1 (en) 2022-10-13 2024-04-18 Ecole Polytechnique Federale De Lausanne (Epfl) Imaging sensor device using an array of single-photon avalanche diode photodetectors

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101004359A (zh) * 2005-10-31 2007-07-25 日本电气株式会社 测量甚弱光功率的方法和设备和使用该方法的光通信系统
CN101996344A (zh) * 2009-08-19 2011-03-30 三星电子株式会社 计数光子的系统和方法
US20110080510A1 (en) * 2009-10-01 2011-04-07 Sony Corporation Image taking device and camera system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101004359A (zh) * 2005-10-31 2007-07-25 日本电气株式会社 测量甚弱光功率的方法和设备和使用该方法的光通信系统
CN101996344A (zh) * 2009-08-19 2011-03-30 三星电子株式会社 计数光子的系统和方法
US20110080510A1 (en) * 2009-10-01 2011-04-07 Sony Corporation Image taking device and camera system

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100654B (zh) * 2015-09-18 2018-02-23 中国科学院高能物理研究所 一种像素单元电路及像素读出芯片
CN105100654A (zh) * 2015-09-18 2015-11-25 中国科学院高能物理研究所 一种像素单元电路及像素读出芯片
CN105450948A (zh) * 2015-12-15 2016-03-30 中国科学院西安光学精密机械研究所 一种电子轰击固态光电倍增管式微光数字图像传感器
CN105450948B (zh) * 2015-12-15 2018-06-26 中国科学院西安光学精密机械研究所 一种电子轰击固态光电倍增管式微光数字图像传感器
CN105929437A (zh) * 2016-06-18 2016-09-07 武汉京邦科技有限公司 一种硅光电倍增器的片上读出系统
CN107449516A (zh) * 2017-07-06 2017-12-08 东南大学 一种自适应探测模式的光子计数线阵读出电路及方法
CN107449516B (zh) * 2017-07-06 2019-07-23 东南大学 一种自适应探测模式的光子计数线阵读出电路及方法
CN107422392A (zh) * 2017-08-08 2017-12-01 中国科学院西安光学精密机械研究所 一种基于单光子探测的绕角定位与追踪系统及方法
CN107422392B (zh) * 2017-08-08 2019-03-08 中国科学院西安光学精密机械研究所 一种基于单光子探测的绕角定位与追踪系统及方法
US11089256B2 (en) 2017-12-15 2021-08-10 Canon Kabushiki Kaisha Image sensor with correction of detection error
CN110022446A (zh) * 2017-12-15 2019-07-16 佳能株式会社 图像传感器
CN110022446B (zh) * 2017-12-15 2022-08-12 佳能株式会社 图像传感器
US11330202B2 (en) 2018-02-02 2022-05-10 Sony Semiconductor Solutions Corporation Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
CN111434105A (zh) * 2018-02-02 2020-07-17 索尼半导体解决方案公司 固态成像元件、成像装置和固态成像元件的控制方法
CN111434105B (zh) * 2018-02-02 2023-05-12 索尼半导体解决方案公司 固态成像元件、成像装置和固态成像元件的控制方法
CN112585953A (zh) * 2018-09-06 2021-03-30 松下知识产权经营株式会社 固体摄像元件、摄像系统、固体摄像元件的驱动方法及光检测器
CN112585953B (zh) * 2018-09-06 2024-05-14 松下知识产权经营株式会社 固体摄像元件、摄像系统、固体摄像元件的驱动方法及光检测器
CN113272684A (zh) * 2019-01-04 2021-08-17 感觉光子公司 具有信号相关有效读出率的高动态范围直接飞行时间传感器
CN113424027A (zh) * 2019-03-07 2021-09-21 索尼半导体解决方案公司 光接收装置
US11754442B2 (en) 2019-03-07 2023-09-12 Sony Semiconductor Solutions Corporation Light-receiving apparatus with cycle setting according to photon count determinations
CN113424027B (zh) * 2019-03-07 2024-04-12 索尼半导体解决方案公司 光接收装置
CN110632639A (zh) * 2019-09-18 2019-12-31 北京格物时代科技发展有限公司 探头、探测器及多像素光子计数器总计数修正方法
CN112558097A (zh) * 2020-11-23 2021-03-26 Oppo（重庆）智能科技有限公司 电子装置、电子装置的控制方法、及计算机可读存储介质
CN113538217A (zh) * 2021-06-21 2021-10-22 天津大学 应用于单比特量子图像传感器的最佳阈值图像重构方法
CN113538217B (zh) * 2021-06-21 2022-09-16 天津大学 应用于单比特量子图像传感器的最佳阈值图像重构方法

Also Published As

Publication number Publication date
US9210350B2 (en) 2015-12-08
US20150163429A1 (en) 2015-06-11
CN104702861B (zh) 2018-02-09
TW201523843A (zh) 2015-06-16
TWI541985B (zh) 2016-07-11
HK1207224A1 (zh) 2016-01-22

Similar Documents

Publication Publication Date Title
CN104702861A (zh) 具有光子计数器的低功率成像系统及操作像素阵列的方法
US9711546B2 (en) Image sensor pixel for high dynamic range image sensor
US20190056264A1 (en) Detecting high intensity light in photo sensor
US8969775B2 (en) High dynamic range pixel having a plurality of amplifier transistors
TWI618231B (zh) 紅外偵測器陣列之緩衝式直接注射像素
ITVA20100069A1 (it) Array fotorilevatore multi-pixel di fotodiodi a valanga geiger-mode
CN105181132B (zh) 一种用于三维成像芯片的像素电路
KR102499097B1 (ko) 전자기 방사선 검출 장치
GB2343577A (en) TDI scan imager for direct-conversion radiation imaging
Berkovich et al. A scalable 20× 20 fully asynchronous SPAD-based imaging sensor with AER readout
US20140263947A1 (en) Enhanced dynamic range imaging
Deptuch et al. Monolithic active pixel sensors with on-pixel amplification and double sampling operation
Yin et al. A 0.5 V 34.4 uW 14.28 kfps 105dB smart image sensor with array-level analog signal processing
Vornicu et al. A CMOS 8× 8 SPAD array for Time-of-Flight measurement and light-spot statistics
US20220116555A1 (en) Reducing optical crosstalk effects in silicon-based photomultipliers
CN105578085A (zh) 应用于单光子雪崩二极管的光信号线性存储方法
Nishihara et al. An experimental CMOS photon detector with 0.5 e-RMS temporal noise and 15μm pitch active sensor pixels
Chou et al. Linear and single-photon avalanche diode dual-mode CMOS optical sensor with high frame rate operation
US20240163576A1 (en) Spad sensor for night vision applications
Gryboś Single Photon Counting Pixel Hybrid Detectors in Nanometer and 3D Technologies for Synchrotron Applications
RU2670586C1 (ru) Способ увеличения динамического диапазона в ячейках фотоприемной матрицы ИК диапазона
Zhang et al. Driving and image enhancement for CCD sensing image system
Pozas-Flores et al. Design of a smart SiPM based on focal-plane processing elements for improved spatial resolution in PET
Wang et al. Design of high-speed driving circuit for large area array full frame transfer CCD
US10623670B1 (en) Simultaneous multiple well size integration

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1207224

Country of ref document: HK

CB02 Change of applicant information

Address after: American California

Applicant after: OmniVision Technologies, Inc.

Address before: American California

Applicant before: Omnivision Tech Inc.

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1207224

Country of ref document: HK