CN112005543A - 用于异步基于时间的图像感测的系统和方法 - Google Patents

用于异步基于时间的图像感测的系统和方法 Download PDF

Info

Publication number
CN112005543A
CN112005543A CN201980027430.3A CN201980027430A CN112005543A CN 112005543 A CN112005543 A CN 112005543A CN 201980027430 A CN201980027430 A CN 201980027430A CN 112005543 A CN112005543 A CN 112005543A
Authority
CN
China
Prior art keywords
time
optical
converter
signal
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980027430.3A
Other languages
English (en)
Inventor
T·费纳特
D·马托林
C·普斯奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Prophesee SA
Proteus Corp
Original Assignee
Proteus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Proteus Corp filed Critical Proteus Corp
Publication of CN112005543A publication Critical patent/CN112005543A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

图像传感器包含多个像素，每个像素包含光敏元件和光信号转换器，所述光信号转换器适于在第一输出上提供与照射在所述光敏元件上的光的强度成线性比例的电流信号并且在第二输出上提供与照射在所述光敏元件上的光的强度成对数的电压信号。每个像素进一步包含：检测器，所述检测器适于在所述检测器的与所述光信号转换器的所述第二输出的所述电压信号成比例的信号超过阈值时生成触发信号；以及光时间转换器，所述光时间转换器适于在时间域中测量并且编码所述光敏元件上的光强度。光时间转换周期可以是由所述光时间转换器响应于接收到所述触发信号而启动的。

Description

用于异步基于时间的图像感测的系统和方法
技术领域
本公开总体上涉及图像感测领域。更具体地但非限制性地，本公开涉及用于异步基于时间的图像感测的系统和方法。本文中所公开的图像传感器和技术可以用于各种应用和视觉系统(如安全系统、自主车辆和受益于快速且有效的运动检测的其它系统)中。
背景技术
现存的图像传感器使用包括半导体电荷耦接装置(CCD)、互补型金属氧化物半导体(CMOS)传感器、N型金属氧化物半导体(NMOS)传感器或其它传感器的多个像素以便捕获场景的数字图像。然而，常规的图像传感器在检测快速运动时很慢，因为每个帧都被捕获为场景的完整图像。此外，此类图像传感器产生大量数据，从而以指数方式增加例如从捕获到的图像中筛选出运动信息所需的后处理量。
实际上，许多现有技术不需要由捕获完整图像的图像传感器提供的大量细节。例如，安全系统或其它类似系统可能仅对运动数据感兴趣并且对图像中没有运动的部分不感兴趣。在另一个实例中，自主车辆必须快速且有效地处理捕获到的数据以便做出与人感知时间(通常大约1秒或更短时间)相当的决策。当必须丢弃大量数据(例如，通过后处理)以便获得捕获到的数据的与情形有关的部分时，此种效率受到限制。
发明内容
鉴于前述内容，本公开的实施例提供了一种具有多个像素的异步图像传感器。与现存的图像传感器相比，通过异步地操作，所述图像传感器使用较少的功率并且产生较少的多余数据。另外，异步图像传感器的输出限于所关注的像素(例如，可能由于运动而发生改变的像素)，从而消除了对昂贵或效率低下的后处理标识所关注的像素的需要。因此，减少捕获到的图像中的数据冗余是由像素本身而不是通过昂贵的后处理来执行的。
此外，本公开的实施例提供了一种基于时间的图像传感器。通过在图像传感器内执行光时间转换，模拟输出需要较少的后处理以转换成数字输出。另外，光时间转换可以在逐像素的基础上执行。这减少了对复杂的读出系统的需要，因为像素的输出准备好立即转换成数字信号而不需要通过辅助电路进行进一步处理(如采样和保持和/或其它处理)。
根据本公开的示例性实施例，提供了一种异步基于时间的图像传感器，所述异步基于时间的图像传感器包含多个像素。所述像素可以布置成阵列。每个像素可以包含：光敏元件；光信号转换器，所述光信号转换器连接到所述光敏元件；检测器；以及光时间转换器，所述光时间转换器连接到所述光信号转换器的第一输出。所述光信号转换器可以被配置成在所述第一输出上提供与照射在所述光敏元件上的光的强度成线性比例的电流信号并且在第二输出上提供与照射在所述光敏元件上的光的强度成对数的电压信号。所述检测器可以被配置成在所述检测器的与所述光信号转换器的所述第二输出的所述电压信号成比例的信号超过至少一个阈值时自主地且独立于其它像素的检测器生成触发信号。在一些实施例中，所述检测器的所述信号是电压信号或电流信号。在仍另外的实施例中，所述检测器被配置成响应于检测到所述光信号转换器的所述第二输出的预定义条件而生成触发信号。
在一些实施例中，所述光时间转换器可以被配置成在时间域中测量并且编码所述光敏元件上的光强度。在一些实施例中，光时间转换周期是由所述光时间转换器响应于从所述检测器接收到所述触发信号而启动的。
在一些实施例中，所述光时间转换器可以被配置成将所述光时间转换周期的启动传送到所述多个像素外部的读出系统。另外地或可替代地，所述光时间转换器被配置成将所述光时间转换周期的完成传送到所述读出系统。
在光光转换器与读出系统通信的任何实施例中，所述读出系统可以被配置成将每个像素的地址信息与从相应像素的所述光时间转换器接收到的光时间转换周期启动和完成信息组合。在此类实施例中，所述像素地址信息和所述光时间转换周期启动和完成信息可以通过所述多个像素外部的数字处理系统进行同步并且加时间戳。
在以上所列的实施例中的任何实施例中，所述光时间转换器可以包括至少一个电容器，所述至少一个电容器被配置成在所述光时间转换周期期间通过所述光信号转换器的所述第一输出的所述电流信号来充电，并且所述光时间转换周期可以是由所述光时间转换器响应于用比较器检测到所述电容器两端的电压已经达到参考电压而完成的。在此类实施例中，所述参考电压可以在多个参考电压水平之间变化。例如，所述光时间转换器可以被配置成每次所述电容器两端的所述电压达到所述参考电压时，将所述参考电压减小到不同的参考电压水平。
在以上所列的实施例中的任何实施例中，所述光时间转换器可以被配置成通过断开与电容器并联的开关而启动所述光时间转换周期。在此类实施例中，所述光时间转换器还可以被配置成在断开所述开关以启动所述光时间转换周期之前闭合所述开关以使所述电容器放电。
在以上所列的实施例中的任何实施例中，所述光时间转换器可以被配置成响应于从所述检测器接收到所述触发信号而向所述检测器发送复位信号。另外地或可替代地，当在当前的光时间转换周期完成之前接收到另一个触发信号时，所述光时间转换器可以被进一步配置成复位并且启动新的光时间转换周期。
在以上所列的实施例中的任何实施例中，到所述光信号转换器的第一电源电压可以不同于到所述光时间转换器的第二电源电压。
在以上所列的实施例中的任何实施例中，所述光信号转换器可以是增益增强型光信号转换器。
根据本公开的另一个示例性实施例，提供了一种异步基于时间的图像传感器，所述异步基于时间的图像传感器包含多个像素。每个像素可以包含：光敏元件；光信号转换器，所述光信号转换器连接到所述光敏元件；检测器；电容器和开关，所述电容器和所述开关并联连接到所述光信号转换器的第一输出；比较器，所述比较器连接到所述第一输出；以及逻辑电路，所述逻辑电路连接到所述比较器和所述检测器。所述光信号转换器可以被配置成在所述第一输出上提供与照射在所述光敏元件上的光的强度成线性比例的电流信号并且在第二输出上提供与照射在所述光敏元件上的光的强度成对数的电压信号。所述检测器可以被配置成在所述检测器的与所述光信号转换器的所述第二输出的所述电压信号成比例的信号超过阈值时自主地且独立于其它像素的检测器生成触发信号。在一些实施例中，所述检测器的所述信号是电压信号或电流信号。在仍另外的实施例中，所述检测器被配置成响应于检测到所述光信号转换器的所述第二输出的预定义条件而生成触发信号。
在一些实施例中，所述逻辑电路可以被配置成响应于从所述检测器接收到所述触发信号而通过断开所述开关来启动光时间转换周期并且响应于所述比较器检测到所述电容器两端的电压达到参考电压而完成所述光时间转换周期。另外，所述逻辑电路可以被配置成将所述光时间转换周期的启动和完成传送到所述图像传感器外部的读出系统。在以上实施例的情况下，所述电容器可以在所述光时间转换周期期间通过所述光信号转换器的所述第一输出的所述电流信号来充电。
在一些实施例中，所述读出系统可以配置成将每个像素的地址信息与从相应像素的所述逻辑电路接收到的光时间转换周期启动和完成信息组合。在此类实施例中，所述像素地址信息和所述光时间转换周期启动和完成信息可以通过所述多个像素外部的数字处理系统进行同步并且加时间戳。
在以上所列的实施例中的任何实施例，所述参考电压可以在多个参考电压水平之间变化。在此类实施例中，所述比较器可以被配置成每次所述电容器两端的所述电压达到所述参考电压时，将所述参考电压减小到不同的参考电压水平。
在以上所列的实施例中的任何实施例，所述逻辑电路被配置成在断开所述开关以启动所述光时间转换周期之前闭合所述开关以使所述电容器放电。另外地或可替代地，所述逻辑电路可以被配置成响应于从所述检测器接收到所述触发信号而向所述检测器发送复位信号。另外地或可替代地，当在当前的光时间转换周期完成之前接收到另一个触发信号时，所述逻辑电路可以被配置成复位并且启动新的光时间转换周期。
在以上所列的实施例中的任何实施例中，到所述光信号转换器的第一电源电压可以不同于到所述电容器、所述开关和所述电容器的第二电源电压。
在以上所列的实施例中的任何实施例中，所述光信号转换器可以是增益增强型光信号转换器。
根据本公开的另一个示例性实施例，提供了一种用于具有多个像素的异步基于时间的图像感测的方法。每个像素可以包括：光敏元件；光信号转换器，所述光信号转换器连接到所述光敏元件；检测器；以及光时间转换器，所述光时间转换器连接到所述光信号转换器。所述方法可以包括：在所述光信号转换器的第一输出处提供与照射在所述光敏元件上的光的强度成线性比例的电流信号；以及在所述光信号转换器的第二输出处提供与照射在所述光敏元件上的光的强度成对数的电压信号。所述方法可以进一步包括：当所述检测器的与所述光信号转换器的所述第二输出的所述电压信号成比例的信号超过至少一个阈值时，用所述检测器并且自主地且独立于其它像素的检测器生成触发信号；以及用所述光时间转换器将所述光敏元件上的光强度编码成时间流逝信息，所述时间流逝信息包括光时间转换周期的启动时间和所述光时间转换周期的完成时间。在一些实施例中，所述光时间转换周期是由所述光时间转换器响应于从所述检测器接收到所述触发信号而启动的。在一些实施例中，所述检测器的所述信号是电压信号或电流信号。在仍另外的实施例中，所述方法可以包括响应于检测到所述光信号转换器的所述第二输出的预定义条件而生成触发信号。
在一些实施例中，所述方法可以进一步包括：用所述光时间转换器将所述光时间转换周期的所述启动时间传送到所述多个像素外部的读出系统；以及用所述光时间转换器将所述光时间转换周期的所述完成时间进一步传送到所述读出系统。
在以上所列的实施例中的任何实施例中，所述方法可以进一步包括：在所述光时间转换周期期间使用所述光信号转换器的所述第一输出的所述电流信号来对电容器进行充电；以及当确定所述电容器两端的电压已经达到参考电压时，用比较器检测所述光时间转换周期的所述完成时间。
在以上所列的实施例中的任何实施例中，所述方法可以进一步包括在所述读出系统处将每个像素的地址信息与从相应像素的所述光时间转换器接收到的光时间转换周期启动和完成信息组合。在此类实施例中，所述方法可以进一步包括通过所述多个像素外部的数字处理系统对所述像素地址信息和所述光时间转换周期启动和完成信息进行同步并且加时间戳。
在以上所列的实施例中的任何实施例，所述方法可以进一步包括使所述参考电压在多个参考电压水平之间变化。在此类实施例中，所述方法可以进一步包括：每次所述电容器两端的所述电压达到所述参考电压时，将所述参考电压减小到较低的参考电压水平。
在以上所列的实施例中的任何实施例中，所述方法可以进一步包括通过断开与电容器并联的开关而启动所述光时间转换周期。另外地或可替代地，所述方法可以进一步包括在断开所述开关以启动所述光时间转换周期之前闭合所述开关以使所述电容器放电。
在以上所列的实施例中的任何实施例中，所述方法可以进一步包括响应于从所述检测器接收到所述触发信号而向所述检测器发送复位信号。另外地或替代地，所述方法可以进一步包括：当在当前的光时间转换周期完成之前接收到另一个触发信号时，复位并且启动新的光时间转换周期；以及向所述多个像素外部的读出系统发送消除信号。
本公开的另外的目的和优点将在下面的详细描述中部分地阐述，并且将部分地从描述中显而易见，或者可以通过实践本公开进行了解。本公开的目的和优点将借助于所附权利要求中特别指出的要素和组合来实现和获得。
应当理解，上述的总体描述和下面的详细描述仅为示例性和解释性的并且不限制所公开的实施例。
附图说明
包括本说明书的一部分的附图展示了若干实施例，并且与描述一起用于解释所公开的实施例的原理和特征。在附图中：
图1是根据本公开的实施例的示例性像素的示意性表示。
图2A是根据本公开的实施例的包含图1的多个像素的示例性图像传感器的示意性表示。
图2B是根据本公开的实施例的具有事件读出电路的图1的示例性像素的示意性表示。
图3是根据本公开的实施例的用于基于时间的图像感测的示例性方法的流程图。
图4A是根据本公开的实施例的示例性光信号转换器的示意性表示。
图4B是根据本公开的实施例的另一个示例性光信号转换器的示意性表示。
图5是根据本公开的实施例的示例性检测器的示意性表示。
图6是根据本公开的实施例的由图5的检测器生成的触发的图形展示。
图7是根据本公开的实施例的示例性光时间转换器的示意性表示。
图8是根据本公开的实施例的另一个示例性光时间转换器的示意性表示。
图9A是根据本公开的实施例的由图7或8的光时间转换器进行的光时间转换的图形展示。
图9B是根据本公开的实施例的由图7或8的光时间转换器用快速的、顺序的触发进行的光时间转换的图形展示。
图9C是根据本公开的实施例的由图7或8的光时间转换器用变化的参考电压进行的光时间转换的图形展示。
图10是根据本公开的实施例的图像传感器的示例性像素的示意性表示。
图11是根据本公开的实施例的图像传感器的另一个示例性像素的示意性表示。
图12描绘了来自现存图像传感器和根据本公开的实施例的图像传感器的示例输出。
具体实施方式
所公开的实施例涉及用于异步基于时间的图像感测的系统和方法。有利地，示例性实施例可以提供快速且有效的图像感测。本公开的实施例可以在各种应用和视觉系统(如安全系统、自主车辆和受益于快速且有效的运动检测的其它系统)中实施和使用。尽管一般参考成像系统描述了本公开的实施例，但是应当理解，此种系统可以是相机、LIDAR或其它成像系统的一部分。
根据本公开的方面，描述了异步基于时间的图像传感器。图像传感器可以具有多个像素。如本文中所使用的，“像素”是指传感器的将光转换成电信号的最小元件。而且，如本文中所公开的，像素可以以任何适合的大小和形状的阵列提供给成像系统。
在一些实施例中，每个像素可以包括光敏元件。例如，光敏元件可以包括光电二极管(例如，在p-n结或PIN结构中)或被配置成将光转换成电信号的任何其它元件。光电二极管可以生成与照射在光电二极管上的光的强度成比例的电流Iph。
在一些实施例中，每个像素可以进一步包括连接到所述光敏元件的光信号转换器。所述光信号转换器可以被配置成在第一输出上提供与照射在所述光敏元件上的光的强度成线性比例的电流信号并且在第二输出上提供与照射在所述光敏元件上的光的强度成对数的电压信号。例如，光信号转换器可以包括多个晶体管，如金属氧化物半导体(MOS)晶体管、互补型金属氧化物半导体(CMOS)晶体管或被配置成放大或切换电子信号的任何其它三端电路元件。
在一些实施例中，每个像素可以进一步包括检测器。所述检测器可以被配置成在所述检测器的与所述光信号转换器的所述第二输出的所述电压信号成比例的信号超过阈值时自主地且独立于其它像素的检测器生成触发信号。例如，检测器可以包括一个或多个电压比较器和被布置成在接收到控制信号时复位并且在超过阈值时发送触发信号的一个或多个电容器。
在一些实施例中，每个像素可以进一步包括连接到所述光信号转换器的第一输出的光时间转换器。所述光时间转换器可以被配置成在时间域中测量并且编码所述光敏元件上的光强度。例如，光时间转换器可以包括并联的电容器和开关以及比较器。光时间转换周期可以是由所述光时间转换器响应于从所述检测器接收到所述触发信号而启动的。因此，可以在触发信号和来自光时间转换器的比较器的完成信号之间的时间内对光强度进行编码。
如本文中所使用的，术语“电容器”是指包括任选地在其之间具有电介质的两个平行的(或基本上平行的)板的离散装置或是指例如由于其它电路元件的半导体实施方案而存在于电路节点处的寄生电容。
根据本公开的另一方面，描述了另一种异步基于时间的图像传感器，所述异步基于时间的图像传感器包含至少一个电容器。如上文所描述的，图像传感器可以具有多个像素。如上文所描述的，在一些实施例中，每个像素可以包括光敏元件。此外，如上文所描述的，每个像素可以包括连接到所述光敏元件的光信号转换器以及检测器。
在一些实施例中，每个像素可以进一步包括并联连接到所述光信号转换器的第一输出的电容器和开关以及也连接到所述第一输出的比较器。在一些实施例中，每个像素可以进一步包括连接到所述比较器和所述检测器的逻辑电路。所述逻辑电路可以被配置成响应于从所述检测器接收到所述触发信号而通过断开所述开关来启动光时间转换周期并且响应于所述比较器检测到所述电容器两端的电压达到参考电压而完成所述光时间转换周期。进一步地，所述逻辑电路可以被配置成将所述光时间转换周期的启动和完成传送(例如，使用地址事件表示(AER)协议)到所述图像传感器外部的系统或数据库。在以上实施例中，所述电容器可以在所述光时间转换周期期间通过所述光信号转换器的所述第一输出的所述电流信号来充电。
根据本公开的另一方面，提供了一种用于具有多个像素的异步基于时间的图像感测的方法。如上文所解释的，每个像素可以包括光敏元件、连接到所述光敏元件的光信号转换器、检测器以及连接到所述光信号转换器的光时间转换器。
在一些实施例中，所述方法可以包括在所述光信号转换器的第一输出处提供与照射在所述光敏元件上的光的强度成线性比例的电流信号。例如，多个晶体管可以被布置成提供第一输出，如上文所解释的。
在一些实施例中，所述方法可以进一步包括在所述光信号转换器的第二输出处提供与照射在所述光敏元件上的光的强度成对数的电压信号。例如，多个晶体管可以被布置成提供除第一输出之外的第二输出。
在一些实施例中，所述方法可以进一步包括当所述检测器的与所述光信号转换器的所述第二输出的所述电压信号成比例的信号超过阈值时，用所述检测器并且自主地且独立于其它像素的检测器生成触发信号。例如，多个比较器和电容器可以被布置成生成触发信号。在一些实施例中，所述检测器的所述信号是电压信号或电流信号。在仍另外的实施例中，所述检测器被配置成响应于检测到所述光信号转换器的所述第二输出的预定义条件而生成触发信号。
在一些实施例中，所述方法可以进一步包括用所述光时间转换器将所述光敏元件上的光强度编码成时间流逝信息。所述时间流逝信息可以包括光时间转换周期的启动时间(例如，基于触发信号)和所述光时间转换周期的完成时间(例如，基于来自光时间转换器的完成信号)。所述光时间转换周期可以是由所述光时间转换器响应于从所述检测器接收到所述触发信号而启动的。
图1是与本公开的实施例一致的示例性像素100的示意性表示。如图1的实例中所示出的，像素100包含光敏元件101(例如，光电二极管)和光信号转换器103。光敏元件101可以生成与照射在元件101上的光的强度成比例的电流Iph。光信号转换器103接受Iph作为输入并且提供两个输出(输出1和输出2)。第一输出(输出1)可以输出与照射在光敏元件上的光的强度成线性比例的电流信号。第二输出(输出2)可以输出与照射在光敏元件上的光的强度成对数的电压信号。
如图1中进一步描绘的，第二输出(输出2)可以由检测器105接收。检测器105可以被配置成在检测器的与光信号转换器103的第二输出的电压信号成比例的信号超过阈值时自主地且独立于其它像素的检测器生成触发信号。在一些实施例中，所述检测器的信号可以包括电压信号或电流信号。在仍另外的实施例中，所述检测器被配置成响应于检测到所述光信号转换器的所述第二输出的预定义条件而生成触发信号。如图1中所示出的，检测器105可以向光时间转换器107发送触发信号。进一步地，检测器105可以在光时间转换器107向检测器105发送控制信号之后复位。
如图1中进一步描绘的，第一输出(输出1)可以由光时间转换器107接收。光时间转换器107可以被配置成在时间域中测量并且编码光敏元件上的光强度。例如，光时间转换器107可以在触发信号与光时间转换器107的电容器两端的电压达到参考电压的时间之间的时间内对光强度进行编码。在某些方面，光时间转换器107可以在编码期间改变参考电压。因此，光时间转换器可以在触发信号与光时间转换器107的电容器两端的电压达到对应的参考电压的多个时间之间的时间内对光强度进行编码。
如图1中进一步描绘的，光时间转换器107可以向读出电路109发送经过编码的强度。例如，光时间转换器107可以向读出电路109发送触发信号和完成信号(或在参考电压改变的实施例中为多个完成信号)。如图1中所示出的，读出电路109可以在像素100外部。在一些实施例中，读出电路109可以包括基于AER的电路(参见例如图2B)。
图2A是包含多个像素的图像传感器200的示意性表示。例如，传感器200中的每个像素可以包括图1的像素100。在图2A中，图像传感器200被描绘为具有像素100a、100b、100c、100d、100e、100f、100g和100h。尽管被描绘为具有八个像素(100a-100h)，但是可以在图像传感器200中使用任何数量的像素。此外，尽管被描绘为布置成矩形阵列，但是图像传感器200的像素可以被布置成任何适合的形状，如正方形、菱形、平行四边形、矩形、圆形、椭圆形等。
如图2A中进一步描绘的，读出109可以被实施为在像素100a、100b、100c、100d、100e、100f、100g和100h外部的读出电路，但是仍然形成传感器200的一部分。在替代性实施例(未描绘)中，读出109可以在传感器200以及像素100a、100b、100c、100d、100e、100f、100g和100h外部。
图2B是具有事件读出电路111的示例性像素100的示意性表示。图2B的像素100包含光电二极管PD(类似于图1的光敏元件101)、包含两个输出(输出1和输出2)的光信号转换器103、检测器105和光时间转换器107。如图2B中进一步描绘的，光时间转换器107向可以在像素100外部的电路111发送信号。在图2B的实例中，电路111是事件读出电路，所述事件读出电路被配置成例如使用常规AER协议与多个像素中的每个像素进行通信。因此，电路111可以从像素100读出脉冲的时间(或脉冲沿)并且从其它像素(未示出)的其它光时间转换器读出时间。此外，电路111可以向处理单元或存储器装置113转发读出的时间。如图2B中所描绘的，处理单元或存储器113可以在像素100和电路111外部并且也可以在传感器外部。
通过将AER协议用于电路111，如果像素具有事件以进行通信，则阵列中的每个像素可以在任何时间点处单独地且自主地请求对输出信号的访问。此种事件可以是例如光时间转换的开始或结束。电路111可以将请求像素的地址(例如，在坐标中进行编码的阵列中的位置)和时间戳添加到从像素接收到的事件标识符。然后，电路111可以通过数字总线向处理单元或存储器装置(例如，图2B中的113)传输包含地址、时间戳和事件的所得数据包并且将确认信号返回到请求像素。
如上文所描述的，电路111可以例如基于行向和列向请求和确认线在所有像素之间共享。在不太可能的来自像素的请求发生冲突的情况下，对电路111的访问可以由使请求排队的电路系统(未示出)进行仲裁，以避免冲突和随后的数据丢失。
图3是用于例如使用图1的像素100的基于时间的图像感测的示例性方法300的流程图。在图3中的步骤301处，像素可以在光信号转换器的第一输出处提供与照射在光敏元件上的光的强度成线性比例的电流信号。例如，像素可以包含图7的光信号转换器700和/或图8的光信号转换器800。第一输出可以等于来自光敏元件的电流Iph，或者可以包括与照射在光敏元件上的光的强度成线性比例的另一个电流。例如，光信号转换器700可以包含使得其输出比Iph更大的电流的增益，所述电流仍然与照射在光敏元件上的光的强度成线性比例。
在步骤303处，像素可以在光信号转换器的第二输出处提供与照射在光敏元件上的光的强度成对数的电压信号。例如，像素可以包含图7的光信号转换器700和/或图8的光信号转换器800。第二输出可以包括与电流Iph成对数的电压，所述电压任选地具有恒定最小值(参见下面的等式1)。
方法300的步骤可以以各种方式实施。例如，在一些实施例中，步骤301和303可以是重叠的或以其它方式是并行的。例如，信号转换器可以连续地提供第一输出和第二输出两者。
在步骤305处，在检测器的与光信号转换器的第二输出的电压信号成比例的信号超过阈值时，像素可以用检测器并且自主地且独立于其它像素的检测器生成触发信号。例如，检测器可以包括图5的检测器500。当与第二输出的电压成比例的信号增大到高于(或减小到低于)阈值时，检测器可以触发。因此，每当电压信号的幅值超过阈值时，检测器就可以触发，由此捕获强度增加和强度降低两者。进一步地，如本文中所公开的，多于一个阈值可以用作这个步骤的一部分。
在步骤307处，像素可以用光时间转换器将光敏元件上的光强度编码成时间流逝信息，所述时间流逝信息包括光时间转换周期的启动时间和所述光时间转换周期的完成时间。例如，检测器可以包括图7的光时间转换器700和/或图8的光时间转换器800。在一些实施例中，光时间转换周期可以是由光时间转换器响应于从检测器接收到触发信号而启动的。另外地或可替代地，光时间转换周期可以外部启动。例如，光时间转换周期可以以预定时间间隔运行。在另一个实例中，如果外部电路系统(例如，逻辑电路)确定像素在特定时间段内没有运行光时间转换，则光时间转换周期可以针对像素外部启动。因此，在一些实施例中，像素可以基于来自检测器的触发信号并且在没有来自检测器的触发信号在特定时间段之后出现时基于外部触发来启动光时间转换周期。
示例方法300可以包含另外的步骤。例如，在一些实施例中，方法300可以包含用光时间转换器将光时间转换周期的启动时间传送到多个像素外部的读出电路或系统。进一步地，方法300可以包含用光时间转换器将光时间转换周期的完成时间传送到读出电路或系统。例如，光时间转换器可以通过Req总线传送启动时间和完成时间，如图7和8中所描绘的。
在具有读出系统的实施例中，方法300可以进一步包含在读出系统处将每个像素的地址信息与从相应像素的光时间转换器接收到的光时间转换周期启动和完成信息组合。在此类实施例中，方法300可以进一步包含通过多个像素外部的数字处理系统对像素地址信息和光时间转换周期启动和完成信息进行同步并且加时间戳。如上文参考图2A所解释的，数字处理系统可以包括读出电路系统109的至少一部分，并且因此尽管在像素外部，但是也形成图像传感器的一部分。可替代地，数字处理系统可以在图像传感器以及像素外部。
另外地或可替代地，方法300可以包含：在光时间转换周期期间使用光信号转换器的第一输出的电流信号来对电容器进行充电；以及当确定电容器两端的电压已经达到参考电压时，用比较器检测光时间转换周期的完成时间。例如，光时间转换器的逻辑电路可以基于从比较器接收到已经达到参考电压的信号来确定完成时间。在一些实施例，方法300可以进一步包含使参考电压在多个参考电压水平之间变化。例如，方法300可以进一步包含每次电容器两端的电压达到参考电压时，将参考电压分别增大到或减小到较大的或较小的参考电压水平。因此，光时间转换器可以通过Req总线发送多个完成时间，每个完成时间都具有相关联的参考电压。
上文所描述的另外的测量结果可以允许测量平滑和误差校正。例如，完成时间可以用于计算多个强度测量结果，从其中可以提取平均值、中值或其它统计值作为“实际”强度测量结果。在此实例中，完成时间可以进一步用于计算“实际”强度测量结果的估计的误差率(或置信度范围)。另外地或可替代地，可以首先对完成时间进行平滑或以其它方式进行统计整理，使得计算出“实际”完成时间(具有相关联的参考电压)。在此实例中，完成时间可以进一步用于计算“实际”完成时间的估计的误差率(或置信度范围)。
此外，使用至少两个阈值可以允许时域相关的双采样。此种采样可以减少由于光时间转换器中的复位而引起的噪声并且减小比较器中的偏移误差。
在一些实施例中，方法300可以进一步包含通过断开与电容器并联的开关而启动光时间转换周期。在此类实施例中，方法300可以进一步包含在断开开关以启动光时间转换周期之前闭合开关以使电容器放电。开关可以将电容器连接到接地(或恒定电压供应)并且因此使电容器放电。
在仍另外的实施例中，方法300可以包含响应于从检测器接收到触发信号而向检测器发送复位信号。例如，光时间转换器的逻辑电路可以向检测器发送控制信号，使得检测器复位并且准备检测另一个触发事件(即，电压的改变)。
在一些实施例中，方法300可以包含当在当前的光时间转换周期完成之前接收到另一个触发信号时，复位并且启动新的光时间转换周期。例如，光时间转换器可以向检测器发送控制信号，使得检测器复位、开始光时间转换并且在光时间转换已经完成之前(例如，在比较器已经发送指示已经达到一个或多个参考电压的信号之前)从检测器接收另一个触发信号。因此，光时间转换器可以使电容器放电并且基于新的触发信号开始新的光时间转换。在此类实施例中，光时间转换器可以进一步通过Req总线发送指示先前的转换被放弃的信号。
图4A是光信号转换器400的示意性表示。光信号转换器400可以在图1的像素100中使用(参见光信号转换器103)。
如图4A中所描绘的，转换器400可以包含具有漏极、源极和栅极的晶体管M1。栅极可以连接到转换器400的第二输出(输出2)。转换器400可以进一步包含具有漏极、源极和栅极的晶体管M5。源极可以连接到光电二极管PD(即，光敏元件)，并且栅极可以通过电压Vd偏置。晶体管M1和M5可以具有公共源极。
如图4A中进一步描绘的，转换器400可以包含具有漏极、源极和栅极的第二晶体管M2。栅极可以连接到光电二极管PD和晶体管M5的漏极，源极可以接地(例如，连接到低电源电压)，并且漏极可以连接到晶体管M3的源极。晶体管M3也具有漏极、源极和栅极。栅极可以通过电压Vcas偏置，并且漏极可以连接到输出2(并且因此也连接到M1的栅极)。M3的漏极进一步连接到晶体管M4的漏极。M4的栅极可以通过电压Vpr偏置，并且源极可以连接到电源电压(未标记)。
晶体管M1、M2和M3可以是n型晶体管，而晶体管M4和M5可以是p型晶体管。如图4A中进一步描绘的，晶体管M1的漏极可以连接到晶体管M6的源极。晶体管M6的栅极可以通过电压Vc偏置，并且晶体管M6的漏极可以连接到转换器400的第一输出(输出1)。
图4B是另一个光信号转换器450的示意性表示。例如，除图1的像素100中的光信号转换器400之外或代替所述光信号转换器，可以使用光信号转换器450。
如图4B中所描绘的，转换器450可以包含具有漏极、源极和栅极的晶体管M1。栅极可以连接到转换器450的第二输出(输出2)。转换器450可以进一步包含具有漏极、源极和栅极的晶体管M5。源极可以连接到光电二极管PD(即，光敏元件)，并且栅极可以连接到晶体管M2的漏极。
晶体管M2也具有漏极、源极和栅极。栅极可以连接到光电二极管PD和晶体管M5的源极，源极可以接地(例如，连接到低电源电压)，并且漏极可以连接到晶体管M3的源极(并且因此也连接到晶体管M5的栅极)。晶体管M3也具有漏极、源极和栅极。栅极可以连接到晶体管M5的漏极(并且因此也连接到M1的源极)，并且漏极可以连接到输出2(并且因此也连接到M1的栅极)。M3的漏极可以进一步连接到晶体管M4的漏极。M4的栅极可以通过电压Vpr偏置，并且源极可以连接到电源电压(未标记)。
晶体管M1、M2和M3可以是n型晶体管，而晶体管M4可以是p型晶体管。在图4A的实施例中，M5可以是p型晶体管，而在图4B的实施例中，M5可以是n型晶体管。如图4A中进一步描绘的，晶体管M1的漏极可以连接到晶体管M6的源极。晶体管M6的栅极可以通过电压Vc偏置，并且晶体管M6的漏极可以连接到转换器400的第一输出(输出1)。
根据下面的等式1，光信号转换器400和光信号转换器450的第二输出可以与照射在光敏元件上的光的强度成对数：
Vlog＝VDC+Av UT ln(Iph)
等式1
在等式1的实例中，Vlog是与照射光的强度成对数比例的电压，VDC是光非依赖性直流电压水平，Av是电压增益因子，UT是热电压，并且Iph是由光敏元件输出的电流。
在光信号转换器400中，Vlog可以遵循下面的等式2：
Figure BDA0002736740010000181
等式2
在等式2的实例中，Vlog是与照射光的强度成对数比例的电压，UT是热电压，nM1是晶体管M1的亚阈值斜率因子，nM5是晶体管M5的亚阈值斜率因子，LM1是晶体管M1的沟道长度，LM5是晶体管M5的沟道长度，WM1是晶体管M1的沟道宽度，WM5是晶体管M5的沟道宽度，I0,M1是晶体管M1的亚阈值饱和电流，I0,M5是晶体管M5的亚阈值饱和电流，Vd是施加到晶体管M5的偏置电压，并且Iph是由光敏元件输出的电流。
因此，光电流从Iph1到Iph2的变化(由照射光的强度变化引起)会产生ΔVlog，其可以遵循下面的等式3：
Figure BDA0002736740010000182
等式3
另一方面，在光信号转换器450中，Vlog可以遵循下面的等式4：
Figure BDA0002736740010000183
等式4
在等式4的实例中，Vlog是与照射光的强度成对数比例的电压，UT是热电压，nM1是晶体管M1的亚阈值斜率因子，LM1是晶体管M1的沟道长度，WM1是晶体管M1的沟道宽度，I0,M1是晶体管M1的亚阈值饱和电流，Vd是光敏元件PD两端的反向电压，并且Iph是由光敏元件输出的电流。
因此，光电流从Iph1到Iph2的变化(由照射光的强度变化引起)会产生ΔVlog，其可以遵循下面的等式5：
Figure BDA0002736740010000191
等式5
因此，光信号转换器450的制造与光信号转换器400相比可能更容易并且成本更低，但是光信号转换器400可能比光信号转换器450产生更多的增益。
图5是示例性检测器500的示意性表示。检测器500可以在图1的像素100中使用(参见检测器105)。如图5中所描绘的，检测器500包含连接到光信号转换器(未示出)的第二输出的放大器501。放大器501可以是单位增益放大器。在一些实施例中，放大器501可以是反相的。电容器503可以连接到放大器501。
检测器500可以进一步包含放大器505、电容器507和与电容器503并联连接到公共节点的开关509。因此，每当检测器500接收到控制信号(例如，来自光时间转换器的逻辑电路的确认信号)时，开关509就可以靠近短路检测器500并且准备进行新的检测。
放大器505(其可以是反相放大器)放大来自电容器503的电压的变化，使得这些变化是与Vdiff处的限定电压水平(即，在先前的复位信号处的电容器503处的电压水平)的偏差。每当Vdiff在负方向上越过阈值时，放大器511a向光时间转换器发送触发信号。类似地，每当Vdiff在正方向上越过阈值(其可以是与以上阈值相同的阈值或不同的阈值)时，放大器511b向光时间转换器发送触发信号。因此，检测器500可以检测到高于一个阈值的强度的增加以及低于相同的或不同的阈值的强度的降低。
通过使用检测器500，像素100可以被配置成使得像素100不以固定的时间步长δt获得同步像素信息而以由下面的等式6给出的光增量获得异步像素信息：
Figure BDA0002736740010000201
等式6
在等式6的实例中，θev是最小的可检测时间对比(也被称为“对比灵敏度”)，并且Iph是由光敏元件输出的电流。噪声可能会进一步限制本公开的异步像素的对比灵敏度。
尽管参考图5的检测器500进行描述，但是可以使用适于参考光信号转换器的第二输出来分析检测器的信号(例如，电压信号或电流信号)或更一般地检测光信号转换器的第二输出的一个或多个预定义条件的任何适合的检测器。此外，与本公开一致，被布置成执行此种分析的晶体管、电容器、开关和/或其它电路组件的任何组合可以用于每个像素中的检测器。
图6是由图5的检测器500生成的触发的图形展示。在图6中，Vp表示检测器500的电容器503处的电压并且因此是与来自光信号转换器的第二输出的输出成比例的电压。此外，Vdiff是检测器500的电压信号，所述电压信号是Vp的反相和放大版本并且因此与来自光信号转换器的第二输出的输出成比例。如图6中进一步描绘的，Vp的增大(描绘为“+事件”)和Vp的减小(描绘为“-事件”)两者都可以使触发信号生成。因为Vdiff是Vp的反向和放大版本，所以Vp的增大会随着Vdiff的减小而出现，并且反之亦然。另外，图6展示了如何“+阈值”可以被设置成与“-阈值”相同(在幅值上)，但是也可以被设置成不同的。最后，图6展示了如何Vdiff在每次触发之后(例如，通过闭合开关509)被复位到基线(描绘为“复位水平”)。
图7是示例性光时间转换器700的示意性表示。转换器700可以在图1的像素100中使用(参见转换器107)。
如图7中所描绘的，转换器700可以包含电容器C1、开关S1和比较器(具有参考电压Vref)。这些元件可以连接到光信号转换器(未示出)的第一输出。因此，每当开关S1断开时，电容器C1就会由于来自第一输出的电流而充电。当C1两端的电压达到Vref时，比较器可以生成完成信号。
如图7中进一步描绘的，握手和状态逻辑(即，转换器700的逻辑电路)可以在从检测器接收到触发信号时断开开关S1。另外，握手和状态逻辑可以向检测器发送控制信号，从而确认接收到触发信号。如图7中进一步描绘的，握手和状态逻辑可以通过Req总线将触发信号和完成信号从比较器发送到读出电路(未示出)。在一些实施例中，握手和状态逻辑还可以通过Ack总线从读出电路接收确认信号。尽管未描绘，但是握手和状态逻辑还可以闭合S1以使电容器C1放电，以便准备进行光时间转换(例如，在接收到触发信号之前或在接收到触发信号时)。
尽管未在图7中描绘，但是握手和状态逻辑可能会在整个光时间转换中改变Vref。因此，多个完成时间可以获得并且通过Req总线输出。如上文所解释的，使用多个测量结果可以允许平滑和/或误差校正。
因此，光时间转换器700可以根据下面的等式7对在某个时间内照射在光敏元件上的光的强度进行编码：
Figure BDA0002736740010000211
等式7
在等式7的实例中，tint是光强度被编码成的时间，C1是电容器C1的电容，Iph是由光敏元件输出的电流(或由光时间转换器700从光信号转换器的第一输出接收到的电流)，Vstart是连接到电容器C1的上部板的恒定电压(例如，在接收到触发信号时)，并且Vref是比较器的参考电压。Vstart在下面描述的图9A、9B和9C中被标记为Vpix,0。在一些实施例中，Vstart(或Vpix,0)可以等于光时间转换器的电源电压(例如，如在下面描述的图8中标记的Vsup,LTC)(或从所述电源电压得出)并且永久地连接到C1的上部板(和S1的上部端子)。
图8是另一个示例性光时间转换器800的示意性表示。除图1的像素100中的转换器700之外或代替所述转换器，可以使用转换器800。
如图8中所描绘的，转换器800可以包含电容器C1、开关S1和比较器(具有参考电压Vref)。类似于图7的转换器700，这些元件可以连接到光信号转换器(未示出)的第一输出。因此，每当开关S1断开时，电容器C1就会由于来自第一输出的电流而充电。当C1两端的电压达到Vref时，比较器可以生成完成信号。此外，电容器C1和/或开关S1也可以连接到光时间转换器800的电源电压Vsup,LTC。
如图8中进一步描绘的，转换器800可以包含连接到电容器C1、开关S1和比较器的公共节点的电容器C2。电容器C2可以充当与C1的耦接电容器，从而允许使用不同的电源电压。
如图8中进一步描绘的，握手和状态逻辑(即，转换器800的逻辑电路)可以在从检测器接收到触发信号时断开开关S1。另外，握手和状态逻辑可以向检测器发送控制信号，从而确认接收到触发信号。如图8中进一步描绘的，握手和状态逻辑可以通过Req总线将触发信号和完成信号从比较器发送到读出电路(未示出)。在一些实施例中，握手和状态逻辑还可以通过Ack总线从读出电路接收确认信号。尽管未描绘，但是握手和状态逻辑还可以闭合S1以使电容器C1放电，以便准备进行光时间转换(例如，在接收到触发信号之前或在接收到触发信号时)。
尽管未在图7中描绘，但是握手和状态逻辑可能会在整个光时间转换中改变Vref。因此，多个完成时间可以获得并且通过Req总线输出。如上文所解释的，使用多个测量结果可以允许平滑和/或误差校正。
如图8中进一步描绘的，光时间转换器800可以包含晶体管MOF，所述晶体管具有连接到光信号转换器的第一输出的源极、通过电压Vbias偏置的栅极以及连接到光信号转换器的电源电压Vsup,PSC的漏极。通过结合晶体管MOF，光时间转换器800可以防止光信号转换器的第一输出处的电压下降得太低使得光信号转换器停止递送与第二输出处的照射光的对数成比例的电压输出。光时间转换器800还可以包含与MOF并联的开关S2(或例如，充当开关的晶体管)。因此，握手和状态逻辑可以与开关S1类似地控制开关S2(即，断开开关S2以开始光时间转换周期和/或闭合开关S2以放电并且准备进行光时间转换周期)。
光时间转换器800的MOF晶体管可以由下面的等式9控制：
Vbias＝VPRI，out+VGS，MOF(Iph，max)
等式9
在等式9的实例中，Vbias是施加到MOF晶体管的恒定偏置电压并且取决于VPRI,out，VPRI,out是光信号转换器的第一输出处的最小的可允许电压并且可以通过对光信号转换器的输出进行测量或对其进行模拟得出。Vbias进一步取决于VGS,MOF，其是Iph,max的函数，Iph,max是光敏元件的最大电流输出并且可以通过对光敏元件的输出进行测量得出或基于光敏元件的一个或多个半导体参数计算出。
在一些实施例中，到光信号转换器的第一电源电压Vsup,PSC可以不同于到光时间转换器的第二电源电压Vsup,LTC。例如，Vsup,PSC的幅值可以大于Vsup,LTC的幅值。例如，在期望宽动态范围的可处理光水平的情况下，电源电压的此种差异可能是有益的。在一些情况下，如本文中所公开的，光信号转换器可能需要足够高的DC电压范围，并且如果利用增益增强，则甚至需要更多的DC电压范围。光信号转换器的所需电源电压可能不会减小到纳米半导体技术中通常使用的值。因此，与像素中电路系统的其余部分(包含光时间转换器)相比，可以使用不同的半导体技术来实施光信号转换器。通过此种方法，可以按照需要提供不同的电源电压。
Vreset本身是从参考图5、7、8、10和11的实例所描述的“触发”信号得出的或由其控制的(或如上文所描述的，如果已经在先前的检测之后施加，则至少释放所述触发信号)。
图9A是由图7的光时间转换器700或由图8的光时间转换器800进行的光时间转换的图形展示。如图9A的实例中所描绘的，光时间转换器的电容器在接收到触发信号(在图9A中由Vreset表示)时开始充电(或放电，如图9A中所描绘的)。当电容器两端的电压达到Vref时，完成信号(在图9A中由Vout表示)生成。如上文所解释的，光的强度(其与充电电流成线性比例)因此在触发信号与完成信号之间的时间(在图9A中由tint表示)内进行编码。
图9B是由图7的光时间转换器700或由图8的光时间转换器800用快速的、顺序的触发进行的光时间转换的图形展示。如图9B的实例中所描绘的，光时间转换器的电容器在接收到触发信号(在图9B中由Vreset中的第一尖峰表示)时开始充电(或放电，如图9B中所描绘的)。然而，在已经达到Vref之前，光时间转换器接收第二触发信号(在图9B中由Vreset中的第二尖峰表示)。因此，光时间转换器(例如，通过扳动开关以将电容器连接到接地或其它电压供应)快速地使电容器放电(或充电)，并且然后(例如，通过断开开关)再次开始使电容器充电(或放电)。如在图9A中，当电容器两端的电压达到Vref时，完成信号(在图9B中由Vout表示)然后生成。尽管未在图9B中描绘，但是光时间转换器可以在两个触发之间向读出电路发送消除信号，例如使得第一测量结果的时间数字转换消除。例如，在一些实施例中，此种消除信号可以从第二触发信号(在图9B中由Vreset中的第二尖峰表示)得出。此外，光的强度(其与充电电流成线性比例)可以因此在消除信号与完成信号之间的时间(在图9A中由tint表示)内进行编码。
图9C是由图7的光时间转换器700或由图8的光时间转换器800用变化的参考电压进行的光时间转换的图形展示。如图9C的实例中所描绘的，光时间转换器的电容器在接收到触发信号(在图9c中由Vreset表示)时开始充电(或放电，如图9C中所描绘的)。当电容器两端的电压达到Vref1时，第一完成信号(在图9C中由Vout中的第一尖峰表示)生成。当电容器两端的电压达到Vref2时，第二完成信号(在图9C中由Vout中的第二尖峰表示)生成。当电容器两端的电压达到Vref3时，最终完成信号(在图9C中由Vout中的第三尖峰表示)生成。尽管被描绘为具有三个参考电压，但是可以使用任何数量(如两个、四个、五个等)的参考电压。如上文所解释的，光的强度(其与充电电流成线性比例)因此在信号之间的时间(在图9c中由tint1和tint2表示)内进行编码。如上文所解释的，多个完成信号的使用可以用于进行信号平滑和/或误差校正。
图10是包含图4A的转换器400、图5的检测器500和图7的光时间转换器700的示例性图像传感器的示意性表示。如图10中所描绘的，转换器400具有连接到光时间转换器700的第一输出和连接到检测器500的第二输出。检测器500向光时间转换器700发送触发信号，并且所述光时间转换器向检测器500发送控制信号。最后，光时间转换器700通过Req总线向读出电路系统(未示出)发送信号并且可以通过Ack总线接收确认信号。
图11是包含图4A的转换器400、图5的检测器500和图8的光时间转换器800的另一个示例性图像传感器的示意性表示。如图11中所描绘的，转换器400具有连接到光时间转换器800的第一输出、连接到检测器500的第二输出。检测器500向光时间转换器800发送触发信号，并且所述光时间转换器向检测器500发送控制信号。最后，光时间转换器800通过Req总线向读出电路系统(未示出)发送信号并且可以通过Ack总线接收确认信号。
图12描绘了来自现存图像传感器的示例输出1210与来自根据本公开的实施例的图像传感器(例如，包括图10和11的像素的图像传感器)的示例输出1220和1230的比较。如图12中所描绘的，由于图像内的静止背景，完整图像1210包含大量无关的细节。图10中或图11中所描绘的图像传感器的输出1220可以表示为对比检测事件(例如，黑色像素表示负变化，并且白色像素表示正变化，灰色区域是未激活的像素)。因此，图10中或图11中所描绘的图像传感器的输出可以用于产生场景内的运动的黑白图片1230。图片1230可以使用来自在输出1220中激活的像素的强度水平来生成。如可以看到的，与完整图像1210相比，输出1220和图片1230含有显著较少的数据，并且因此对于进行后处理(例如，跟踪或识别场景内的变化)更容易且更有效。
为了制造根据本公开构造的像素的不同部分，光信号转换器可能需要一个特定的电压范围，而像素的其它部分(如光时间转换器、检测器等)可能需要不同的电压范围，例如以便执行制造的小型化和/或可扩展性。例如，如上文所讨论的，到光信号转换器的电源电压可以不同于并且高于供应到光时间转换器的电源电压。
因此，在一些实施例中，可以使用不同的半导体技术来分别实施光信号转换器和图像传感器的像素中电路系统的其余部分。例如，可以针对两种电路类型单独地优化两种半导体工艺(所述两种半导体工艺可以基于不同的基础技术、具有不同的最小特征大小、具有不同的电源电压等)。然后，可以使用晶圆到晶圆堆叠技术来集成这些工艺的结果(即，光信号转换器和像素内电路系统的其余部分)。
出于说明的目的呈现了前述描述。其不是穷举的并且不限于所公开的精确形式或实施例。通过考虑说明书和所公开的实施例的实践，实施例的修改和改编将会是显而易见的。例如，所描述的实施方案包含硬件，但是与本公开一致的系统和方法可以用硬件和软件来实施。另外，虽然已经将某些组件描述为彼此耦接，但是此类组件可以彼此集成或以任何适合的方式分布。
此外，虽然本文中已经描述了说明性实施例，但是范围包含具有基于本公开的等效元素、修改、省略、组合(例如，各个实施例的各方面的组合)、改编和/或变更的任何和所有实施例。权利要求中的元件将基于权利要求中采用的语言而宽泛地解释，并且不限于本说明书中或应用的实施期间描述的实例，这些实例将被理解为非排他性的。进一步地，可以以任何方式修改所公开的方法的步骤，包含重新排序步骤和/或插入或删除步骤。
根据详细的说明书，本公开的特征和优点是显而易见的，并且因此所附权利要求旨在覆盖落入本公开的真实精神和范围内的所有系统和方法。如本文中所使用的，不定冠词“一个/一种(a/an)”意指“一个或多个/一种或多种”。类似地，除非复数术语的使用在给定的上下文中是明确的，否则其不一定表示复数。除非另外明确地指出，否则如“和”或“或”等词语意指“和/或”。此外，由于通过研究本公开将容易地做出多种修改和改变，所以并不希望将本公开限制于所展示和所描述的确切的构造和操作，并且因此所有合适的修改和等效物都可以归结于并且落入本公开的范围内。
通过考虑本文所公开的实施例的说明书和实践，其它实施例将变得显而易见。说明书和实例旨在被认为仅是实例，所公开实施例的真正范围和精神由所附权利要求指示。

Claims (19)

1.一种异步基于时间的图像传感器，其包含多个像素，每个像素包括：
光敏元件；
光信号转换器，所述光信号转换器连接到所述光敏元件并且适于在第一输出上提供与照射在所述光敏元件上的光的强度成线性比例的电流信号并且在第二输出上提供与照射在所述光敏元件上的光的强度成对数的电压信号；
检测器，所述检测器适于在所述检测器的与所述光信号转换器的所述第二输出的所述电压信号成比例的信号超过阈值时自主地且独立于其它像素的检测器生成触发信号；以及
光时间转换器，所述光时间转换器连接到所述光信号转换器的所述第一输出并且适于在时域中测量并且编码所述光敏元件上的光强度，其中光时间转换周期是由所述光时间转换器响应于从所述检测器接收到所述触发信号而启动的。
2.根据权利要求1所述的异步基于时间的图像传感器，其中所述光时间转换器适于将所述光时间转换周期的启动和/或所述光时间转换周期的完成传送到所述多个像素外部的读出系统。
3.根据权利要求2所述的异步基于时间的图像传感器，其中所述光时间转换器包括至少一个电容器，所述至少一个电容器适于在所述光时间转换周期期间通过所述光信号转换器的所述第一输出的所述电流信号来充电，并且进一步地其中所述光时间转换周期是由所述光时间转换器响应于用比较器检测到所述电容器两端的电压已经达到参考电压而完成的。
4.根据权利要求3所述的异步基于时间的图像传感器，其中所述读出系统适于将每个像素的地址信息与从相应像素的所述光时间转换器接收到的光时间转换周期启动和完成信息组合，优选地其中所述像素地址信息和所述光时间转换周期启动和完成信息通过所述多个像素外部的数字处理系统进行同步并且加时间戳。
5.根据前述权利要求中任一项所述的异步基于时间的图像传感器，其中所述参考电压能够在多个参考电压水平之间变化，任选地其中每次所述电容器两端的所述电压达到所述参考电压时，所述参考电压减小到不同的参考电压水平。
6.根据前述权利要求中任一项所述的异步基于时间的图像传感器，其中所述光时间转换器适于通过断开与电容器并联的开关来启动所述光时间转换周期和/或在断开所述开关以启动所述光时间转换周期之前闭合所述开关以使所述电容器放电。
7.根据前述权利要求中任一项所述的异步基于时间的图像传感器，其中所述光时间转换器适于响应于从所述检测器接收到所述触发信号而向所述检测器发送复位信号。
8.根据前述权利要求中任一项所述的异步基于时间的图像传感器，其中当在当前的光时间转换周期完成之前接收到另一个触发信号时，所述光时间转换器适于复位并且启动新的光时间转换周期。
9.根据前述权利要求中任一项所述的异步基于时间的图像传感器，其中到所述光信号转换器的第一电源电压不同于到所述光时间转换器的第二电源电压。
10.根据前述权利要求中任一项所述的异步基于时间的图像传感器，其中所述光信号转换器是增益增强型光信号转换器。
11.根据权利要求1所述的异步基于时间的图像传感器，其中所述光时间转换器包括：
电容器和开关，所述电容器和所述开关并联连接到所述光信号转换器的所述第一输出；
比较器，所述比较器连接到所述第一输出；以及
连接到所述比较器和所述检测器的逻辑电路，所述逻辑电路适于响应于从所述检测器接收到所述触发信号而通过断开所述开关来启动所述光时间转换周期、响应于所述比较器检测到所述电容器两端的电压达到参考电压而完成所述光时间转换周期并且将所述光时间转换周期的启动和完成传送到所述图像传感器外部的读出系统，
其中所述电容器适于在所述光时间转换周期期间通过所述光信号转换器的所述第一输出的所述电流信号来充电。
12.根据权利要求11所述的异步基于时间的图像传感器，其中到所述光信号转换器的第一电源电压不同于到所述电容器、所述开关和所述比较器的第二电源电压。
13.一种用于提供具有多个像素的异步基于时间的图像感测的方法，每个像素包括光敏元件、连接到所述光敏元件的光信号转换器、检测器以及连接到所述光信号转换器的光时间转换器，所述方法包括：
在所述光信号转换器的第一输出处提供与照射在所述光敏元件上的光的强度成线性比例的电流信号；
在所述光信号转换器的第二输出处提供与照射在所述光敏元件上的光的强度成对数的电压信号；
当所述检测器的与所述光信号转换器的所述第二输出的所述电压信号成比例的信号超过阈值时，用所述检测器并且自主地且独立于其它像素的检测器生成触发信号；以及
用所述光时间转换器将所述光敏元件上的光强度编码成时间流逝信息，所述时间流逝信息包括光时间转换周期的启动时间和所述光时间转换周期的完成时间，
其中所述光时间转换周期是由所述光时间转换器响应于从所述检测器接收到所述触发信号而启动的。
14.根据权利要求13所述的异步基于时间的图像感测方法，其进一步包括：
用所述光时间转换器将所述光时间转换周期的所述启动时间传送到所述多个像素外部的读出系统；以及
用所述光时间转换器将所述光时间转换周期的所述完成时间进一步传送到所述读出系统。
15.根据权利要求13或14所述的异步基于时间的图像感测方法，其进一步包括：
在所述光时间转换周期期间使用所述光信号转换器的所述第一输出的所述电流信号来对电容器进行充电；
当确定所述电容器两端的电压已经达到参考电压时，用比较器检测所述光时间转换周期的所述完成时间；
优选地在所述读出系统处将每个像素的地址信息与从相应像素的所述光时间转换器接收到的光时间转换周期启动和完成信息组合；以及
优选地通过所述多个像素外部的数字处理系统对所述像素地址信息和所述光时间转换周期启动和完成信息进行同步并且加时间戳。
16.根据权利要求13到15中任一项所述的异步基于时间的图像感测方法，其进一步包括：
使所述参考电压在多个参考电压水平之间变化，任选地其中每次所述电容器两端的所述电压达到所述参考电压时，将所述参考电压减小到较低的参考电压水平。
17.根据权利要求13到16中任一项所述的异步基于时间的图像感测方法，其进一步包括断开与电容器并联的开关以启动所述光时间转换周期以及优选地在断开所述开关以启动所述光时间转换周期之前闭合所述开关以使所述电容器放电。
18.根据权利要求13到17中任一项所述的异步基于时间的图像感测方法，其进一步包括：
响应于从所述检测器接收到所述触发信号而向所述检测器发送复位信号。
19.根据权利要求13到18中任一项所述的异步基于时间的图像感测方法，其进一步包括：
当在当前的光时间转换周期完成之前接收到另一个触发信号时，复位并且启动新的光时间转换周期；以及
向所述多个像素外部的读出系统发送消除信号。
CN201980027430.3A 2018-04-30 2019-04-30 用于异步基于时间的图像感测的系统和方法 Pending CN112005543A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18170201 2018-04-30
EP18170201.0 2018-04-30
PCT/EP2019/061133 WO2019211317A1 (en) 2018-04-30 2019-04-30 Systems and methods for asynchronous, time-based image sensing

Publications (1)

Publication Number Publication Date
CN112005543A true CN112005543A (zh) 2020-11-27

Family

ID=62110881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980027430.3A Pending CN112005543A (zh) 2018-04-30 2019-04-30 用于异步基于时间的图像感测的系统和方法

Country Status (6)

Country Link
US (1) US11412162B2 (zh)
EP (1) EP3777131B1 (zh)
JP (1) JP7458325B2 (zh)
KR (1) KR20210003118A (zh)
CN (1) CN112005543A (zh)
WO (1) WO2019211317A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3811609B1 (en) 2018-06-27 2024-08-07 Prophesee Image sensor with a plurality of super-pixels
US11985440B2 (en) 2018-11-12 2024-05-14 Magic Leap, Inc. Depth based dynamic vision sensor
WO2020102110A1 (en) * 2018-11-13 2020-05-22 Magic Leap, Inc. Event-based ir camera
KR20220005431A (ko) 2019-04-25 2022-01-13 프로페시 에스에이 진동을 이미징하고 감지하기 위한 시스템 및 방법
JP7393152B2 (ja) * 2019-08-09 2023-12-06 キヤノン株式会社 光電変換装置、撮像システム、移動体及び露光制御装置
CN111107287B (zh) * 2019-11-29 2021-06-04 豪威芯仑传感器(上海)有限公司 一种像素采集电路及图像传感器
CN116249957A (zh) * 2020-08-11 2023-06-09 华为技术有限公司 传感器电路、像素电路和用于控制像素电路的方法
KR102611704B1 (ko) * 2021-07-14 2023-12-07 연세대학교 산학협력단 이미지 센서 및 이미지 획득 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100182468A1 (en) * 2006-11-23 2010-07-22 Austrian Research Centers Gmbh-Arc Method for the generation of an image in electronic form, picture element (pixel) for an image sensor for the generation of an image as well as image sensor
CN103595931A (zh) * 2013-11-05 2014-02-19 天津大学 实时时间标记的cmos异步时间域图像传感器
CN104780326A (zh) * 2014-01-10 2015-07-15 全视科技有限公司 获取图像数据的方法、高动态范围成像系统及像素单元
CN104808057A (zh) * 2015-05-04 2015-07-29 中国电子科技集团公司第二十六研究所 一种基于异步探测的声光实时信号分析仪
EP2933995A1 (en) * 2012-12-11 2015-10-21 Consejo Superior De Investigaciones Científicas (CSIC) Method and device for detecting the temporal variation of the light intensity in a matrix of photosensors
CN105706439A (zh) * 2013-09-16 2016-06-22 超龙凯姆公司 动态、单个光电二极管像素电路及其操作方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013092666A1 (en) * 2011-12-19 2013-06-27 Universität Zürich Photoarray, particularly for combining sampled brightness sensing with asynchronous detection of time-dependent image data
FR3020699A1 (fr) * 2014-04-30 2015-11-06 Centre Nat Rech Scient Procede de suivi de forme dans une scene observee par un capteur asynchrone de lumiere
US10827135B2 (en) * 2018-11-26 2020-11-03 Bae Systems Information And Electronic Systems Integration Inc. BDI based pixel for synchronous frame-based and asynchronous event-driven readouts

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100182468A1 (en) * 2006-11-23 2010-07-22 Austrian Research Centers Gmbh-Arc Method for the generation of an image in electronic form, picture element (pixel) for an image sensor for the generation of an image as well as image sensor
EP2933995A1 (en) * 2012-12-11 2015-10-21 Consejo Superior De Investigaciones Científicas (CSIC) Method and device for detecting the temporal variation of the light intensity in a matrix of photosensors
EP3139592A1 (en) * 2012-12-11 2017-03-08 Consejo Superior de Investigaciones Cientificas (CSIC) Method and device for detecting the temporal variation of the light intensity in a matrix of photosensors
CN105706439A (zh) * 2013-09-16 2016-06-22 超龙凯姆公司 动态、单个光电二极管像素电路及其操作方法
CN103595931A (zh) * 2013-11-05 2014-02-19 天津大学 实时时间标记的cmos异步时间域图像传感器
CN104780326A (zh) * 2014-01-10 2015-07-15 全视科技有限公司 获取图像数据的方法、高动态范围成像系统及像素单元
CN104808057A (zh) * 2015-05-04 2015-07-29 中国电子科技集团公司第二十六研究所 一种基于异步探测的声光实时信号分析仪

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHRISTIAN BRANDLI ET AL: "A 240 × 180 130 dB 3 µs Latency Global Shutter Spatiotemporal Vision Sensor", 《IEEE JOURNAL OF SOLID-STA TE CIRCUITS》, vol. 49, no. 10, pages 2333 - 2341, XP055598640, DOI: 10.1109/JSSC.2014.2342715 *
CHRISTOPH POSCH ET AL: "A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS", 《IEEE JOURNAL OF SOLID-STA TE CIRCUITS》, vol. 46, no. 1, pages 259 - 274 *
CHRISTOPH POSCH ET AL: "Retinomorphic Event-Based Vision Sensors: Bioinspired Cameras With Spiking Output", 《 PROCEEDINGS OF THE IEEE》, vol. 102, no. 10, pages 1470 - 1484, XP011559302, DOI: 10.1109/JPROC.2014.2346153 *
RAPHAEL BERNER ET AL: "A 240x180 10mW 12us Latency Sparse-Output Vision Sensor for Mobile Applications", 《2013 SYMPOSIUM ON VLSI CIRCUITS DIGEST OF TECHNICAL PAPERS》, pages 186 *
周辉;黄焕立;户晋文;李玉琪;: "一种曝光时间自适应宽动态行车记录仪设计", 汽车零部件, no. 04, pages 5 - 9 *

Also Published As

Publication number Publication date
US11412162B2 (en) 2022-08-09
EP3777131B1 (en) 2024-04-03
US20210235028A1 (en) 2021-07-29
EP3777131C0 (en) 2024-04-03
WO2019211317A1 (en) 2019-11-07
JP7458325B2 (ja) 2024-03-29
KR20210003118A (ko) 2021-01-11
EP3777131A1 (en) 2021-02-17
JP2021522730A (ja) 2021-08-30

Similar Documents

Publication Publication Date Title
CN112005543A (zh) 用于异步基于时间的图像感测的系统和方法
US11991466B2 (en) Data rate control for event-based vision sensor
US7202463B1 (en) Higher dynamic range image sensor with signal integration
US10827135B2 (en) BDI based pixel for synchronous frame-based and asynchronous event-driven readouts
EP2874388B1 (en) Method for avoiding pixel saturation
WO2016005332A1 (en) A high dynamic range pixel and a method for operating it
US9621829B1 (en) Imaging system unit cell and methods for dynamic range imaging
US9674471B1 (en) Digital unit cell with bidirectional ripple counter
KR102063038B1 (ko) 플럭스 레이트 유닛 셀 초점면 어레이
EP1943831A1 (en) Image sensor
US20200169681A1 (en) Ctia based pixel for simultaneous synchronous frame-based & asynchronous event-driven readouts
Oike et al. A 120/spl times/110 position sensor with the capability of sensitive and selective light detection in wide dynamic range for robust active range finding
US20230024990A1 (en) Continuously integrating digital pixel imager
KR101436076B1 (ko) 이미지 프로세서 및 그것의 데이터 처리 방법
US10063797B2 (en) Extended high dynamic range direct injection circuit for imaging applications
US8174602B2 (en) Image sensing system and method utilizing a MOSFET
CN219555081U (zh) 图像传感器中光信号的采集电路和电子设备
JP6170618B6 (ja) 画素飽和を回避する方法
Oike et al. High performance photodetector for modulated lighting-high sensitivity, high selectivity, high suppression of background, and wide dynamic range
US20200137329A1 (en) Simultaneous multiple well size integration
Oike et al. 40.4: High Performance Photo Detector for Modulated Lighting
Oike et al. World Automation Congress

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination