CN111713101A - 基于事件的图像传感器及其操作方法 - Google Patents

Abstract

一种基于事件的图像传感器包括多个像素电路(1)，每个像素电路(1)包括：感光器电路(10)，感光器电路(10)包括光敏元件(101)并被配置为在输出(11)处传送感光器电流(I_PRout)；模拟总线(20)；一组电流存储单元，其连接到模拟总线(20)，每个电流存储单元适于存储在模拟总线(20)中流动的电流，并传送存储在所述电流存储单元内的电流；其中每个像素电路(1)包括电流比较器(50)，电流比较器(50)包括：‑电流符号检测器(51)，其连接到模拟总线(20)，并被配置为比较根据感光器电流和存储在电流存储单元中的上一感光器电流之间的差产生的比较电流的值，‑至少一个存储单元(53、54)，其具有受所述电流符号检测器(51)的输出限制的状态。

Description

基于事件的图像传感器及其操作方法

技术领域

本发明涉及一种基于事件的图像传感器及其操作方法。

背景技术

传统图像传感器获取以预定帧速率进行时间量化的视觉信息。每个帧都承载来自所有像素的信息，而不管该信息自获取上一帧以来是否发生变化。显然，这种方法根据场景的动态内容，在所记录的图像数据中产生程度或高或低的冗余性。随着现代图像传感器向更高的空间和时间分辨率发展，这个问题变得更加严重。数据后处理所需的硬件的复杂性和成本增加，对传输带宽和数据存储容量的需求激增，功耗增加，导致从需求量较大的高速工业视觉系统到电池供电的移动消费设备的各种视觉应用受到严苛的限制。

处理视频数据中时间冗余的一种方法是帧差编码。这种最简单的视频压缩形式包括在初始关键帧之后，逐帧地仅传输超过定义的强度变化阈值的像素值。已知的帧差异成像器依赖于图像数据全帧的获取和处理，并且不能自洽地抑制时间冗余并无法提供实时的压缩视频输出。此外，即使在像素级完成处理和差异量化时，如在所有基于帧的成像设备中一样，场景动态获取的时间分辨率仍然受限于可达到的帧速率，并被时间量化到该帧速率。

通过首先不记录冗余数据并直接减少传感器输出级的数据量，可以最有效地避免数据冗余的不利影响。直接的好处是减少了数据传输和后处理的带宽、内存和计算能力需求，从而降低了系统功耗、复杂性和成本。此外，传统CMOS或CCD图像传感器的基于帧的时控操作原理会导致时间分辨率方面的限制，因为场景动态被量化为读出像素视场的帧速率，并且动态范围较差。

本发明要解决的问题是提供一种图像传感器及其操作方法，用于在宽动态范围(可记录和刻处理光强度的宽动态范围)内以高时间和强度分辨率连续获取观察到的动态场景的全部视觉信息，从而生成最少的必要数据量。因此，所生成的数据不是由包含所有像素的图像信息的连续帧构成，而是由各个像素的强度(即灰度)变化信息流构成的，仅当各个像素的视场光强度的实际变化被像素本身检测到时才记录和传输这些数据。

该方法通过完全抑制传统图像传感器所特有的图像信息中的时间冗余，导致所产生的数据大大减少，尽管该数据包含相同或更高的信息内容。可以基于电子电路来实现执行上述方法以及所需的异步数据读出机制的图像传感器的图像元素。例如在CMOS技术中，具有多个这样的图像元素的图像传感器通常被实现和制造为集成的片上系统。

实现这样的传感器并因此避免传统图像数据获取的上述缺点对于包括以下项的各种人工视觉应用而言是有益的：工业高速视觉(例如，快速对象识别、运动检测和分析、对象跟踪等)、汽车(例如，用于碰撞预警和回避的实时3D立体视觉、智能后视镜等)、监视和安全(场景监视)或机器人技术(自主导航、SLAM)以及生物医学和科学成像应用。由于传感器的操作受人视网膜的工作原理的启发，因此一个有利的示例应用是基于由这种传感器传送的数据，使用可植入的假体装置来治疗失明患者的退化性视网膜。

用于实现上述完全时间冗余抑制的解决方案基于像素个体的预处理和图像信息的获取，所述获取是由事件控制的并且是有条件地(即，仅在检测到场景变化时)。如下所述，图像数据获取的控制被转移到像素级。

通常称为瞬态检测器的电子电路用于检测由各个自主操作的像素接收的光照强度的变化，例如在光学瞬态传感器或动态视觉传感器(DVS)的情况下，如专利US 7,728,269所述。然而，这样的瞬态检测器电路需要大开关电容器，并且用于评估变化的电压比较器之间的失配也是问题。

专利US 8,780,240公开了组合瞬态检测器电路(即，曝光强度变化检测器电路)和条件曝光测量电路。仅当已经在像素的视场中检测到特定量级的亮度变化时(并且紧在该检测之后)，瞬态检测器电路才单独并异步启动新曝光测量的测定。这样的像素不依赖于外部定时信号，并且仅在其传送新的灰度值时才独立请求访问(异步和仲裁的)输出信道。因此，视觉上未受到刺激的像素不会产生输出。另外，异步操作避免了基于帧的获取和扫描读出的时间量化。

对于每个像素电路，瞬态检测器电路监视从第一光电二极管导出的感光器电压，以检测超过阈值的相对电压变化。在进行这种检测时，瞬态检测器电路输出用于同一像素的曝光测量电路的命令，以开始绝对强度测量，即绝对灰度测量。曝光测量电路使用与第一光电二极管相邻地放置的像素的第二光电二极管，并从使用瞬时光电流对光电二极管结电容放电的持续时间中得出其测量值。

但是，US 8,780,240中公开的像素电路不是最佳的，因为通过直接光电流积分的基于时间的曝光测量仅在未知的积分时间之后才可用。此外，由于相应的光电流较小，因此常常导致新的曝光值的测量时间过长，尤其是在低像素照度水平下。最后，使用两个单独的光电二极管进行变化检测和曝光测量会导致图像数据获取过程的空间发散和运动方向依赖性，从而导致成像质量下降。

专利US 2016/0227135A1公开了一种像素电路，包括：

-前端电路，其包括单个光电二极管并具有输出，所述前端电路被配置为在所述输出处传送根据所述单个光电二极管的曝光衍生出的感光器信号；

-瞬态检测器电路，其被配置为检测在所述输出处传送的所述感光器信号的变化；

-曝光测量电路，其被配置为在瞬态检测器电路检测感光器信号的变化时，测量在所述输出处传送的所述感光器信号，所述曝光测量电路具有通过第一开关连接到所述前端电路的所述输出的电容器。

但是，在曝光测量电路中，曝光测量仅在未知的积分时间之后仍然可用。另外，像素输出之间的失配可能是问题。例如，在没有像素失配校正方法的情况下，在像素阵列中直接使用对数感光器电路的曝光测量是有问题的。

专利US 9,631,974公开了一种光阵列，其包括多个单元，其中每个所述单元包括：

-被配置为产生与入射在各个单元上的光的强度成比例的光电流的装置；

-连接到用于产生光电流的各个装置的变化检测电路，该变化检测电路被配置为仅在发生所述强度变化了阈值量的变化事件的情况下产生输出信号；

-亮度读出电路，其被配置为允许读取表示各个单元处的亮度的信号。

但是，光电阵列使用具有固定曝光时间的亮度(灰度)值的传统基于帧的读出。亮度读出不是直接由单个像素的变化检测电路触发的，而是像传统图像传感器一样，通过外部控制逐帧执行的。

专利US 9,528,738公开了一种像素单元，该像素单元包括具有高通滤波器的光变化检测器。然而，像素输出之间的失配可能是问题。例如，在没有像素失配校正方法的情况下，在像素阵列中直接使用对数感光器电路的曝光测量是有问题的。

发明内容

本发明旨在提供一种基于事件的图像传感器，其像素电路具有较小的面积要求，从而允许较大的阵列尺寸或较小的传感器芯片尺寸。本发明的目的还在于加速各个测量过程并因此提高时间分辨率。本发明的目的还在于避免由于使用两个分开的光电二极管而引起的变化检测和曝光测量之间的空间差异，从而提高测量精度并因此提高了图像质量。本发明的目的还在于单独针对每个单个像素提供在检测到变化之后立即可用的曝光测量。本发明还旨在减少像素电路之间的失配。

在此方面，本发明涉及一种基于事件的图像传感器，包括控制器、地址事件表示电路和形成像素阵列的多个像素电路，所述控制器连接到每个像素电路以控制所述像素电路，每个像素电路包括：

-感光器电路，其包括光敏元件并具有输出，所述感光器电路被配置为在所述输出处传送根据入射在所述光敏元件上的光衍生出的感光器电流，

-模拟总线，其选择性地连接到读出单元，所述感光器电路的所述输出选择性地连接到所述模拟总线，

-一组电流存储单元，其连接到所述模拟总线，每个电流存储单元适于选择性地存储在所述模拟总线中流动的电流，并选择性地将存储在所述电流存储单元内的电流传送到所述模拟总线；

其中每个像素电路包括被配置为检测所述感光器电流的变化的电流比较器，所述电流比较器包括：

-电流符号检测器，其连接到所述模拟总线，并被配置为确定根据比较电流和阈值电流产生的，在所述模拟总线中流动的电流的值的符号，所述比较电流根据至少感光器电流和存储在电流存储单元中的上一感光器电流之间的差产生，

-至少一个存储单元，其连接到所述电流符号检测器的输出并具有受所述电流符号检测器的所述输出限制的状态，所述至少一个存储单元的状态代表所述感光器电流和所述上一感光器电流之间的变化高于所述阈值电流；

其中所述至少一个数字存储单元连接到所述地址事件表示电路，以便所述地址事件表示电路监视所述存储单元的状态以确定入射在所述光敏元件上的光的变化；以及

其中通过模拟总线到所述读出单元的连接的像素电路的读出受所述至少一个数字存储单元的状态限制。

与现有技术的基于事件的图像传感器相比，这里的像素电路是简单的电路，不需要大电容器或开关电容器电路。此外，存储单元用作标志，以向指示地址事件表示电路指示已经发生的光变化，并且感光器电流可以立即读出。

该图像传感器的其他优选的非限制性方面以单独的或技术上可行的组合的形式如下列出：

-所述电流比较器包括第一存储单元和第二存储单元，每个存储单元都连接到所述电流符号检测器的输出并具有受所述电流符号检测器的输出限制的状态，所述第一存储单元的状态代表所述比较电流的值高于第一阈值电流的值，所述第二存储单元的状态表示所述比较电流的值低于第二阈值电流的值。

-通过将存储所述感光器电流的电流存储单元和存储所述上一感光器电流的电流存储单元连接到所述模拟总线来获得所述比较电流，并将其存储在电流存储单元中，所述阈值电流存储在另一电流存储单元中。

-所述地址事件表示电路被配置为在检测到像素电路的数字存储单元的状态变化时确定其数字存储单元已改变状态的所述像素电路的地址。

-所述控制器被配置为向所述像素电路发送指令，并且其中像素电路对至少一个指令的执行受至少一个存储单元的状态限制。

-像素电路的所述感光器电路是对数感光器电路，并且所述感光器电流与入射在所述光敏元件上的光的对数成比例。

-所述基于事件的图像传感器进一步包括校准电流源，并且像素电路的所述感光器电路被配置为在所述感光器电路的输出处传送在校准过程期间根据由所述校准电流源提供的参考校准电流衍生出的校准电流。

本发明还涉及一种操作根据本发明的基于事件的图像传感器的方法，包括用于检测入射在像素电流的感光器电路的光敏元件上的光的变化的变化检测周期，所述变化检测周期包括以下步骤：

a)所述感光器电路在所述感光器电路的输出处传送根据所述光敏元件的曝光衍生出的感光器电流，并且所述感光器电流被写入所述存储体的第一电流存储单元中，

b)将根据所述感光器电流和存储在第二电流存储单元中上一感光器电流之间的差产生的比较电流存储在另一电流存储单元中，

c)电流符号检测器将所述比较电流的值与存储在另一电流存储单元中的阈值电流的值进行比较，并且如果所述比较电流的值高于所述阈值电流的值，则将数字存储单元的状态设定为第一状态，

d)如果所述存储单元处于所述第一状态，则执行所述感光器电流的读出，将所述感光器电流写入所述第二电流存储单元，并且将所述存储单元的状态设定为第二状态。

该方法的其他优选的非限制性方面以单独的或技术上可行的组合的形式如下列出：

-所述像素电路的电流比较器包括第一存储单元和第二存储单元，每个存储单元都连接到所述电流比较器的电流符号检测器的输出并具有受所述电流符号检测器的输出限制的状态，所述第一存储单元的状态代表所述比较电流的值高于第一阈值电流的值，所述第二存储单元的状态表示所述比较电流的值低于第二阈值电流的值，其中步骤c)由以下步骤组成：

c1)所述电流符号检测器将所述比较电流的值与存储在第四电流存储单元中的第一阈值电流的值进行比较，并且如果所述比较电流的值高于所述第一阈值电流的值，则将所述第一存储单元的状态设定为第一状态；

c2)所述电流符号检测器将所述比较电流的相反值与存储在第五电流存储单元中的第二阈值电流的值进行比较，并且如果所述比较电流的相反值高于所述第二阈值电流的值，则将所述第二存储单元的状态设定为第一状态；-在所述像素阵列的读出过程期间，仅选择具有处于第一状态的存储单元的像素电路以读取其感光器电流。

-所述方法包括在所述检测周期的步骤d)之前执行的校准过程，所述校准过程包括以下步骤：

-在像素电路的感光器电路中连接校准电流源而不是光敏元件，使得所述像素电路的所述感光器电路在所述感光器电路的输出处传送根据由所述校准电流源提供的参考校准电流衍生出的校准电流，

-将所述校准电流从所述感光器电路的输出传送到存储所述校准电流的第六电流存储单元；

-在所述像素电路的读出期间，从所述感光器电流中减去存储在所述第六电流存储单元中的所述校准电流。

附图说明

通过阅读以下对本发明的优选实施例的详细描述，本发明的其他方面、目的和优点将变得更加明显，这些实施例作为非限制性示例给出，并参考附图，其中：

-图1示出了根据本发明的可能实施例的基于事件的图像传感器的简化图；

-图2示出了根据本发明的可能实施例的像素电路的简化图；

-图3示出了感光器电路的示例性可能实施例的简化图；

-图4示出了存储单元的示例性可能实施例的简化图；

-图5和图6示出了根据本发明的可能实施例的操作像素电路的方法的图。

在所有附图中，相同的参考标号指示相同或相似的元件。

具体实施方式

图1示出了根据可能实施例的基于事件的图像传感器的简化图。基于事件的图像传感器包括形成像素阵列的多个像素电路1。为了清楚起见，图1示出了有限数量的像素电路1。可以理解，像素阵列包括大量的像素电路1，例如尺寸超过256×256像素。基于事件的图像传感器包括控制器2、地址事件表示(AER)电路3，还可以包括校准电流源4。

控制器2被配置为向像素电路1发送指令以控制像素电路1。据此，像素电路连接到控制器2。控制器2被配置为同时向所有像素电路1发送相同的指令。控制器2和像素电路1形成单指令多数据(SIMD)处理架构。

图2示出了像素电路1的示例。像素电路包括感光器电路10，该感光器电路10具有输出11并被配置为在所述输出11处传送感光器电流。感光器电流根据入射在感光器电路的光敏元件的光衍生而来。

图3示出了可以使用的感光器电路10的示例。感光器电路10是对数感光器电路，并且感光器电流I_PRout与入射在光敏元件101上的光的对数成比例。感光器电路10包括诸如光电二极管之类的光敏元件101，其连接到地并且经由开关S2连接到反相放大器103的输入102。N型MOSFET晶体管104的漏极连接到电源电压端子110，并且其源极连接到反相放大器103的输入102。反相放大器103的输出105连接到晶体管104的栅极。反相放大器103在其输出105处传送根据光敏元件101的曝光衍生出的感光器电压V_PR。反相放大器103的输出还连接到电压-电流(V/I)转换器106的输入，该转换器将感光器电压V_PR转换为在感光器电路11的输出11(由电压-电流转换器106的输出构成)处传送的感光器电流I_PRout。校准源4可以通过开关S1连接到输入102，以将参考电流I_cal传送到输入102。可以使用其他种类的感光器电路10。例如，感光器电路10可以是线性感光器电路10，该线性感光器电路10传送与入射在光敏元件101上的光成线性比例的电流。优选地，感光器电流I_PRout也可以是根据电容器上的电压衍生出的电流，如上面引用的现有技术参考文献中所述，该电流是通过在给定时间内对流过光敏元件101的电流进行积分而产生的电流。还可以在同一像素电路中将对数感光器电路与另一具有积分电容器的感光器电路组合。

像素电路还包括其中可以由电流流过的模拟总线20。感光器电路10的输出11通过前端开关S_PR连接到所述模拟总线20。模拟总线20连接到电流读出单元。更精确地，读出开关S_ro将模拟总线20连接到所述电流读出单元。当选择要读取像素电路时，开关S_ro闭合。电流读出单元例如是列电流读出单元。电流读出单元可以包括：电流-电压转换器模块(在选定像素电路的模拟总线中流动的电流将路由到该模块)，以及模拟-数字转换器(ADC)。

像素电路1还包括连接到总线的一组存储单元IS_i(i＝1…6)。在所描绘的实施例中，该组存储单元IS_i包括六个存储单元IS_i。但是，该组存储单元中的存储单元IS_i的数量可以变化。存储单元IS_i的数量优选地大于或等于四个，更优选地大于或等于五个，甚至更优选地大于或等于六个。每个存储单元IS_i适于选择性地存储在模拟总线20中流动的电流，并且选择性地将存储在所述存储单元IS_i内的电流传送到所述模拟总线20。

图4示出了可以在像素电路1中使用的电流存储单元IS_i的示意性示例。存储单元IS_i包括N型场效应晶体管40(例如，MOSFET)，其源极接地。电容器41具有连接到地的第一端子和连接到晶体管40的栅极的第二端子。因此，电容器40两端的电压V_GS对应于晶体管40的栅极和源极之间的电压。电容器41的第二端子也通过栅极开关S_G连接到晶体管40的漏极。晶体管40的漏极通过漏极开关S_D连接到模拟总线20。当漏极开关S_D闭合时，存储单元IS_i连接到模拟总线20。电流源42连接到晶体管40的漏极，并允许参考电流I_ref在两个方向上流动。电流源42可以在存储单元IS_i的外部，并且可以由像素电路的存储体中的存储单元IS_i或整个像素阵列的存储单元IS_i共享。可以使用其他类型的电流存储单元IS_i。例如，J.B.Hughes和K.W.Molding所著的文章“S2I：实现高性能的开关电流技术”，Electron.Lett.，第29卷，第16章，第1400–1401页，1993年8月。

当漏极开关S_D和栅极开关S_G闭合时，电压V_GS取电流从模拟总线20流过晶体管40所需的电流值。由此，输入的电流被写入存储单元IS_i。当漏极开关S_D和栅极开关S_G断开时，电压V_GS保持恒定值。电流被存储在存储单元IS_i中。当栅极开关S_G断开并且漏极开关S_D闭合时，晶体管40的栅极处的电压V_GS保持不变(由于栅极开关S_G断开)，但是电流流动(由于晶体管40的栅极处的电压V_GS)到模拟总线20。从存储单元IS_i读取电流。

由于像素电路1包括多个连接到同一模拟总线20的电流存储单元IS_i，因此可以通过写入、存储和读取电流来对所述电流进行算术运算。此外，电流可以被反相并从一个电流存储单元IS_i复制到另一电流存储单元IS_i。这些算术运算的结果也是可以存储在电流存储单元IS_i中的电流。这些操作仅遵循基尔霍夫电流定律。

例如，为了执行分别存储在两个存储单元中的两个电流的相加，仅需将所述两个存储单元连接到模拟总线20并同时进行读取(即，通过闭合漏极开关S_D并使栅极开关S_G保持断开)。可以同时将产生的电流写入另一电流存储单元(通过同时断开漏极开关S_D和栅极开关S_G)。

应当注意，当从电流存储单元IS_i读取并且写入另一电流存储单元IS_i时，根据基尔霍夫电流定律，来自读取的电流存储单元并进入模拟总线20的电流与离开模拟总线20的待写入电流相反。因此，对于模拟总线20，两个电流存储单元IS_i之间的基本传输操作包括对传输电流的值(即传输电流的强度的值)的取反。因此，可以通过在将两个电流相加之前将第一电流从一个电流存储单元传送到另一电流存储单元，来从第二电流的值中减去第一电流的值。

像素电路1还包括电流比较器50，电流比较器50被配置为检测感光器电流I_PRout的变化。电流比较器50包括电流符号检测器51，该电流符号检测器51的输入通过比较器开关S_comp连接到模拟总线20。电流符号检测器51被配置为确定在模拟总线20中流动的电流的值(即，电流的方向)的符号。优选地，电流符号检测器51被配置为仅在输入处(即通过比较器开关S_comp)的电流为正时输出值。

电流比较器50还包括连接到电流符号检测器51的输出52的两个存储单元53、54。第一存储单元53通过第一标志开关S_A连接并构成第一标志A。第二存储单元54通过第二标志开关S_B连接并构成第二标志B。存储单元53、54可以具有两个状态，第一状态被指定为“真”，第二状态被指定为“假”。存储单元53、54的默认状态是“假”。存储单元53、54保持其状态，直到所述存储单元53、54被复位。可以将复位信号rst提供给存储单元53、54以迫使它们进入第二状态(即，“假”)。因此，存储单元53、54可被视为锁存器。存储单元53、54也可以被称为数字存储单元，因为它们仅有可以被解释为二进制值的两个状态。

两个数字存储单元53、54连接到地址事件表示电路3。地址事件表示电路3监视所有像素电路1的数字存储单元53、54的状态。

参考图5和图6，下面描述像素电路1的检测周期。图5和6示出了同一周期的不同方面：图5示出了如何使用电流，图6示出了如何使用开关和电流存储单元IS_i。在以下描述的步骤中，当存储单元IS_i处于写入模式时，所述存储单元IS_i的漏极开关S_D和栅极开关S_G闭合。当存储单元IS_i处于读取模式时，所述存储单元IS_i的漏极开关S_D闭合，而栅极开关S_G保持断开。当存储单元IS_i处于空闲模式时，即既不处于写入模式也不处于读取模式，漏极开关S_D和栅极开关S_G断开。处于空闲模式的存储单元IS_i与模拟总线20断开连接并存储电流。如果在步骤中未提及电流存储单元IS_i，则应将电流存储单元IS_i视为处于空闲模式。除非另有说明，否则开关以及变化检测周期的步骤操作由控制器2发送的指令控制。相同的指令由控制器2同时发送到所有像素电路1。

在第一步骤S01，感光器电路10在感光器电路10的输出11处传送根据光敏元件101的曝光衍生出的感光器电流I_PRout，并将感光器电流I_PRout写入存储体的第一电流存储单元IS₁。更精确地，前端开关S_PR闭合(步骤S11)，将感光器电路10的输出11连接到模拟总线20。因此，感光器电流I_PRout流入模拟总线20。第一电流存储单元IS₁处于写入模式，使得感光器电流I_PRout被写入第一电流存储单元IS₁。然后前端开关S_PR断开。

在步骤S02，从存储在第一电流存储单元IS₁中的感光器电流I_PRout中减去存储在第二电流存储单元IS₂中的上一感光器电流I_PRout,last，从而产生比较电流，该比较电流存储在第三电流存储单元IS₃中。更准确地，第一电流存储单元IS₁和第二电流存储单元IS₂处于读取模式，并且第三电流存储单元IS₃处于写入模式(步骤S12)。由于在将电流写入所述存储单元IS_i之后读取存储单元IS_i使得电流在模拟总线20上的流动方向反向，因此其使电流值的符号反向。结果，从第一电流存储单元IS₁读取的电流具有I_PRout的值。通过同时读取第一电流存储单元IS₁和第二电流存储单元IS₂，写入第三电流存储单元IS₃的比较电流具有值-I_PRout+I_PRout,last的值。

在步骤S03，电流符号检测器51将第一比较电流的值与存储在第四电流存储单元IS4中的第一阈值电流的值进行比较。第一数字存储单元53的状态将取决于比较结果。为此(步骤S13)，第三电流存储单元IS3和第四电流存储单元IS4处于读取模式，以便向模拟总线20分别发送值为-(-I_PRout+I_PRout,last)的第一比较电流，记为I_compared，以及第一阈值电流。例如，如果感光器电流具有值I_{PRout,last＝}1,11μA，并且上一感光器电流具有值I_{PRout,last＝}1μA，则比较电流具有值I_compared＝0.11μA。应当注意，电流值的示例在这里和下面仅作为说明给出，并且可能不反映在本发明的实施例中使用的实际电流值。

因此，在模拟总线20上产生的电流显示出值I_compared+I_thA，其中I_tha是第一阈值电流的值。比较器开关S_comp闭合，以便将电流符号检测器51连接到模拟总线20。第一标记开关S_A也闭合，以将第一存储单元53连接到电流符号检测器51的输出52。为了将在模拟总线20中流动的比较电流I_compared的值与第一阈值电流I_thA的值进行比较，电流符号检测器51被配置为确定在模拟总线20中流动的产生的电流的电流符号(即电流强度或电流值的符号)。如果产生的电流值为正，则I_compared+I_thA为正，这意味着第一比较电流I_compared的值大于第一阈值电流I_thA的相反值。这意味着感光器电流和上一感光器电流之间的正变化大于第一阈值电流的相反变化，因此，自上一变化检测周期以来，入射在光敏元件101上的光已经增加。因此检测到该变化。例如，如果Itha＝0.1μA，则I_compared+I_thA＝0.01μA，这是正值。实际上，1.11μA的感光器电流比1μA的上一感光器电流高出的部分大于第一阈值电流的相反值-0.1μA。

相反，如果产生的电流的值具有负号，则这意味着入射在光敏元件101上的光相对于上一变化检测周期还没有增加到足以证明检测到变化的程度，或者已经减少。

电流符号检测器51在其输出52处输出比较结果。数字存储单元53的状态根据比较结果而改变或不改变：如果检测到大于第一阈值电流的变化，则第一存储单元53的状态变为第一状态，即变为“真”；相反，如果没有检测到大于第一阈值电流的变化，则数字存储单元53的状态不变，并保持在第二默认状态，即“假”状态。第一标志开关S_A然后断开以保持第一存储单元53的状态。

在步骤S04，从上一感光器电流I_PRout，last中减去感光器电流I_PRout。这与步骤S02相反。由于对应于感光器电流I_PRout和上一感光器电流I_PRout，last之间的差的比较电流I_compared已存储在第三电流存储单元IS3中，因此该比较电流I_compared仅需写入另一存储单元，例如，第一电流存储单元IS1，以改变其值的符号。因此，在步骤S14，第三电流存储单元IS3处于读取模式，而第一电流存储单元IS1处于写入模式。比较电流I_compared通过模拟总线20从第三电流存储单元IS3传播到第一电流存储单元IS1，从而改变其值的符号。还可能从感光器电路1检索感光器电流，从第二电流存储单元IS2检索上一感光器电流I_PRout，last。

在步骤S05，电流符号检测器51将比较电流的值与存储在第五电流存储单元IS5中的第二阈值电流的值进行比较。第二数字存储单元54的状态将取决于比较结果。为此，第一电流存储单元IS1和第五电流存储单元IS5处于读取模式，以便向模拟总线20分别发送值为-I_PRout+I_PRout，last的比较电流，记为-I_compared，以及值为I_thB的第二阈值电流。因此，模拟总线20上产生的电流显示出值I_thB-I_compared。比较器开关S_comp闭合以将电流符号检测器51连接到模拟总线20。第二标记开关S_B也闭合以将第二存储单元54连接到电流符号检测器51的输出52。如果产生的电流的值为正，则I_thB-I_compared为正，这意味着比较电流I_compared的值低于第二阈值电流I_thB的值。这意味着感光器电流和上一感光器电流之间的负变化大于第二阈值电流，因此，自上一变化检测周期以来，入射在光敏元件101上的光已经减少足够多。因此检测到该变化。

相反，如果产生的电流的值为负，则意味着入射在光敏元件101上的光相对于上一变化检测周期还没有减少到足够证明检测到变化的程度，或者已经增加。例如，在I_compared＝0.11μA和I_thB＝-0.1μA的情况下，I_thB-I_compared＝-0.21μA。产生的电流为负，因为1,11μA的感光器电流比1μA的上一感光器电流低的部分不大于-0.1μA的第二阈值电流的相反值。

电流符号检测器51在其输出52处输出比较结果。第二数字存储单元54的状态根据比较结果而改变或不改变：如果检测到大于第二阈值电流的负变化，第二数字存储单元54的状态变为第一状态，即变为“真”。相反，如果没有检测到大于第一阈值电流的负变化，则第二数字存储单元54的状态不变，并保持在第二默认状态，即“假”状态。第二标志开关S_B然后断开以保持第二数字存储单元54的状态。

应当注意，此处阈值电流的使用顺序仅是示例性的，并且如果需要，可以在步骤S04和S05之后执行步骤S02和S03。在数值示例中，阈值电流具有相同的值，因此第一阈值电流和第二阈值可以是一个单个阈值电流。然而，第一阈值电流和第二阈值电流可以具有不同的值，以便检测不同的正或负变化。优选地，第一阈值电流和第二阈值电流具有负值，因为感光器电流为正。然而，由于通过使用电流存储单元容易改变电流的符号，因此本领域技术人员将理解，可以容易地针对每个电流单独地改变在该描述中提到的电流的符号。

作为步骤S03和S05的结果，已经确定了标志A和B的状态。地址事件表示(AER)电路3监视标志A和B的状态。如果像素电路1的存储单元53、54之一变为“真”，则AER电路3可以在满足其他外部条件的情况下执行该特定像素电路1的阵列地址(即，x,y阵列地址)的构造。该地址和有关哪个标志(A或B)为“真”的信息可以由AER电路3发送到地址读出系统。外部条件例如可以取决于AER电路3的状态，取决于外部计算或测量的结果。

像素电路1的读出首先包括曝光测量。步骤S06是感光器电流I_PRout的测量，以确定光敏元件101的曝光测量。该曝光测量受存储单元53、54的状态限制。曝光测量指令由控制器2发送到所有像素电路1，但是只有数字存储器53、54处于“真”状态的像素电路1才执行该读出指令。数字存储器53、54处于“真”状态的像素电路1将被指定为有源像素电路1。曝光测量指令的执行可以进一步受其他条件限制，在图5和图6中概括为全局条件“EM已启用”。

优选地，像素内校准的曝光测量由有源像素电路1执行。从感光器电流I_PRout中减去校准电流，并且产生的电流通过模拟总线20被发送到电流读出单元。校准电流存储在第六电流存储单元IS6中。校准电流在第六电流存储单元IS6中的存储在校准过程期间完成，该校准过程可以在任何时候执行，例如，在变化检测周期开始或之前执行。优选地，校准过程由所有像素电路1根据来自控制器2的指令同时执行。

在校准过程期间，光敏元件101和反相放大器103的输入102之间的开关S2断开。感光器电路10的开关S1闭合，使得校准源4连接到输入102而不是光敏元件101。校准源4将外部参考校准电流I_cal传送到输入102，输入102也是晶体管104的源。因此，感光器电路10的输出11处的电流是根据参考校准电流I_cal衍生出的校准电流I_PRout,cal。前端开关SPR闭合，以将输出11连接到模拟总线20。第六电流存储单元IS6处于写入模式，并存储校准电流I_PRout,cal。在校准过程结束时，开关S1重新断开，并且开关S2闭合，从而将感光器电路10恢复到其正常配置。

由于外部参考校准电流I_cal与感光器电流I_PRout从传播路径相同，从而成为存储的校准电流I_PRout,cal，像素电路1的存储的校准电流I_PRout,cal反映了该特定像素电路1的电气特性的变化，该变化可能影响感光器电流I_PRout。因此，像素电路1的校准电流I_PRout,cal对于每个像素电路1是唯一的并且是特定的，这是因为像素电路1的组件的特性从一个像素电路1到另一像素电路1是不同的，尤其是因为感光器电路10。这种情况称为设备失配。从感光器电流I_PRout中减去校准电流I_PRout,cal允许从曝光测量结果中消除设备失配的影响。特别地，对于图4所示的对数感光器，曝光测量结果可能会因设备失配而产生较大误差，该误差会因响应的对数性质而放大。

无需为每个变化检测周期或读出写入新的校准电流，并且可以在多个变化检测周期或曝光测量期间使用相同的校准电流。然而，优选地，足够频繁地更新存储在第六电流存储单元IS6中的校准电流，以反映影响像素电路1的因素(温度、干扰等)的变化。

为了执行校准的曝光测量，第六电流存储单元IS6处于读取模式并且前端开关S_PR闭合，使得模拟总线20中产生的电流为读出电流I_PRout-I_PRout,cal(步骤S16)。当读出开关S_ro闭合时，模拟总线20连接到电流读出单元，并且读出电流通过电流-电压(I/V)转换器和/或模拟-数字转换器(ADC)被发送到所述电流读出单元。由此读取像素电路1。

至少读出开关S_ro的闭合不是由所有有源像素电路1同时执行。依次选择有源像素电路1以进行读取。例如，首先选择有源行，即具有至少一个有源像素电路1的行。有源行可以通过扫描每一行以检测有源像素电路1的存在来选择，或者由AER电路3的AER仲裁器基于通过监视标志A和B的状态而确定的有源像素电路1的地址来直接选择。

对于每个选定行，然后通过闭合读出开关S_ro来读取每个有源像素电路1。此操作可以逐列(即，具有至少一个有源像素电路1的有源列)地完成，或者在提供列读取器(尤其是配备列I/V转换器和/或列ADC)的情况下，针对所有有源行并行地完成。替代地，通过逐列读出，可以并行地读取每一行的所有有源像素电路1。

如果是第一种方法，则在恢复或重新开始变化检测周期之前，读取图像传感器的所有有源像素电路1。在读出过程的持续时间以及变化检测周期的持续时间取决于有效像素电路1的数量，即取决于检测到变化并将其标志设定为“真”的像素电路1的数量的情况下，这导致不一致的“帧速率”。因此，帧速率取决于由基于事件的图像传感器获取的场景的活动，即光如何变化。

在第二种方法中，在恢复或重新开始变化检测周期之前，不必全部读取所有有源像素电路1。可以在读取每个有源像素电路1之前，例如在经过一定量的时间之后或在读取一定量的像素电路1之后，重新开始或恢复变化检测周期。分配给读出的时间量可以是固定的(即，固定的“帧速率”)，也可以是变化的。类似地，已经读取的有源像素电路1的数量可以是固定的(即，固定的“帧速率”)，也可以是变化的。

例如，当已经读取了所有有源像素电路1时或者在存在太多要读取的像素电路的情况下已经经过一定量的时间时(已经读取一定量的像素电路1)，还可以通过恢复或重新开始变化检测周期来将两种方法组合起来。

在步骤S07，如果像素电路1的标志之一被设定为“真”，即，如果存储单元53、54之一处于第一状态，则感光器电流I_PRout替代上一感光器电流I_PRout,last，作为新的变化检测周期的新的上一感光器电流。为此，感光器电流I_PRout被写入第二电流存储单元IS2。

为了避免改变感光器电流I_PRout的值的符号，首先将感光器电流I_PRout写入另一存储单元。例如，在步骤S17，前端开关S_PR闭合以将感光器电路10的输出11连接到模拟总线20，以使感光器电流I_PRout在模拟总线20上可用。第一电流存储单元IS1处于写入模式并写入感光器电流I_PRout。然后，前端开关S_PR断开，并且第一电流存储单元IS1进入读取模式，同时第二电流存储单元IS2进入写入模式。感光器电流I_PRout从第一电流存储单元IS1传送到第二电流存储单元IS2。通过这样做，当再次读取时，感光器电流I_PRout的值的符号将改变两次。存储在第二电流存储单元IS2中的电流将在像素电路1的下一变化检测周期期间用作上一感光器电流I_PRout,last。

代替再次明确地使用感光器电路10来获得感光器电流I_PRout，可以使用已经存储在电流存储单元中的电流。例如，存储在第一电流存储单元IS1和第三电流存储单元IS3中的比较电流I_compared和它的相反-I_compared可用于检索感光器电流I_PRout，因为它们对应于±(I_PRout-I_PRout,last)。感光器电流I_PRout也可以在曝光测量期间存储在该变化检测周期中不再使用的电流存储单元中，例如第一电流存储单元IS1或第三电流存储单元IS3。

最后，在变化检测周期结束时的步骤S08，清除标志，即，将其重置为默认状态“假”。复位信号rst被发送(步骤S18)到存储单元53、54以迫使它们进入第二状态(即，“假”)。如果读取了所有有源像素电路1，则可以清除所有标志，并且复位信号rst可以由控制器2发送到所有像素电路1。

然而，如果在读出过程期间未读取某些有源像素电路1，例如由于被分配执行此操作的时间已经过去，则最好不清除未读取的有源像素电路1的标志。因此，复位信号rst可以信号被选择性地发送到在读出过程期间被读取的每个像素电路1。因此，未读取的有源像素电路1保持活动，即，其标志处于“真”状态，并且将在下一读出过程期间被读取。优选地，在随后的读出过程期间，有源像素电路1不会以相同的顺序被读取，使得未被读取的有源像素电路1将在下一个读出过程期间被首先读取。

类似地，步骤S07优选地不由在读出过程期间未被读取的有源像素电路1执行，而是仅由在读出过程期间被读取的有源像素电路执行。这可以通过执行作为读取过程的一部分的步骤S07来完成。

在本文前面所述的变化检测周期中，电流比较器50包括两个存储单元53、54：第一存储单元53的状态代表感光器电流值的增加，第二存储单元54的状态代表感光器电流值的减小。因此，AER电路3可以通过监视存储单元53、54的状态来确定感光器电流如何变化：具有增加事件还是减小事件(没有事件意味着没有改变)。然而，可能只有一个存储单元连接到电流符号检测器51。在这种情况下，AER电路3只能确定像素电路1的感光器电流已经发生变化。这样便足矣，因为变化的检测主要用于确定像素电路1的地址并调节像素电路1的读出。在操作方法中，在模拟总线中流动的比较电流的值和阈值电流的值之间的第二次比较可能受唯一标志的状态的限制。实际上，如果标志的状态在第一次比较中已经改变，则无需进行第二次比较。在具有两个存储单元53、54的情况下，也可以使第二次比较受第一存储单元53的状态限制。

尽管已经针对某些优选实施例描述了本发明，但是显然本发明绝不限于此，并且本发明包括所描述的手段及其组合的所有技术等效物。特别地，对于本领域技术人员将显而易见的是，在不脱离所附权利要求限定的本发明的范围的情况下，可以进行各种改变和修改。

Claims (12)

1.一种基于事件的图像传感器，包括控制器(2)、地址事件表示电路(3)和形成像素阵列的多个像素电路(1)，所述控制器(2)连接到每个像素电路(1)以控制所述像素电路(1)，每个像素电路(1)包括：

-感光器电路(10)，其包括光敏元件(101)并具有输出(11)，所述感光器电路(10)被配置为在所述输出(11)处传送根据入射在所述光敏元件(101)上的光衍生出的感光器电流(I_PRout)，

-模拟总线(20)，其选择性地连接到读出单元，所述感光器电路(10)的所述输出(11)选择性地连接到所述模拟总线(20)，

-一组电流存储单元，其连接到所述模拟总线(20)，每个电流存储单元(IS_i)适于选择性地存储在所述模拟总线(20)中流动的电流，并选择性地将存储在所述电流存储单元(IS_i)内的电流传送到所述模拟总线(20)；

其中每个像素电路(1)包括被配置为检测所述感光器电流(I_PRout)的变化的电流比较器(50)，所述电流比较器(50)包括：

-电流符号检测器(51)，其连接到所述模拟总线(20)，并被配置为确定根据比较电流和阈值电流产生的，在所述模拟总线(20)中流动的电流的值的符号，所述比较电流根据至少感光器电流和存储在电流存储单元中的上一感光器电流之间的差产生，

-至少一个存储单元(53、54)，其连接到所述电流符号检测器(51)的输出(52)并具有受所述电流符号检测器(51)的所述输出限制的状态，所述至少一个存储单元(53、54)的状态代表所述感光器电流和所述上一感光器电流之间的变化高于所述阈值电流；

其中所述至少一个数字存储单元(53、54)连接到所述地址事件表示电路(3)，以便所述地址事件表示电路(3)监视所述存储单元(53、54)的状态以确定入射在所述光敏元件(101)上的光的变化；以及

其中通过模拟总线(20)到所述读出单元的连接的像素电路的读出受所述至少一个数字存储单元(53、54)的状态限制。

2.根据权利要求1所述的基于事件的图像传感器，其中所述电流比较器(50)包括第一存储单元(53)和第二存储单元(54)，每个存储单元都连接到所述电流符号检测器(51)的输出(52)并具有受所述电流符号检测器(51)的输出(52)限制的状态，所述第一存储单元(53)的状态代表所述比较电流的值高于第一阈值电流的值，所述第二存储单元(54)的状态表示所述比较电流的值低于第二阈值电流的值。

3.根据权利要求1或2中任一项所述的基于事件的图像传感器，其中通过将存储所述感光器电流的电流存储单元(IS1)和存储所述上一感光器电流的电流存储单元(IS2)连接到所述模拟总线(20)来获得所述比较电流，并将其存储在电流存储单元中，所述阈值电流存储在另一电流存储单元中。

4.根据权利要求1至3中任一项所述的基于事件的图像传感器，其中所述地址事件表示电路(3)被配置为在检测到像素电路(1)的数字存储单元(53、54)的状态变化时确定其数字存储单元已改变状态的所述像素电路(1)的地址。

5.根据权利要求1至4中任一项所述的基于事件的图像传感器，其中所述控制器(2)被配置为向所述像素电路(1)发送指令，并且其中像素电路(1)对至少一个指令的执行受至少一个存储单元(53、54)的状态限制。

6.根据权利要求1至5中任一项所述的基于事件的图像传感器，其中像素电路(1)的所述感光器电路(10)是对数感光器电路，并且所述感光器电流与入射在所述光敏元件(101)上的光的对数成比例。

7.根据权利要求1至6中任一项所述的基于事件的图像传感器，进一步包括校准电流源(4)，并且像素电路(1)的所述感光器电路(10)被配置为在所述感光器电路(10)的输出(11)处传送在校准过程期间根据由所述校准电流源(4)提供的参考校准电流衍生出的校准电流。

8.一种操作根据权利要求1至7中任一项所述的基于事件的图像传感器的方法，包括用于检测入射在像素电路(1)的感光器电路(10)的光敏元件(101)上的光的变化的变化检测周期，所述变化检测周期包括以下步骤：

a)所述感光器电路(1)在所述感光器电路(10)的输出(11)处传送根据所述光敏元件(101)的曝光衍生出的感光器电流(I_PRout)，并且所述感光器电流(I_PRout)被写入所述存储体的第一电流存储单元(IS1)中(S01)，

b)将根据所述感光器电流和存储在第二电流存储单元(IS2)中上一感光器电流之间的差产生的比较电流存储在另一电流存储单元中(S02)，

c)电流符号检测器(51)将所述比较电流的值与存储在另一电流存储单元中的阈值电流的值进行比较，并且如果所述比较电流的值高于所述阈值电流的值，则将数字存储单元的状态设定为第一状态(S03)，

d)如果所述存储单元(53、54)处于所述第一状态，则执行所述感光器电流的读出(S06)，将所述感光器电流写入所述第二电流存储单元(IS2)(S07)，并且将所述存储单元(53、54)的状态设定为第二状态(S08)。

9.根据权利要求8所述的方法，其中所述像素电路(1)的电流比较器(50)包括第一存储单元(53)和第二存储单元(54)，每个存储单元都连接到所述电流比较器(50)的电流符号检测器(51)的输出(52)并具有受所述电流符号检测器(51)的输出(52)限制的状态，所述第一存储单元(53)的状态代表所述比较电流的值高于第一阈值电流的值，所述第二存储单元(54)的状态表示所述比较电流的值低于第二阈值电流的值，其中步骤c)由以下步骤组成：

c1)所述电流符号检测器(51)将所述比较电流的值与存储在第四电流存储单元(IS4)中的第一阈值电流的值进行比较，并且如果所述比较电流的值高于所述第一阈值电流的值，则将所述第一存储单元(53)的状态设定为第一状态；

c2)所述电流符号检测器(51)将所述比较电流的相反值与存储在第五电流存储单元(IS5)中的第二阈值电流的值进行比较，并且如果所述比较电流的相反值高于所述第二阈值电流的值，则将所述第二存储单元(54)的状态设定为第一状态。

10.根据权利要求8至9中任一项所述的方法，其中在所述像素阵列的读出过程期间，仅选择具有处于第一状态的存储单元(53、54)的像素电路(1)以读取其感光器电流。

11.根据权利要求8至10中任一项所述的方法，包括在所述检测周期的步骤d)之前执行的校准过程，所述校准过程包括以下步骤：

-在像素电路(1)的感光器电路(10)中连接校准电流源(4)而不是光敏元件(101)，使得所述像素电路(1)的所述感光器电路(10)在所述感光器电路(10)的输出(11)处传送根据由所述校准电流源(4)提供的参考校准电流衍生出的校准电流，

-将所述校准电流从所述感光器电路(10)的输出(11)传送到存储所述校准电流的第六电流存储单元(IS6)。

12.根据权利要求11所述的方法，其中在所述像素电路(1)的读出期间，从所述感光器电流中减去存储在所述第六电流存储单元(IS6)中的所述校准电流。

Images