CN114365479A - 基于事件的视觉传感器的延迟均衡 - Google Patents

Abstract

一种基于事件的像素传感器系统，在不同照明像素之间采用延迟均衡。

Description

基于事件的视觉传感器的延迟均衡

相关申请的交叉引用

本申请要求于2019年9月4日提交的第62/895,709号美国临时申请第35 USC 119(e)规定的权益，该申请通过引用全文并入本文。

背景技术

今天，机器视觉主要是基于传统相机及其相关的基于帧的空间分辨光学传感器。对于某些机器视觉任务，如目标识别，这些传统的基于帧的相机和基于图像的光学传感器是非常适合的。然而，对于其他任务，如监视、跟踪或位置和运动估计，传统的图像传感器存在缺陷。

传统相机的主要缺点是产生大量冗余和不必要的数据，这些数据必须被捕获、通信和处理。这种高数据负载通过降低时间分辨率来减慢反应时间，导致功耗增加，并增加机器视觉系统的尺寸和成本。此外，大多数图像传感器存在动态范围有限、弱光性能差和运动模糊等问题。

另一方面，所谓的动态视觉传感器(DVS)克服了基于帧编码的局限性。参见Lichtsteiner等人的美国专利申请公开No.US 2008/0135731，其标题为“用于检测时间依赖图像数据的光阵列”，该专利申请通过本参考文献并入本文。这些空间分辨光学传感器使用像素内数据压缩来消除数据冗余。它们还可以实现高时间分辨率、低延迟、低功耗和高动态范围，且运动模糊很小。因此，DVS型光学传感器非常适合于太阳能或电池供电的压缩传感或移动机器视觉应用，其中必须估计系统的位置，并且由于电池容量有限，处理能力有限。

DVS在本地对视觉信息进行预处理。DVS不是生成清晰的图像，而是为计算机应用程序生成智能数据。虽然传统的图像传感器将电影捕捉为一系列静止图像，但DVS只检测并传输场景中变化的位置。它采用像素内数据压缩，比传统相机更有效地编码视觉信息。这意味着可以使用更少的资源、更低的净功率和更快的系统反应时间来处理数据。高时间分辨率允许连续跟踪视觉特征，从而克服对应问题。此外，DVS的结构允许高动态范围和良好的弱光性能。

基于事件的视觉传感器(EBVS)通常是但不总是原始DVS体系结构的变体。作为一般规则，EBVS的像素至少在其像素的部分中异步操作，而不具有周期性采样率，并且一旦它们感知到亮度变化超过可调阈值，就发射所谓的DVS地址事件。在其他示例中，它们产生二值(或三值)图像。ON事件与亮度的增加超过阈值相关联；并且OFF事件与给定像素处亮度超过阈值的降低相关联。

发明内容

基于事件的视觉传感器像素将通常使用对数前端电路。前端像素电容(有时指定为Cm)通常是不可避免的寄生电容。因此，它们通常经历从光输入改变到事件生成的延迟。其他寄生电容也会影响延迟。通常，延迟与光电二极管中的电流成反比，并且与CM成正比。对于光电二极管上的固定电压，光电二极管中的电流与落在每个像素上的光强度成正比。结果，在不同照明的像素之间存在不同的延迟，并且这可能在数据的软件处理中造成困难，特别是当涉及诸如惯性测量单元(IMU)的其他传感器时。

本发明涉及均衡不同照明像素之间的延迟。

一般而言，根据一个方面，本发明的特征在于基于事件的像素传感器。它包括用于检测与照明变化相关联的事件的基于事件的像素阵列和用于均衡像素之间的延迟的一个或多个电路。

通常，延迟电路基于由对应像素接收的照明水平应用不同量的延迟。例如，可以基于由对应像素接收的照明的增加来增加延迟。

在一些示例中，延迟电路包括每个像素中的受控电容。

在其他示例中，延迟电路包括数字延迟电路或模拟延迟电路。

在其他示例中，延迟电路可以包括对从基于事件的像素阵列读出的事件数据应用延迟的延迟块。这里，可以基于从基于事件的像素阵列读出的灰度图像来控制延迟块。

一般而言，根据另一方面，本发明的特征在于一种基于事件的像素传感器的操作方法，该方法包括检测与基于事件的像素阵列中的照明变化相关联的事件，并均衡像素之间的延迟。

现在将参考附图更具体地描述并在权利要求中指出本发明的上述和其它特征，包括结构的各种新颖细节和部件的组合，以及其它优点。将理解，体现本发明的特定方法和装置是通过说明而不是作为本发明的限制来示出的。在不脱离本发明的范围的情况下，本发明的原理和特征可用于各种和许多实施例中。

附图说明

在附图中，参考字符指的是贯穿不同视图的相同部分。附图不一定是按比例绘制的；相反，重点放在说明本发明的原理上。附图中：

图1是示出最先进的基于事件的图像传感器的框图：传感器从光检测像素阵列生成与像素的照明变化相关联的数据(事件)，并将该数据发送到外部；通常，接收和保存数据的处理单元也是对相同数据进行精化的设备。

图2是示出基于事件的图像传感器的现有像素实现的状态的电路图，例如根据PCT/IB2017/058526(International Pub No.WO 2018/122798 Al，其全部内容通过本参考文献并入本文)和U.S.Pub.No.US 2018/0191972 Al，其全部内容通过本参考文献并入本文，或U.S.Pat.No.7,728,269B2，其全部内容通过本参考文献并入本文。

图3是示出具有寄生电容Cm的广泛使用的对数前端电路的示例的电路图。

图4、图5和图6是示出根据本发明的用于像素的前端电路的电路图。

图7和图8是示出根据本发明的具有延迟电路的像素的前端电路的电路图。

图9是示出示例性延迟电路的电路图。

图10是示出根据本发明的基于事件的像素阵列的示意图。

图11A、图11B和图11C是示出替代前端电路的示例的电路图。

具体实施方式

下面将参考附图更全面地描述本发明，其中示出本发明的说明性实施例。然而，本发明可以以许多不同的形式实施，并且不应被解释为限于本文所述的实施例；相反，提供这些实施例使得本公开将是彻底和完整的，并且将向本领域技术人员充分传达本发明的范围。

如在此所使用的，术语“和/或”包括一个或多个相关列出项目的任何和所有组合。此外，单数形式和“a”、“an”和“the”等条款的用意也包括复数形式，除非另有明确说明。将进一步理解，术语：包括、包含、包括和/或包含，当在本说明书中使用时，指定所述特征、整数、步骤、操作、元件和/或组件的存在，但不排除一个或多个其他特征、整数、步骤、操作、元件、组件和/或其组的存在或添加。此外，将理解，当包括组件或子系统的元件被指代和/或示出为连接或耦接到另一元件时，它可以直接连接或耦接到另一元件，或者可以存在中间元件。

应当理解，尽管这里使用诸如“第一”和“第二”的术语来描述各种元件，但这些元件不应受这些术语的限制。这些术语只是用来区分一个元件和另一个元件。因此，下面讨论的元件可以被称为第二元件，并且类似地，在不脱离本发明的教导的情况下，第二元件可以被称为第一元件。

除非另有定义，在此使用的所有术语(包括技术和科学术语)与本发明所属领域的普通技术人员通常理解的含义相同。将进一步理解，术语，例如在常用词典中定义的术语，应被解释为具有与其在相关技术上下文中的含义一致的含义，并且除非在此明确定义，否则不会被解释为理想化或过于正式的意义。

定义

基于事件的像素阵列(EBPA)是包含光敏器件和像素电路的像素阵列，其将光敏器件的输出信号作为输入；这些像素(组合光敏器件和像素电路)在空间和/或时间上彼此独立，根据它们被击中的光辐射的函数生成离散数据。

基于事件的视觉传感器(EBVS)是输出从EBPA提取和/或详细描述的数据的传感器。

读出电路(RO)：从基于事件的像素阵列EBPA中提取事件(或事件数据)的电路。

像素地址(k)：数字或数字列表，表示像素阵列中像素的位置。

存储器地址(m)：数字或数字列表，表示存储器中的一个位置，且可以用来访问存储器的位置以读取或写入数据。

当前水平

图1显示了基于事件的视觉传感器EBVS的最新技术。它包括像素电路100的基于事件的像素阵列EBPA、用于控制EBPA的控制器60、以及读取由阵列EBPA生成的事件并以事件数据流的形式将其输出到外部处理单元的读出电路RO。该数据流通常由将该数据保存在存储器中的处理单元PU(例如CPU、微控制器、数字信号处理器(DSP))接收，然后通常由最初接收数据的相同处理单元访问该存储器以执行数据细化。通常，从传感器EBVS接收的事件数据在被保存到存储器之前必须由处理单元PU详细说明，以将其转换为与存储器或与后续详细说明步骤兼容的格式。

事件数据通常是检测到光变化的像素100的像素地址的形式。这些像素地址中的每一个都以表示x-y坐标的两个数字的形式编码阵列中像素的位置。该事件数据被发送到处理设备PU。在某些情况下，在处理单元维护的存储器的像素地址和存储器地址之间存在显式(例如一对一)映射。

图2示出上述系统中的EBVS的EBPA的像素的示例。它取自PCT/IB2017/058526和U.S.Pub.No.2018/0191972，其全部内容通过本参考文献并入本文。然而，所提出的发明中的核心概念可以应用到几乎任何作为集成电路实现的基于事件的视觉传感器，而不依赖于所使用的任何特定像素架构，例如下面描述的特定像素架构。

像素电路的主要组件如下所示。

像素电路100的前端通常是模拟电路。前端包括光电二极管PD或其他光电传感器，用于测量撞击光9并将光强度转换为电流IPhoto；感光电路PRC，用于产生依赖于光强度的感光信号Vpr；以及存储器电容C1，用于存储过去的感光信号。

存储器电容C1接收感光信号Vpr，使得电容的第一极板携带响应于感光信号Vpr的电荷，并因此携带由光传感器PD接收的光，并且将前端连接到像素的后端BE，其在更数字化的域中工作。

存储器电容C1的第二极板连接到比较器A1的比较器节点(反相输入)。因此，比较器节点的电压Vdiff随感光信号Vpr的变化而变化。

比较器A1将当前感光信号Vpr和过去感光信号之间的差值与由控制器60提供的阈值进行比较，并且是事件检测器的一部分。该比较器A1可以在每个像素中，或者在像素的子集(例如，列)之间共享。在优选实施例中，比较器将与像素集成，其中每个像素具有专用比较器A1。

像素存储器50存储基于来自控制器60的采样信号的比较器输出。存储器可以是采样电路(例如，开关和寄生或显式电容)或数字存储器电路(锁存器或触发器)。在一个实施例中，存储器将是采样电路，并且每个像素将具有一个或两个一位存储器。

条件复位电路R1用于复位电压Vdiff。用于复位的条件是保持在存储器50中的被存储的比较器输出的状态和由控制器60应用的复位信号的组合。

在其它实现中，比较器A1和存储器50可以位于外围电路(像素电路外部)中。然而，控制器60(将阈值信号应用到比较器A1，将控制信号发送到存储器50，并选择条件复位电路R1变为有效的时间)通常仅位于外围电路中，以用公共阈值Vb和GlobalReset信号控制像素阵列EBPA的所有像素。

外围电路通常还包括读出电路RO，其读取存储器50的内容，确定给定像素的光强度是否增加、减少或不变，并将输出(从当前存储器值计算)发送到处理器。

像素电路100和控制器60如下操作。

由光传感器PD接收的光强度的变化将转化为感光信号Vpr的变化。当复位电路R1不导通时，Vpr的变化也将反映在比较器A1的反相输入端(-)的比较器节点处的电压Vdiff中。这是因为存储器电容C1两端的电压保持恒定。

在控制器60选择的时间，比较器A1将在存储器电容C1的第二端的比较器节点处的电压(Vdiff)与应用到比较器A1的非反相输入(+)的阈值电压Vb(来自控制器)进行比较。

控制器60操作像素存储器50以存储比较器输出Vcomp。存储器50典型地被实现为像素电路100的一部分，如图所示。然而，在其他实施例中，存储器50被实现为列逻辑电路(外围电路，像素阵列的每列一个)的一部分。

对于Off事件，Vdiff低于阈值Vb，比较器输出为高电平，且此电平存储在存储器中。这意味着检测到减少。

对于ON事件，较低的比较器输出意味着照明的增加。因此，读出RO必须知道存储器内容以及应用了哪个阈值。

如果保持在存储器50中的存储的比较器输出的状态指示光强度的变化，并且(AND)来自控制器60的全局复位信号GlobalReset信号是主动的，则条件复位电路R1导通。这里的“AND”表示逻辑AND运算符。在条件复位电路R1处于导通状态的情况下，比较器A1的反相输入端的比较器节点处的电压(Vdiff)被复位到已知电平。因此，它将当前感光信号Vpr存储在存储器电容C1上。

图3示出基于事件的视觉传感器像素的示例性前端。

更详细地说，感光电路PRC包括第一NMOS晶体管T1和第二NMOS晶体管T2。晶体管T2的栅极连接到晶体管T1的源极和光电二极管PD的阴极。晶体管T1的栅极连接到晶体管T2的漏极和偏置PMOS晶体管T3的漏极，且该节点也是后端BE的输出。

因此，这个前端通常经历从光输入改变到事件生成的延迟。电容Cm(通常是不可避免的寄生电容)是延迟的主要原因。然而，其他寄生电容也会影响延迟。

延迟与光电二极管PD中的电流成反比，与Cm成正比。

对于光电二极管PD上的固定电压，光电二极管中的电流与落在每个像素上的光强度成正比。

不同照明的像素之间的不同延迟，以及像较大系统的惯性测量单元(IMU)这样的其他传感器，会给处理数据的软件带来困难。

本方法涉及均衡不同照明像素之间的延迟。之所以采取这种做法，是因为延迟有物理原因且无法预防。

实现延迟均衡的一般途径有两种：

-在前端之后添加可变延迟，利用延迟电路的像素阵列，来自高照明像素的事件必须比中等照明像素延迟更长的时间。

-调整前端电路的带宽，以均衡每个像素中与电路的延迟。这意味着影响延迟的物理参数中的至少一个必须作为光强度的函数来调节。

图4示出具有延迟能力的感光电路PRC的实施例，该延迟能力直接控制像素中发生延迟的地方。

显式可变电容Cm被控制为光强度的函数。具体地说，像素控制电路PCC监视来自感光电路PRC的输出，且然后控制可变电容Cm的电容。

为了增加高照明场景中的延迟，必须增加Cm。在高照明下增加Cm的额外好处是电路更加稳定。

应当注意，对于这样的实施例，对于所有可能的照明值，延迟可能不一定是完全均衡的。照明可以在几个数量级上变化，并且很难实现可以在如此大的范围内变化的可变电容。这也适用于图5和图6所示的实施例。然而，即使是部分均衡也是非常有用的。

图5示出具有延迟能力的感光电路PRC的另一实施例，该延迟能力不是直接控制Cm，而是控制串联连接到Cm的电阻器(由MOSFET NMOS晶体管T4实现)。一般来说，这比直接控制Cm更容易实现。通过控制电路PCC控制晶体管T4的栅极电压，改变T4的漏源电阻。在这样的实施例中，对于高照明，T4的电阻应该是低的，这等于高栅极电压，而对于低照明，T4的电阻应该是高的，这等于T4上的低栅极电压。因此，T4上的栅极电压可以跟随PRC的输出电压Vpr(可能使用电平移位器或源极跟随器被放大和/或移位)。

图6示出结合了来自图4和图5的实施例的原理的具有延迟能力的感光电路PRC的另一实施例。根据照明水平，不同的帽电阻串联连接被启用。具体地说，两个MOSFET NMOS晶体管T5和T6串联连接到各自的电容Cm1、Cm2。像素控制电路PCC监视来自感光电路PRC的输出，然后通过开关晶体管T5和T6控制电容，以选择性地使能两个电容Cm1、Cm2。该电路也可以用两个以上的电容Cm来实现。

图7示出用数字延迟电路DL选择性地增加延迟的实施例。基于表示感光电路PRC的输出节点处的光强度的评估或读数来控制数字延迟电路DL。读数由模数转换器ADC产生，模数转换器ADC将感光电路PRC报告的光强度数字化。然后用检测到的强度来控制由数字延迟电路DL应用的延迟。

一种可能的实现包括当使用WIPO公开号WO2018/122800 A1和美国专利公开号US2018/0189959 A1中描述的像素时计数时间间隔。当超过阈值时，模数转换器(ADC)用来定义计数器的起始值。然后，当计数器达到零时，传递事件。

图8示出用模拟延迟电路ADL选择性地添加延迟的实施例。基于表示感光电路PRC的输出节点处的光强度的评估或读数来控制模拟数字延迟ADL。这是由模拟控制电路ACC执行的。

图9示出在图8的实施例中使用的模拟延迟电路ADL的示例。它采用了带电容的饥饿逆变器，这将增加从输入到输出的数字信号的延迟。通过改变偏置-电压BIAS，模拟控制电路ACC可以在较大范围内调节电路的延迟。

图10示出基于事件的像素阵列。它适用于像素电路是在U.S.Pub.No.US 2014/0326854 A1提出的情况，其全部内容通过本参考文献并入本文。它也适用于使用类似电路组合图像(灰度图像或彩色图像)和事件的阵列。

在每个像素位置处的图像值被用于添加作为强度值的函数的延迟。具体地，每个像素包括用于解析由每个像素接收并由其光电二极管PD检测的电平照明的电路GS。它可以是单色或彩色(RGB)或任何其他滤色器安排。另外，每个像素100还包括感光电路PRC和用于旋转ON和OFF事件的像素的后端BE。

更详细地，如前所述，由事件读出器RO读出基于事件的像素阵列EBPA中的事件。

此外，每个像素100的检测到的照明由图像读出GRO额外读出。这将产生存储在映射GM中的图像。然后由延迟映射电路DM使用该图像，该延迟映射电路DM计算或查找与每个像素的照明相关联的相应延迟。然后，延迟电路块DB以每像素为基础将该延迟应用到事件数据。

另一方面，如果使用PCT/IB2017/058526中提出的像素电路或使用类似电路，则传感器时间分辨率可以根据全局照明来调整。

图11A、图11B和图11C示出可与先前描述的实施例一起使用的替代前端电路的不同示例。

图11A示出具有额外PMOS反馈晶体管T6的感光电路PRC。

图11B示出具有另外两个晶体管T7和T8的感光电路PRC。

图11C示出具有PMOS反馈晶体管T8的感光电路PRC。

虽然参照本发明的优选实施例特别示出和描述了本发明，但本领域技术人员将理解，在不脱离所附权利要求所包含的本发明的范围的情况下，可以在形式和细节上进行各种改变。

Claims (16)

1.一种基于事件的像素传感器，包括：

基于事件的像素阵列，用于检测与照明变化相关联的事件；以及

均衡像素之间的延迟的一个或多个电路。

2.根据权利要求1所述的系统传感器，其中，所述一个或多个电路基于由对应像素接收的照明水平应用不同量的延迟。

3.根据权利要求1至2中任一项所述的系统传感器，其中，所述一个或多个电路基于由所述对应像素接收的照明的增加来增加延迟。

4.根据权利要求1至3中任一项所述的系统传感器，其中，所述一个或多个电路包括在所述像素中的每个像素中的受控电容。

5.根据权利要求1至3中任一项所述的系统传感器，其中，所述一个或多个电路包括数字延迟电路。

6.根据权利要求1至3中任一项所述的系统传感器，其中，所述一个或多个电路包括模拟延迟电路。

7.根据权利要求1至3中任一项所述的系统传感器，其中，所述一个或多个电路包括对从所述基于事件的像素阵列读出的事件数据应用延迟的延迟块。

8.根据权利要求7所述的系统传感器，其中，基于从所述基于事件的像素阵列读出的图像来控制所述延迟块。

9.一种基于事件的像素传感器的操作的方法，所述方法包括：

检测与基于事件的像素阵列中的照明变化相关联的事件；以及

控制像素之间的延迟。

10.根据权利要求9所述的方法传感器，还包括基于由对应像素接收的照明水平应用不同量的延迟。

11.根据权利要求9至10中任一项所述的方法，还包括为由所述对应像素接收的照明的增加来增加延迟。

12.根据权利要求9至11中任一项所述的方法，还包括控制所述像素中的每个像素中的电容以控制延迟。

13.根据权利要求9至11中任一项所述的方法，还包括用数字延迟电路控制延迟。

14.根据权利要求9至11中任一项所述的方法，还包括用模拟延迟电路控制延迟。

15.根据权利要求9至11中任一项所述的方法，还包括用延迟块控制延迟，所述延迟块将延迟应用到从所述基于事件的像素阵列读出的事件数据。

16.根据权利要求15所述的方法，其中，基于从所述基于事件的像素阵列读出的灰度图像来控制所述延迟块。

Images