CN113424516A - 处理从基于事件的光传感器的像素阵列异步地接收的一系列事件的方法 - Google Patents

Abstract

处理从基于事件的光传感器的像素阵列异步地接收的一系列事件的方法。所述系列中的每一事件包括从其接收所述事件的所述阵列中的像素的地址，以及取决于由所述像素感测到的入射光的属性值。所述方法包括：将数据结构存储于第一存储器中，所述数据结构包含用于所述阵列的至少一些所述像素的事件数据，用于像素的所述事件数据与最近从所述像素接收的至少一个事件相关；在时隙期间，当接收到所述系列中的所述事件时在具有比所述第一存储器更快访问的第二存储器中构建所述阵列中的所述像素的映射，所述映射包含用于所述阵列的每个像素的信息元素，所述信息元素具有多个值中的一个，包含指示在所述时隙期间不存在事件的零值；以及使用所述映射在所述时隙之后更新所述数据结构。

Description

处理从基于事件的光传感器的像素阵列异步地接收的一系列 事件的方法

技术领域

本发明涉及机器视觉，尤其涉及处理从基于事件的光传感器的像素阵列异步地接收的一系列事件的方法。

背景技术

机器视觉是包含用于获取、处理、分析和理解图像以供在例如以下多种类型的应用中使用的方法的领域：安全应用(例如，监控、入侵检测、对象检测、面部辨识等)、环境用途应用(例如，照明控制)、对象检测和跟踪应用、自动检查、过程控制和机器人引导等。因此，机器视觉可以与许多不同系统集成。

在本领域中，上述应用通过使用基于帧的图像传感器实现，所述基于帧的图像传感器从场景中依序获取每个传感器元件(像素)或每个像素线/列的视觉信息，或以各种模式获取像素平行，但总是以某一有限帧速率进行时间采样的视觉信息。因此，基于帧的图像传感器在许多应用中具有限制，例如在呈现快速运动和立体匹配中。

已经开发基于事件的传感器来克服基于帧的图像传感器的局限性。代替以所有像素同时的方式捕获图像且试图补偿伪影和抑制信息，基于事件的图像传感器获取由每一像素从由传感器观察到的场景感测到的时间明度特征曲线。基于事件的传感器可以捕获由于由像素个别地获取的信息的高时间分辨率而引起的视觉场景中的快速改变的信息。在论文Posch,C.、Serrano-Gotarredona,T.、Linares-Barranco,B.和Delbruck,T.(2014年)，“视网膜形态基于事件的视觉传感器：具有尖峰信号输出的生物激发相机(Retinomorphicevent-based vision sensors:bioinspired cameras with spiking output)”(IEEE会刊，102(10)，1470-1484)中论述此基于事件的机器视觉技术的更多细节。

由于基于事件的传感器输出异步事件，因此需要时间流的一些表示来实现各种应用。此种表示可能与常规相机中使用的“帧”不相同。

一般来说，对于传感器的每个像素，存储关于在时间窗期间从像素接收的一个或多个事件的一些数据。此类数据可以包含直方图数据，即在时间窗期间从像素接收到多少事件、从像素接收到的最新事件的时间戳等。数据可以存储在两个通道中以区分正或负极性的事件，即指示由像素感测的光强度增加或减小。可以存储更复杂的数据类型，例如在“EV-SegNet：用于基于事件的相机的语义分段”，I.Alonso和A.C.Murillo,arXiv：1811.12039v1，2018年11月29日中公开的数据类型。

因此从事件流导出的数据结构可以对事件之间的空间关系进行编码，因为所述数据结构可以使用像素地址来访问。所述数据结构通常存储于与处理传入事件流的处理器相关联的RAM(随机存取存储器)中。处理器从阵列中空间上不相关的像素按时间顺序接收事件。这表示每当接收到事件时访问RAM，这样会消耗大量处理资源。无法方便地使用例如高速缓存的本地存储器方案。

需要一种新方法来处理基于事件的数据以改进使用计算资源的效率，尤其关于存储器访问的效率。

发明内容

提出一种处理从基于事件的光传感器的像素阵列异步地接收的一系列事件的方法。所述系列中的每一事件包括从其接收事件的阵列中的像素的地址，以及取决于由所述像素感测到的入射光的属性值。所述方法包括：

存储数据结构，所述数据结构包含用于阵列的至少一些像素的事件数据，用于像素的事件数据与最近从所述像素接收的至少一个事件相关；

在时隙期间，当接收到系列中的事件时构建阵列中的像素的映射，所述映射包含用于阵列的每个像素的信息元素，所述信息元素具有多个值中的一个，包含指示在所述时隙期间不存在事件的零值；以及

使用所述映射在所述时隙之后更新数据结构。

在时隙中对事件进行分组具有去除群组内的任何时间顺序的基本益处。因此，它允许使用更方便的排序来满足计算和架构需求。

通常，时隙相对较短，例如，小于2毫秒。一旦所述时隙结束，映射就用于更新数据结构。由于用于映射和数据结构两者的寻址方案基于像素位置(不按事件的时间顺序)，因此可以使用与负责执行所述方法的处理器相关的合适存储器架构有效地进行更新。访问存储数据结构的存储器区以分批进行更新。即使时隙较短，也大幅度减少存储器访问的数目。

通常，数据结构存储于第一存储器中，并且在具有比第一存储器更快访问的第二存储器中构建映射。

例如，构建映射的存储器可以是本地存储器，而数据结构存储于全局存储器中。本地存储器还可以称为1级(L1)存储器或片上存储器。在一个可能实施例中，全局存储器是随机存取存储器、RAM、存储器并且本地存储器是高速缓存存储器。

非限制性地，使用映射在时隙之后更新数据结构可以包括以光栅扫描次序访问所存储的数据结构。

时隙可以具有基于从像素阵列接收的事件调适的其持续时间。

在实施例中，使用映射在时隙之后更新数据结构包括改变每个像素的事件数据，其中映射具有带有除了零值之外的值的信息元素。

例如，改变像素的事件数据可以包括通过参考针对时隙定义的时间戳来设置像素的事件数据。在这种情况下，由于忽略时隙内的事件定时变化，因此会损失一些时间精度。然而，如果适当地选择时隙持续时间，则不会对应用有害。参考针对时隙定义的时间戳具有减少事件时间戳上的噪声的有利效果

在实施例中，在时隙期间构建映射包括：

通过用于阵列中的所有像素的信息元素的零值初始化映射；

在时隙期间从其中包含在映射中的信息元素具有零值的像素接收事件后，基于所接收事件的属性值设置包含在所述像素的映射中的信息元素的值；以及

当时隙结束时，输出映射。

在时隙期间构建映射可以进一步包括：在时隙期间从其中包含在映射中的信息元素具有除了零值之外的值的像素接收事件后，基于所接收事件的属性值设置包含在所述像素的映射中的信息元素的值。

如果从阵列中的像素接收的事件的属性值包括事件的极性，其在由所述像素感测到的光增加时具有第一值，例如+1以及在由所述像素感测到的光减少时具有第二值，例如-1，则在时隙期间从其接收事件的像素的映射中所包含的信息元素可以包括所述事件的极性。

如果从阵列中的像素接收的事件的属性值包括由所述像素感测到的光强度量度，则在时隙期间从其接收事件的像素的映射中所包含的信息元素可以包括取决于所述事件的光强度量度的元素。

本发明的另一方面涉及一种用于耦合到基于事件的光传感器的像素阵列的处理器。所述处理器被配置成实施如上定义的方法，以处理从像素阵列异步地接收的一系列事件。

本发明的另一方面涉及一种场景的3D重构的方法。所述方法包括：

在空间上分离的位置处将至少第一和第二基于事件的光传感器放置在场景前方，所述第一基于事件的光传感器具有提供第一系列事件的像素阵列，并且所述第二基于事件的光传感器具有提供第二系列事件的像素阵列；

通过如上定义的方法处理第一和第二系列事件中的每一个，以分别获得第一和第二数据结构；以及

使用第一和第二数据结构对分别从第一和第二基于事件的光传感器接收的事件对进行立体匹配。

附图说明

参考附图，将在下文的描述中显现本发明的其它特征和优点，其中：

图1是适于本发明的实施方案的装置的框图；

图2是根据本发明的说明性方法的流程图；以及

图3是根据本发明的立体处理方法的流程图。

具体实施方式

图1中所示的设备包括基于事件的异步视觉传感器10，其朝向场景放置且通过包括一个或若干透镜的获取光学件15从场景接收光。传感器10放置于获取光学件15的图像平面中。所述传感器包括组织成像素的矩阵的感测元件(例如，光敏元件)的阵列。对应于像素的每一感测元件取决于场景中光的变化产生连续事件。

处理器12处理源自传感器10的信息，即，例如从各个像素异步地接收的事件的序列。其可通过使用合适的编程语言编程来实施。使用专用逻辑电路(ASIC、FPGA、...)的处理器12的硬件实施方案也是可能的。

设备进一步包括至少第一存储器16和第二存储器18，在图1中所示的说明性实例中，所述第一和第二存储器分别是通过总线耦合到处理器芯片的RAM 16以及根据高速缓存方案由处理器12管理的片上存储器区域18。处理器12的中央处理单元(CPU)可以以不同速度访问两个存储器16、18，即访问第二存储器18比访问第一存储器16更快。应了解，在本发明的上下文中，其它存储器架构和技术是可能的。例如，两个存储器16、18可以在处理器芯片外部。或者，所述存储器都可以是同一处理器芯片的一部分。

下文称为RAM(非限制性地)的第一存储器16用于存储将由处理器12写入和/或读取的相对大量数据。下文称为高速缓存存储器(非限制性地)的第二存储器18临时地存储更有限数量的数据，处理器12需要更快地访问这些数据。由于其性能和成本，它通常具有比RAM 16更小的存储大小。

图1中所示的处理器12以及存储器与基于事件的传感器10分开体现。替代性架构是可能的。具体来说，图2所说明的处理的部分或全部可以在片上架构中在与基于事件的传感器10相同的组件中执行。也有可能在依序或并行操作的多于一个处理器之间拆分任务。

对于每一感测元件(即，像素)，传感器10取决于由像素从在传感器的视觉场中出现的场景接收的光的变化生成基于事件的信号序列。

异步传感器10执行获取以输出信号，所述信号对于每一像素可以呈到达激活阈值Q的一系列时刻t_k(k＝0、1、2、...)的形式。每当此明度从其在时间t_k处开始增加了等于激活阈值Q的量时，识别新时刻t_k+1且在此时刻t_k+1处发射尖峰信号。对称地，每当由像素观察到的明度从其在时间t_k处开始减小了量Q时，识别新时刻t_k+1且在此时刻t_k+1处发射尖峰信号。像素的信号序列包含取决于像素的光特征曲线在时刻t_k处随时间定位的一系列尖峰信号。非限制性地，传感器10的输出然后呈地址-事件表示(AER)的形式。此外，信号序列通常包含对应于入射光的变化的明度属性。

激活阈值Q可以是固定的，或可以根据明度来调适。例如，所述阈值当被超出时可以与用于生成事件的明度的对数的变化进行比较。

借助于实例，传感器10可以是P.Lichtsteiner等人在“128×128 120dB 15μs时延异步时间对比度视觉传感器(128×128 120dB 15μs Latency Asynchronous TemporalContrast Vision Sensor)”(IEEE固态电路期刊，第43卷、第2期，2008年2月，第566-576页)或专利申请US 2008/0135731 Al中描述的类型的动态视觉传感器(DVS)。视网膜的动力学(动作电位之间的最小持续时间)可以用此类型的DVS来处理。动态行为超出具有有限采样频率的常规视频相机的动态行为。当DVS用作基于事件的传感器10时，关于源自像素的事件的数据包含像素的地址、事件的发生时间和对应于事件的极性的明度属性，例如，如果明度增加则+1，且如果明度减小则-1。

可以在本发明的上下文中有利地使用的异步传感器10的另一实例是异步基于时间的图像传感器(ATIS)，其描述在C.Posch等人的论文“具有无损像素层级视频压缩和时域CDS的QVGA 143dB动态范围帧自由PWM图像传感器(A QVGA 143dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS)”(IEEE固态电路期刊，第46卷，第1期，2011年1月，第259-275页)中给出。当ATIS用作基于事件的传感器10时，关于源自像素的事件的数据包含像素的地址、事件的发生时间和对应于绝对明度的估计值的明度属性。每一事件的极性也可以由ATIS输出。

本文所公开的处理方法利用存储于第一存储器或RAM 16中的数据结构，所述数据结构包含用于传感器10的阵列中的部分或全部像素的事件数据。

对于给定像素，事件数据与最新事件相关。所述事件数据还可以与最近从所述像素接收的多个事件相关。例如，事件数据可以与来自像素的N个最新事件相关，其中N是固定正整数。事件数据可以与在当前时间结束的固定持续时间T的窗口内从像素接收的任何事件相关。根据由阵列产生的事件，参数T可以是局部地或全局地固定的(例如T＝10毫秒，作为示例)或自适应的。参数T可以针对像素阵列的不同区是不同的，以便根据由跨阵列的像素感测到的入射光可变。

因此，在任何时间点，数据结构跟踪最新事件，所述最新事件可以用于利用基于事件的传感器的信号处理应用。

借助于实例，数据结构可以含有形成具有表达为索引i的地址和阵列中的坐标(x_i,y_i)的像素的事件数据的以下项中的一个或多个：

-从阵列中的地址i接收的每个最新事件ev(i,t_i)的时间戳t_i；

-与地址i处的像素相关联的明度值L_i。在ATIS类型的传感器等的情况下，明度值L_i对于来自传感器的信号流中的最新事件ev(i,t_i)可用；

-源自地址i处的像素的每个最新事件ev(i,t_i)的极性p_i。极性p_i通常对于来自传感器的信号流中的事件ev(i,t_i)可用；

-使用最近从所述像素接收的事件ev(i,t_i)针对地址i处的像素估计的闪烁频率。可以例如使用如第18305063.2号欧洲专利申请中公开的方法来估计此频率信息；

-使用最近从所述像素以及其邻域接收的事件ev(i,t_i)针对地址i处的像素在位置(x_i,y_i)处估计的视觉流数据。此视觉流数据值可以例如使用如WO 2013/093378 A1中所公开的方法估计；

-针对源自地址i处的像素的每个最新事件ev(i,t_i)估计的深度值。深度值还可以表达为立体视差值。其可以从来自从不同角度观察场景的两个或更多个基于事件的传感器的信号流获得；

-与源自地址i处的像素的最新事件ev(i,ti)被视为属于的事件集群相关联的集群ID；

-表示上述时间窗的持续时间的上述参数T，如果允许所述参数T从阵列的一个像素变化到另一像素。

代替将从地址i接收的事件ev(i,t_i)的时间戳t_i直接存储在阵列中，一种可能性是将t_i的函数包含在事件数据中，例如：

σ(i)＝f(t_i,t_cur)，其中f是函数且t_cur是当前时间。函数f可以是参数为τ的指数衰减，并且以上公式接着变成：

σ(i)＝exp[-(t_cur-t_i)/τ]

或者，函数f可以是：

σ(i)＝t_i如果t_cur≤t_i+τ，以及

σ(i)＝(t_cur-τ)如果t_cur>t_i+τ(表示没有来自像素i的最新事件)。

事件数据的一些项目直接连接至一个事件，例如时间戳t_i、极性p_i、明度值L_i(如果对于事件可用)、深度值、群集ID。基于将与像素位置i相关联的最新事件，例如闪烁频率、视觉流数据等计算其它任选项目。一般来说，这些其它项目的计算不需要与由基于事件的传感器10允许的时间动态一样快。其更新频率取决于应用。

应了解，其它种类的信息可以包含在数据结构中，这取决于由基于事件的传感器自身提供的功能性和/或对基于事件的信号流执行的处理。数据结构的内容还可以取决于利用当前方法的应用来调适。

此外，数据结构可以组织在两个通道中，一个用于正极性，其中针对正极性的最新事件存储时间戳t_i，并且一个用于负极性，其中针对负极性的最新事件存储时间戳t_i。

在实例中，图2示出方法的流程图，所述方法可以由处理器12执行以处理从基于事件的光传感器10的像素阵列异步地接收的一系列事件。

在此方法中，参考具有固定持续时间Δt的连续时隙。时隙由整数索引k(k＝1、2、3、...)表示。在每个时隙中，鉴于更新存储于数据结构中的事件数据而构建映射。

在图2的实例中，映射由两个通道组成并且产生为两个相应位图，一个{M₊(i)}用于正极性的事件且一个{M_-(i)}用于负极性的事件。在时隙结束时，如果在时隙期间没有从地址i处的像素接收到正极性的事件，则M₊(i)＝0，并且否则M₊(i)＝1，并且如果在时隙期间没有从地址i处的像素接收到负极性的事件，则M_-(i)＝0，并且否则M_-(i)＝1。映射{(M₊(i),M-(i))}然后可以用于在时隙之后更新事件数据。在时隙期间不具有事件的像素位置i处的映射的信息元素(M₊(i),M_-(i))具有零值(M₊(i),M_-(i))＝(0,0)。

时隙的持续时间Δt可以被视为(非限制性地)最大时间间隔，使得在间隔内的同一像素处发生的两个事件无法与计算视角区分。持续时间Δt然后取决于传感器的特征(例如，抖动、噪声等)，并且还取决于用于利用数据结构的后续应用的信号处理算法的特征。增加Δt会导致时间精度的一些损失，但使用更少计算资源，且反之亦然。Δt的典型范围在250μs与2ms之间。

关于Δt的值的一个有趣选项是使其自适应，即在通过某一函数对过去接收到的数据处理期间改变所述值。这可以使用布尔函数f(E)＝真/假来描述，其中E是在当前时隙中迄今接收到的事件的集合，并且真/假指示当前时隙是否结束且应开始新的时隙。在持续时间Δt的固定时隙的情况下，f(E)可以被定义为f(E)＝last_event_time-prev_timeslot_last_time>Δt。在自适应情况的实例中，函数f(E)关于固定数目个事件N定义时隙，即f(E)＝number_of_events_received_since_start_timeslot≥N。在其它实施例中，函数f(E)可以对具有一些权重的事件进行计数，从而为像素阵列的一些区域(例如，中心)提供更多重要性。所述函数还可以通过使用机器学习算法习得。

映射{(M₊(i),M_-(i))}具有中等大小，并且因此其可以由处理器12生成，而无需访问RAM 16，但是通过利用高速缓存存储器18(或某一其它更本地和/或更快类型的存储器)。

在图2中，步骤20对应于时隙k的开始，此时对于全部像素i，将映射{(M₊(i),M_-(i))}初始化为(M₊(i),M_-(i))＝(0,0)。在实施例中，时隙k的开始是在时间k×Δt，即时隙在无中断的情况下彼此跟随。或者，可以通过在时隙k-1结束之后从像素阵列接收第一事件来触发时隙k的开始。

在进行中的时隙k(在图2的图示中的测试21处检查自步骤20以来是否已经过Δt)中，取决于在测试23处检查的事件的极性，在步骤22处从像素位置i接收的每个事件导致将值1设置成M_-(i)(负极性，步骤24)或M₊(i)(正极性，步骤25)。当在步骤21处检测到时隙结束时，输出时隙k的映射{(M₊(i),M_-(i))}，即其在高速缓存存储器18中可用于下一步骤26。

在步骤24或25处，可以仅当M_±(i)值先前为0时才执行写入操作M_±(i)＝1。这不会改变所得映射，因为所述方法不会在时隙内接收到的两个相同极性的事件之间产生任何差异。

在时隙结束之后，处理器12继续在像素位置i处更新数据结构的事件数据，其中映射的信息元素不具有零值，即(M₊(i),M_-(i))≠(0,0)。通过将时隙索引k用作与每个像素位置i相关联的新时间戳t_i而在步骤26处完成更新，其中M₊(i)＝1或M_-(i)＝1。

将时隙索引k用作时间戳会减小在接收事件时的时间分辨率。然而，如果鉴于利用存储于RAM 16中的数据结构的应用选择足够小的时隙持续时间Δt，则在减小的时间分辨率中不存在缺点。可以通过将离散时隙索引k用作时间戳来补偿导致噪声和抖动的像素阵列的操作中的固有波动。

可以通过以下方式分批地执行更新26：从RAM 16连续地访问数据结构的空间区域，将每一区域的事件数据读取到高速缓存存储器18中，如果M_-(i)＝1，则将时间戳t_i＝k写入负极性通道中且如果M₊(i)＝1，则将时间戳t_i＝k写入正极性通道中，以及将区域的更新的事件数据写回RAM 16。这比每当接收到事件时访问RAM 16高效得多。

在仅将每个极性的最新事件的时间戳存储为像素i的事件数据的简单情况下，更新26仅在于将t_i＝k写入相关极性通道中。如果在用于像素i和给定极性的数据结构中存储多于一个事件，则写入新的时间戳t_i＝k且以FIFO方式移位用于同一像素的任何先前时间戳。

在上述实施例中，用于像素i的事件数据由两个位M₊(i)、M_-(i)组成。如果每像素多于两个位在高速缓存存储的映射中可用，则可以在接收事件时对更多信息进行编码。

例如，在ATIS光传感器与每个事件一起提供明度值L_i的情况下，明度值或其子采样版本可以在步骤24或25处存储于映射中。这可以使事件数据维持用于每个像素的明度的当前值。

对于某些应用，对于给定像素，在映射的信息元素中仅具有一位可能就足够，这指示在时隙期间是否从所述像素接收到事件，而不管事件极性如何。

存在使用存储于高速缓存存储器18中的映射维持RAM 16中的事件数据的上述方法的多个应用。

图3说明基于两个基于事件的传感器的对3D立体处理的应用的实例。此应用利用在空间上分离的位置处放置于场景前方的至少两个基于事件的光传感器10。此处，基于事件的光传感器10中的一个称为左相机，并且另一个称为右相机。

左相机产生根据例如参考图2描述的方法的方法处理的第一系列事件。将相同方法应用于由右相机产生的第二系列事件。时间轴分成时隙k，并且对于每个时隙，在可以对应于图2中所示的步骤20到25的阶段31和32中从事件系列的第一和第二流中的每一个产生相应映射。两个映射随后用于步骤33和34(对应于图2的步骤26)以获得左相机的第一数据结构和右相机的第二数据结构。

然后，在步骤35处，处理器12使用在步骤33、34处更新的第一和第二数据结构对来自两个相机的事件对执行立体匹配。

如在第9,628 777B2号美国专利以及WO 2016/146938 A1中公开的立体匹配方法可以用于步骤35中。在这些方法中，考虑来自两个相机中的一个的事件，并且对于来自给定像素的这些事件中的每一个，沿着与另一相机的阵列中的像素相对应的极线检查候选事件。对于每个候选事件，如果满足标准(例如，在阈值内的度量)，则计算度量并且根据度量用最佳候选验证匹配。

使用针对连续时隙计算的映射还在立体匹配步骤35的实施例中提供优点。在每个时隙之后，对于两个相机仅需要考虑其信息元素不具有零值的像素，因为预期匹配事件是同时的。考虑类似于同步噪声、抖动和场景动态的因素，来自两个传感器的“同时”事件的概念由在同一时隙内或在有限数目的连续时隙内接收的事件覆盖，这会限制所需的存储访问数。如果用于立体匹配的度量需要从数据结构恢复事件数据，则可以通过安置在极线周围的像素群组从RAM 16检索事件数据并且可以分批地执行匹配，同时限制RAM存储器访问。

一旦完成立体匹配，就可以将深度值分配给在最后时隙中接收到事件的像素，并且此类深度值可以存储在RAM 16中的数据结构中以提供事件的3D定位。

应用的另一可能实例是使用基于事件的传感器标记连接分量。由本发明获得的数据结构可以用于将事件集群成连接分量，以便提取并分段图像或场景中的所涉及对象以用于对象检测和跟踪。已在欧洲专利申请、EP 19154401.4中论述此应用的示例行实例。

上述方法可以使用非暂时性计算机可读介质中记录的程序指令来实施，以实施可以由计算机执行的各种操作。所述介质还可以单独地或与程序指令组合包含数据文件、数据结构等。介质上记录的程序指令可以是出于说明性实施例的目的专门设计和构造的程序指令，或者它们可以是众所周知的种类且可为计算机软件领域的技术人员所用。非暂时性计算机可读介质的实例包含磁性介质，例如硬盘、软盘和磁带；光学介质，例如CD ROM盘和DVD；磁光介质，例如光盘；以及硬件装置，其专门被配置成存储和执行程序指令，例如只读存储器(ROM)、随机存取存储器(RAM)、快闪存储器等。程序指令的实例包含例如由编译程序产生的代码等机器代码和含有计算机可以使用解译程序执行的更高级代码的文件两者。所描述的硬件装置可以被配置成作为整体操作。

本发明的实施方案可以用于许多应用中，包含人机交互(例如，手势、语音、姿态、面部的辨识和/或其它应用)、控制过程(例如，工业机器人、自主和其它车辆)、跟随一组关注点或对象(例如，车辆或人)在视觉场景中和相对于图像平面的移动、扩增现实应用、虚拟现实应用、访问控制(例如，基于手势开门、基于被授权人的检测而打开进入的路)、检测事件(例如，用于视觉监控或人或动物)、计数、跟踪等。所属领域的一般技术人员鉴于本公开将认识到存在大量的其它应用。

上文描述的实施例是本发明的说明。可以对其作出各种修改，而不脱离源于所附权利要求书的本发明的范围。

Claims (15)

1.一种处理从基于事件的光传感器(10)的像素阵列异步地接收的一系列事件的方法，

其中，所述系列中的每一事件包括从其接收所述事件的所述阵列中的像素的地址，以及取决于由所述像素感测到的入射光的属性值，

所述方法包括：

存储数据结构，所述数据结构包括用于所述阵列的至少一些所述像素的事件数据，用于像素的所述事件数据与最近从所述像素接收的至少一个事件相关；

在时隙期间，当接收到所述系列中的所述事件时构建所述阵列中的所述像素的映射，所述映射包括用于所述阵列的每个像素的信息元素，所述信息元素具有多个值中的一个，包含指示在所述时隙期间不存在事件的零值；以及

使用所述映射在所述时隙之后更新所述数据结构。

2.根据权利要求1所述的方法，其特征在于，所述数据结构存储于第一存储器(16)中，并且在具有比所述第一存储器(16)更快访问的第二存储器(18)中构建所述映射。

3.根据前述权利要求中任一项所述的方法，其特征在于，所述数据结构存储于全局存储器(16)中并且在本地存储器(18)中构建所述映射。

4.根据权利要求3所述的方法，其特征在于，所述全局存储器(16)是随机存取存储器、RAM、存储器，而所述本地存储器(18)是高速缓存存储器。

5.根据前述权利要求中任一项所述的方法，其特征在于，使用所述映射在所述时隙之后更新所述数据结构，包括以光栅扫描次序访问所述所存储数据结构。

6.根据前述权利要求中任一项所述的方法，其特征在于，所述时隙为至多2毫秒长。

7.根据前述权利要求中任一项所述的方法，其特征在于，所述时隙具有持续时间，所述持续时间基于从像素阵列接收的事件而调适。

8.根据前述权利要求中任一项所述的方法，其特征在于，使用所述映射在所述时隙之后更新所述数据结构包括改变每个像素的所述事件数据，其中，所述映射具有带有除了所述零值之外的值的信息元素。

9.根据权利要求7所述的方法，其特征在于，改变像素的所述事件数据包括通过参考针对所述时隙定义的时间戳来设置所述像素的事件数据。

10.根据前述权利要求中任一项所述的方法，其特征在于，在时隙期间构建所述映射包括：

通过用于所述阵列中的所有所述像素的所述信息元素的所述零值初始化所述映射；

在所述时隙期间从其中包含在所述映射中的所述信息元素具有所述零值的像素接收事件后，基于所接收事件的所述属性值设置包含在所述像素的所述映射中的所述信息元素的所述值；以及

当所述时隙结束时，输出所述映射。

11.根据权利要求10所述的方法，其特征在于，在时隙期间构建所述映射进一步包括：在所述时隙期间从其中包含在所述映射中的所述信息元素具有除了所述零值之外的值的像素接收事件后，基于所接收事件的所述属性值设置包含在所述像素的所述映射中的所述信息元素的所述值。

12.根据前述权利要求中任一项所述的方法，其特征在于，从所述阵列的像素接收的事件的所述属性值包括所述事件的极性，其在由所述像素感测到的光增加时具有第一值以及在由所述像素感测到的光减少时具有第二值，以及

其中，在所述时隙期间从其接收事件的像素的所述映射中所包含的所述信息元素包括所述事件的所述极性。

13.根据前述权利要求中任一项所述的方法，其特征在于，从所述阵列的像素接收的事件的所述属性值包括由所述像素感测到的光强度量度，以及

其中，在所述时隙期间从其接收事件的像素的所述映射中所包含的所述信息元素包括取决于所述事件的所述光强度量度的元素。

14.一种用于耦合到基于事件的光传感器的像素阵列的处理器，其中，所述处理器(12)被配置成实施根据前述权利要求中任一项所述的方法，以处理从所述像素阵列异步地接收的一系列事件。

15.一种场景的3D重构方法，所述方法包括：

在空间上分离的位置处将至少第一和第二基于事件的光传感器(10)放置在场景前方，所述第一基于事件的光传感器具有提供第一系列事件的像素阵列，并且所述第二基于事件的光传感器具有提供第二系列事件的像素阵列；

通过根据权利要求1至13中任一项所述的方法处理所述第一和第二系列事件中的每一个，以分别获得第一和第二数据结构；以及

使用所述第一和第二数据结构对分别从所述第一和第二基于事件的光传感器接收的事件对进行立体匹配。

Images