CN116114262A - 事件传感设备及方法 - Google Patents

Abstract

本发明涉及一种事件相机传感器。为此，本发明提出了一种包括多个像素传感器的事件传感设备，其中，一个或多个阈值与所述多个像素传感器中的每个像素传感器相关联。每个像素传感器用于：检测所述像素传感器处入射光的强度的时间依赖性变化；如果所述强度的时间依赖性变化超过与所述像素传感器相关联的一个或多个阈值中的任何一个阈值，则生成事件，其中，每个事件与时间戳和阈值相关联；生成一个或多个事件流，每个事件流包括与相同阈值相关联的多个所述事件。所述事件传感设备还用于从所述多个像素传感器基于多个阈值生成的多个事件流重建多个独立强度信号。

Description

事件传感设备及方法

技术领域

本发明大体上涉及数据处理，更具体地，涉及基于事件的相机的图像处理。本发明提出了一种用于感测事件的设备和方法，其中，所述设备和方法可用于基于事件的相机中的图像处理。

背景技术

基于事件的相机使用各种类型的传感器，这些传感器对入射光强度的变化做出响应。在标准相机中，每个像素以固定速率捕获入射光量，相比之下，基于事件的相机是异步的，只有当检测到入射光强度的变化时，基于事件的相机的像素才会激活。因此，这种相机的输出数据速率是可变的。当入射光强度没有变化时，也没有激活的像素，因此相机不会生成数据。例如，在移动对象的情况下，捕获对象强度的像素将生成事件(由像素感测到的入射光的变化触发)。基于事件的相机传感器的像素通常捕获入射光强度的对数，然后在附加的传感器电路中对该对数进一步处理。

通常，事件是基于灵敏度阈值在像素中生成的。对于无噪声情况(即，干净的对数强度信号)，较小的灵敏度阈值是最佳选择。但是，对于现实世界的噪声情况，如何选择适当的灵敏度阈值并不容易。

发明内容

鉴于上述限制，本发明的实施例旨在引入一种从事件获得高质量(即，极高信噪比)重建的对数强度信号的方法。具体地，目标是使用更准确的灵敏度阈值。一个目的是启用重建强度信号的更多数量的时间样本，同时保持较低的噪声水平。

通过所附独立权利要求中提供的实施例实现所述目的。这些实施例的有利实现方式在从属权利要求中进一步定义。

本发明的第一方面提供了一种事件传感设备，其中，所述事件传感设备包括一个或多个像素传感器，其中，一个或多个阈值与所述一个或多个像素传感器中的每个像素传感器相关联，并且每个像素传感器用于：检测所述像素传感器处入射光的强度的时间依赖性变化；如果所述强度的时间依赖性变化超过与所述像素传感器相关联的所述一个或多个阈值中的任何一个阈值，则生成事件，其中，每个事件与时间戳和阈值相关联；生成一个或多个事件流，每个事件流包括与相同阈值相关联的多个所述事件；其中，所述事件传感设备还用于：从所述一个或多个像素传感器基于多个阈值生成的多个事件流重建多个独立强度信号。

第一方面的设备能够从基于多个不同灵敏度阈值生成的事件流重建高质量强度信号。因此，灵敏度阈值可以更准确。与每个像素传感器使用单个灵敏度阈值的传统方案相比，第一方面的设备能够为重建强度帧提供更多数量的时间样本，同时保持低噪声水平。

在第一方面的一种实现方式中，所述强度的时间依赖性变化包括所述强度从一个时间点到连续时间点的变化。

在第一方面的一种实现方式中，每个像素传感器包括一对或多对差分器和比较器，每个差分器用于计算所述入射光的所述强度的所述时间依赖性变化，每个比较器用于：如果所述强度的时间依赖性变化超过预定阈值，则生成事件，并用于生成事件流。

传统上，像素传感器包括一个差分器和一个比较器。差分器计算对数强度的当前值与先前值之间的差值。当差值大于正阈值Th(也称为灵敏度)时，比较器生成“+1”事件；当差值小于负阈值–Th时，生成“–1”事件。在第一方面的设备的这种实现方式中，像素传感器可以包括一对以上差分器和比较器。这表示，当像素传感器包括多对差分器和比较器时，像素传感器将生成多个事件流。需要说明的是，每个事件流对应于预定阈值。

在第一方面的一种实现方式中，每个像素传感器包括至少两对差分器和比较器，每个比较器设置有相应的预定阈值，并用于基于所述相应的预定阈值生成事件流，其中，所述预定阈值彼此不同。

需要说明的是，对于同一像素传感器的不同比较器，可以设置或预定不同的阈值。如果为两个比较器设置了相同的阈值，则可以生成两个类似的事件流。

在第一方面的一种实现方式中，所述事件传感设备还用于：从所述比较器生成的每个事件流重建每个比较器的独立强度信号；通过融合所述像素传感器的至少两个比较器的重建的独立强度信号，为每个像素传感器生成最终强度信号。

从每个事件流中，可以计算独立强度信号。此处可以使用传统算法来计算独立强度信号。当像素传感器包括多个比较器时，每个比较器可以生成事件流，因此像素传感器可以重建多个独立强度信号。多个独立强度信号的融合结果可以获得像素传感器的最终强度信号。由于当每个像素传感器生成事件流时可以考虑不同的阈值，因此可以确保重建的强度信号的更多时间样本，同时也可以保持低噪声水平。

在第一方面的一种实现方式中，所述事件传感设备还用于：从所述一个或多个像素传感器的多个最终强度信号重建所述强度图像。

如上所述，可以为事件传感设备中的每个像素传感器生成相应的最终强度信号。因此，可以从多个最终强度信号重建强度图像，所述多个最终强度信号是为包括在事件传感设备中的多个像素传感器生成的。

在第一方面的一种实现方式中，所述事件传感设备还包括多个像素传感器，其中，所述多个像素传感器被分组为多个超级像素，其中，每个超级像素包括至少两个像素传感器，并且所述至少两个像素传感器中的每个像素传感器设置有相应的预定阈值，其中，所述预定阈值彼此不同。

根据本实施例，可以设计包括多个像素传感器的超级像素。具体地，同一超级像素中的像素传感器可以设置有不同的阈值。需要说明的是，本实施例可以使用现有的事件传感器实现(不需要改变硬件)。它可以视为为一个“像素”(特别是超级像素)生成具有多个阈值的事件流的软件实现。

在第一方面的一种实现方式中，所述事件传感设备还用于：从所述像素传感器生成的所述事件流重建每个像素传感器的独立强度信号；通过融合所述超级像素中的所述至少两个像素传感器的重建的独立强度信号，为每个超级像素生成最终强度信号。

与传统方案类似，可以为每个像素传感器重建独立强度信号(基于用单个阈值生成的事件流)。需要说明的是，对于包括多个像素传感器的超级像素，多个重建的独立强度信号可以用于生成最终强度信号。如上所述，同一超级像素中的像素传感器可以设置有不同的阈值。因此，在本实施例中，当事件传感设备生成最终强度信号时，也可以考虑不同的阈值。这样一来，可以获得重建的强度信号的更多时间样本，同时也可以保持低噪声水平。

在第一方面的一种实现方式中，所述事件传感设备还用于：从所述多个超级像素的多个最终强度信号重建所述强度图像。

因此，可以从多个最终强度信号重建强度图像，所述多个最终强度信号是为包括在事件传感设备中的多个超级像素生成的。

在第一方面的一种实现方式中，所述至少两个像素传感器相邻。

可以发现，属于同一个超级像素的像素传感器实际上并不是从场景的完全相同的点收集光。因此，优选具有包括彼此靠近的像素传感器的超级像素。

在第一方面的一种实现方式中，每个超级像素包括四个像素传感器。

在具体实现方式中，每个超级像素可以包括四个像素传感器的像素阵列(2×2阵列)。

在第一方面的一种实现方式中，每个像素传感器用于检测所述像素传感器处入射光的对数强度的时间依赖性变化。

需要说明的是，像素传感器实际上可以捕获入射光的对数强度。

本发明的第二方面提供了一种用于使用事件传感设备感测事件的方法，其中，所述事件传感设备包括一个或多个像素传感器，其中，一个或多个阈值与所述一个或多个像素传感器中的每个像素传感器相关联，所述方法包括：检测所述像素传感器处入射光的强度的时间依赖性变化；如果所述强度的时间依赖性变化超过与所述像素传感器相关联的所述一个或多个阈值中的任何一个阈值，则生成事件，其中，每个事件与时间戳和阈值相关联；生成一个或多个事件流，每个事件流包括与相同阈值相关联的多个所述事件；其中，所述方法还包括：从所述一个或多个像素传感器基于多个阈值生成的多个事件流重建多个独立强度信号。

第二方面的方法的实现方式可以对应上述第一方面的事件传感设备的实现方式。第二方面及其实现方式的方法实现了与上文针对第一方面及其相应实现方式的事件传感设备所述的相同的优点和效果。

本发明的第三方面提供了一种计算机程序产品，所述计算机程序产品包括程序代码，所述程序代码用于在处理器中实施时执行根据第二方面和第二方面的任何实现方式所述的方法。

需要说明的是，本申请中描述的所有设备、元件、单元和模块可以在软件或硬件元件或其任何类型的组合中实现。本申请中描述的各种实体所执行的所有步骤以及所描述的各种实体要执行的功能均意在指各个实体适于或用于执行各个步骤和功能。即使在以下具体实施例的描述中，外部实体要执行的特定功能或步骤未反映在执行该特定步骤或功能的实体的特定详细元件的描述中，技术人员应清楚，这些方法和功能可以在相应的软件或硬件元件中实现，或以此类元件的任何种组合实现。

附图说明

结合所附附图，下文具体实施例的描述将阐述上述本发明的各方面及其实现方式，其中：

图1示出了本发明的实施例提供的像素传感器的框图；

图2示出了一个无噪声对数强度信号和使用不同阈值生成的两个事件流；

图3示出了该无噪声对数强度信号和两个重建的对数强度信号(来自图2所示的两个事件流)；

图4示出了一个噪声对数强度信号、使用两个不同灵敏度阈值生成的两个事件流以及来自事件的对应重建的对数强度信号；

图5示出了本发明的实施例提供的事件传感设备；

图6示出了本发明的实施例提供的包括像素传感器的事件传感设备的框图；

图7示出了本发明的实施例提供的事件传感设备的多个像素传感器(及其灵敏度阈值)。

图8示出了本发明的实施例提供的包括超级像素的事件传感设备的框图；

图9示出了本发明的实施例提供的输入噪声对数强度和重建的对数强度信号；

图10示出了本发明的实施例提供的方法。

具体实施方式

结合附图描述了用于感测事件的方法、设备和程序产品的示例性实施例。尽管该描述提供了可能实现方式的详细示例，但需要说明的是，这些细节旨在是示例性的，并且不会限制本申请的范围。

此外，实施例/示例可以参考其它实施例/示例。例如，包括但不限于在一个实施例/示例中提到的术语、元素、过程、解释和/或技术优点的任何描述都适用于其它实施例/示例。

为了介绍本发明，这里首先描述像素传感器的工作原理。图1示出了本发明的实施例提供的像素传感器100的框图。如图1的框图所示，光感受器101可以捕获入射光，并将该入射光的对数提供给下一个电路(即图1所示的差分器102)，该差分器102可以计算对数强度的当前值与先前值1021之间的差值。当差值大于正阈值Th 1031(也称为灵敏度)时，比较器103可以生成“+1”事件，如图1所示。类似地，如果差值小于负阈值–Th，则可以生成“–1”事件。

事件流可以包括：+1或–1，分别指示入射光强度增加或降低的情况、像素坐标和每个事件的时间戳。一些事件传感器也可以捕获强度值，这些强度值也可以在相机模块的输出处获得。

图2示出了模拟事件的示例，这些模拟事件是例如由图1所示的像素传感器100的比较器103从无噪声对数强度信号生成。具体地，为Th值1.75生成一个事件流，为Th值3.5生成另一个事件流。可以明显地发现，当Th 1031较小时，生成的事件更多，而对于较大的Th1031，生成的事件数量减少。

由每个像素100生成的事件可以视为入射对数强度的时间导数的符号。阈值Th1031可以视为模数转换器的量化步骤，尽管像素100的输出不是强度的数字值。

这里强调的是，事件传感器可能不输出光强度(DAVIS传感器的特殊情况除外)，而只是输出(事件的)导数的一些估计。

在一些应用中，可能感兴趣的是还至少具有强度分量的估计(例如对于高动态范围(high-dynamic-range，HDR))。因此，在已知方案中，已经提出了从纯事件和/或从组合事件和强度值获得场景强度的方法。

提出了一种仅使用事件计算每个像素的对数强度的传统算法。它可以描述如下：

在每个像素(例如，图1所示的像素传感器100)处执行：

·初始化：L0＝0(即对数强度的估计)，t0＝0(即当前时间戳)，α0＝0(即算法参数)

·对于每个新事件，执行：

οΔt＝t–t0，其中，t是新事件的时间戳

οL0＝exp(–α0·Δt)·L0+σ·Th，其中，Th 1031是灵敏度阈值，σ是事件(即–1或1)

οt0＝t

需要说明的是，该算法只是一个可以用于计算对数强度的示例。本发明不限于任何特定算法。

图3中示出了重建的对数强度信号的示例。具体地，图3所示的两个对数强度信号是从图2所示的生成事件重建的。需要说明的是，使用较小的灵敏度阈值不仅会生成更多的事件，而且还可以更好地重建对数强度。这实际上是可以预期的，因为在数模转换的情况下，更精细的量化步骤也提供了更平滑的输出信号(这在某种程度上与目前的任务相似)。但是，此观察结果仅对干净的对数强度信号有效。

为了说明现有方案的问题，将高斯噪声添加到输入对数强度中。事件现在从噪声信号生成。图4说明了噪声对数强度信号的这种情况，示出了对于灵敏度阈值的两个值的生成事件和重建的对数强度。

需要说明的是，虽然对于无噪声情况(如图3所示)，小的灵敏度阈值可能是最佳选择；但对于噪声情况，灵敏度阈值的选择并不那么容易。

例如，使用较大的阈值(例如，Th＝3.5，如图4所示)似乎提供了更平滑的重建信号，而较小的阈值(例如，Th＝1.75)更受噪声的影响。这里需要说明的是，噪声可以具有几个不同的源，例如由于附加电子器件(例如，如图1所示的差分器102、比较器103等)引起的加性噪声和光子射击噪声。

使用单个灵敏度阈值会在时间样本数(强度帧可用的时间实例)与噪声水平之间进行权衡。具体地，通过减小灵敏度阈值，可以增加时间样本(事件)的数量，但是，这也增加了噪声(重建的对数强度的方差)；另一方面，通过增加灵敏度阈值，噪声的影响减少，但是，用于强度重建的可用样本较少。

如图4所示，实验表明，也许应该使用自适应阈值在基于事件的传感器中生成事件。在这种情况下，阈值将具有一个可变值，该可变值将适应噪声特性。

但是，更新阈值需要时间，而且由于以相对较快的速度生成事件，因此在阈值更新时间间隔期间生成的事件可能不会提供改进的重建结果。因此，重建的对数强度可能具有重建质量具有低质量的时间段(例如，由于噪声和/或缺乏样本)。

本发明的实施例提出了仅从事件获得高质量(高信噪比)重建的对数强度分量的方法。因此，本发明能够使用多个不同的灵敏度阈值从事件传感器重建高质量强度帧。此处，高质量表示低噪声和更多的时间样本。

图5示出了本发明的实施例提供的事件传感设备10。事件传感设备10可以包括处理电路(未示出)，该处理电路用于执行、实施或启动本文所述的事件传感设备10的各种操作。处理电路可以包括硬件和软件。硬件可以包括模拟电路或数字电路，或模拟电路和数字电路两者。数字电路可以包括专用集成电路(application-specific integratedcircuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)、数字信号处理器(digital signal processor，DSP)或多用途处理器等组件。事件传感设备10还可以包括存储电路，该存储电路存储可以由处理器或处理电路执行的一个或多个指令，特别是在软件的控制下。例如，存储电路可以包括存储可执行软件代码的非瞬时性存储介质，当由处理器或处理电路执行时，该软件代码导致事件传感设备10的各种操作被执行。在一个实施例中，处理电路包括一个或多个处理器和连接到一个或多个处理器的非瞬时性存储器。非瞬时性存储器可以携带可执行程序代码，当一个或多个处理器执行可执行程序代码时，所述可执行程序代码使事件传感设备10执行、实施或启动本文描述的操作或方法。

具体地，事件传感设备10包括一个或多个像素传感器100、100'。在具体实施例中，事件传感设备10可以包括多个像素传感器100、100'。可能的是，事件传感设备10可以包括像素阵列，并且多个像素传感器100、100'可以是像素阵列的像素。根据本发明的实施例，一个或多个阈值与一个或多个像素传感器100、100'中的每个像素传感器相关联。即，事件将基于这些一个或多个阈值中的任何一个阈值生成。

每个像素传感器100、100'用于检测像素传感器100、100'处入射光的强度的时间依赖性变化。可选地，每个像素传感器100可以包括用于检测时间依赖性变化的相应检测单元102、102'。检测单元102、102'可以各自实现为如图1所示的差分器102。具体地，强度的时间依赖性变化可以包括强度从一个时间点到连续时间点的变化。每个像素传感器100、100'还用于：如果强度的时间依赖性变化超过与该像素传感器100、100'相关联的一个或多个阈值中的任何一个阈值，则生成事件。具体地，每个事件可以与时间戳和阈值相关联。可选地，每个像素传感器100、100'还可以包括相应的事件生成单元103、103'，该事件生成单元103、103'用于在特定时间(当入射光的强度发生变化时)基于特定阈值生成事件。事件生成单元103、103'可以是如图1所示的比较器103。

此外，每个像素传感器100、100'用于生成一个或多个事件流，每个事件流包括与相同阈值相关联的多个事件。例如，强度的每个变化超过阈值Th1时，都会生成事件event_Th1。用Th1生成的事件流包括一定时间段内生成的所有事件event_Th1。

根据本发明的实施例，事件传感设备10还用于从多个像素传感器100、100'基于多个阈值生成的多个事件流重建多个独立强度信号11、11'。

可选地，每个像素传感器100、100'包括一对或多对相应的差分器102、102'和相应的比较器103、103'，每个差分器102、102'用于计算入射光的强度的时间依赖性变化，每个比较器103、103'用于：如果强度的时间依赖性变化超过预定阈值，则生成事件，并用于生成事件流。

需要说明的是，当两个不同像素传感器100和100'中的每个像素传感器仅包括一对差分器102、102'和比较器103、103'时，可以为这两个像素传感器100和100'设置不同的阈值1031、1031'。

本发明的一个想法是为每个像素生成几个事件流，每个事件流用不同的(灵敏度)阈值生成。对于每个事件流，可以重建独立的对数强度信号，然后可以将结果融合在一起，以便为该特定像素生成最终对数强度信号。

需要说明的是，几个阈值的使用当然可以与自适应阈值方法结合，使得可以使一个或多个阈值的值自适应。

具体地，提出了两个实施例来实现本发明的多灵敏度，如下所述。

可选地，第一实施例提出了一种事件传感设备10，包括一个或多个像素传感器100、100'，其中，每个像素传感器100、100'包括多个差分器102、102'和比较器103、103'。在第一实施例的特定示例中，如图6所示，在每个像素传感器100中存在三对差分器(102、104、106)和比较器(103、105、107)。

如图6所示，对于每个像素，每个差分-比较器对将生成自己的事件流，该事件流独立于其它事件流。因此，每个像素可以生成几个独立的事件流。在本示例中，比较器103比较来自差分器102的结果和阈值Th1 1031，并相应地生成输出事件流1。类似地，输出事件流2和输出事件流3分别由比较器105和比较器107生成。需要说明的是，每个比较器(103、105、107)可以设置有相应的预定阈值，并用于基于相应的预定阈值生成事件流。如图6所示的示例所示，阈值Th1 1031、Th2 1051和Th3 1071可以分别为比较器103、比较器105和比较器107设置。还需要说明的是，预定阈值(例如，阈值Th1 1031、Th2 1051和Th3 1071)可以彼此不同。即，阈值Th1 1031、Th2 1051和Th3 1071可以具有不同的值。

需要说明的是，可能无法使用一个共同的差分器和几个比较器。这可能是因为每个差分器(102、104、106)计算从最后一个事件的时刻开始的对数强度的变化。由于每个灵敏度阈值生成独立的事件流，因此优选有与比较器(103、105、107)相同多的差分器(102、104、106)。

当重建对数强度时，可以从每个事件流(对于每个像素)计算对数强度的一个版本。可选地，事件传感设备10还可以用于从比较器(103、105、107)生成的每个事件流重建每个比较器(103、105、107)的独立强度信号(108、109、1010)。在图6所示的示例中，从输出事件流1、输出事件流2和输出事件流3中的每个输出事件流重建独立强度信号(108、109、1010)。

然后，可以通过融合从同一像素的不同事件流重建的信号来获得最终对数强度信号。此外，事件传感设备10可以用于通过融合像素传感器100的至少两个比较器(103、105、107)的重建的独立强度信号(108、109、1010)，为每个像素传感器100生成最终强度信号11。在图6所示的示例中，最终对数强度信号11可以通过融合从输出事件流1、输出事件流2和输出事件流3重建的三个独立强度信号(108、109、1010)来计算。

可用于从独立事件流重建估计的对数强度分量的方法在本发明中不受限制。此外，本发明也不限制融合方法。可以使用任何合适的传统方法。

此外，事件传感设备10可以用于从一个或多个像素传感器100、100'的多个最终强度信号11、11'重建强度图像。

本发明的第二实施例能够在现有的事件传感器中实现该方案。图7示出了第二实施例的实现方式。需要说明的是，虽然第一实施例的先前实现方式提出了新的硬件结构(即，每个像素传感器100、100'包括多个差分器和比较器)，但第二实施例可以用现有的事件传感器实现。

根据该第二实施例，多个像素传感器100、100'可以被分组为多个超级像素110。每个超级像素110可以包括至少两个像素传感器100、100'。具体地，至少两个像素传感器100、100'中的每个像素传感器可以设置有相应的预定阈值，其中，预定阈值可以彼此不同。

如图7所示的示例，像素阵列被分组为多个超级像素(或可以命名为多像素)110。每个超级像素110可以包括四个相邻的像素传感器100、100'。此外，这些相邻像素传感器100、100'中的每个像素传感器可以具有不同的灵敏度阈值，其中，阈值在图7中表示为Th1、Th2、Th3和Th4。

图8示出了图7所示实施例提供的超级像素110的框图。具体地，超级像素110包括四个相邻的像素传感器100-1、100-2、100-3和100-4。

如图8所示，每个像素传感器100-1、100-2、100-3和100-4可以仅包括一个差分器-比较器对。如图8所示的示例所示，阈值Th1 1031-1、Th2 1031-2、Th3 1031-3和Th4 1031-4可以分别为比较器103-1、比较器103-2、比较器103-3和比较器103-4设置。还需要说明的是，预定阈值可以彼此不同。即，阈值Th1 1031-1、Th2 1031-2、Th3 1031-3和Th4 1031-4可以具有不同的值。

需要说明的是，基于相应的预定阈值(例如，图8所示的Th1 1031-1、Th2 1031-2、Th31031-3或Th4 1031-4)，像素传感器100-1、100-2、100-3和100-4中的每个像素传感器可以生成一个事件流。

可选地，根据本发明的一个实施例，事件传感设备10还可以用于从像素传感器100-1、100-2、100-3和100-4生成的事件流重建每个像素传感器100-1、100-2、100-3和100-4的独立强度信号11-1、11-2、11-3、11-4。

事件传感设备10还可以用于通过融合超级像素110中的至少两个像素传感器100-1、100-2、100-3和100-4的重建的独立强度信号11-1、11-2、11-3、11-4，为每个超级像素110生成最终强度信号12。在图7或图8所示的实现方式中，然后组合对应于超级像素110的四个事件流的四个估计，以获得分配给超级像素110的单个对数强度估计。

需要说明的是，超级像素110中的像素传感器100、100'的数量不必是四个。原则上，任何大于一的数字都可以应用于本发明的第二实施例。

还可以看到，在该实现方式中，属于同一超级像素110的四个事件流实际上可能不会从场景的完全相同的点收集光。因此，组合来自这四个传感器100-1、100-2、100-3和100-4的事件流以重建一个对数强度分量可能会引入一些伪影。但是，如果有的话，这些伪影预计只对非常小的对象可见。

此外，因此，优选具有包括彼此靠近的像素传感器100、100'的超级像素110。作为图7或图8所示的示例，优选地将每个超级像素110设计为包括像素传感器100-1、100-2、100-3和100-4的2×2阵列。

与先前实施例中类似，事件传感设备10还可以用于从多个超级像素110的多个最终强度信号12重建强度图像。

为了实现第二实施例，可以使用现有的事件传感器，因为不需要改变(像素传感器的)硬件。它可以视为为一个“像素”(即超级像素)生成具有多个阈值的事件流的软件实现。

本发明的实施例，特别是如前所述的第一实施例和第二实施例，能够获得重建强度帧的更多时间样本，同时可以保持较低的噪声水平。增加的时间样本数量在与其它相机的同步中可能很重要，也为了能够执行重建的对数强度的去噪(在时域中)。帧中的低噪声在HDR等某些应用中也很重要。

为了说明本发明中提出的方案如何工作，图9中描述了重建的对数强度信号的模拟结果。具体地，图9示出了输入噪声对数强度、来自四个事件流的四个重建的对数强度信号和四个重建的对数强度信号的融合结果。

需要说明的是，为每个像素传感器100、100'设置四个灵敏度阈值(例如，图9所示的2.75、3、3.25和3.5)。应理解，每个像素传感器100、100'可以包括四对差分器和比较器，每个比较器设置有阈值之一(即，2.75、3、3.25或3.5)，并将基于该阈值生成事件流。

在该模拟中，使用与本发明先前描述的算法相似的算法来生成四个重建的对数强度信号(例如，重建的th＝2.75、重建的th＝3、重建的th＝3.25和重建的th＝3.5，如图8所示)。但是，需要说明的是，本发明并不限于本算法；也可以使用任何其它算法或方法。

对于四个重建的对数强度信号的融合结果，如果四个重建的对数强度信号在完全相同的时间戳收集，可以使用计算四个重建的对数强度信号的样本平均值的简单方法。否则，可以使用低通滤波版本。值得一提的是，也可以使用任何其它融合方法。此外，还可以使用去噪方法来平滑融合对数强度。

从图9中可以看出，对于较小的灵敏度阈值(例如2.75或3)，与从具有较大阈值的事件流获得的信号相比，重建信号噪声更多，并且具有更多的样本。需要说明的是，本实施例中提出的方案的结果(融合结果)与其它四个重建的独立信号相比具有更多的样本，并且也更平滑。

需要说明的是，图9所示的模拟结果是基于本发明的先前描述的第一实施例，即事件传感设备10的每个像素传感器100、100'包括四对差分器和比较器。值得一提的是，第二实施例(即，为超级像素110设置不同的阈值)可以获得类似的模拟结果。但是，第二实施例可能导致重建的强度图像中的分辨率损失。

图10示出了本发明的实施例提供的用于感测事件的方法1000。在本发明的特定实施例中，方法1000由如图5、图6或图8所示的事件传感设备10执行。具体地，事件传感设备10包括一个或多个像素传感器100、100'，其中，一个或多个阈值与多个像素传感器100、100'中的每个像素传感器相关联。方法1000包括：步骤1001，检测像素传感器处入射光的强度的时间依赖性变化；步骤1002，如果强度的时间依赖性变化超过与像素传感器100、100'相关联的一个或多个阈值中的任何一个阈值，则生成事件，其中，每个事件与时间戳和阈值相关联；以及步骤1003，生成一个或多个事件流，每个事件流包括与相同阈值相关联的多个事件。该方法还包括步骤1004，从一个或多个像素传感器100、100'基于多个阈值生成的多个事件流重建多个独立强度信号11、11'。可能的是，事件传感设备10中的一个或多个像素传感器100、100'中的每个像素传感器可以是图6所示的像素传感器，或图8所示的像素传感器。

已经结合作为示例的各种实施例以及实现方式描述了本发明。但是，根据对附图、本发明和所附权利要求书的研究，本领域技术人员在实践所要求保护的发明时，能够理解和实现其它变化。在权利要求以及说明书中，词语“包括”不排除其它元件或步骤，且“一”或“一个”不排除多个。单个元件或其它单元可满足权利要求书中所叙述的若干实体或项目的功能。在互不相同的从属权利要求中列举某些措施并不表示这些措施的组合不能用于有益的实现方式。

另外，根据本发明实施例的任意方法可以在具有编码模块的计算机程序中实现，当处理模块运行该计算机程序时，使处理模块执行方法步骤。计算机程序包括在计算机程序产品的计算机可读介质中。计算机可读介质基本上可以包括任何存储器，例如只读存储器(read-only memory，ROM)、可编程只读存储器(programmable read-only memory，PROM)、可擦除PROM(erasable PROM，EPROM)、闪存，电可擦除EPROM(electricallyerasable PROM，EEPROM)或硬盘驱动器。

此外，本领域技术人员认识到，事件传感设备10的实施例包括用于执行方案的呈例如功能、模块、单元、元件等形式的必要通信能力。其它此类模块、单元、元件和功能的示例为：处理器、存储器、缓冲器、控制逻辑、编码器、解码器、速率匹配器、解速率匹配器、映射单元、乘法器、决策单元、选择单元、交换机、交织器、解交织器、调制器、解调器、输入端、输出端、天线、放大器、接收单元、发射单元、DSP、格码调制(trellis-coded modulation，TCM)编码器、TCM解码器、电源单元、电源馈线、通信接口、通信协议等，它们适当地布置在一起以执行技术方案。

特别地，事件传感设备10的一个或多个处理器可以包括例如中央处理单元(central processing unit，CPU)、处理单元、处理电路、处理器、专用集成电路(application specific integrated circuit，ASIC)、微处理器，或其它可以解释和执行指令的处理逻辑的一个或多个实例。表述“处理器”因此可以表示包括多个处理电路的处理电路，例如以上列举项中的任何、一些或所有项。处理电路还可以执行用于输入、输出以及处理数据的数据处理功能，所述数据处理功能包括数据缓冲和设备控制功能，例如呼叫处理控制、用户界面控制等。

Claims (14)

1.一种事件传感设备(10)，其特征在于，所述事件传感设备(10)包括一个或多个像素传感器(100、100')，其中，一个或多个阈值与所述一个或多个像素传感器(100、100')中的每个像素传感器相关联，并且每个像素传感器(100、100')用于：

检测所述像素传感器(100、100')处入射光的强度的时间依赖性变化；

如果所述强度的时间依赖性变化超过与所述像素传感器(100、100')相关联的所述一个或多个阈值中的任何一个阈值，则生成事件，其中，每个事件与时间戳和阈值相关联；

生成一个或多个事件流，每个事件流包括与相同阈值相关联的多个所述事件；

其中，所述事件传感设备(10)还用于：

从所述一个或多个像素传感器(100、100')基于多个阈值生成的多个事件流重建多个独立强度信号(11、11')。

2.根据权利要求1所述的事件传感设备(10)，其特征在于，

所述强度的时间依赖性变化包括所述强度从一个时间点到连续时间点的变化。

3.根据权利要求1或2所述的事件传感设备(10)，其特征在于，

每个像素传感器(100、100')包括一对或多对差分器(102、102')和比较器(103、103')，每个差分器(102、102')用于计算所述入射光的所述强度的所述时间依赖性变化，每个比较器(103、103')用于：如果所述强度的时间依赖性变化超过预定阈值1031、1031'，则生成事件，并用于生成事件流。

4.根据权利要求3所述的事件传感设备(10)，其特征在于，

每个像素传感器(100)包括至少两对差分器(102、104、106)和比较器(103、105、107)，每个比较器(103、105、107)设置有相应的预定阈值(1031、1051、1071)，并用于基于所述相应的预定阈值(1031、1051、1071)生成事件流，其中，所述预定阈值(1031、1051、1071)彼此不同。

5.根据权利要求4所述的事件传感设备(10)，其特征在于，用于：

从所述比较器(103、105、107)生成的每个事件流重建每个比较器(103、105、107)的独立强度信号(108、109、1010)；

通过融合所述像素传感器(100)的至少两个比较器(103、105、107)的重建的独立强度信号(108、109、1010)，为每个像素传感器(100)生成最终强度信号(11)。

6.根据权利要求5所述的事件传感设备(10)，其特征在于，用于：

从所述一个或多个像素传感器(100、100')的多个最终强度信号(11、11')重建强度图像。

7.根据权利要求3至6中任一项所述的事件传感设备(10)，其特征在于，还包括多个像素传感器(100、100')，其中，

所述多个像素传感器(100、100')被分组为多个超级像素(110)，其中，每个超级像素(110)包括至少两个像素传感器(100、100')，并且所述至少两个像素传感器(100、100')中的每个像素传感器设置有相应的预定阈值，其中，所述预定阈值彼此不同。

8.根据权利要求7所述的事件传感设备(10)，其特征在于，用于：

从所述像素传感器(100、100-2、100-3、100-4)生成的所述事件流重建每个像素传感器(100-1、100-2、100-3、100-4)的独立强度信号(11-1、11-2、11-3、11-4)；

通过融合所述超级像素(110)中的所述至少两个像素传感器(100、100-2、100-3、100-4)的重建的独立强度信号(11-1、11-2、11-3、11-4)，为每个超级像素(110)生成最终强度信号(12)。

9.根据权利要求8所述的事件传感设备(10)，其特征在于，用于：

从所述多个超级像素(110)的多个最终强度信号(12)重建强度图像。

10.根据权利要求7至9中任一项所述的事件传感设备(10)，其特征在于，所述至少两个像素传感器(100、100')相邻。

11.根据权利要求7至10中任一项所述的事件传感设备(10)，其特征在于，每个超级像素(110)包括四个像素传感器(100-1、100-2、100-3、100-4)。

12.根据权利要求1至11中任一项所述的事件传感设备(10)，其特征在于，每个像素传感器(100、100')用于检测所述像素传感器(100、100')处入射光的对数强度的时间依赖性变化。

13.一种用于使用事件传感设备感测事件的方法(1000)，其特征在于，所述事件传感设备包括一个或多个像素传感器(100、100')，其中，一个或多个阈值与所述一个或多个像素传感器(100、100')中的每个像素传感器相关联，所述方法包括：

检测(1001)所述像素传感器(100、100')处入射光的强度的时间依赖性变化；

如果所述强度的时间依赖性变化超过与所述像素传感器(100、100')相关联的所述一个或多个阈值中的任何一个阈值，则生成(1002)事件，其中，每个事件与时间戳和阈值相关联；

生成(1003)一个或多个事件流，每个事件流包括与相同阈值相关联的多个所述事件；

其中，所述方法(1000)还包括：

从所述一个或多个像素传感器(100、100')基于多个阈值生成的多个事件流重建(1004)多个独立强度信号(11、11')。

14.一种计算机程序产品，其特征在于，所述计算机程序产品包括程序代码，当在处理器上实现时，所述程序代码用于执行根据权利要求13所述的方法。

Images