CN108764078B - 一种事件数据流的处理方法及计算设备 - Google Patents

Abstract

本发明公开了一种事件数据流的处理方法及相应的计算设备。该方法包括步骤：从事件数据流中依次读取多段第一时长的事件数据；针对每段第一时长的事件数据，通过分析事件数据得到该第一时长段内每个事件对应的时差信息；以及根据该第一时长段内每个事件对应的时差信息生成表征该第一时长段内运动变化的图像帧。

Description

一种事件数据流的处理方法及计算设备

技术领域

本发明涉及数据处理技术领域，尤其涉及一种事件数据流的处理方法及计算设备。

背景技术

实时的光流计算在计算机视觉领域一直都扮演着重要角色，例如基于光流的分割、运动检测、用于飞行器和车辆的目标跟踪和避障等。在实时应用中，一个迫切的需求就是在保持高精确度的同时，提高光流计算的速度。而光流作为其中起决定性作用的基本元素，也由此延伸了很多光流计算方法。传统的光流方法对从常规图像传感器中捕获的大量帧数据进行处理，因此，由静态背景重复地产生冗余数据。而对大量冗余数据的读出和处理导致了巨大的计算成本，且限制了处理速度。

另一方面，基于事件的运动传感器在提高光流计算的实时性方面显示出极大的潜力。与常规图像传感器相比，运动传感器异步地响应表示相对亮度变化的事件。并且，运动传感器的输出是异步数字事件的流，其不受曝光时间或帧率的限制，它可以检测通常需要昂贵的高速摄像机以数千帧率捕获的快速运动物体，但输出的冗余数据却大量减少。因此，针对运动传感器，基于事件的光流方法得到了广泛的应用。

一般地，基于事件的光流方法可以分为基于事件的Lucas-Kanade方法和局部平面拟合方法。在基于事件的光流方法中，一个重要的步骤就是基于局部区域中的像素强度来提取坡度(或梯度)信息。然而，在传统的动态视觉传感器(Dynamic Vision Sensor，DVS)系统中，事件仅在没有照明的情况下才会报告像素位置。因此，它们在短时间内使用累积事件的数量来模拟每个像素的强度。可见，这种模拟方法表示的是相对强度变化而不是实时强度水平，它并不准确。另外，限制基于事件的光流计算的准确性的另一个问题是，在检测快速运动物体时的事件稀疏性。传统DVS在工作时，每个像素都独立地工作，并且由单个激活像素产生的事件不能为光流的计算提供足够的信息。

鉴于上述原因，需要一种新的基于像素强度来提取运动坡度信息的方案，以提高光流计算的速度。

发明内容

本发明提供了一种事件数据流的处理方法及计算设备，以力图解决或者至少缓解上面存在的至少一个问题。

根据本发明的一个方面，提供了一种事件数据流的处理方法，事件数据流来自动态视觉传感器，用于记录发生特定事件的像素信息，方法包括步骤：从事件数据流中依次读取多段第一时长的事件数据；针对每段第一时长的事件数据，通过分析事件数据得到该第一时长段内每个事件对应的时差信息；以及根据该第一时长段内每个事件对应的时差信息生成表征该第一时长段内运动变化的图像帧。

可选地，在根据本发明的处理方法中，特定事件是动态视觉传感器中像素的亮度发生变化；以及所获取的事件数据包括在第一时长段内所有亮度发生变化的像素的坐标位置和其亮度发生变化的时间戳。

可选地，在根据本发明的处理方法中，从事件数据流中依次读取多段第一时长的事件数据的步骤还包括：从事件数据流中依次读取多段第一时长的事件数据，且相邻第一时长的事件数据之间相互重叠有第二时长的事件数据。

可选地，在根据本发明的处理方法中，从事件数据流中依次读取多个第一时长的事件数据的步骤包括：若在第一时长段内一个像素的亮度发生多次变化，则所读取的事件数据中该像素坐标位置上对应有多个时间戳；以及从多个时间戳中选取该像素最近一次亮度发生变化的时间戳，作为该像素坐标位置对应的时间戳。

可选地，在根据本发明的处理方法中，通过分析事件数据得到该第一时长段内每个事件对应的时差信息的步骤包括：针对每段第一时长的事件数据，记录该第一时长段的起始时间点和/或结束时间点；根据起始时间点和/或结束时间点、事件数据中每个事件的时间戳计算该第一时长段内每个事件对应的时差信息。

可选地，在根据本发明的处理方法中，根据第一时长段内每个事件对应的时差信息生成表征该第一时长段内运动变化的图像帧的步骤包括：根据每个事件对应的时差信息计算该事件对应的像素值；根据第一时长段内所有事件对应的像素值及坐标位置生成图像帧，以表征该第一时长段内运动的变化。

可选地，在根据本发明的处理方法中，根据起始时间点和/或结束时间点、事件数据中每个事件的时间戳计算该第一时长段内每个事件对应的时差信息的步骤包括：分别计算第一时长段的结束时间点与每个事件的时间戳的差值，得到对应的每个事件的时差信息。

可选地，在根据本发明的处理方法中，根据起始时间点和/或结束时间点、事件数据中每个事件的时间戳计算该第一时长段内每个事件对应的时差信息的步骤包括：分别计算第一时长段内每个像素的时间戳与起始时间点的差值，得到对应的每个事件的时差信息。

可选地，在根据本发明的处理方法中，根据每个事件对应的时差信息计算该事件对应的像素值的步骤还包括：对每个事件对应的时差信息进行预处理，以得到每个事件对应的处理后时差信息；以及根据每个事件对应的处理后时差信息计算该事件对应的像素值。

可选地，在根据本发明的处理方法中，预处理包括：将第一时长段内每个事件对应的时差信息映射到预定区间内。

可选地，在根据本发明的处理方法中，事件i对应的像素值pixel_i通过如下公式计算：

其中，Δt_i为事件i对应的处理后时差信息。

可选地，在根据本发明的处理方法中，事件i对应的像素值pixel_i通过如下公式计算：

pixel_i＝A-Δt_i，其中，Δt_i为事件i对应的处理后时差信息，A为常数。

可选地，在根据本发明的处理方法中，根据第一时长段内所有事件对应的像素值及坐标位置生成图像帧的步骤包括：构建预定尺寸的图像并初始化该图像作为初始图像帧；在初始图像帧中查找第一时长段内每个事件对应的像素坐标；以及将该第一时长段内每个事件的像素值作为初始图像帧中该事件对应的像素坐标的像素值，得到图像帧。

根据本发明的另一方面，提供了一种计算设备，包括：一个或多个处理器；和存储器；一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行如上所述处理方法中的任一方法的指令。

根据本发明的又一方面，提供了一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当计算设备执行时，使得所述计算设备执行如上所述处理方法中的任一方法。

根据本发明的对事件数据流的处理方案，对一段时间内的被触发的事件，先根据每个事件对应的时间戳分析出每个事件的时差信息，再根据时差信息计算得到每个事件对应的像素值，进而生成图像帧来表示该段时间内运动的变化。根据显示的图像帧，能直观地反应出场景中的运动信息。同时，也便于后续的运动分析和计算，有助于提高光流计算的速度。

特别地，在一段时间内越早被触发的事件，其对应在图像帧中的像素值就越大，根据生成的图像帧中像素值的大小，就能够分析出场景中运动物体当前的运动信息以及它的运动轨迹，有助于提高光流计算的速度。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明一些实施例的计算设备100的示意图；

图2A和图2B示出了根据本发明一些实施例的由动态视觉传感器输出事件数据流的示意图；

图3示出了根据本发明一些实施例的事件数据流的处理方法300的流程示意图；

图4示出了根据本发明一些实施例的读取多个第一时长的事件数据的示意图；

图5示出了根据本发明一个实施例的第一时长段的事件数据；以及

图6示出了根据本发明实施例的图像帧的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1是示例计算设备100的框图。在基本的配置102中，计算设备100典型地包括系统存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和系统存储器106之间的通信。

取决于期望的配置，处理器104可以是任何类型的处理器，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用，或者在一些实现中，存储器控制器118可以是处理器104的一个内部部分。

取决于期望的配置，系统存储器106可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器106可以包括操作系统120、一个或者多个应用122以及程序数据124。在一些实施方式中，应用122可以布置为在操作系统上利用程序数据124进行操作。在一些实施例中，计算设备100被配置为执行事件数据流的处理方法300，程序数据124中就包含了用于执行方法300的指令。

计算设备100还可以包括有助于从各种接口设备(例如，输出设备142、外设接口144和通信设备146)到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个A/V端口152与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156，它们可以被配置为有助于经由一个或者多个I/O端口158和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、图像输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160，其可以被布置为便于经由一个或者多个通信端口164与一个或者多个其他计算设备162通过网络通信链路的通信。

网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以是这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中以编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。

计算设备100可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。当然，计算设备100可以实现为小尺寸便携(或者移动)电子设备的一部分，这些电子设备可以是诸如蜂窝电话、数码照相机、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。本发明的实施例对此不作限制。

在光流计算中常采用运动传感器来替代传统的图像传感器，这是由于运动传感器能够响应表示相对亮度变化的事件，故运动传感器的输出数据可以比传统的图像传感器更好地记录和展示运动信息。根据一种实现方式，在场景中布置动态视觉传感器(EventCamera)，当场景中没有物体移动时，动态视觉传感器不会显示任何内容。然而一旦其检测到场景中的物体运动时(即，光线发生变化)，就会输出动态像素(即，亮度发生变化的像素)的事件数据流。也就是说，该事件数据流记录了发生特定事件(即，动态视觉传感器中像素的亮度发生变化)的像素信息。

图2A和图2B示出了由动态视觉传感器输出事件数据流的过程示意图。如图2A中以一个4×4的矩阵代表动态视觉传感器中的像素阵列(本领域内技术人员应当了解，图2A仅作为示例，在实际应用中，动态视觉传感器中的像素阵列远不止4×4大小)，当阵列中某个像素的亮度发生变化时，触发生成一个相应的事件数据e_i(i取1,2,3,…)，如图2B，随着时间的推进，动态视觉传感器依次不断地输出事件数据e₁,e₂,e₃,e₄,...，构成事件数据流。其中，每个事件数据e_i包括亮度发生变化的像素的坐标位置和其亮度发生变化的时间戳，即，事件数据e_i可以表示为e_i＝(x_i,y_i,t_i)，其中，(x_i,y_i)为第i次事件的坐标位置，即亮度发生变化的像素的坐标位置，t_i为第i次事件的时间戳，即亮度发生变化的时间戳。如图2A中，事件数据e₁的像素坐标为(1,1)，事件数据e₂的像素坐标为(2,2)，事件数据e₃的像素坐标为(0,3)，事件数据e₄的像素坐标为(3,1)，且后发生事件的时间戳肯定大于先发生事件的时间戳，即t₄＞t₃＞t₂＞t₁。

根据本发明的处理方法300，对来自动态视觉传感器的事件数据流进行处理，生成表征各预定时间段内运动变化的图像帧，后续可以基于这些图像帧对场景中的物体运动进行分析，以提高实时光流计算的速度。

图3示出了根据本发明一些实施例的事件数据流的处理方法300的流程示意图。如图3所示，方法300始于步骤S310。

在步骤S310中，从事件数据流中依次读取多段第一时长的事件数据。如前文所述，在根据本发明的实施例中，事件数据流记录的特定事件是动态视觉传感器中像素的亮度发生变化的事件，并且事件数据包括在第一时长段内所有亮度发生变化的像素的坐标位置和其亮度发生变化的时间戳。如下示出了根据本发明一个实施例的一个第一时长的事件数据的格式：

(x₁,y₁,t₁),(x₂,y₂,t₂),(x₃,y₃,t₃),(x₄,y₄,t₄),...

在根据本发明的一个实施例中，多段第一时长的事件数据按照如下方式获取：从事件数据流中依次读取多段第一时长的事件数据，相邻第一时长的事件数据之间相互重叠有第二时长的事件数据，并且，第一时长不大于第二时长的两倍。如图4，示出了根据本发明实施例的从事件数据流中读取第一时长的事件数据的示意图。从图4可以看出，事件e₁,e₂,...随着时间连续不断地发生，t₁,t₂,...为事件e₁,e₂,...对应的时间戳，生成的第一时长的事件数据中，相邻的第一时长的事件数据相互有重叠，重叠比例不做限制。也就是说，每隔预定时间段就从事件数据流中依次读取第一时长的事件数据，其中，预定时间段可以是第一时长与第二时长之差。在根据本发明的一个实施例中，预定时间段取40毫秒，第一时长取200毫秒，第二时长取160毫秒，但本发明的实施例对时间段长度的具体数值不作限制。

当然，也可以通过滑动窗口的方式获取多段第一时长的事件数据。预设一个滑动窗口，滑动窗口的长度为第一时长，令滑动窗口在事件数据流中进行滑动，每次滑动的滑动步长设为第三时长，滑动窗口每滑动一次，就得到一段第一时长的事件数据，这样，相邻的两段第一时长的事件数据之间就相互重叠有第二时长的事件数据，第二时长就是滑动窗口的长度减去滑动步长，即第一时长减去第三时长，本发明的实施例对时长的具体数值不作限制，只要满足第一时长＝第二时长+第三时长。

另外，在动态视觉传感器的像素阵列中，某个像素的亮度可能会发生多次变化，每次发生变化都会触发生成一个事件数据，这样，在事件数据流中，可能会存在两个或多个事件数据的坐标位置相同、但时间戳不同的情况。针对这种情况，在根据本发明的一些实施例中，若在第一时长段内，传感器的像素阵列中某个像素(设其坐标位置为(x,y))的亮度发生多次变化，则所读取的该第一时长段的事件数据中，坐标位置(x,y)对应有多个时间戳，那么，从这多个时间戳中选取该像素最近一次发生亮度变化的时间戳，作为该像素坐标位置对应的时间戳。换言之，从这多个时间戳中选取时间戳值最大的时间戳，作为该像素坐标位置对应的时间戳。总之，若在第一时长段内，两个或多个事件数据的坐标位置相同时，仅保留最近一次的事件数据。

随后在步骤S320中，针对每段第一时长的事件数据，通过分析该事件数据得到该第一时长段内每个事件对应的时差信息。

根据本发明的实施方式，通过如下两步计算出每个事件对应的时差信息。

第一步，针对每段第一时长的事件数据，记录该第一时长段的结束时间点T_d。假设从事件数据流中读取前200毫秒的事件数据作为一段第一时长的事件数据，那么，该第一时长段的结束时间点记作T_d＝200。

第二步，根据结束时间点和事件数据中每个事件的时间戳计算该第一时长段内每个事件对应的时差信息。如图5，示出了根据本发明一个实施例的第一时长段的事件数据，该第一时长段的起始时间点记作T₀，结束时间点记作T_d，从T₀到T_d包含4个事件，对应的时间戳依次记作t₁,t₂,t₃,t₄，记每个事件对应的时差信息依次为Δt₁',Δt₂',Δt₃',Δt₄'。

如前文所述，分别计算第一时长段的结束时间点T_d与第一时长段内每个事件的时间戳的差值，得到每个事件对应的时差信息。以图5为例，分别计算4个事件对应的时差信息，记作：

Δt₁'＝T_d-t₁，Δt₂'＝T_d-t₂，Δt₃'＝T_d-t₃，Δt₄'＝T_d-t₄。

结合图5的示例可以看出，在根据本发明的实施方式中，越靠近当前时刻的事件，其对应的时差信息越小。

随后在步骤S330中，根据该第一时长段内每个事件对应的时差信息生成表征该第一时长段内运动变化的图像帧。

在根据本发明的实施方式中，步骤S330又可以分成如下步骤1)和步骤2)。

步骤1)先根据步骤S320得到的每个事件对应的时差信息计算出每个事件对应的像素值。

根据本发明的实现方式，在根据事件对应的时差信息计算事件对应的像素值之前，还需要对时差信息进行预处理，得到处理后时差信息，再根据每个事件对应的处理后时差信息计算该事件对应的像素值。可选地，预处理例如是：将第一时长段内每个事件对应的时差信息映射到预定区间内。这样做的好处是，事件数据流的输出都是以纳秒计算的，先通过预处理将浮点型的时差信息映射到预定区间(一个整型的预定区间)内，能有效节省内存，提高后续的计算效率。

一般地，预定区间设为0-255，但不限于此。此处示出的实施例中，以预定区间为0-255为例，应当了解，本领域技术人员据此能够将时差信息映射到任一个预定区间，故不再赘述。

根据本发明的一种实现方式，对于每个事件，可以按如下公式将时差信息映射到预定区间：

其中，Δt'表示时差信息，Δt表示处理后时差信息，max和min分别表示该第一时长段内的所有事件对应的时差信息的最大值和最小值。

在得到所有事件对应的处理后时差信息后，根据处理后时差信息计算事件对应的像素值。在根据本发明的实施例中，事件i对应的像素值pixel_i通过如下公式来进行计算：

pixel_i＝A-Δt_i

其中，Δt_i为事件i对应的处理后时差信息，A为常数(在根据本发明的实施例中，A取255，当然，A也可以取100、200等常数，本发明的实施例对此不作限制)。

也就是说，越靠近当前时刻的事件，其对应的像素值越大。

根据本发明的另一种实现方式，预定区间设为1至任意常数的区间，或是任意两个非零值之间的区间。此处以预定区间为1-255为例，但不限于此。对于每个事件，可以按如下公式将时差信息映射到预定区间：

其中，Δt'表示时差信息，Δt表示处理后时差信息，max和min分别表示该第一时长段内的所有事件对应的时差信息的最大值和最小值。

在得到所有事件对应的处理后时差信息后，根据处理后时差信息计算事件对应的像素值。在根据本发明的实施例中，事件i对应的像素值pixel_i通过如下公式来进行计算：

其中，Δt_i为事件i对应的处理后时差信息。

也就是说，越靠近当前时刻的事件，其对应的像素值越大。

需要说明的是，以上仅作为示例，给出了两种利用每个事件的时差信息计算其对应像素值的方式，但本发明的实施例不限于此。本发明旨在说明每个事件的像素值可以通过时差信息得到，根据本发明所公开的实施例，本领域技术人员可以采用不同的计算方式，使得越靠近当前时刻的事件，其对应的像素值越大，或，使得越靠近当前时刻的事件，其对应的像素值越小。任何通过事件的时差信息计算其对应像素值的方法均在本发明的保护范围内，此处不再赘述。

步骤2)根据该第一时长段内所有事件对应的像素值及坐标位置生成图像帧，该图像帧可以表征该第一时长段内运动的变化。

根据本发明的一个实施例，先构建预定尺寸的图像并初始化该图像作为初始图像帧，该预定尺寸就是动态视觉传感器中像素阵列的尺寸，并设图像中所有像素点的初始像素值为0，即初始图像帧中像素值均为0。然后，在这个初始图像帧中查找第一时长段内每个事件对应的像素坐标。最后，将步骤1)中算得的该第一时长段内每个事件的像素值作为初始图像帧中该事件对应的像素坐标的像素值，得到图像帧。如表1，代表一个3×3的像素单元阵列，其中e₁,e₂,e₃表示在某第一时长段内触发的事件，其对应在表1中的位置就是事件对应的坐标位置，如e₁对应的坐标位置为(1,0)，e₂对应的坐标位置为(2,1)，e₃对应的坐标位置为(0,2)。表2表示了由表1中事件生成的图像帧中各像素值的示例，其中，事件对应的坐标位置处的像素值由事件对应的时间戳计算得到(参见前文描述)，其它坐标位置的像素值仍为0。

表1 3×3的像素阵列示例

		e<sub>3</sub>
			e<sub>1</sub>
	e<sub>2</sub>

表2图像帧中像素值示例

0	0	pixel<sub>3</sub>
			pixel<sub>1</sub>	0	0
0	pixel<sub>2</sub>	0

综上，在根据本发明的实施方式中，图像帧中每个事件对应的像素值均与其对应的时差信息成反比，而对于那些在传感器中未被触发的像素单元，其对应到图像帧中的像素值则为0。这样，在一段时间内越早被触发的事件，其对应的像素值越大，根据生成的图像帧中像素值的大小，就能够直观地反映这段时间内场景中的运动变化，更好地突出了场景中运动物体当前的运动信息以及它的运动轨迹，便于后续的光流分析和计算。

在上文的实施例中示出了根据第一时长段的结束时间点计算每个事件对应的时差信息的过程。需要说明的是，上文的实施例仅是给出了一种计算事件对应的时差信息的方式，本发明的实施例并不限于此。在根据本发明的另一些实施例中，针对第一时长的事件数据，记录该第一时长段的起始时间点T₀。假设从事件数据流中读取前200毫秒的事件数据作为一段第一时长的事件数据，那么，该第一时长段的起始时间点记作T₀＝0。然后，根据起始时间点和事件数据中每个事件的时间戳计算该第一时长段内每个事件对应的时差信息。可选地，分别计算第一时长段内每个像素的时间戳与该第一时长段的起始时间点的差值，得到每个事件对应的时差信息。还是以图5为例，4个事件对应的时差信息分别为：

Δt₁'＝t₁-T₀，Δt₂'＝t₂-T₀，Δt₃'＝t₃-T₀，Δt₄'＝t₄-T₀。

在这种计算方式下，越靠近当前时刻的事件，其对应的时差信息越大。此时，可以通过上述预处理方式直接将时差信息映射到预定区间内，将处理后时差信息作为事件对应的像素值，从而生成图像帧。当然，也可以采用其它方式根据时差信息生成每个事件对应的像素值，具体的实现过程可参考前文相关描述，此处不再展开描述。

图6示出了根据本发明实施例的图像帧的示意图。如图6所示，根据本发明的事件数据流的处理方法300生成的图像帧(图6中的各灰度渐变矩形)与XY平面具有一定的倾斜角度，也就是说，图像帧具有坡度和坡向。图6中的(1)(2)(3)(4)4个图分别展示了不同运动方向所对应的图像帧的效果图。其中，图6中(1)和(2)给出了物体沿同一方向运动时所生成的图像帧。图6中(2)示出了物体沿同一方向以三种不同运动速度在场景中运动时所形成的3个图像帧，由于运动方向不变，故三个图像帧的坡向是一致的(图中箭头所指的方向可以理解为坡向)，但是运动速度的不同导致图像帧的陡峭程度不同。图6中(3)、(4)分别示出了物体沿着其它两种方向运动时生成的图像帧，同样，箭头指示了图像帧的坡向，箭头之间的夹角指示了图像帧具有的坡度。需要说明的是，图6中示出的图像帧仅为示意性地，重点在于展现图像帧在XY平面上具有一定的坡度，在实际中，图像帧的呈现可以有多种方式。并且相比于其它处理方式，根据本发明的方法300生成的图像帧显示的坡度更加平滑，在图6中通过图像帧中灰度的渐变来表示这种平滑的过渡，因此在计算坡度和坡向的时候可以更加准确。本领域技术人员可通过Meanshift均值偏移等算法计算出图像帧的坡度和坡向，例如，确定坡顶(最大值)和坡底(最小值)，通过Meanshift算法找出坡顶和坡底之间的最短登山路径，该路径指向的方向，就是坡向，该路径与XY平面的投线的夹角，就是坡度。一般地，根据坡向可以方便地获得场景内物体的运动方向；而根据坡度又可以分析出物体运动速度的相对变化趋势。综上，根据该图像帧能够方便有效地分析出场景中的物体在某段时间内的运动速度和运动方向，有助于提高光流计算的速度。

需要说明的是，此处仅简单介绍了一种通过计算图像帧的坡度和坡向来分析物体运动方向和运动速度的方法，本发明的实施例对此不做限制。事实上，在根据本发明的图像帧的基础上，本领域技术人员能够据此采用任何方式计算出坡度和坡向，进而分析场景中运动物体的运动方向和运动速度，不论采用何种算法来通过图像帧分析物体的运动速度和运动方向，均在本发明的保护范围之内。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

本发明一并公开了：

A7、如A5所述的方法，其中，根据起始时间点和/或结束时间点、事件数据中每个事件的时间戳计算该第一时长段内每个事件对应的时差信息的步骤包括：分别计算第一时长段的结束时间点与每个事件的时间戳的差值，得到对应的每个事件的时差信息。

A8、如A5所述的方法，其中，根据起始时间点和/或结束时间点、事件数据中每个事件的时间戳计算该第一时长段内每个事件对应的时差信息的步骤包括：分别计算第一时长段内每个像素的时间戳与起始时间点的差值，得到对应的每个事件的时差信息。

A11、如A9或10所述的方法，其中，事件i对应的像素值pixel_i通过如下公式计算：

其中，Δt_i为事件i对应的处理后时差信息。

A12、如A9或10所述的方法，其中，事件i对应的像素值pixel_i通过如下公式计算：

pixel_i＝A-Δt_i，其中，Δt_i为事件i对应的处理后时差信息，A为常数。

A13、如A6-12中任一项所述的方法，其中，根据第一时长段内所有事件对应的像素值及坐标位置生成图像帧的步骤包括：构建预定尺寸的图像并初始化该图像作为初始图像帧；在初始图像帧中查找第一时长段内每个事件对应的像素坐标；以及将该第一时长段内每个事件的像素值作为初始图像帧中该事件对应的像素坐标的像素值，得到图像帧。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (8)

1.一种事件数据流的处理方法，所述事件数据流来自动态视觉传感器，用于记录发生特定事件的像素信息，所述方法包括步骤：

从所述事件数据流中依次读取多段第一时长的事件数据，其中，所述特定事件是动态视觉传感器中像素的亮度发生变化，所获取的事件数据包括在第一时长段内所有亮度发生变化的像素的坐标位置和其亮度发生变化的时间戳；

针对每段第一时长的事件数据，通过分析所述事件数据得到该第一时长段内每个事件对应的时差信息；以及

根据该第一时长段内每个事件对应的时差信息生成表征该第一时长段内运动变化的图像帧，包括：

根据每个事件对应的时差信息计算该事件对应的像素值；

根据所述第一时长段内所有事件对应的像素值及坐标位置生成图像帧，以表征该第一时长段内运动的变化。

2.如权利要求1所述的方法，其中，所述从事件数据流中依次读取多段第一时长的事件数据的步骤还包括：

从事件数据流中依次读取多段第一时长的事件数据，且相邻第一时长的事件数据之间相互重叠有第二时长的事件数据。

3.如权利要求2所述的方法，其中，所述从事件数据流中依次读取多段 第一时长的事件数据的步骤包括：

若在第一时长段内一个像素的亮度发生多次变化，则所读取的事件数据中该像素坐标位置上对应有多个时间戳；以及

从所述多个时间戳中选取该像素最近一次亮度发生变化的时间戳，作为该像素坐标位置对应的时间戳。

4.如权利要求1-3中任一项所述的方法，其中，通过分析所述事件数据得到该第一时长段内每个事件对应的时差信息的步骤包括：

针对每段第一时长的事件数据，记录该第一时长段的起始时间点和/或结束时间点；

根据所述起始时间点和/或结束时间点、事件数据中每个事件的时间戳计算该第一时长段内每个事件对应的时差信息。

5.如权利要求4所述的方法，其中，所述根据每个事件对应的时差信息计算该事件对应的像素值的步骤还包括：

对每个事件对应的时差信息进行预处理，以得到每个事件对应的处理后时差信息；以及

根据每个事件对应的处理后时差信息计算该事件对应的像素值。

6.如权利要求5所述的方法，其中，所述预处理包括：将第一时长段内每个事件对应的时差信息映射到预定区间内。

7.一种计算设备，包括：

一个或多个处理器；和

存储器；

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1-6所述方法中的任一方法的指令。

8.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当计算设备执行时，使得所述计算设备执行根据权利要求1-6所述的方法中的任一方法。