CN108961318B

CN108961318B - 一种数据处理方法及计算设备

Info

Publication number: CN108961318B
Application number: CN201810421130.0A
Authority: CN
Inventors: 陈守顺; 王师峥
Original assignee: Celepixel Technology Co Ltd
Current assignee: Howay sensor (Shanghai) Co.,Ltd.
Priority date: 2018-05-04
Filing date: 2018-05-04
Publication date: 2020-05-15
Anticipated expiration: 2038-05-04
Also published as: EP3779864B1; EP3779864A4; JP7092211B2; WO2019210546A1; CN108961318A; SG11202010775YA; JP2021520155A; US20210042938A1; EP3779864A1; US11481908B2

Abstract

本发明公开了一种数据处理方法及相应的计算设备。该数据处理方法适于对来自动态视觉传感器的事件数据流进行处理，以得到表征不同时间段内场景变化的图像帧，其中事件数据流包括亮度发生变化的像素的坐标。方法包括步骤：按预定时间间隔将事件数据流分割为多个数据切片；以及依次选取第一数量个数据切片进行加权计算，以生成表征不同时间段内场景变化的图像帧。

Description

一种数据处理方法及计算设备

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法及计算设备。

背景技术

实时的光流计算在计算机视觉领域一直都扮演着重要角色，例如基于光流的分割、运动检测、用于飞行器和车辆的目标跟踪和避障等。在实时应用中，一个迫切的需求就是在保持高精确度的同时，提高光流计算的速度。而光流作为其中起决定性作用的基本元素，也由此延伸了很多光流计算方法。传统的光流方法对从常规图像传感器中捕获的大量帧数据进行处理，因此，由静态背景重复地产生冗余数据。而对大量冗余数据的读出和处理导致了巨大的计算成本，且限制了处理速度。

另一方面，基于事件的运动传感器在提高光流计算的实时性方面显示出极大的潜力。与常规图像传感器相比，运动传感器异步地响应表示相对亮度变化的事件。并且，运动传感器的输出是异步数字事件的流，其不受曝光时间或帧率的限制，它可以检测通常需要昂贵的高速摄像机以数千帧率捕获的快速运动物体，但输出的冗余数据却大量减少。因此，针对运动传感器，基于事件的光流方法得到了广泛的应用。

一般地，基于事件的光流方法可以分为基于事件的Lucas-Kanade方法和局部平面拟合方法。在基于事件的光流方法中，一个重要的步骤就是基于局部区域中的像素强度来提取坡度(或梯度)信息。然而，在传统的动态视觉传感器(Dynamic Vision Sensor，DVS)系统中，事件仅在没有照明的情况下才会报告像素位置。因此，它们在短时间内使用累积事件的数量来模拟每个像素的强度。可见，这种模拟方法表示的是相对强度变化而不是实时强度水平，它并不准确。另外，限制基于事件的光流计算的准确性的另一个问题是，在检测快速运动物体时的事件稀疏性。传统DVS在工作时，每个像素都独立地工作，并且由单个激活像素产生的事件不能为光流的计算提供足够的信息。

鉴于上述原因，需要一种新的基于像素强度来提取坡度信息的方案，以提高光流计算的速度。

发明内容

本发明提供了一种数据处理方法及计算设备，以力图解决或者至少缓解上面存在的至少一个问题。

根据本发明的一个方面，提供了一种数据处理方法，该方法适于对来自动态视觉传感器的事件数据流进行处理，以得到表征不同时间段内场景变化的图像帧，其中事件数据流包括亮度发生变化的像素的坐标，该方法包括步骤：按预定时间间隔将事件数据流分割为多个数据切片；以及依次选取第一数量个数据切片进行加权计算，以生成表征不同时间段内场景变化的图像帧。

可选地，在根据本发明的数据处理方法中，还包括步骤：根据不同时间段内场景变化的图像帧计算场景内运动物体的运动方向和运动速度。

可选地，在根据本发明的数据处理方法中，还包括步骤：按预定规则生成权重序列，以对所述第一数量个数据切片进行加权计算，其中，所述权重序列中包含第一数量个权重因子。

可选地，在根据本发明的数据处理方法中，预定规则包括：所述权重序列中权重因子的变化趋势呈单调变化。

可选地，在根据本发明的数据处理方法中，依次选取第一数量个数据切片进行加权计算、以生成表征不同时间段内场景变化的图像帧的步骤包括：依次选取第一数量个数据切片作为数据分组，其中相邻数据分组之间相互重叠第二数量个数据切片；以及利用权重序列对每个数据分组内的数据切片进行加权计算，生成表征对应时间段内场景变化的图像帧。

可选地，在根据本发明的数据处理方法中，依次选取第一数量个数据切片进行加权计算，以生成表征不同时间段内场景变化的图像帧的步骤还包括：对多个数据切片进行映射处理，生成对应的多个切片图像；以及依次选取第一数量个切片图像进行加权计算，以生成表征不同时间段内场景变化的图像帧。

可选地，在根据本发明的数据处理方法中，对多个数据切片进行映射处理、生成对应的多个切片图像的步骤包括：针对每个数据切片，将该数据切片中亮度发生变化的像素的坐标对应的像素值映射为第一值；将该数据切片中亮度未发生变化的像素的坐标对应的像素值映射为第二值；以及根据第一值和第二值构建该数据切片的切片图像。

可选地，在根据本发明的数据处理方法中，对多个数据切片进行映射处理、生成对应的多个切片图像的步骤包括：针对每个数据切片，统计该数据切片中每个像素发生变化的次数作为该像素的初始像素值；以及将每个像素的初始像素值映射到预定区间内，得到该数据切片的切片图像。

可选地，在根据本发明的数据处理方法中，依次选取第一数量个切片图像进行加权计算、以生成表征不同时间段内场景变化的图像帧的步骤包括：依次选取第一数量个切片图像作为图像组，其中相邻图像组之间相互重叠第二数量个切片图像；以及利用权重序列对每个图像组内的切片图像进行加权计算，生成表征对应时间段内场景变化的图像帧。

可选地，在根据本发明的数据处理方法中，第一数量大于第二数量。

可选地，在根据本发明的数据处理方法中，利用权重序列对每个图像组内的切片图像进行加权计算，生成表征对应时间段内场景变化的图像帧的步骤还包括：利用权重序列对每个图像组内的切片图像进行加权计算，得到每个图像组对应的加权图像；以及将加权图像的每个像素值映射到预定区间内，生成表征对应时间段内场景变化的图像帧。

根据本发明的另一方面，提供了一种计算设备，包括：一个或多个处理器；和存储器；一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行如上所述方法中的任一方法的指令。

根据本发明的又一方面，提供了一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当计算设备执行时，使得所述计算设备执行如上所述的方法中的任一方法。

根据本发明的数据处理方案，按照时间的先后顺序将事件数据流切片，而后按照一定的权重对多个数据切片进行叠加，得到加权图像帧，该加权图像帧表征了某时间段内场景的变化。根据该加权图像帧能够方便有效地分析出场景中的物体在某时间段内的运动速度和运动方向，有助于提高光流计算的速度。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明一些实施例的计算设备100的示意图；

图2示出了根据本发明一些实施例的事件数据流的示意图；

图3示出了根据本发明一些实施例的数据处理方法300的流程示意图；

图4示出了根据本发明一个实施例的从数据流中分割生成数据切片的过程示意图；

图5示出了根据本发明一个实施例的累加生成表征场景变化的图像帧的过程示意图；

图6示出了根据本发明一个实施例的多个加权图像帧的示意图；以及

图7示出了三种典型运动方向所对应的加权图像帧的效果图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1是示例计算设备100的框图。在基本的配置102中，计算设备100典型地包括系统存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和系统存储器106之间的通信。

取决于期望的配置，处理器104可以是任何类型的处理器，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用，或者在一些实现中，存储器控制器118可以是处理器104的一个内部部分。

取决于期望的配置，系统存储器106可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器106可以包括操作系统120、一个或者多个应用122以及程序数据124。在一些实施方式中，应用122可以布置为在操作系统上利用程序数据124进行操作。在一些实施例中，计算设备100被配置为执行数据处理方法300，程序数据124中就包含了用于执行所述方法300的指令。

计算设备100还可以包括有助于从各种接口设备(例如，输出设备142、外设接口144和通信设备146)到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个A/V端口152与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156，它们可以被配置为有助于经由一个或者多个I/O端口158和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、图像输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160，其可以被布置为便于经由一个或者多个通信端口164与一个或者多个其他计算设备162通过网络通信链路的通信。

网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以是这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。

计算设备100可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。当然，计算设备100可以实现为小尺寸便携(或者移动)电子设备的一部分，这些电子设备可以是诸如蜂窝电话、数码照相机、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。本发明的实施例对此不作限制。

在光流计算中常采用运动传感器来替代传统的图像传感器，这是由于运动传感器能够响应表示相对亮度变化的事件。根据一种实现方式，在场景中布置动态视觉传感器(Event Camera)，当场景中没有物体移动时，动态视觉传感器不会显示任何内容。然而一旦其检测到场景中的物体运动时(即，光线发生变化)，就会输出动态像素(即，亮度发生变化的像素)的事件数据流。

如图2示出了动态视觉传感器输出的事件数据流，数据流中只包括发生亮度变化的像素的像素信息，因此，该事件数据流也称为动态像素序列。一般地，像素信息可以包括：像素的坐标(row，column)、像素的亮度值intensity以及亮度发生变化的时间time。如图2，随着时间的推进，动态视觉传感器不断地输出动态像素的像素信息，其中每一条短线代表一个动态像素的像素信息，在时间点A到时间点B的一段时间内，依次输出了5个动态像素的像素信息。需要说明的是，图2中关于动态像素序列的输出个数和输出间隔等仅作为示例，本发明对此均不做限制。

根据本发明的数据处理方法200，对来自动态视觉传感器的事件数据流进行处理，生成表征不同时间段内场景变化的不同图像帧，后续可以基于这些图像帧对场景中的运动进行分析，以提高实时光流计算的速度。

图3示出了根据本发明一些实施例的数据处理方法300的流程示意图。如图3所示，方法300始于步骤S310。

在步骤S310中，读取并存储动态视觉传感器输出的事件数据流，且按预定时间间隔将存储的事件数据流分割为多个数据切片。在根据本发明的一个实施例中，预定时间间隔设置为30毫秒。也就是说，将事件数据流按30毫秒一段切分成多段，其中，切分出的每个30毫秒的数据片段就是一个数据切片。当然，本发明的实施例对预定时间间隔并不做限制，在实际应用中，可根据需求设置不同的时间间隔。

图4示出了根据本发明一个实施例的从数据流中分割生成数据切片的过程示意图。从图4可以看出，事件随着时间连续不断地发生，每隔一个预定时间间隔t0就分割生成一个数据切片(数据切片也可以称作slice)。

随后在步骤S320中，依次选取第一数量个数据切片进行加权计算，以生成表征不同时间段内场景变化的图像帧。

根据本发明的实施方式，在进行加权计算之前，方法300还包括步骤：按预定规则生成一个权重序列(w₁,w₂,w₃,...,w_i)，该权重序列中包含第一数量个权重因子，以对选取的第一数量个数据切片进行加权计算。本发明的实施例对权重序列的取值并不做限制，可以是一组随机数。应当理解，权重序列可以通过任何随机数生成算法生成，并且采用适合的任意形式，只要满足预定规则即可。也就是说，权重序列的随机性不需要完全严格意义上的随机，即虽然每个权重因子的值具有一定随机性，但其变化趋势可以呈现一定规律，如在本发明的实施例中，权重因子的变化趋势呈单调变化，进一步地，在生成权重序列的时候，还可以设置各权重因子之间的比例关系，如(16,8,4,2)。

在根据本发明的方法300中，权重序列对最终生成的图像帧具有很大的影响。一般来讲，权重因子越大，就会越突出该权重因子对应的数据切片的信息。

在一些实施方式中，为突出场景中运动物体当前的运动信息以及它的运动轨迹，会把当前数据切片的权重因子设到最大，然后其它权重因子依次按照一定的比例减小，表1给出了一个具有10个权重因子的权重序列的示例，但在实际使用中，权重序列中权重因子的大小是可以灵活设置的，本发明的实施例对此不做限制。

表1权重序列示例

W<sub>1</sub>	w<sub>2</sub>	w<sub>3</sub>	w<sub>4</sub>	w<sub>5</sub>	W<sub>6</sub>	W<sub>7</sub>	W<sub>8</sub>	W<sub>9</sub>	W<sub>10</sub>
										1	1	2	2	4	4	8	8	16	16

在另一些实施方式中，为突出场景中运动物体的起始运动信息(如，运动物体从哪里来)，会将位于前面时刻的数据切片的权重因子设得比较大。在又一些实施方式中，若只关注场景中运动物体的运动轨迹，那么可以对多个数据切片设置一样的权重因子。

以上仅给出一些权重序列的示例。在实际应用中，可根据场景选择合适的权重序列。

根据本发明的实施例，步骤S320可以分为如下两步。

第一步，依次选取第一数量个数据切片作为数据分组，该数据分组包含了在这一段时间内发生亮度变化的像素的像素信息(如，亮度发生变化的像素的像素坐标)，在根据本发明的实施例中，相邻数据分组之间相互重叠第二数量个数据切片。并且，第一数量大于第二数量。

第二步，利用生成的权重序列对每个数据分组内的数据切片进行加权计算，同上，以像素信息为像素坐标为例，对每个数据分组内属于不同数据切片的像素坐标分别分配不同的权重因子，如对第一个数据切片中的所有像素坐标分配权重因子1，对第二个数据切片中的所有像素坐标分配权重因子3，等等，同时，设发生变化的像素的初始值为1，根据对应的权重因子相乘后就是对应数据切片的结果。再将第一数量个数据切片的结果相加，得到该数据分组内所有像素坐标最终对应的值，将其映射为一帧图像，即表征了对应时间段内场景变化的图像帧。本发明对将一组数据映射为一帧图像的映射方式不做限制，可选地，可以参考下文中所介绍的方式将数据分组内所有像素坐标对应的值映射到[0,255]之间，得到一帧灰度图像。

需要说明的是，像素信息除了亮度发生变化的像素的像素坐标外，还可以包括亮度发生变化的像素的亮度值和亮度发生变化的时间。可以设亮度发生变化的像素的初始值为一个常数来进行加权计算，也可以以像素本身的亮度值为初始值来进行加权计算，或者，还可以统计亮度发生变化的次数作为像素的初始值来进行加权计算，本发明的实施例对此均不做限制。

进一步地，为更形象地说明如何对数据切片进行加权计算生成表征不同时间段内场景变化的图像帧，根据本发明的另一些实施例，提供了一种方案，将步骤S320拆分为两步：(1)对多个数据切片进行映射处理，生成对应的多个切片图像；(2)依次选取第一数量个切片图像进行加权计算，以生成表征不同时间段内场景变化的图像帧。以下详细介绍该过程。

(1)对多个数据切片进行映射处理，生成对应的多个切片图像。

也就是说，对于每个数据切片，构建一帧图像(在根据本发明的一个实施例中，构建的图像大小为768×640，但不限于此，只要构建图像的大小能包含动态视觉传感器中像素电路的个数即可)，将该数据切片中发生亮度变化的像素映射到构建的图像上，得到一帧切片图像。需要说明的是，映射所得的切片图像可以是二值图像，也可以是灰度图像，本发明的实施例对此均不作限制。

在根据本发明的一种实施方式中，针对每个数据切片，采用如下方式映射得到其对应的切片图像。首先，将该数据切片中亮度发生变化的像素的坐标对应的像素值映射为第一值。在根据本发明的实施例中，第一值设为255。然后，将该数据切片中亮度未发生变化的像素的坐标对应的像素值映射为第二值。在根据本发明的实施例中，第二值设为0。最后，根据第一值和第二值就构建除了该数据切片的二值切片图像。

假设一个数据切片中亮度发生变化的像素的坐标为{(0,1),(0,6),(1,1),(2,3),(2,6),(4,2)}，构建的图像大小为5×8，那么，该数据切片映射得到的切片图像的像素值如表2所示，其中，表2中左上角第一个“0”代表坐标为(0,0)(即，第0行第0列)的像素亮度未发生变化，其右边的“255”代表坐标为(0,1)(即，第0行第1列)的像素亮度发生变化，依次类推。

表2切片图像的像素值示例

0	255	0	0	0	0	255	0
								0	255	0	0	0	0	0	0
0	0	0	255	0	0	255	0
								0	0	0	0	0	0	0	0
0	0	255	0	0	0	0	0

在根据本发明的另一种实施方式中，针对每个数据切片，采用如下方式映射得到其对应的切片图像。首先，统计该数据切片中每个像素发生变化的次数作为该像素的初始像素值。然后，将每个像素的初始像素值映射到预定区间内，得到该数据切片的切片图像。在根据本发明的实施例中，预定区间设为[0,255]。当然，也可以设为[0,1023]，或其他任意区间，本发明的实施例对此不做限制。

假设一个数据切片中亮度发生变化的像素的坐标为{(0,1),(0,6),(1,1),(0,6),(2,3),(2,6),(0,6),(1,1),(4,2)}，构建的图像大小为5×8。统计每个像素发生变化的次数并作为该像素的初始像素值，作为一个初始的切片图像。那么，该数据切片对应的初始像素值可以表示如表3。

表3切片图像的初始像素值示例

0	1	0	0	0	0	3	0
								0	2	0	0	0	0	0	0
0	0	0	1	0	0	1	0
								0	0	0	0	0	0	0	0
0	0	1	0	0	0	0	0

表3中，坐标(0,6)(即，第0行第6列)处的像素发生了3次变化，故其初始像素值记作3。坐标(1,1)(第1行第1列)处的像素发生了2次变化，故其初始值记作2。

接着，将上述得到的初始像素值映射到预定区间内，在根据本发明的一个实施例中，设预定区间为[0,255]，按如下公式将初始像素值映射到预定区间：

其中，x表示初始像素值，x'表示映射后的像素值，max和min分别表示该数据切片的所有初始像素值中的最大值和最小值。

将表3中的初始像素值映射到[0,255]后，得到的切片图像的像素值如表4所示。

表4切片图像的像素值示例

0	85	0	0	0	0	255	0
								0	170	0	0	0	0	0	0
0	0	0	85	0	0	85	0
								0	0	0	0	0	0	0	0
0	0	85	0	0	0	0	0

需要说明的是，以上示例只是为了更形象具体地说明根据本发明的数据处理方法300的处理过程，在实际操作中，动态像素的情形较之更为复杂，映射的方式也可以多样化，本发明的实施例对此均不作限制。基于本发明的一些实施例所提供的实施方式，本领域技术人员应当可以想到，通过其它各种映射处理方式，来生成每个数据切片的切片图像。篇幅所限，此处不再一一展开。

(2)依次选取第一数量个切片图像进行加权计算，以生成表征不同时间段内场景变化的图像帧。

如前文所述，生成权重序列(w₁,w₂,w₃,...,w_i)后，按照如下方式对切片图像进行累加计算。如图5示出了根据本发明一个实施例的累加生成表征场景变化的图像帧的过程示意图，在时间轴上排列的每一格代表一帧随时间依次生成的切片图像：切片图像1、切片图像2、…。首先，依次选取第一数量个切片图像作为图像组，且相邻图像组之间相互重叠第二数量个切片图像。在图5所示的实施例中，第一数量取10，第二数量取9。当然，本发明的实施例对第一数量和第二数量均不作限制，只要满足第一数量大于第二数量即可。然后，利用权重序列对每个图像组内的第一数量个切片图像进行加权计算，生成表征对应时间段内场景变化的图像帧(该图像帧可以看作是：基于多时间切片的加权图像帧)。也就是，从第10个切片图像开始，输出前面10个切片图像的加权图像帧。如图5，第1-10个切片图像累加得到加权图像帧1，第2-11个切片图像累加得到加权图像帧2，第3-12个切片图像累加得到加权图像帧3，以此类推。

综上所述，进行加权计算的过程可以用如下公式表示：

式中，N表示第一数量，w_i表示权重序列中的第i个权重因子，Frame(i)表示图像组中的第i个切片图像。

至此，就计算出了根据本发明实施例的加权图像帧。图6示出了根据本发明一个实施例的多个加权图像帧的示意图。如图6所示，随时间依次生成的加权图像帧A、B、C、D、E、F。可以看出，根据本发明的数据处理方案生成的加权图像帧与XY平面具有一定的倾斜角度，也就是说，加权图像帧具有坡度和坡向。本领域技术人员可通过Meanshift均值偏移等算法计算出加权图像帧的坡度和坡向，例如，确定坡顶(最大值)和坡底(最小值)，通过Meanshift算法找出坡顶和坡底之间的最短登山路径，该路径指向的方向，就是坡向，该路径与XY平面的投线的夹角，就是坡度。一般地，根据坡向就可以方便地获得场景内物体的运动方向；而根据坡度又可以分析出物体运动速度的相对变化趋势。需要说明的是，此处仅简单介绍了一种通过计算加权图像帧的坡度和坡向来分析物体运动方向和运动速度的方法，本发明的实施例对此不做限制。事实上，在加权图像帧的基础上，本领域技术人员能够据此采用任何方式计算出坡度和坡向，进而分析场景中运动物体的运动方向和运动速度，不论采用何种算法来通过加权图像帧分析物体的运动速度和运动方向，均在本发明的保护范围之内。

从图6可以看出，时间越长，其叠加出的加权图像帧的坡度越明显；越往后的位置(即，时间上最新的位置)对应的权重因子越大，其叠加出的加权图像帧的坡度也越明显。根据不同时间段内场景变化的图像帧(即，加权图像帧)所形成的斜坡的陡峭程度和坡向，就可以计算出场景内运动物体的运动方向和运动速度。由于物体运动的方向和速度不同，所以动态视觉传感器会产生不同的事件数据流，按照图6所示的加权图像帧的叠加方式，不同的运动方式会得到不同方向和大小的坡度，如图7示出了三种典型运动方向所对应的加权图像帧的效果图。图7中(1)给出了物体沿同一方向以不同运动速度在场景中运动时所形成的加权图像。由于运动方向不变，故三个加权图像帧的坡向是一致的，但是速度的不同导致加权图像帧的陡峭程度不同。另外，图7中(2)、(3)分别给出了物体沿着其它不同方向运动的加权图像帧，箭头指示了加权图像帧的坡向。

在根据本发明的另一些实施例中，为更直白地显示该加权图像帧，还会对加权得到的图像进行进一步映射处理，以得到加权图像帧中每个像素点的灰度值，将加权图像帧作为一个灰度图像进行显示。具体地，在利用权重序列对每个图像组内的切片图像进行加权计算、得到每个图像组对应的加权图像帧后，将加权图像帧的每个像素值映射到预定区间内，生成表征对应时间段内场景变化的图像帧。映射方式可以采用如前文所述的映射处理方法，也可以选用其它映射方法，本发明的实施例对此不做限制。应当理解，进行映射处理是为了更好地显示根据本发明实施方式的加权图像帧，但并不会影响基于加权图像帧对运动方向和运动速度的分析。

根据本发明的数据处理方案，按照时间的先后顺序将事件数据流切片，而后按照一定的权重对多个数据切片进行叠加，得到加权图像帧，该加权图像帧表征了某时间段内场景的变化。特别地，根据分析的需要设置权重序列的变化趋势(如，单调递增、单调递减等)。根据该加权图像帧能够方便有效地分析出场景中的物体在某时间段内的运动速度和运动方向，有助于提高光流计算的速度。另外，本发明的的数据处理方案还进一步提供了一种数据处理方案，先将数据切片映射成切片图像，再采用同样的加权方式对切片图像进行加权计算，得到加权图像帧。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

本发明一并公开了：

A9、如A6所述的方法，其中，依次选取第一数量个切片图像进行加权计算、以生成表征不同时间段内场景变化的图像帧的步骤包括：依次选取第一数量个切片图像作为图像组，其中相邻图像组之间相互重叠第二数量个切片图像；以及利用权重序列对每个图像组内的切片图像进行加权计算，生成表征对应时间段内场景变化的图像帧。

A10、如A5或9所述的方法，其中，第一数量大于第二数量。

A11、如A9所述的方法，其中，通过以下公式计算表征第T个时间段内场景变化的图像帧Multi_Slice(T)：

A12、如A9-11中任一项所述的方法，利用权重序列对每个图像组内的切片图像进行加权计算，生成表征对应时间段内场景变化的图像帧的步骤还包括：利用权重序列对每个图像组内的切片图像进行加权计算，得到每个图像组对应的加权图像；以及将加权图像的每个像素值映射到预定区间内，生成表征对应时间段内场景变化的图像帧。

A13、如A8-12中任一项所述的方法，其中，预定区间为[0，255]。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims

1.一种数据处理方法，所述方法适于对来自动态视觉传感器的事件数据流进行处理，以得到表征不同时间段内场景变化的图像帧，其中所述事件数据流包括亮度发生变化的像素的坐标，所述方法包括步骤：

按预定时间间隔将所述事件数据流分割为多个数据切片；以及

依次选取第一数量个所述数据切片，利用权重序列对第一数量个数据切片进行加权计算，以生成表征不同时间段内场景变化的图像帧；

根据不同时间段内场景变化的图像帧计算场景内运动物体的运动方向和运动速度，其中，所述图像帧具有坡度和坡向，根据坡向确定场景内运动物体的运动方向，根据坡度确定运动物体的运动速度。

2.如权利要求1所述的方法，还包括步骤：

按预定规则生成权重序列，以对所述第一数量个数据切片进行加权计算，其中，所述权重序列中包含第一数量个权重因子。

3.如权利要求2所述的方法，其中，所述预定规则包括：所述权重序列中权重因子的变化趋势呈单调变化。

4.如权利要求3所述的方法，其中，依次选取第一数量个数据切片，利用权重序列对第一数量个数据切片进行加权计算、以生成表征不同时间段内场景变化的图像帧的步骤包括：

依次选取第一数量个数据切片作为数据分组，其中相邻数据分组之间相互重叠第二数量个数据切片；以及

利用所述权重序列对每个数据分组内的数据切片进行加权计算，生成表征对应时间段内场景变化的图像帧。

5.如权利要求1-3中任一项所述的方法，其中，依次选取第一数量个数据切片，利用权重序列对第一数量个数据切片进行加权计算，以生成表征不同时间段内场景变化的图像帧的步骤还包括：

对所述多个数据切片进行映射处理，生成对应的多个切片图像；以及

依次选取第一数量个所述切片图像进行加权计算，以生成表征不同时间段内场景变化的图像帧。

6.如权利要求5所述的方法，其中，所述对多个数据切片进行映射处理、生成对应的多个切片图像的步骤包括：

针对每个数据切片，将该数据切片中亮度发生变化的像素的坐标对应的像素值映射为第一值；

将该数据切片中亮度未发生变化的像素的坐标对应的像素值映射为第二值；以及

根据所述第一值和第二值构建该数据切片的切片图像。

7.如权利要求5所述的方法，其中，所述对多个数据切片进行映射处理、生成对应的多个切片图像的步骤包括：

针对每个数据切片，统计该数据切片中每个像素发生变化的次数作为该像素的初始像素值；以及

将每个像素的初始像素值映射到预定区间内，得到该数据切片的切片图像。

8.一种计算设备，包括：

一个或多个处理器；和

存储器；

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1-7所述方法中的任一方法的指令。

9.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当计算设备执行时，使得所述计算设备执行根据权利要求1-7所述的方法中的任一方法。