CN113177640A - 一种离散异步事件数据增强方法 - Google Patents

Abstract

本发明公开了一种离散异步事件数据增强方法，包括以下步骤：步骤S1：将异步事件流和相应的图像分辨率作为事件数据输入；步骤S2：初始化变量；步骤S3：采用随机选择策略对事件数据进行增强；步骤S4：输出增强后的事件数据。本方法通过采用随机丢弃、按时间丢弃和按区域丢弃操作，有效增加了事件数据的数据量，也增加了事件数据的多样性，在一定程度上较好的解决了事件数据存在噪声和遮挡导致的模型过拟合问题。本发明所提出的方法易于实现且计算成本低，能够显著提高包括深度学习模型在内的各种模型的泛化性能，可以广泛应用于各种基于事件的学习任务中。

Description

一种离散异步事件数据增强方法

技术领域

本发明涉及数据处理技术领域，特别涉及一种离散异步事件数据增强方法。

背景技术

基于事件的数据往往存在一些特性，对深度学习模型的泛化能力产生重要影响。例如，在相同光照条件和场景下，事件相机的输出可能会随时间发生显著变化。这主要是因为事件相机数据存在随机噪声。随机删除一部分事件数据可以改善事件数据的多样性，从而提高下游应用程序的性能。

此外，在对象识别和跟踪等诸多任务中，事件数据可能会存在遮挡问题。然而，机器学习模型的泛化能力在很大程度上取决于训练数据的多样性，包括各种受遮挡情形下数据。但是，可用的训练数据通常顾及到的受遮挡的情形十分有限。在不包含遮挡情形的数据上训练的机器学习模型在部分被遮挡的新样本上的泛化精度可能很差。通过模拟生成部分遮挡的数据新样本，可以使模型能够更好地识别具有部分遮挡的对象。

因此，有必要重点解决如何增强事件数据以克服事件数据中的噪声和遮挡问题所引起的深度学习模型泛化能力低的关键难题，以拓展面向事件数据的深度学习模型的应用。

发明内容

有鉴于此，本发明的第一方面的目的是提供一种离散异步事件数据增强方法。用于解决如何增强事件数据以克服事件数据中的噪声和遮挡问题所引起的深度学习模型泛化能力低的关键难题，用于拓展面向事件数据的深度学习模型的应用。

本发明的第一方面的目的是通过以下技术方案实现的：

一种离散异步事件数据增强方法，包括以下步骤：

步骤S1：将异步事件流和相应的图像分辨率作为事件数据输入；

步骤S2：初始化变量；

步骤S3：采用随机选择策略对事件数据进行增强；

步骤S4：输出增强后的事件数据。

进一步，所述随机选择策略包括保持不变、随机丢弃、按时间丢弃和按区域丢弃四种操作。

进一步，事件数据表示方法包括事件帧、事件计数图像、体元网格和EST中的一种或多种。

进一步，每种操作的概率设为相同的值，即每一个操作被执行的概率p为0.25。

进一步，所述随机丢弃和按时间丢弃策略中的选择事件的比例划分为9个不同级别，而按区域丢弃策略中的选择的区域比例则划分为5个级别。

进一步，当执行按时间丢弃操作时，首先随机选择一个操作级别，再随机选择一个时间段，然后将选定的时间段内的事件将从事件序列中删除，其余事件序列将作为算法的输出返回；在按区域丢弃操作中，先随机选择的操作级别和像素区域，然后丢弃所选区域内的事件；在随机丢弃操作中，随机选择一部分事件进行删除。

本发明的第二方面的目的是提供一种计算机装置，包括存储器、处理器及储存在存储器上并能够在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前所述的方法。

本发明的第三方面的目的是提供一种计算机可读存储介质，其上储存有计算机程序，所述计算机程序被处理器执行时实现如前所述的方法

本发明的有益效果是：

本发明首次提出了通过一定策略来丢弃部分事件数据来增强异步事件数据的方法，本发明提出的方法又称为EventDrop。通过采用随机丢弃、按时间丢弃和按区域丢弃操作，有效增加了事件数据的数据量，也增加了事件数据的多样性，在一定程度上较好的解决了事件数据存在噪声和遮挡导致的模型过拟合问题。本发明所提出的方法易于实现且计算成本低，能够显著提高包括深度学习模型在内的各种模型的泛化性能，可以广泛应用于各种基于事件的学习任务中。

与本发明相关的工作包括Dropout[1]，Cutout[2]和RE[3]等，这些方法都引入了一定的噪声以提高深度学习模型的泛化能力。然后，Dropout是通过删除模型中的神经元单元及其连接来改进模型的泛化能力，而本发明提出的方法则通过删除一定比例的输入事件来提高模型测试精度，其可以被当作是Dropout的一种扩展。Cutout和RE方法则都是通过考虑遮挡情形来增强图像，而本发明提出的方法除了顾及遮挡情形外，同时还考虑传感器噪声，可以改善事件数据的多样性，从而提高下游应用程序的性能。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书和前述的权利要求书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1为三种事件数据增强方法的原理示意图；

图2为本发明的方法流程示意图；

图3使用本发明进行异步事件数据增强的示意图；

图4为常用的异步事件数据表示方法示意图；

图5为用不同比率的N-Cars训练数据并利用ResNet-34网络所能实现的精度示意图。

具体实施方式

以下将参照附图，对本发明的优选实施例进行详细的描述。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

本发明提出了基于三种增强事件数据的方法，包括随机丢弃、按时间丢弃和按区域丢弃一定比例的数据。随机丢弃方法是用于克服事件数据的噪声问题，其他两种策略是用于模拟不同的遮挡情形。图1说明了不同的事件数据增强策略的思路。在图1中，t表示时间维度，x表示像素坐标(为清楚起见，此处仅显示一个维度)，黑点表示原始事件，矩形虚线框内的点表示要删除的事件，虚线表示阈值边界。

下面将详细描述这三种策略：

(1)随机丢弃方法。随机丢弃的基本思想是随机删除事件序列中的一部分事件，从而克服来自事件传感器的噪声问题。

(2)按时间丢弃方法。丢弃随机选择的一段时间内的所有事件，从而模拟在特定时间段内物体被部分遮挡的情况来增加训练数据的多样性。

(3)按区域丢弃方法。丢弃随机选择的一定像素区域内的所有事件，从而模拟对象的某些部分被部分遮挡的情形来改善数据多样性。

本发明提出的数据增强方法流程如图2所示。包括如下步骤：包括以下步骤：

步骤S1：将异步事件流和相应的图像分辨率作为事件数据输入；

步骤S2：初始化变量；

步骤S3：采用随机选择策略对事件数据进行增强；

步骤S4：输出增强后的事件数据。

在该方法中，将异步事件流和相应的图像分辨率(W,H)作为输入，然后采用现有的常规的初始化变量方法进行初始化，最后采用保持不变、随机丢弃、按时间丢弃和按区域丢弃四种操作来对事件数据进行增强，进行输出。本方法将采用每种操作的概率设为相同的值，即每一个操作被执行的概率p为0.25。其中，本实施例中，随机丢弃和按时间丢弃策略中的选择事件的比例划分为9个不同级别(即从0.1至0.9)，而按区域丢弃策略中的选择的区域比例则划分为5个级别(即从0.1至0.5)。具体而言，当执行按时间丢弃操作时，首先随机选择一个操作级别，再随机选择一个时间段，然后将选定的时间段内的事件将从事件序列中删除，其余事件序列将作为算法的输出返回；在按区域丢弃操作中，先随机选择的操作级别和像素区域，然后丢弃所选区域内的事件；在随机丢弃操作中，随机选择一部分事件进行删除。

图3为使用本发明提出的方法进行异步事件增强的示例。为了更直观的可视化，采用了事件帧来可视化增强事件数据的结果。

深度神经网络通常被用于处理类似帧的数据(例如图像、视频)。然而，由于事件数据是异步事件流，因此无法直接利用深度神经网络处理事件数据。单个的事件仅包含很少的信息，无法从中提取特征信息。为了利用深度神经网络处理事件数据，研究者们提出了将事件数据转为类似帧的表示方法。常用的事件数据表示方法包括事件帧[4]、事件计数图像[5]、体元网格[6]和EST[7]。图4显示了将异步事件数据转换为类似帧的一般流程。原始的异步事件可以通过量化或学习(例如神经网络)转换为类似帧。

令ε为一系列事件，包括位置、时间、极性(符号)信息，表述为：

其中(x_i,y_i)是触发事件e_i的像素坐标，t_i是事件生成的时间戳，p_i是事件的极性。极性采用两个值：1和-1，分别代表正事件和负事件。I是事件数。

事件帧使用每个像素的事件直方图表示事件，可以将其表示为(表示为V_EF)：

其中δ(·)是一个指示函数。(x_l,y_m)是事件帧表示中的像素坐标，x_l∈{0,1,...,W-1}，y_m∈{0,1,...,H-1}。可以将事件帧视为分辨率为H×W的二维图像。

事件计数图像类似于事件帧，但是它对正向事件和负向事件使用单独的直方图。事件计数图像V_EC描述为：

其中ε₊和ε_-分别是具有正极性和负极性的事件序列。事件计数图像可以视为两通道图像，每个通道对应一个极性。

体元网格V_VG进一步考虑了事件的时间信息，可表示为

t_n＝t₁+(c_n+1)ΔT， (6)

其中1_ti是一个指标函数，当t_i在(t_n-1,t_n]区间内时取1，否则为0。c_n是体元网格表示的索引，c_n∈{0,1,...,C-}1。ΔT是时间间隔。

与体元方法类似，EST也是一种基于网格的表示形式，可通过可微分的内核卷积和量化直接从异步事件数据中进行端对端学习。EST同时考虑了有关事件的时间信息和极性，其描述为：

其中f_±(x,y,t)是规范化的时间戳，

其中t₁是第一个时间戳，ΔT是时间块的大小。k(x,y,t)是一个三元线性核，写为

在本发明中，采用以上四种表示形式为代表来分析本发明所提出的方法如何增强深度神经网络的泛化性能。

实验方法及结果

本实施例中，基于两个公开事件数据集N-Caltech101[8]和N-Cars[9]，并采用了四种前沿的深度学习架构对提出的方法进行评估，分别是ResNet-34[10]、VGG-19[11]、MobileNet-V2[12]和Inception-V3[13]。所有网络都在ImageNet[14]上进行了预训练。由于案例的输入通道和输出类别的数量与这些预训练模型不同，因此采用[7]中使用的方法，并使用随机权重替换预训练模型的第一层和最后一层，然后微调任务上的所有参数。

由于事件数据是异步事件流，不能直接应用深度神经网络，因此实现了前面介绍的四种事件表示方法。对于EST的实现，是将神经网络替换为三元线性核，从而提高计算效率。通常深度学习模型将2D图像作为输入，而本发明的方法所使用的一些事件表示形式(例如体元网格和EST)是3D或4D张量。为了适应这些预先训练的模型，我们将事件表示形式沿着极性和/或时间维度进行串联。

本发明采用了Adam优化器来进行模型训练。初始学习速率设置为1×10^-4，直到迭代达到100，然后每10次迭代将学习速率降低0.5倍。迭代总数设置为200。两个数据集的批处理大小均为4。为了进行客观的评估，使用不同的随机种子将每个模型在数据集运行多次，然后报告均值和标准差。对于N-Caltech101数据集，使EST[7]中的数据分割比例，而对于N-Cars数据集则使用训练数据的20％作为验证集进行早期停止。

(2)基于N-Caltech101数据集的实验结果

首先在N-Caltech101数据集上分析本发明的方法的性能。将使用相同模型但未进行数据增强的结果被视为基准。表1比较了本发明提出的方法和基准方法的性能。可以看到本发明提出的方法显著改进了使用不同表征的所有模型的性能。其中，使用体元网格和EST表示方法所达到的精度要比使用“事件帧”和“事件计数”表示所达到的精度高。这是由于体元网格和EST包含有关事件的时间信息，而“事件帧”和“事件计数”表示方法则没有考虑时间信息。由于EST进一步考虑了有关事件的极性信息，因此其结果比体元网格略好。在这些深度网络中，Mobi leNet-V2的性能比ResNet-34和Incept ion-V3略好，而VGG-19的性能最差。

表1使用不同表征方法的四种深度学习网络在N-Caltech101数据集上的物体识别精度(％)

(3)基于N-Cars的实验结果

比较了本发明提出的方法和基准方法在N-Cars数据集上的运行结果。从表2可以看出，本发明提出的方法在使用不同表征方法和深度学习模型的精度均优于基准方法。还可以发现，本发明提出的方法对于基准方法的精度改进幅度可高达4.5％。使用顾及极性信息的事件计数和EST表示方法比使用没有顾及极性信息的事件帧和体元网格表示方法所实现的精度更高。四种深度学习网络在基准方法上所实现的性能相近，而当使用本发明提出的方法扩展训练数据时，ResNet-34和MobileNet-V2模型所能实现的精度更高。

表2使用不同表征方法的四种深度学习网络在N-Cars数据集上的物体识别精度(％)

(4)不同事件丢弃方法的实验结果比较

此外，通过在两个数据集上比较了不同事件增强策略的性能。在按时间丢弃、按区域丢弃和随机丢弃操作的实现中，将执行每个操作进行的概率设置为0.5，并随机选择操作级别(强度)。对于本发明提出的方法(EventDrop)，将随机选择三种删除策略和保持不变操作的概率均设为0.25。

如表3中所示，本发明提出的方法在两个数据集上的表现均优于基准方法，且在N-Cars数据集的改进幅度更大。

表3基于ResNet-34不同丢弃策略的精度(％)比较

总体而言，对于N-Caltech101数据集，本发明提出的方法和按区域丢弃策略所实现的精度优于按时间丢弃和随机丢弃操作所实现的精度。当使用体元网格和EST表示方法时，按时间丢弃操作似乎不能改进基准方法的精度，但是在使用事件帧和事件计数表示方法时，它则可以提高基准方法的精度。这可以解释为N-Caltech101是一个模拟的事件数据集，其中的传感器噪声和时间遮挡情形可忽略不计，因此丢弃随机选择的一定时间段内的事件不能显著地增加数据多样性。

相比之下，对于N-Cars数据集，所有增强策略所实现的精度均高于不使用任何增强策略的基准方法。这可能是因为N-Cars是一个真实的事件数据集，其在采集过程中受传感器噪声和各种遮挡的影响更大，因而使用不同增强策略可以较好地增加数据多样性。

(5)训练数据数量的影响

另外，通过分析了使用不同数量的训练数据时本发明提出的方法所能实现的精度。考虑了使用的训练数据是原数据量比率的0.1,0.2,…,1的情形，其中0.1代表仅10％的随机选择的训练数据用于训练网络。设定基准方法和本发明提出的方法共享同一随机种子，然后比较它们的性能。图5显示了本发明提出的方法通常会持续改善基准方法。即使只使用10％的训练数据，本发明提出的方法也可以达到约94％的精度，而相比之下，基准方法所达到的精度约为91.5％。同时还注意到，在某些比率(例如0.4)下，使用事件帧和体元网格表征方法时，本发明提出的方法对基准方法的改善很小，这可能是因为随机选择的训练数据不足以代表整个事件数据集或在使用事件帧和体元网格方法转换异步事件过程中丢弃了一些有用的信息。在使用EST表示方法时，由于其包含更丰富的事件信息，因而本发明提出的方法对基准方法具有一致的改进。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种离散异步事件数据增强方法，其特征在于：所述方法包括以下步骤：

步骤S1：将异步事件流和相应的图像分辨率作为事件数据输入；

步骤S2：初始化变量；

步骤S3：采用随机选择策略对事件数据进行增强；

步骤S4：输出增强后的事件数据。

2.根据权利要求1所述的一种离散异步事件数据增强方法，其特征在于：所述随机选择策略包括保持不变、随机丢弃、按时间丢弃和按区域丢弃四种操作。

3.根据权利要求1所述的一种离散异步事件数据增强方法，其特征在于：事件数据表示方法包括事件帧、事件计数图像、体元网格和EST中的一种或多种。

4.根据权利要求1或2或3所述的一种离散异步事件数据增强方法，其特征在于：每种操作的概率设为相同的值，即每一个操作被执行的概率p为0.25。

5.根据权利要求1或2或3所述的一种离散异步事件数据增强方法，其特征在于：所述随机丢弃和按时间丢弃策略中的选择事件的比例划分为9个不同级别，而按区域丢弃策略中的选择的区域比例则划分为5个级别。

6.根据权利要求2所述的一种离散异步事件数据增强方法，其特征在于：当执行按时间丢弃操作时，首先随机选择一个操作级别，再随机选择一个时间段，然后将选定的时间段内的事件将从事件序列中删除，其余事件序列将作为算法的输出返回；在按区域丢弃操作中，先随机选择的操作级别和像素区域，然后丢弃所选区域内的事件；在随机丢弃操作中，随机选择一部分事件进行删除。

7.一种计算机装置，包括存储器、处理器及储存在存储器上并能够在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1-6任一项所述的方法。

8.一种计算机可读存储介质，其上储存有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-6任一项所述的方法。

Images