CN110599414A - 一种面向事件相机数据处理的时空归一化方法 - Google Patents

Abstract

本发明提供的是一种面向事件相机数据处理的时空归一化方法，主要是根据事件被激活的时刻越晚，其时间戳的值越大的性质，利用双向链表对像素进行相连，记录相对时序关系；根据被激活事件的像素坐标位置已知的性质，利用序列更新对节点序列进行重排；在序列更新阶段，根据不同应用的需求，采用同步序列更新和异步序列更新；在选择序列时，根据具有相同时间戳的像素的序列相同的性质，去除错误的序列。本发明利用事件相机的特有性质进行SAE时空归一化处理，具有自适应和高效的特点。

Description

一种面向事件相机数据处理的时空归一化方法

技术领域

本发明属于信号处理领域，特别涉及对事件相机数据进行归一化处理。

背景技术

事件相机是一种模仿人眼视神经，以事件为驱动的动态视觉传感器。与传统的基于画面的相机不同，事件相机无固定的观察频率，每个像素电路独立检测光强水平，当光强发生变化时，以极快的反应速度输出一个事件数据，使事件相机在高效能低功耗的系统中有着巨大的应用潜能。但由于事件相机的输出是事件数据中的时间戳信息，使得传统的视觉处理算法难以直接应用，因此需要对异步事件流进行有效的时空表达。一种常用的表达方式是SAE(Surface of Active Events)，将图像数组中的每个像素位置映射到在该位置触发的最新事件的时间戳，如图1所示。由于每个像素记录的不是光强，而是被触发事件的时间戳，因此像素的值会随着相机工作而持续增长。这使得SAE只是对时间信息进行表征，无法从中提取有效特征来描述视觉场景。由于视觉场景理解依赖于被激发事件之间的相对时序关系而不是时间戳的绝对值，因此需要对SAE进行归一化处理，如图2所示，展现像素之间的相对时序关系。现有的归一化方法中，基于时间窗口的方法容易丢失潜在的有用信息，并且需要根据动态范围手动调整参数，鲁棒性较差；而基于排序的归一化方法以运行时间为代价，在处理大尺寸SAE时效率过低。目前在对事件相机数据进行预处理的方法中，还没有一种高效的自适应归一化方法。

发明内容

本发明的目的在于提供一种面向事件相机数据处理的时空归一化方法，该方法能够以更高的效率自适应地实现SAE归一化，更好地对事件相机数据进行预处理，对于后续的目标检测与跟踪等任务具有非常重要的意义。

本发明提供的面向事件相机数据处理的时空归一化方法，包括以下具体关键部分：

步骤S100，双向链表初始化，所述双向链表的尺寸与图像的尺寸相同，链表的头部表示最早被激活的事件，链表的尾部表示最新被激活的事件，假设图像的尺寸为n像素×n像素，按照从左到右，从上到下的顺序，设置像素对应的节点，其中位于第1排第1列的像素为链表的头部，对应的次序为1，表示链表的第一个节点，位于第n排第n列的像素为链表的尾部，对应的次序为n²＝n×n，表示链表的最后一个节点；

步骤S200，双向链表更新，包括以下子步骤；

步骤S201，同步序列更新：保留最新事件之前的节点对应的次序，更新最新事件的后续节点对应的次序，并利用梯度1/(H_SAE×W_SAE)进行归一化操作，其中H_SAE和W_SAE分别是SAE的长和宽，更新完成后，最新事件之前的节点对应的次序和像素归一化后的值不变，最新事件的后续节点对应的次序依次往前推进一个次序，最新事件对应的节点链解到双向链表的尾部，次序更新为n²，最终各像素的值处于0～1范围内；

步骤S202，异步序列更新：仅对双向链表进行更新，更新方式与同步序列更新中双向链表的更新方式相同，在需要进行归一化时才进行时空归一化操作，方法为：从双向链表的头部循环至尾部，利用每个像素对应的节点次序对SAE进行时空归一化，归一化公式为1/(H_SAE×W_SAE)，其中H_SAE和W_SAE分别是SAE的长和宽。

本发明所提供的链式归一化算法，能够高效地对事件相机数据进行预处理，同时能够保留更多的有用信息，提升后续任务的性能。

附图说明

图1为异步事件流的SAE时空表达。

图2为SAE的归一化处理结果。

图3为同步序列更新流程，

图4为异步序列更新流程。

具体实施方式

由于事件相机与传统的基于画面的相机成像方式不同，传统的视觉处理算法不能直接应用在事件相机数据上。所以，本发明提出了一种面向事件相机数据处理的时空归一化方法。

下面对面向事件相机数据处理的时空归一化方法的原理以及相关定义加以说明。

步骤S100：链表初始化；

事件相机仅感知场景中的运动目标，每个像素电路独立异步工作，因此在对事件相机数据进行处理时应该考虑当前事件与已发生事件之间的关联。不同于以矩阵的形式更新SAE，本方法利用一个双向链表对SAE中的像素进行相连，然后以链表的形式对其进行更新。首先初始化双向链表，链表的尺寸与图像的尺寸相同，链表的头部表示最早被激活的事件，链表的尾部表示最新被激活的事件。在初始化阶段，假设图像的尺寸为4像素×4像素，按照从左到右，从上到下的顺序，设置像素对应的节点，也就是说，位于第1排第1列的像素为链表的头部，对应的次序为1，表示链表的第一个节点，位于第4排第4列的像素为链表的尾部，对应的次序为16＝4×4，表示链表的最后一个节点，如图3中的第②步所示。

步骤S200：链表更新

事件被激活的时刻越晚，其时间戳的值越大。沿着时间轴观测事件流，时间戳之间的关系是已知的，无需再对其进行排序。当一个最新事件被激活时，对其前驱节点及后继节点进行打断重排，将最新事件对应的节点重新链接到链表尾部。假设最新事件的坐标为第三排第一列，对应的次序为9，链表从节点9处进行打断，节点9之前的节点次序不变，节点9之后的节点10～16链接至节点8后，对应次序9～15，节点9链解到链表尾部，对应次序16，如图3和图4中的第③步至第④步所示。此时时间流中的关系可以暂时从这个链表中得知。通过重复上述步骤，即可保留相对关系。在更新后的链表中，头部和尾部分别表示最大次序和最小次序。由于尾部表示最新被激活的事件，头部表示最早被激活的事件，因此每个节点都有一个范围在最大值和最小值之间的次序。链表中每个节点的次序会被新激活的事件打乱，如图3的第④步所示。具体包括：

步骤S201：同步序列更新

由于无序节点是从最新被激活的事件开始，因此保留最新事件之前的节点对应的像素的值，更新最新事件的后续节点对应像素的值。利用梯度1/(H_SAE×W_SAE)进行归一化操作，其中H_SAE＝4和W_SAE＝4分别是SAE的长和宽。也就是说，无序节点是从节点9开始，因此节点1～8对应的像素归一化后的值不变，仍为1/16，2/16，```，8/16，无需进行操作；节点9之后的节点10～16对应的次序更新为9～15，其对应像素归一化后的值从10/16，11/16，```，16/16更新为9/16，10/16，```，15/16；原节点9链解到链表尾部，对应次序更新为16，其对应像素归一化后的值更新为16/16。更新完成后，各像素的值处于0～1范围内。

步骤S202：异步序列更新

对于很多任务，例如特征提取，需要占用大量运行时间，因此利用异步序列更新进行时空归一化。同步序列更新是一个新事件被激活后，对链表进行更新，继而对每个像素点的值进行归一化。异步更新仅对链表进行更新，没有及时进行归一化操作，仅在需要归一化结果时，从头部循环至尾部，利用每个像素对应的节点次序对SAE进行时空归一化，公式为1/(H_SAE×W_SAE)，其中H_SAE＝4和W_SAE＝4分别是SAE的长和宽。也就是说，第一个被激活事件的坐标为第三排第一列，进行链表更新后(原节点1～8不变，原节点9链接至链表尾部，变为节点16，原节点10～16链接至节点8之后，变为节点9～15)，与同步序列更新不同，不进行每个像素点的归一化操作；当第二个事件被激活时，坐标为第二排第一列，按照上述步骤进行链表更新，节点1～4不变，节点5变为节点16，节点6～16变为节点5～15，如图4中的第⑤步至第⑥步所示；当需要归一化结果时，从链表头部循环至链表尾部，利用每个像素对应的节点次序进行归一化操作，即节点1～16归一化的值为1/16，2/16，```，16/16，如图4中的第⑦步所示。

具有相同时间戳的像素，其序列应该相同。在同步序列更新和异步序列更新过程中，通过比较时间戳的值去除错误的序列。

在实验过程中，选用DAVIS240C数据集进行运行时间性能测试。算法的运行时间对于需要实时的应用是一个重要的测量指标。DAVIS240C数据集是由瑞士联邦理工大学建立的广受业界认可的事件相机数据集，包含了在室内室外不同场景下采集的事件相机数据，能够较好地测试各算法的运行时间性能。实验结果如表1所示，分别记录了利用同步序列更新和异步序列更新归一化一幅SAE的平均运行时间。由分析可知，本发明方法能够满足需要实时的应用的运行时间需求。

表1归一化运行时间分析

在实验过程中，选用N-Caltech101和N-Cars两个数据集对归一化结果进行评估。N-Caltech101数据集是利用事件相机对Caltech101数据集转化而成，包含101类目标；N-Cars数据集是基于真实场景的二分类数据集。本方法对这两个数据集的数据进行归一化预处理，然后基于卷积神经网络进行后续的分类任务。通过比较分类精度来评估归一化的有效性，精度越高，表示本方法越有效。实验结果如表2所示，分别记录了对两个数据集进行归一化处理和不进行归一化处理的分类精度。由分析可知，本方法的归一化效果较好，能够大幅提升后续的分类任务精度。

表2分类精度分析

	N-Caltech101	N-Cars
			未归一化处理	0.096	0.511
归一化处理	0.820	0.935

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (1)

1.一种面向事件相机数据处理的时空归一化方法，其特征在于，包含以下步骤：

步骤S100，双向链表初始化，所述双向链表的尺寸与图像的尺寸相同，链表的头部表示最早被激活的事件，链表的尾部表示最新被激活的事件，假设图像的尺寸为n像素×n像素，按照从左到右，从上到下的顺序，设置像素对应的节点，其中位于第1排第1列的像素为链表的头部，对应的次序为1，表示链表的第一个节点，位于第n排第n列的像素为链表的尾部，对应的次序为n²＝n×n，表示链表的最后一个节点；

步骤S200，双向链表更新，包括以下子步骤；

步骤S201，同步序列更新：保留最新事件之前的节点对应的次序，更新最新事件的后续节点对应的次序，并利用梯度1/(H_SAE×W_SAE)进行归一化操作，其中H_SAE和W_SAE分别是SAE的长和宽，更新完成后，最新事件之前的节点对应的次序和像素归一化后的值不变，最新事件的后续节点对应的次序依次往前推进一个次序，最新事件对应的节点链解到双向链表的尾部，次序更新为n²，最终各像素的值处于0～1范围内；

步骤S202，异步序列更新：仅对双向链表进行更新，更新方式与同步序列更新中双向链表的更新方式相同，在需要进行归一化时才进行时空归一化操作，方法为：从双向链表的头部循环至尾部，利用每个像素对应的节点次序对SAE进行时空归一化，归一化公式为1/(H_SAE×W_SAE)，其中H_SAE和W_SAE分别是SAE的长和宽。