CN115546248A - 事件数据处理方法、装置和系统 - Google Patents

Abstract

一种事件数据处理方法、装置和系统，属于机器视觉技术领域。针对不同时空域的事件数据之间存在时空域不匹配的问题，本申请在获取动态视觉传感装置采集的第一事件数据之后，通过神经网络模型对第一事件数据进行处理，获得目标对象的第一识别结果。该神经网络模型是采用至少两种样本事件数据进行训练得到的。采用至少两种样本事件数据训练得到的神经网络模型，在针对与至少两种样本事件数据相同时空域的待处理事件数据进行处理时，均具有较高的处理精度。

Description

事件数据处理方法、装置和系统

技术领域

本申请涉及机器视觉技术领域，尤其涉及一种事件数据处理方法、装置和系统。

背景技术

动态视觉传感装置(Dynamic Vision Sensor，DVS)又称为事件相机，是基于事件驱动的方式来捕捉场景中的动态变化。通常，可以采用预先训练的神经网络模型对事件相机输出的事件数据进行处理，以达到目标跟踪或手势识别等目标。

由于在实际应用中，事件相机会根据不同场景的需要输出不同时空域的事件数据，而预先训练的神经网络模型仅适用于处理一种时空域的事件数据，对其他时空域的事件数据的处理精度较低。

发明内容

本申请实施例提供一种事件数据处理方法、装置和系统，用以提高对事件数据的处理精度。

第一方面，本申请实施例提供一种事件数据处理方法，该方法包括：获取动态视觉传感装置采集的第一事件数据，其中，第一事件数据用于指示目标对象的动态事件。通过神经网络模型对第一事件数据进行处理，获得目标对象的第一识别结果。该神经网络模型是根据至少两种样本事件数据进行训练得到的，至少两种样本事件数据的时空域不同，或者说，根据样本事件数据的时空域将用于训练神经网络模型的样本事件数据分为多种，得到的至少两种样本事件数据中，任意两种样本事件数据的时空域均不同。例如，神经网络模型可以根据三种样本事件数据进行训练得到，三种样本事件数据的时空域各不相同。至少两种样本事件数据中包括与第一事件数据的时空域相同的样本事件数据。

其中，至少两种样本事件数据的帧率不同，或者，至少两种样本事件数据中事件点的密度或数量不同。也可以说，至少两种样本事件数据中任意两种样本事件数据的帧率不同，或者，至少两种样本事件数据中任意两种样本事件数据的事件点的密度或数量不同。

本申请实施例的神经网络模型，是采用时空域不同的至少两种样本事件数据进行训练得到的，其中包括与需要处理的第一事件数据的时空域相同的样本事件数据。也就是说，除采用与第一事件数据的时空域不同的事件数据作为样本事件数据之外，还采集与第一事件数据的时空域相同的事件数据作为样本事件数据。采用上述至少两种样本事件数据训练得到的神经网络模型，在针对与至少两种样本事件数据相同时空域的待处理事件数据进行处理时，均具有较高的处理精度。并且，不需要针对每种时空域均训练一个神经网络模型，可以减少资源浪费。

在一种可能的设计中，神经网络模型针对第一事件数据所提取的时空域特征中特征点的分布区域与针对第二事件数据所提取的时空域特征中特征点的分布区域一致，第二事件数据的时空域与至少两种样本事件数据的一种样本事件数据的时空域相同，第一事件数据与第二事件数据的时空域不同。

例如，在一种应用场景中，神经网络模型可以用于对第一事件数据进行处理，具体地，通过神经网络模型提取第一事件数据的时空域特征，并基于第一事件数据的时空域特征获得第一事件数据指示的目标对象的第一识别结果。在另一种应用场景中，神经网络模型还可以用于对第二事件数据进行处理，具体地，获取动态视觉传感装置采集的第二事件数据，通过神经网络模型提取第二事件数据的时空域特征，并基于第二事件数据的时空域特征获得第二事件数据指示的目标对象的第二识别结果。其中，第一事件数据与第二事件数据为不同时空域的事件数据，用于训练神经网络模型的样本事件数据包括与第一事件数据和第二事件数据的时空域均不同的事件数据，还包括与第一事件数据的时空域相同的事件数据和与第二事件数据的时空域相同的事件数据。由此训练得到的神经网络模型针对第一事件数据所提取的时空域特征中特征点的分布区域与针对第二事件数据所提取的时空域特征中特征点的分布区域基本一致，可以实现不同时空域的事件数据的时空域特征在时空双维度上的匹配对齐，从而有效克服不同时空域的事件数据之间时空域不匹配的问题，可以提高神经网络模型在实际应用中对事件数据的处理精度。

在一种可能的设计中，神经网络模型可以包括脉冲神经网络模型，脉冲神经网络模型能够从空间维度和时间维度对事件数据进行特征提取。脉冲神经网络模型对输入的数据进行处理的时延低，因此采用脉冲神经网络构造的神经网络模型，对事件相机采集的事件数据进行处理，可以充分利用事件数据的高时间分辨率进行实时输出，满足计算机视觉应用场景中高效率和低功耗的要求。

在一种可能的设计中，神经网络模型的网络参数是基于至少两种样本事件数据的时空域判别结果和至少两种样本事件数据指示的对象的预测识别结果进行调整获得的。比如，至少两种样本事件数据中包括第一时空域的样本事件数据。在对神经网络模型进行训练时，可以基于每一种样本事件数据的时空域判别结果和第一时空域的样本事件数据指示的对象的预测识别结果确定总损失值，并基于确定的总损失值对神经网络模型的网络参数进行调整，从而使训练得到的神经网络模型针对不同时空域的样本事件数据所提取的时空域特征的分布基本一致。

在另一种可能的设计中，神经网络模型的网络参数是基于第一损失值和第二损失值进行调整获得的；其中，第一损失值是根据至少两种样本事件数据的时空域判别结果获得的损失值进行正负反转后得到的，第二损失值是根据至少两种样本事件数据指示的对象的预测识别结果得到的。例如，在对神经网络模型进行训练时，可以采用辅助训练的时空域判别网络，对神经网络模型提取的至少两种样本事件数据的时空域特征进行时空域判别，得到相应的样本事件数据的时空域判别结果，对根据至少两种样本事件数据的时空域判别结果获得的损失值进行正负反转，得到第一损失值；根据至少两种样本事件数据中第一时空域的样本事件数据指示的对象的预测识别结果，得到第二损失值；结合第一损失值和第二损失值对神经网络模型的网络参数进行调整。由于进行网络参数调整时依据的第一损失值是基于时空域判别结果对应的损失值进行正负反转得到的，因此网络参数的调整方向是使神经网络模型针对不同时空域的样本事件数据所提取的时空域特征越来越接近，从而使训练得到的神经网络模型可以克服不同时空域的事件数据之间时空域不匹配的问题，进一步提高神经网络模型在实际应用中对事件数据的处理精度。

在另一种可能的设计中，神经网络模型包括特征提取网络和对象识别网络。其中，特征提取网络用于提取至少两种样本事件数据的时空域特征，对象识别网络用于确定至少两种样本事件数据指示的对象的预测识别结果。经过训练后，特征提取网络提取的至少两种不同时空域的样本事件数据的时空域特征的分布基本一致，从而可以实现不同时空域的事件数据的时空域特征在时空双维度上的匹配对齐。

第二方面，本申请实施例还提供一种事件数据处理装置，该事件数据处理装置包括相应的功能模块，分别用于实现以上方法中的步骤，具体参见方法示例中的详细描述，此处不做赘述。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块。例如，事件数据处理装置包括数据获取单元和数据处理单元。数据获取单元，用于获取动态视觉传感装置采集的第一事件数据，第一事件数据用于指示目标对象的动态事件；数据处理单元，用于通过神经网络模型对第一事件数据进行处理，获得目标对象的第一识别结果；其中，神经网络模型是采用至少两种样本事件数据进行训练得到的，至少两种样本事件数据的时空域不同，至少两种样本事件数据中包括与第一事件数据的时空域相同的样本事件数据。

第三方面，本申请实施例提供一种事件数据处理系统，包括动态视觉传感装置和处理器；所述动态视觉传感装置，用于采集第一事件数据，所述第一事件数据用于指示目标对象的动态事件；所述处理器，连接所述动态视觉传感装置，并用于执行第一方面或者第一方面的任一设计所述的方法。具体的，处理器获取动态视觉传感装置采集的第一事件数据，并对第一事件数据执行第一方面或者第一方面的任一设计所述的方法。

第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序或指令，当计算机程序或指令被终端设备执行时，使得该终端设备执行上述第一方面或第一方面的任意可能的设计中的方法。

第五方面，本申请提供一种计算机程序产品，该计算机程序产品包括计算机程序或指令，当该计算机程序或指令被终端设备执行时，实现上述第一方面或第一方面的任意可能的实现方式中的方法。

上述第二方面至第五方面中任一方面可以达到的技术效果可以参照上述第一方面中有益效果的描述，此处不再重复赘述。

附图说明

图1为本申请实施例中电子设备的硬件结构示意图；

图2为事件相机采集的时空数据流的示意图；

图3为事件相机输出的不同帧率的事件图像帧的示意图；

图4为本申请实施例提供的事件数据处理方法的一种示例的流程图；

图5为本申请实施例提供的模型训练过程所使用的网络架构的一种示例的示意图；

图6为本申请实施例提供的特征提取网络的一种示例的示意图；

图7为本申请实施例提供的时空域梯度反转模块的一种示例的示意图；

图8为本申请实施例提供的时空域判别网络的一种示例的示意图；

图9为本申请实施例提供的时空域判别网络的另一种示例的示意图；

图10为本申请实施例提供的预测分类网络的一种示例的示意图；

图11为本申请实施例提供的神经网络模型的训练过程的一种示例的流程图；

图12为模型训练前后分别提取的源域特征和目标域特征的对比图；

图13为本申请实施例提供的事件数据处理装置的一种示例的结构示意图；

图14为本申请实施例提供的事件数据处理系统的一种示例的结构示意图。

具体实施方式

为了使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图，对本申请实施例进行详细描述。本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在介绍本申请实施例提供的具体方案之前，对本申请中的部分用语进行通用解释说明，以便于本领域技术人员理解，并不对本申请中的用语进行限定。

(1)动态视觉传感装置：又可以称为事件相机、事件驱动相机或事件相机传感器，是近几年出现的新型相机。不同于传统相机拍摄一幅完整的图像，事件相机拍摄的是“事件”，事件相机将现实场景中一个像素的亮度变化作为一个事件。事件相机基于事件驱动的方式来捕捉场景中的动态变化，当现实场景中物体发生变化时，事件相机产生的是一系列事件的时空数据流。

事件相机相比于传统相机，具有高时间分辨率、动态范围大、时间延迟低的特点，在高动态范围的图像重建、目标跟踪和手势识别等领域具有重要应用。

(2)时空域：时间域和空间域的统称。本申请实施例中，不同时空域的事件数据的帧率不同，或者，不同时空域的事件数据中事件点的密度或数量不同。

具体地，事件相机按照设定的周期时长将采集的时空数据流进行压帧，输出固定帧率的事件数据，也可以说，输出固定帧率的事件图像帧，该周期时长可以称为时间分辨率。例如，时间分辨率是5ms，即将每5ms内的时空数据流进行压帧生成一帧事件图像帧。帧率与时间分辨率之间的关系为：帧率与时间分辨率的乘积为1s。例如，帧率为200帧/s的事件数据，其时间分辨率为5ms。

可以理解的是，两种事件数据的帧率不同，或者，两种事件数据的时间分辨率不同，这两种事件数据中事件点的密度或数量也不同，可以认为这两种事件数据的时空域不同。

(3)神经网络模型：在本申请实施例中，神经网络模型可以用于对事件相机输出的事件数据进行后续处理。

本申请实施例中的神经网络模型可以基于脉冲神经网络(Spiking NeuralNetworks，SNNs)构造，脉冲神经网络是一种受大脑运行机制启发，以脉冲序列作为数据传输形式的新一代神经网络。相对于传统的人工神经网络(Artificial Neural Networks，ANNs)，脉冲神经网络以更具生物可解释性的脉冲神经元模型作为基本单元，拥有低时延和低能耗等优势，可以模拟各种神经信号和任意的连续函数，可以处理复杂的时空信息。

本申请实施例中“多个”是指两个或两个以上，鉴于此，本申请实施例中也可以将“多个”理解为“至少两个”。“至少一个”，可理解为一个或多个，例如理解为一个、两个或更多个。例如，包括至少一个，是指包括一个、两个或更多个，而且不限制包括的是哪几个，例如，包括A、B和C中的至少一个，那么包括的可以是A、B、C、A和B、A和C、B和C、或A和B和C。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。

除非有相反的说明，本申请实施例提及“第一”、“第二”等序数词用于对多个对象进行区分，不用于限定多个对象的顺序、时序、优先级或者重要程度。

本申请实施例可以用于内置或外接动态视觉传感装置的电子设备中。电子设备，可以是向用户提供拍摄视频和/或数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备，比如：移动电话(或称为“蜂窝”电话)、智能手机，可以是便携式、袖珍式、手持式、可穿戴设备(如智能手表等)、平板电脑、个人电脑(PC，Personal Computer)、PDA(Personal Digital Assistant，个人数字助理)、车载电脑、无人机、航拍器、计算机等。

示例性地，该电子设备可以是动态视觉传感装置或安装有动态视觉传感装置的设备，如安装有动态视觉传感装置的手机、平板电脑、车载终端等。该电子设备还可以是用于处理事件数据的设备，如计算机或服务器等，计算机可以通过有线或无线的方式与动态视觉传感装置连接，接收动态视觉传感装置传输的事件数据，并对事件数据进行处理；服务器可以通过网络接收动态视觉传感装置远程发送的事件数据，并对事件数据进行处理。

下文具体描述中，动态视觉传感装置以事件相机为例进行说明。示例性地，图1示出了本申请实施例适用的电子设备100的一种可选的硬件结构示意图。

电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，事件相机190，按键191，摄像头192，显示屏193。在一些实施例中，事件相机190可以作为传感器模块180中的一个传感器，在另一些实施例中，事件相机190可以独立于传感器模块180。

可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K，充电器，闪光灯，摄像头192等。例如：处理器110可以通过I2C接口耦合触摸传感器180K，使处理器110与触摸传感器180K通过I2C总线接口通信，实现电子设备100的触摸功能。

I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过I2S接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。

PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中，音频模块170也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过UART接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。

MIPI接口可以被用于连接处理器110与显示屏193，摄像头192等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器110和摄像头192通过CSI接口通信，实现电子设备100的拍摄功能。处理器110和显示屏193通过DSI接口通信，实现电子设备100的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头192，显示屏193，无线通信模块160，音频模块170，传感器模块180等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。

SIM接口用于连接SIM卡。SIM卡可以通过插入SIM接口，或从SIM接口拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或N3个SIM接口，N3为大于1的正整数。SIM接口可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM接口可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口也可以兼容不同类型的SIM卡。SIM卡接口也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在电子设备100中，不能和电子设备100分离。

USB接口是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏193，摄像头192，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏193显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)等。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐，或收听免提通话。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中，电子设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

传感器模块180可以包括压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器，骨传导传感器等。

压力传感器用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器可以设置于显示屏193。压力传感器的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏193，电子设备100根据压力传感器检测所述触摸操作强度。电子设备100也可以根据压力传感器的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。

陀螺仪传感器可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器还可以用于导航，体感游戏场景。

气压传感器用于测量气压。在一些实施例中，电子设备100通过气压传感器测得的气压值计算海拔高度，辅助定位和导航。

加速度传感器可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

距离传感器，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器测距以实现快速对焦。

接近光传感器可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备100附近有物体。当检测到不充分的反射光时，电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器检测用户手持电子设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器用于感知环境光亮度。在一些实施例中，电子设备100可以根据环境光传感器感知的环境光亮度来确定图像的曝光时间。在一些实施例中，电子设备100可以根据感知的环境光亮度自适应调节显示屏193亮度。环境光传感器也可用于拍照时自动调节白平衡。环境光传感器还可以与接近光传感器配合，检测电子设备100是否在口袋里，以防误触。

指纹传感器用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

温度传感器用于检测温度。在一些实施例中，电子设备100利用温度传感器检测的温度，执行温度处理策略。例如，当温度传感器上报的温度超过阈值，电子设备100执行降低位于温度传感器附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备100对电池加热，以避免低温导致电子设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备100对电池的输出电压执行升压，以避免低温导致的异常关机。

触摸传感器，也称“触控器件”。触摸传感器可以设置于显示屏193，由触摸传感器与显示屏193组成触摸屏，也称“触控屏”。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏193提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器也可以设置于电子设备100的表面，与显示屏193所处的位置不同。

骨传导传感器可以获取振动信号。在一些实施例中，骨传导传感器可以获取人体声部振动骨块的振动信号。骨传导传感器也可以接触人体脉搏，接收血压跳动信号。

事件相机190可以捕捉场景中的动态变化，生成时空数据流，并按照设定的时间分辨率将采集的时空数据流进行压帧，形成事件数据进行输出。电子设备100通过处理器110对事件相机190输出的事件数据进行处理，实现目标跟踪或手势识别等。例如，在用户通过设定手势解锁电子设备时，事件相机190可以用于捕捉用户的手势变化，输出事件数据，处理器110用于基于事件相机190输出的事件数据确定用户的手势，如果用户使用的手势与解锁电子设备的设定手势一致，则显示电子设备的桌面。

示例性地，事件相机190可以包括多个光传感器和与光传感器耦接的事件生成器，用于感应场景中亮度的动态变化。多个光传感器被布置成行和列的矩阵，并且，每个光传感器与行值和列值相关联。以其中一个光传感器为例进行说明，光传感器包括在源电压和地电压之间的与电阻器串联的光电二极管。光电二极管上的电压与入射在光传感器上的光的强度(即亮度)成比例。

光传感器包括与光电二极管并联的第一电容器。因此，第一电容器上的电压与光电二极管上的电压相同，与光传感器所检测到的光的强度成比例。光传感器还包括耦接在第一电容器和第二电容器之间的开关。第二电容器耦接在开关和地电压之间。因此，当开关闭合时，第二电容器上的电压与第一电容器上的电压相同，与光传感器所检测到的光的强度成比例。当开关断开时，第二电容器上的电压固定在当开关上次闭合时在第二电容器上的电压处。

第一电容器上的电压和第二电容器上的电压被馈送给比较器。当第一电容器上的电压与第二电容器上的电压之间的差值小于阈值量时，比较器输出没有变化的电压。当第一电容器上的电压比第二电容器上的电压高至少所述阈值量时，比较器输出上升电压。当第一电容器上的电压比第二电容器上的电压低至少所述阈值量时，比较器输出下降电压。当比较器输出没有变化的电压时，事件生成器不执行任何操作，表示该光传感器现实场景中的像素的亮度未发生变化。当比较器输出上升电压或下降电压时，事件生成器接收比较器输出的信号，并结合当前时间和该光传感器关联的行值和列值生成对应的事件。

电子设备100通过图形处理器(Graphic Processing Unit，GPU)，显示屏193，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏193和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏193用于显示图像，视频等。显示屏193包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N1个显示屏193，N1为大于1的正整数。

电子设备100可以通过图像信号处理单元(Image Signal Processing，ISP)，摄像头192，视频编解码器，GPU，显示屏193以及应用处理器等实现拍摄功能。

ISP用于处理摄像头192反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头192中。

摄像头192用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，处理器110可以根据内部存储器121中的程序或者指令触发启动摄像头192，从而摄像头192采集至少一个图像，并根据程序或者指令对至少一个图像进行相应的处理，比如去图像的旋转模糊、去图像的平移模糊、去马赛克、去噪或者增强处理，以及图像后处理等。经过处理后，可以由显示屏193显示经过处理后的图像。在一些实施例中，电子设备100可以包括1个或N2个摄像头192，N2为大于1的正整数。例如电子设备100可以包括至少一个前置摄像头和至少一个后置摄像头。例如，电子设备100还可以包括侧边摄像头。在一种可能的实现方式中，电子设备可包括2个后置摄像头，例如，主摄像头和长焦摄像头；或者，电子设备可包括3个后置摄像头，例如，主摄像头、广角摄像头和长焦摄像头；或者，电子设备可包括4个后置摄像头，例如，主摄像头、广角摄像头、长焦摄像头和中焦摄像头。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如相机应用)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如摄像头采集的图像等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备100的各种功能应用以及数据处理。内部存储器121还可以存储本申请实施例提供的神经网络模型的相应数据。内部存储器121中还可以存储用于通过神经网络模型对事件相机输出的事件数据进行相应处理的代码。当内部存储器121中存储的通过神经网络模型对事件相机输出的事件数据进行相应处理的代码被处理器110运行时，通过神经网络模型实现对事件数据的处理功能。当然，本申请实施例提供的神经网络模型的相应数据，以及通过神经网络模型对事件相机输出的事件数据进行相应处理的代码还可以存储在外部存储器中。这种情况下，处理器110可以通过外部存储器接口120运行存储在外部存储器中的神经网络模型的相应数据、通过神经网络模型对事件相机输出的事件数据进行相应处理的代码，以实现相应的事件数据处理功能。

电子设备还可以包括按键，例如包括开机键，音量键等。按键可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

电子设备还可以包括马达，马达可以产生振动提示。马达可以用于来电振动提示，也可以用于触摸振动反馈。

本申请实施例主要用于对事件相机采集的事件数据进行处理。事件相机基于事件驱动的方式来捕捉场景中的动态变化，可以理解为捕捉场景中像素亮度的变化，即事件相机输出的是像素亮度的变化情况。具体地说，当现实场景中一个像素的亮度发生变化时，事件相机会生成一个事件。一个事件对应的数据可以包括(t,x,y,p)四个部分，其中，x,y为事件在二维空间的像素坐标，即亮度发生变化的像素对应的光传感器的行值和列值，也可以说是亮度发生变化的像素的坐标；t为事件的时间戳，即像素的亮度发生变化的时间；p为事件的极性，代表亮度的变化是上升还是下降。

如图2所示，当现实场景中物体发生变化时，事件相机产生的是一系列事件的时空数据流。其中，每一行表示一个事件，第一列表示事件的时间戳，第二列为x坐标，第三列为y坐标，第四列为事件的极性，“0”表示像素的亮度下降，“1”表示像素的亮度上升。

本申请实施例提供的事件数据处理方法，可以广泛应用于图像重建、目标跟踪和手势识别等领域。在不同的应用领域，均需要对事件相机采集的事件数据进行后续处理，如目标分类、目标位置识别等。为了方便事件数据的后续处理，事件相机通常按照设定的时间分辨率将采集的时空数据流进行压帧，形成事件图像帧进行输出。也就是说，事件相机可以输出固定帧率的事件数据。在不同的应用领域，可以采用预先训练的神经网络模型对事件相机输出的固定帧率的事件数据进行不同的后续处理，完成相应的数据处理任务，如完成目标分类或目标位置识别等任务。

一般来说，对于用来完成某一目标任务的神经网络模型，用于训练该神经网络模型的源域(Source Domain)事件数据和实际应用中输入该神经网络模型的目标域(TargetDomain)事件数据需要具有相同的帧率，即两者的时空域特征匹配，该神经网络模型才可以对实际应用中输入的数据具有较好的处理效果。

而在实际应用中，即使针对同一目标任务，事件相机也会根据不同场景的需要输出不同时空域的事件数据。例如，对于目标分类的任务，一些场景下需要输出200帧/s的事件数据，另一些场景下需要输出500帧/s的事件数据。另外，不同事件相机的硬件设置或软件参数不同，也会使不同的事件相机输出不同时空域的事件数据。

图3示出了针对左手挥手过程采集的不同时空域的事件数据对应的可视化图像，可视化图像也可以称为事件图像帧。图3中采用不同的时间分辨率表示不同的时空域。图3中的(a)、(b)、(c)和(d)四列事件图像帧对应的时间分辨率分别为3ms、5ms、10ms和15ms，可以看出，(c)列和(d)列的事件图像帧包含的事件点比(a)列和(b)列的事件图像帧更多更密集。由此可以得出，高时间分辨率的事件数据中事件点更多更密集，而低时间分辨率的事件数据中事件点更少更稀疏，不同帧率的事件数据呈现出空间差异性。图3中的第(1)行是从各个时间分辨率的事件数据中抽取的第10个事件图像帧，第(2)行是从各个时间分辨率的事件数据中抽取的第30个事件图像帧，第(3)行是从各个时间分辨率的事件数据中抽取的第50个事件图像帧。对比同一行中的各个事件图像帧，可以看出，不同时空域的事件数据，其各个事件图像帧之间呈现不同的时序相关性。

从图3中可以看出，不同时空域的事件数据之间呈现空间差异性和不同的时序相关性，也就是说，不同时空域的事件数据之间存在时空域不匹配的问题。

由于在实际应用中，事件相机根据不同场景的需要输出不同时空域的事件数据，从而会导致用于训练神经网络模型的源域事件数据和实际应用中输入神经网络模型的目标域事件数据是不同时空域的事件数据。当用于训练神经网络模型的源域事件数据和实际应用中输入神经网络模型的目标域事件数据是不同时空域的事件数据时，由于不同时空域的事件数据之间存在时空域不匹配的问题，会导致神经网络模型提取的源域事件数据和目标域事件数据的时空域特征的分布存在较大差异，影响神经网络模型在实际应用中对事件数据的处理精度。

基于此，本申请实施例提供一种事件数据处理方法，可以应用于动态视觉传感装置的各类智能应用场景中，该方法可以由电子设备执行，比如图1中所示的电子设备100，或者由电子设备中的芯片或者芯片系统，或者由电子设备中的处理器执行。针对动态视觉传感装置，在下文中以事件相机为例。图4示出了本申请实施例提供的一种事件数据处理方法的流程示意图。如图4所示，该方法可以包括如下步骤：

S401，获取事件相机采集的第一事件数据。

例如，在手势识别的应用场景中，电子设备通过事件相机采集第一事件数据，第一事件数据用于指示目标对象的动态事件，在该应用场景中，目标对象可以是用户的手部。

S402，通过神经网络模型对第一事件数据进行处理，获得目标对象的第一识别结果。

其中，神经网络模型是根据至少两种样本事件数据进行训练得到的，至少两种样本事件数据的时空域不同，或者说，至少两种样本事件数据中，任意两种样本事件数据的时空域均不同。具体地，至少两种样本事件数据中任意两种样本事件数据的帧率不同，或者，至少两种样本事件数据中任意两种样本事件数据的事件点的密度或数量不同。并且，至少两种样本事件数据中包括与第一事件数据的时空域相同的样本事件数据。也就是说，除采用与第一事件数据的时空域不同的事件数据作为样本事件数据之外，还采集与第一事件数据的时空域相同的事件数据作为样本事件数据，采用上述至少两种样本事件数据训练得到的神经网络模型，在针对与至少两种样本事件数据相同时空域的待处理事件数据进行处理时，所提取的时空域特征与训练神经网络模型时使用的事件数据的时空域特征的分布基本一致，从而有效克服用于训练神经网络模型的样本事件数据与实际需要处理的事件数据的时空域不匹配的问题，提高神经网络模型在实际应用中对事件数据的处理精度。并且，不需要针对每种时空域均训练一个神经网络模型，可以减少资源浪费。

在一种可能的示例中，神经网络模型可以包括特征提取网络和对象识别网络。特征提取网络用于提取第一事件数据的时空域特征，对象识别网络用于基于第一事件数据的时空域特征确定目标对象的第一识别结果。

其中，目标对象的第一识别结果可以是对象的位置或类别。对应于不同的数据处理任务，对象识别网络所实现的功能也不同。例如，在目标分类任务中，对象识别网络可以是预测分类网络，采用分类神经网络实现，用于基于第一事件数据的时空域特征实现对目标对象的分类，即确定第一事件数据中目标对象对应的类别。例如，假设第一事件数据中的目标对象是手，预测分类网络可以确定第一事件数据中的物体是手还是其他物体。在回归预测任务中，对象识别网络可以是预测回归网络，用于基于第一事件数据的时空域特征确定具体的预测值，比如，确定第一事件数据指示的目标对象的具体运动速度。在目标检测任务中，对象识别网络可以是预测检测网络，采用检测神经网络实现，用于基于第一事件数据的时空域特征，确定第一事件数据指示的目标对象所在的具体像素点坐标。

在一种可能的示例中，神经网络模型可以包括脉冲神经网络模型，或者说，神经网络模型是基于脉冲神经网络构造的模型，由于脉冲神经网络对输入数据的处理具有低时延的特点。因此，采用脉冲神经网络构造的神经网络模型，对事件相机采集的事件数据进行处理，可以充分利用事件数据的高时间分辨率进行实时输出，满足计算机视觉应用场景中高效率和低功耗的要求。

示例性地，神经网络模型可以是采用源域样本事件数据进行预训练得到的模型。源域样本事件数据与第一事件数据的时空域不同。在第一次采用神经网络模型对事件相机输出的第一事件数据进行处理时，可以先采集该事件相机输出的事件数据作为目标域样本事件数据，目标域样本事件数据与第一事件数据的时空域相同。采用源域样本事件数据和目标域样本事件数据，两种样本事件数据对经过预训练的神经网络模型的网络参数再进行调整，使调整网络参数后的神经网络模型可以克服源域样本事件数据与目标域样本事件数据的时空域不匹配的问题。采用两种样本事件数据对经过预训练的神经网络模型的网络参数再进行调整的过程，也可以称为迁移训练过程。使用调整网络参数后的神经网络模型对事件相机输出的第一事件数据进行处理，可以提高处理精度，获得更精确的识别结果。

在一些实施例中，为了让神经网络模型在处理多个不同时空域的事件数据时，均有较高的处理精度。在对采用源域样本事件数据进行预训练得到的神经网络模型进行迁移训练时，样本事件数据可以包括源域事件数据和多个不同时空域的目标域事件数据。比如，除采集与第一事件数据的时空域相同的目标域事件数据作为样本事件数据之外，还可以采集与第二事件数据的时空域相同的目标域事件数据作为样本事件数据。其中，第一事件数据与第二事件数据为不同时空域的事件数据。

由此训练得到的神经网络模型，在对第一事件数据进行处理时，特征提取网络用于提取第一事件数据的时空域特征，对象识别网络用于基于第一事件数据的时空域特征，确定第一事件数据指示的目标对象的第一识别结果。在对第二事件数据进行处理时，特征提取网络用于提取第二事件数据的时空域特征，对象识别网络用于基于第二事件数据的时空域特征，确定第二事件数据指示的目标对象的第二识别结果。特征提取网络针对第一事件数据所提取的时空域特征中特征点的分布区域与针对第二事件数据所提取的时空域特征中特征点的分布区域基本一致，并且，二者均与针对源域样本事件数据所提取的时空域特征的分布区域基本一致，因此可以实现不同目标域事件数据的时空域特征与源域事件数据的时空域特征在时空双维度上的匹配对齐，从而使对象识别网络针对第一事件数据的时空域特征进行识别得到的第一识别结果和针对第二事件数据的时空域特征进行识别得到的第二识别结果均具有较高的精度。

在采用至少两种样本事件数据对神经网络模型进行迁移训练的过程中，神经网络模型的网络参数是基于至少两种样本事件数据的时空域判别结果和至少两种样本事件数据指示的对象的预测识别结果进行调整获得的。

示例性地，神经网络模型的训练过程，可以包括：获取包括至少两种时空域的样本事件数据；其中，至少两种样本事件数据中第一时空域的样本事件数据具有对应的时空域标签和对象识别标签，除第一时空域之外的其他时空域的样本事件数据具有各自对应的时空域标签。

通过神经网络模型，提取至少两种样本事件数据的样本时空域特征，以及确定至少两种样本事件数据中第一时空域的样本事件数据的预测识别结果。采用辅助训练的时空域判别网络，对至少两种样本事件数据的样本时空域特征进行时空域判别，得到至少两种样本事件数据的时空域判别结果。根据至少两种样本事件数据的时空域判别结果与对应的时空域标签，确定域判别损失值，并将域判别损失值进行正负反转，得到第一损失值；根据第一时空域的样本事件数据的预测识别结果与对应的对象识别标签，确定第二损失值；基于第一损失值和第二损失值，调整神经网络模型的网络参数。例如，可以根据第一损失值和第二损失值的加权和，确定总损失值，根据总损失值，对神经网络模型的网络参数进行调整。

上述第一时空域的样本事件数据可以认为是源域样本事件数据，除第一时空域之外的其他时空域的样本事件数据可以认为是目标域样本事件数据。在一些实施例中，目标域样本事件数据可以仅包括一种时空域的事件数据。例如，假设源域样本事件数据为时间分辨率5ms的事件数据，如果需要训练得到的神经网络模型可以处理时间分辨率50ms的事件数据，则可以采集若干无对象识别标签的时间分辨率50ms的事件数据作为目标域样本事件数据。采用有对象识别标签的源域样本事件数据和无对象识别标签的目标域样本事件数据组成训练数据集，共同对神经网络模型进行训练。

在另一些实施例中，目标域样本事件数据可以包括多种时间分辨率的事件数据。例如，假设源域样本事件数据为时间分辨率5ms的事件数据，如果需要训练得到的神经网络模型可以处理时间分辨率分别为15ms、35ms和50ms的事件数据，则可以针对上述3种时间分辨率，分别采集若干无对象识别标签的事件数据，均作为目标域样本事件数据，即目标域样本事件数据包括3个不同目标域的样本事件数据。采用有对象识别标签的源域样本事件数据和无对象识别标签的但包含多种时间分辨率的目标域样本事件数据组成训练数据集，共同对神经网络模型进行训练，训练得到的神经网络模型可以处理多种不同时间分辨率的事件数据，且处理精度均较高。

上文仅以3个不同目标域的样本事件数据进行举例，实际应用中，训练数据集中可以包含更多个目标域或更少个目标域的样本事件数据，本申请对此不作限定。

在上述训练过程中，神经网络模型的特征提取网络用于提取至少两种样本事件数据的时空域特征，神经网络模型的对象识别网络用于确定至少两种样本事件数据中第一时空域的样本事件数据指示的对象的预测识别结果。

在一种可能的示例中，训练过程中使用的时空域判别网络可以是脉冲神经网络，时空域判别网络的输出层包括的脉冲神经元的数量与样本事件数据的时空域的种类相同，不同的脉冲神经元对应不同时空域。将样本事件数据的样本时空域特征输入时空域判别网络，得到N个脉冲神经元分别输出的概率值。其中，第一脉冲神经元输出的概率值用于表征样本时空域特征所来源的样本事件数据的时空域为第一脉冲神经元对应的时空域的概率，第一脉冲神经元为N个脉冲神经元中任一脉冲神经元，N为输出层包括的脉冲神经元的数量。基于N个脉冲神经元分别输出的概率值及对应的时空域，可以得到样本事件数据的时空域判别结果。

本申请实施例的神经网络模型至少是采用源域样本事件数据和目标域样本事件数据训练得到的，其中，目标域样本事件数据与实际应用中输入该神经网络模型的目标域事件数据具有相同的帧率，而源域样本事件数据与实际应用中输入该神经网络模型的目标域事件数据具有不同的帧率。采用源域样本事件数据和目标域样本事件数据共同对神经网络模型进行训练，可以使训练得到的特征提取网络提取的源域事件数据和目标域事件数据的时空域特征的分布基本一致，实现源域事件数据和目标域事件数据的时空域特征在时空双维度上的匹配对齐，有效克服源域事件数据和目标域事件数据之间时空域不匹配的问题，提高神经网络模型在实际应用中对事件数据的处理精度。

为了更便于理解本申请实施例，下文对本申请实施例提供的一种神经网络模型的训练过程进行详细说明。该神经网络模型包括特征提取网络和对象识别网络，训练过程以对象识别网络为预测分类网络为例进行说明，预测分类网络输出的对象的预测识别结果可以称为预测分类结果。

如图5所示，在模型训练过程中，所使用的网络架构除包括待训练的神经网络模型500的特征提取网络501和预测分类网络502之外，还可以包括用于对神经网络模型500进行辅助训练的时空域梯度反转模块503和时空域判别网络504。其中，待训练的神经网络模型可以是已经采用源域样本事件数据进行预训练后的神经网络模型。

特征提取网络501用于提取源域样本事件数据和目标域样本事件数据的时空域特征，并将提取的时空域特征分别输入时空域梯度反转模块503和预测分类网络502。时空域梯度反转模块503用于将由特征提取网络501输入的时空域特征传输至时空域判别网络504，以及将由时空域判别网络504返回的训练梯度进行正负符号反转后传输至神经网络模型500。时空域判别网络504用于从时空双维度判别输入的时空域特征是来源于源域样本事件数据，还是目标域样本事件数据，得到时空域判别结果，并将基于时空域判别结果得到的第一训练梯度反向传播至时空域梯度反转模块503。预测分类网络502用于基于源域样本事件数据的时空域特征预测源域样本事件数据中目标对象的类别，得到预测分类结果。根据基于预测分类结果得到的第二训练梯度，以及经反转后的第一训练梯度，确定总训练梯度，并基于总训练梯度对神经网络模型500的网络参数进行更新，以完成对神经网络模型500的训练过程。其中，第一训练梯度是基于时空域判别结果计算得到的损失值确定的，第一训练梯度进行正负符号反转后，得到第一损失值。第二训练梯度是基于预测分类结果计算得到的，基于第二训练梯度可以确定第二损失值，因此也可以说，根据第一损失值和第二损失值，对神经网络模型500的网络参数进行更新。

下面对神经网络模型及模型训练过程中使用的各个模块进行详细说明。

如图6所示，特征提取网络501基于深度脉冲神经网络构造，包括多个脉冲神经网络层，用于提取输入的事件数据的时空域高维特征。脉冲神经网络层的神经元是基于LIF(Leaky Integrity and Fire，泄漏积累激发)神经元模型搭建，脉冲神经网络层的功能可以描述成如下的递归迭代公式：

其中，n是神经元序号；W是神经元的神经突触权重；p表示神经元的膜电位，为一个连续值，而输出z只能是二进制值，即是否触发脉冲；z^n,t表示第n个神经元在t时刻的输出；e^-dt/σ表示膜电位的泄漏效应；触发函数f(x)是当x>0时f(x)＝1，否则f(x)＝0的阶跃函数。

脉冲神经网络中的LIF神经元模型结合了脉冲神经元积分、激发和重置的所有行为，适用于处理时序事件数据，能够从空间维度和时间维度提取事件数据的特性，即提取事件数据的时空域特征。

包含多个LIF神经元的特征提取网络501，用于提取输入的事件数据的时空域特征。在模型训练过程中，将源域样本事件数据输入特征提取网络501，则特征提取网络501输出源域样本事件数据的时空域特征；将目标域样本事件数据输入特征提取网络501，则特征提取网络501输出目标域样本事件数据的时空域特征。

时空域梯度反转模块503用于在正向传播时将时空域特征正向恒等映射，反向传播时反转训练梯度的符号。其中，时空域特征由特征提取网络501，经过时空域梯度反转模块503传输至时空域判别网络504的过程，与时空域特征由特征提取网络501传输至预测分类网络502的过程，一同称为正向传播。训练梯度由时空域判别网络504，经过时空域梯度反转模块503传输至特征提取网络501的过程，与训练梯度由预测分类网络504传输至特征提取网络501的过程，一同称为反向传播。如图7所示，在正向传播时，时空域梯度反转模块503将输入的时空域特征I不作改变地传输至时空域判别网络504，称为时空域特征正向恒等映射。在反向传播时，时空域梯度反转模块503将由时空域判别网络504返回的第一训练梯度H进行符号反转，将得到的-H继续进行反向传播。时空域梯度反转模块503采用可以实现上述逻辑的函数实现，在模型训练过程中不需要更新参数，用于特征提取网络501和时空域判别网络504之间的级联。

时空域判别网络504可以采用分类网络，即用于分类的多层脉冲神经网络。时空域判别网络504用于从时空双维度判别输入的时空域特征来源于源域样本事件数据或目标域样本事件数据。

在一些实施例中，如图8所示，时空域判别网络504可以基于多层脉冲神经网络构造，其输出层包括两个脉冲神经元，分别对应源域和目标域，即一个脉冲神经元用于输出时空域特征来源于源域样本事件数据的概率值，另一个脉冲神经元用于输出时空域特征来源于目标域样本事件数据的概率值。其中，目标域样本事件数据包括一种或多种时间分辨率的事件数据，但均看作一类目标域数据。两个脉冲神经元可以用不同的标号标识，例如，标号为0的脉冲神经元对应源域，标号为1的脉冲神经元对应目标域。将输出的概率值较大的脉冲神经元的标号作为相应时空域特征的时空域判别结果，如果时空域判别结果为0，则说明对应的时空域特征来源于源域样本事件数据；如果时空域判别结果为1，则说明对应的时空域特征来源于目标域样本事件数据。

在另一些实施例中，如果目标域样本事件数据包括多种时间分辨率的事件数据，或者说，训练数据集中包括多个目标域的样本事件数据，则时空域判别网络504的输出层可以包括多个脉冲神经元，脉冲神经元的数量与源域和目标域的数量之和一致。假设训练数据集中包含三个不同目标域的样本事件数据，其中，第一目标域样本事件数据为时间分辨率15ms的事件数据，第二目标域样本事件数据为时间分辨率35ms的事件数据，第三目标域样本事件数据为时间分辨率50ms的事件数据。如图9所示，时空域判别网络504的输出层包括四个脉冲神经元，分别对应源域和三个目标域，第一个脉冲神经元用于输出时空域特征来源于源域样本事件数据的概率值，第二个脉冲神经元用于输出时空域特征来源于第一目标域样本事件数据的概率值，第三个脉冲神经元用于输出时空域特征来源于第二目标域样本事件数据的概率值，第四个脉冲神经元用于输出时空域特征来源于第三目标域样本事件数据的概率值。同理，四个脉冲神经元可以用不同的标号标识，例如，标号为0的脉冲神经元对应源域，标号为1的脉冲神经元对应第一目标域，标号为2的脉冲神经元对应第二目标域，标号为3的脉冲神经元对应第三目标域。将输出的概率值较大的脉冲神经元的标号作为相应时空域特征的时空域判别结果，如果时空域判别结果为0，则说明对应的时空域特征来源于源域样本事件数据；如果时空域判别结果为1，则说明对应的时空域特征来源于第一目标域样本事件数据；如果时空域判别结果为2，则说明对应的时空域特征来源于第二目标域样本事件数据；如果时空域判别结果为3，则说明对应的时空域特征来源于第三目标域样本事件数据。

根据得到的时空域特征的时空域判别结果与输入的样本事件数据所在域的标签的交叉熵计算损失函数的损失值，并将该损失值作为第一训练梯度H反向传播至时空域梯度反转模块503，作为与预测分类网络502联合训练的损失函数的一部分。

预测分类网络502也可以采用分类网络，即用于分类的多层脉冲神经网络。预测分类网络502用于基于源域样本事件数据的时空域特征预测源域样本事件数据中目标对象的类别，得到预测分类结果。如图10所示，预测分类网络502可以基于多层脉冲神经网络构造，其输出层包括多个脉冲神经元，脉冲神经元的数量由目标对象的类别数决定，即脉冲神经元的数量与目标对象的类别标签的种类数一致。每个脉冲神经元对应目标对象的一个类别，用于输出样本事件数据中的目标对象属于该类别的概率值。预测分类网络502的脉冲神经元也可以用不同的标号标识，将输出的概率值较大的脉冲神经元的标号作为相应的源域样本事件数据中目标对象的预测分类结果。

示例性地，在一些实施例中，预测分类网络502可以用于预测源域样本事件数据中的目标对象是手或不是手。在另一些实施例中，预测分类网络502可以用于预测源域样本事件数据中的手向左挥动或向右挥动。在另一些实施例中，预测分类网络502还可以用于预测源域样本事件数据中手的挥动速度是很快、较快、中等、较慢或很慢。

根据目标对象的预测分类结果与输入的源域样本事件数据中目标对象的类别标签的均方差计算损失函数的损失值，并将该损失值作为第二训练梯度，作为联合训练的损失函数的另一部分。根据第二训练梯度和经时空域梯度反转模块503反转后的第一训练梯度，确定总训练梯度，并基于总训练梯度对神经网络模型500中的特征提取网络501和预测分类网络502的网络参数进行更新，以完成对神经网络模型500的训练过程。

以下具体说明本申请实施例提供的神经网络模型的训练过程。如图11所示，该训练过程可以包括如下步骤：

S1101，获取包括源域样本事件数据和目标域样本事件数据的训练数据集。

其中，源域样本事件数据可以是通过网络从公共服务器获取的数据集中保存的事件数据。目标域样本事件数据可以是根据需要处理的目标域采集的相应时间分辨率的事件数据。由于源域样本事件数据采用已有的事件数据，其数据量相对较大，而目标域样本事件数据是根据需要采集的事件数据，因此其数据量相对较小。

训练数据集中的样本事件数据均具有域标签，用于标明对应的样本事件数据是源域样本事件数据或目标域样本事件数据。其中，源域样本事件数据还携带有类别标签，用于标明对应的源域样本事件数据中目标对象所属的类别。由于目标域样本事件数据是根据需要采集的事件数据，因此目标域样本事件数据没有类别标签。

在一些实施例中，目标域样本事件数据可以仅包括一种时间分辨率的事件数据。例如，源域样本事件数据可以是时间分辨率为5ms的事件数据，目标域样本事件数据可以是时间分辨率为50ms的事件数据。在另一些实施例中，如果需要处理的多个不同目标域的事件数据，目标域样本事件数据可以包括多种时间分辨率的事件数据。例如，源域样本事件数据可以是时间分辨率为5ms的事件数据，目标域样本事件数据可以包括3个目标域的事件数据，3个目标域的事件数据对应的时间分辨率分别为15ms、35ms和50ms。

S1102，从训练数据集中随机抽取样本事件数据。

S1103，将抽取的样本事件数据输入待训练的神经网络模型的特征提取网络，得到特征提取网络输出的样本事件数据的时空域特征。

S1104，通过时空域梯度反转模块将样本事件数据的时空域特征正向传播至时空域判别网络，得到时空域判别网络输出的样本事件数据的时空域判别结果。

在正向传播过程中，时空域梯度反转模块对传输的时空域特征不作改变。

在一些实施例中，如果目标域样本事件数据仅包括一种时间分辨率的事件数据，时空域判别网络输出的时空域判别结果用于指示对应的样本事件数据属于源域样本事件数据或目标域样本事件数据。在另一些实施例中，如果目标域样本事件数据包括多个目标域的事件数据，时空域判别网络输出的时空域判别结果用于指示对应的样本事件数据属于源域样本事件数据或某一个目标域的样本事件数据。

S1105，根据得到的时空域判别结果与样本事件数据的域标签，确定第一训练梯度。

根据时空域判别网络输出的时空域判别结果与输入的样本事件数据的域标签的交叉熵，计算损失函数的损失值，并将该损失值作为第一训练梯度。

S1106，通过时空域梯度反转模块将第一训练梯度进行符号反转，并反向传播至神经网络模型。

S1107，将源域样本事件数据的时空域特征输入待训练的神经网络模型的预测分类网络，得到预测分类网络输出的预测分类结果。

预测分类网络输出的预测分类结果用于预测源域样本事件数据中目标对象所属的类别。

S1108，根据得到的预测分类结果与样本事件数据的对象类别标签，确定第二训练梯度。

根据预测分类网络输出的预测分类结果与输入的源域样本事件数据对应的类别标签的均方差，计算损失函数的损失值，并将该损失值作为第二训练梯度。

S1109，根据第二训练梯度和经符号反转后的第一训练梯度，确定总训练梯度。

S1110，根据总训练梯度，判断神经网络模型是否收敛；如果是，执行S1112；如果否，执行S1111。

如果总训练梯度，即神经网络模型的总损失值收敛至预设的期望值，或者，总训练梯度的变化幅度收敛至预设的期望值，则认为神经网络模型收敛。

步骤S1111，根据总训练梯度对神经网络模型的网络参数进行调整。

根据总训练梯度分别对神经网络模型的特征提取网络和预测分类网络的网络参数进行调整。可选地，在对神经网络模型的网络参数进行调整时，可以同时基于第一训练梯度对时空域判别网络的网络参数进行调整。

调整神经网络模型的网络参数之后，返回执行S1102，继续下一轮的训练过程。

S1112，将当前网络参数作为神经网络模型的网络参数，得到已训练的神经网络模型。

上述训练过程中，S1107和S1108可以调换至S1104之前执行，或者与S1104并行执行。

在模型训练之前，神经网络模型中的特征提取网络提取出的源域样本事件数据和目标域样本事件数据的时空域特征的空间分布和时序相关性均不同。二者的时序相关性也不同。在模型训练过程中，由于通过时空域梯度反转模块将第一训练梯度进行符号反转，再反向传播用于调整特征提取网络的网络参数，从而使特征提取网络提取的源域样本事件数据和目标域样本事件数据的时空域特征的空间分布和时序相关性越来越接近。训练后的神经网络模型中的特征提取网络提取出的源域样本事件数据和目标域样本事件数据的时空域特征的空间分布和时序相关性均非常接近。

图12示出了源域样本事件数据和目标域样本事件数据的时空域特征的空间分布情况。其中，采用圆点表示特征提取网络对源域样本事件数据进行特征提取，得到的时空域特征；采用十字表示特征提取网络对目标域样本事件数据进行特征提取，得到的时空域特征。图12中的(a)示出的是模型训练之前，特征提取网络提取的源域样本事件数据和目标域样本事件数据的时空域特征的空间分布情况，图12中的(b)示出的是模型训练之后，特征提取网络提取的源域样本事件数据和目标域样本事件数据的时空域特征的空间分布情况。从图12可以看出，模型训练之前，特征提取网络提取的源域样本事件数据的时空域特征的空间分布与目标域样本事件数据的时空域特征的空间分布存在较大差异；而在模型训练之后，特征提取网络提取的源域样本事件数据的时空域特征的空间分布与目标域样本事件数据的时空域特征的空间分布十分接近。

由于训练后的神经网络模型中的特征提取网络提取出的源域样本事件数据和目标域样本事件数据的时空域特征的空间分布和时序相关性均非常接近，从而可以实现源域事件数据和目标域事件数据的特征在时空双维度上的匹配对齐，实现事件数据在源域和目标域之间的时空域自适应。如果目标域样本事件数据包括多个不同目标域的样本事件数据，则训练后的特征提取网络提取的每一个目标域的样本事件数据均与源域样本事件数据的时空域特征的空间分布和时序相关性较为接近。即使神经网络模型仅是学习源域样本事件数据的类别标签得到的，目标域样本事件数据没有类别标签，由于事件数据在源域和目标域之间的时空域自适应，因此神经网络模型也可以用于对目标域事件数据执行目标分类任务，且具有较高的精度。

在其他实施例中，神经网络模型中的预测分类网络也可以替换为回归网络或检测网络。在模型训练阶段，回归网络用于预测源域样本事件数据中目标对象的具体预测值；检测网络用于预测源域样本事件数据中目标对象的具体坐标值。在该实施例中，神经网络模型的训练过程可以参照上述训练过程执行，在此不再赘述。

通过上述训练过程训练得到的神经网络模型，不仅可以对源域事件数据具有较高的处理精度，对目标域事件数据也具有较高的处理精度。如果目标域样本事件数据包括多个不同目标域的样本事件数据，则训练得到的神经网络模型可以对每一个目标域的事件数据均具有较高的处理精度。

基于与上述方法同样的发明构思，如图13所示，本申请实施例还提供一种事件数据处理装置1300。事件数据处理装置应用于可以处理事件数据的电子设备中，比如应用于图1所示的电子设备100中，电子设备中可以包括事件相机，事件数据处理装置可以用于实现上述方法实施例的功能，因此可以实现上述方法实施例所具备的有益效果。事件数据处理装置可以包括数据获取单元1301，数据处理单元1302。事件数据处理装置1300用于实现上述图4中所示的方法实施例中的功能。当事件数据处理装置1300用于实现图4所示的方法实施例的功能时：数据获取单元1301可以用于执行S401，数据处理单元1302可以用于执行S402。

比如：数据获取单元1301，用于获取动态视觉传感装置采集的第一事件数据，第一事件数据用于指示目标对象的动态事件；

数据处理单元1302，用于通过神经网络模型对第一事件数据进行处理，获得目标对象的第一识别结果。

其中，神经网络模型是采用至少两种样本事件数据进行训练得到的，至少两种样本事件数据的时空域不同，至少两种样本事件数据中包括与第一事件数据的时空域相同的样本事件数据。

在一种可能的实施方式中，上述至少两种样本事件数据的帧率不同，或者，上述至少两种样本事件数据中事件点的密度或数量不同。

在一种可能的实施方式中，神经网络模型针对第一事件数据所提取的时空域特征中特征点的分布区域与针对第二事件数据所提取的时空域特征中特征点的分布区域一致，第二事件数据的时空域与至少两种样本事件数据的一种样本事件数据的时空域相同，第一事件数据与第二事件数据的时空域不同。

在一种可能的实施方式中，神经网络模型包括脉冲神经网络模型。

在一种可能的实施方式中，神经网络模型的网络参数是基于至少两种样本事件数据的时空域判别结果和至少两种样本事件数据指示的对象的预测识别结果进行调整获得的。

在一种可能的实施方式中，神经网络模型的网络参数是基于第一损失值和第二损失值进行调整获得的；其中，第一损失值是根据至少两种样本事件数据的时空域判别结果获得的损失值进行正负反转后得到的，第二损失值是根据至少两种样本事件数据指示的对象的预测识别结果得到的。

在一种可能的实施方式中，神经网络模型包括特征提取网络和对象识别网络；特征提取网络用于提取至少两种样本事件数据的时空域特征，对象识别网络用于确定至少两种样本事件数据指示的对象的预测识别结果。

本申请实施例中的神经网络模型是采用至少两种不同时空域的样本事件数据共同训练得到的，其特征提取网络提取的至少两种不同时空域的样本事件数据的时空域特征的分布基本一致，实现不同时空域的样本事件数据的时空域特征在时空双维度上的匹配对齐，有效克服不同时空域的样本事件数据之间时空域不匹配的问题，提高神经网络模型在实际应用中对事件数据的处理精度。

基于与上述方法同样的发明构思，本申请实施例中还提供一种事件数据处理系统，参见图14所示，事件数据处理系统1400中包括处理器1401和动态视觉传感装置1402。处理器1401和动态视觉传感装置1402可以设置在同一电子设备中，也可以设置在不同的电子设备中。动态视觉传感装置1402，用于采集第一事件数据，其中，第一事件数据用于指示目标对象的动态事件。有关动态视觉传感装置1402的更详细的介绍可参见上述图1所示的事件相机190的相关描述，此处不再一一赘述。处理器1401与动态视觉传感装置1402连接，并用于执行图4所示的方法。

在一些实施例中，事件数据处理系统1400还可以包括存储器，存储器用于存储处理器1401执行的指令或程序，或存储处理器1401运行指令或程序所需要的输入数据，或存储处理器1401运行指令或程序后产生的数据。处理器1401用于运行存储器1403存储的指令或者程序，执行图4所示的方法实施例中的功能。比如，当事件数据处理系统1400用于实现图4所示的方法时，处理器1401用于执行上述数据获取单元1301和数据处理单元1302的功能。示例性地，数据获取单元1301可由处理器1401调用存储器中存储的程序或指令，获取动态视觉传感装置1402采集的第一事件数据，其中，第一事件数据用于指示目标对象的动态事件。数据处理单元1302可由处理器1401调用存储器中存储的程序或指令，通过神经网络模型对第一事件数据进行处理，获得目标对象的第一识别结果。其中，神经网络模型是采用至少两种样本事件数据进行训练得到的，至少两种样本事件数据的时空域不同，并且，该至少两种样本事件数据中包括与第一事件数据的时空域相同的样本事件数据。

需要说明的是，在一些实施例中，事件数据处理装置也可以不包含事件相机，例如，可以设置事件相机接口，当需要使用事件相机时，通过事件相机接口连接事件相机。在另一些实施例中，事件数据处理装置还可以通过网络或其它方式获取需要处理的事件数据，该事件数据可以是通过事件相机采集后保存在网络的服务器或其他存储介质中的。

可以理解的是，本申请的实施例中的处理器1401可以是中央处理单元(centralprocessing unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)或者其它可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。通用处理器可以是微处理器，也可以是任何常规的处理器。

本申请的实施例中的方法步骤可以通过硬件的方式来实现，也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(random access memory，RAM)、闪存、只读存储器(read-only memory，ROM)、可编程只读存储器(programmableROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically ePROM，EEPROM)、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于终端设备中。当然，处理器和存储介质也可以作为分立组件存在于终端设备中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或部分地执行本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、用户设备或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，数字视频光盘(digital video disc，DVD)；还可以是半导体介质，例如，固态硬盘(solid state drive，SSD)。

在本申请的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的方案进行示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (12)

1.一种事件数据处理方法，其特征在于，所述方法包括：

获取动态视觉传感装置采集的第一事件数据，所述第一事件数据用于指示目标对象的动态事件；

通过神经网络模型对所述第一事件数据进行处理，获得所述目标对象的第一识别结果；

其中，所述神经网络模型是根据至少两种样本事件数据进行训练得到的，所述至少两种样本事件数据的时空域不同，所述至少两种样本事件数据中包括与所述第一事件数据的时空域相同的样本事件数据。

2.如权利要求1所述的方法，其特征在于，所述至少两种样本事件数据的帧率不同，或者，所述至少两种样本事件数据中事件点的密度或数量不同。

3.如权利要求1或2所述的方法，其特征在于，所述神经网络模型针对所述第一事件数据所提取的时空域特征中特征点的分布区域与针对第二事件数据所提取的时空域特征中特征点的分布区域一致，所述第二事件数据的时空域与所述至少两种样本事件数据的一种样本事件数据的时空域相同，所述第一事件数据与所述第二事件数据的时空域不同。

4.如权利要求1～3中任一项所述的方法，其特征在于，所述神经网络模型包括脉冲神经网络模型。

5.如权利要求1～4中任一项所述的方法，其特征在于，所述神经网络模型的网络参数是基于所述至少两种样本事件数据的时空域判别结果和所述至少两种样本事件数据指示的对象的预测识别结果进行调整获得的。

6.如权利要求1～4任一项所述的方法，其特征在于，所述神经网络模型的网络参数是基于第一损失值和第二损失值进行调整获得的；

其中，所述第一损失值是根据所述至少两种样本事件数据的时空域判别结果获得的损失值进行正负反转后得到的，所述第二损失值是根据所述至少两种样本事件数据指示的对象的预测识别结果得到的。

7.如权利要求1～6中任一项所述的方法，其特征在于，所述神经网络模型包括特征提取网络和对象识别网络；所述特征提取网络用于提取所述至少两种样本事件数据的时空域特征，所述对象识别网络用于确定所述至少两种样本事件数据指示的对象的预测识别结果。

8.一种事件数据处理装置，其特征在于，所述装置包括：

数据获取单元，用于获取动态视觉传感装置采集的第一事件数据，所述第一事件数据用于指示目标对象的动态事件；

数据处理单元，用于通过神经网络模型对所述第一事件数据进行处理，获得所述目标对象的第一识别结果；其中，所述神经网络模型是根据至少两种样本事件数据进行训练得到的，所述至少两种样本事件数据的时空域不同，所述至少两种样本事件数据中包括与所述第一事件数据的时空域相同的样本事件数据。

9.如权利要求8所述的装置，其特征在于，所述至少两种样本事件数据的帧率不同，或者，所述至少两种样本事件数据中事件点的密度或数量不同。

10.如权利要求8或9所述的装置，其特征在于，所述神经网络模型的网络参数是基于第一损失值和第二损失值进行调整获得的；

其中，所述第一损失值是根据所述至少两种样本事件数据的时空域判别结果获得的损失值进行正负反转后得到的，所述第二损失值是根据所述至少两种样本事件数据指示的对象的预测识别结果得到的。

11.一种事件数据处理系统，其特征在于，包括：

动态视觉传感装置，用于采集第一事件数据，所述第一事件数据用于指示目标对象的动态事件；

处理器，连接所述动态视觉传感装置，并用于执行如权利要求1～7中任一项所述的方法。

12.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，其特征在于：所述计算机程序被处理器执行时，实现权利要求1～7中任一项所述的方法。

Images