CN116051429B - 数据增强方法、脉冲神经网络训练方法、存储介质和芯片 - Google Patents

Abstract

本发明公开了一种数据增强方法、脉冲神经网络训练方法、存储介质和芯片。为解决实际环境中，由于用户动作或物体与光源存在交叉，在图像传感器中产生的不被期望的光斑数据，本发明基于事件帧中各像素单元的像素值获得满足预设条件的光斑中心点候选范围，选择光斑中心点候选范围内的一个或多个像素单元作为光斑中心点，并以此为中心对脉冲神经网络的训练集进行光斑数据增强。通过上述方法，得到多样性的含光斑的训练数据，以使脉冲神经网络能够适应复杂、多变的实际工作环境，具有更好的精度和稳定性。本发明适于类脑芯片或类脑计算领域。

Description

数据增强方法、脉冲神经网络训练方法、存储介质和芯片

技术领域

本发明涉及一种数据增强方法、脉冲神经网络训练方法、存储介质和芯片，具体涉及一种为使脉冲神经网络具有更强准确性、鲁棒性和普适性的数据增强方法、脉冲神经网络训练方法、存储介质和芯片。

背景技术

脉冲神经网络（SNN），被誉为第三代神经网络，其模仿大脑运行原理，具有事件驱动特性和丰富的时空动力学特征，计算代价小、功耗低。值得一提的是，神经形态硬件或类脑芯片是非冯诺依曼架构，其并不基于计算机程序而执行传统意义上的各种数学/程序函数计算。通常，通常在传统计算平台上（如高性能图形处理器GPU设备）中对SNN进行模拟仿真，并利用数据集进行训练，获得使得SNN预测性能达到最优的网络配置参数。将获得的最优网络配置参数，映射或部署至芯片中，芯片在接收到从环境中采集而来的信号后，运行芯片内的脉冲神经网络，自动完成基于接收到的信号的推理过程，获得符合实际环境情况的推理结果，如图1所示。基于事件相机（或帧图像经过差帧而获得脉冲序列）和脉冲神经网络（SNN）组合的感知与计算方案，可提供一种低功耗（可以低至毫瓦级）、高实时性（可至微秒级）的“感算一体”解决方案，应用于边缘计算、物联网等终端场景，在不联网的情况下实现终端智能。

相较于ANN 领域种类繁多的数据集，适合SNN的数据集由时空事件流构成，目前仅有Neuromorphic-MNIST、DVS-Gesture等比较小的数据集，发展大规模或契合实际使用场景的SNN训练数据集是产业界的难题。虽然产生脉冲事件的方法由多种，例如差帧等转换，然而转换得来的脉冲数据集，难以表达丰富的时序信息无法利用SNN的时空处理特性，基于事件（event/spike）的成像装置产生的事件流是目前最适合SNN应用的一类数据集。

基于事件的成像装置是一种仿生的新型视觉传感器，例如事件相机（eventcamera）、动态视觉传感器（DVS、DAVIS）、基于事件成像的融合传感器等神经形态视觉传感器，后续以事件相机为例，但并不以此为限。不同于传统的帧图像传感器（比如APS传感器），事件相机不以固定的速率捕捉图像，其每个像素独立工作，根据感受到的光线变化，当光线的强弱变化超出某个阈值时，输出ON事件（光强增大）或OFF事件（光强变弱），具体可以参考现有技术1： EP3731516A1。

事件相机捕捉场景中的变化/运动信息，输出的事件通常包括事件产生的时间戳（精确到us/ns）、产生事件的像素坐标（x,y）和事件的极性（光强变亮或变暗，或者像素的光电压值即灰度值），其中，事件的极性在某些情况下可忽略。事件相机基于光强的变化产生事件，其输出只有正负，而没有强度，对于人工神经网络、深度神经网络来说，无法分析事件产生的原因，可能会提供错误的特征信息，影响训练结果。

事件相机具有非常高的灵敏性，容易将外界微小的干扰捕捉成噪声事件。光强的变化不仅受场景光照影响，还受该时间点前后物体运动以及物体-传感器-光源间相对运动的影响。

事件相机成像原理是每个像素点接收来自对应实体空间位置的光线，基于光线变化产生一个事件数据。在诸如家庭或办公等室内环境中，当用户做出某个动作时，这个动作与光源会生交叉，交叉部分的两个边界位置的光线将变亮和变暗，事件相机产生运动交叉的事件。如果将某个时间段内数据压缩成一帧，这些产生运动交叉的事件会产生一个光斑，并且光斑的位置、大小跟用户、光源与传感器的距离和位置有关。由于光斑在实际应用场景中是普遍存在的，部署有基于训练数据集得到的网络配置参数的神经形态硬件推理精度的稳定性、鲁棒性不够理想，存在推理错误。并且由于环境的复杂性、多变性，录制的训练数据不可能覆盖到所有可能的光斑位置和大小，因此本领域技术人员期待神经形态硬件在实际环境下能具有与训练模型同样的精度，以及更好的环境适应能力。

发明内容

为了解决或缓解上述部分或全部技术问题，本发明是通过如下技术方案实现的：

一种数据增强方法，若训练集的样本数据为事件帧，则进行如下操作，否则先对样本数据进行预处理，将样本数据转换为事件帧；所述操作包括：

基于事件帧中像素单元的像素值获得满足预设条件的光斑中心点候选范围；

基于光斑中心点候选范围进行光斑数据增强；

其中，所述光斑数据是指由于用户动作或物体与光源存在交叉，在图像传感器中产生的不被期望数据；

其中，所述预设条件为各像素单元的像素值大于或等于第一像素值阈值的像素点集，或者所述光斑中心点候选范围内所有像素单元的像素值总和大于或等于第二像素值阈值。

在某类实施例中，选择光斑中心点候选范围内任意位置的一个或多个像素单元作为光斑中心点；以光斑中心点为中心，基于预设的光斑尺寸和形状得到光斑数据；基于光斑数据对训练集的样本数据进行光斑数据增强。

在某类实施例中，基于预设的光斑尺寸和形状，通过以下方式之一获得一组光斑数据，并通过调整光斑尺寸或形状参数，获得一组新的光斑数据：

i)光斑中心点设置最大像素值，随着光斑中心点之间的距离变大，减小像素值；其中，距离包括横坐标或/和纵坐标，与光斑中心点之间的距离每增加单位距离，像素值减少单位值；

ii)光斑中心点所在的横坐标为中间行，中间行设置最大像素值，从中间行开始向两侧逐步减少像素值；其中，与中间行的距离每增加单位距离，对应行像素单元的像素值减少单位值；

iii)光斑中心点所在的纵坐标为中间列，中间列设置最大像素值，从中间列开始向两侧逐步减少像素值；其中，与中间列的距离每增加单位距离，对应列像素单元的像素值减少单位值；

所述单位值为正数。

在某类实施例中，将光斑数据旋转预设角度，并使用旋转后的光斑数据对训练集的样本数据进行光斑数据增强。

在某类实施例中，在所述基于事件帧中像素单元的像素值获得满足预设条件的光斑中心点候选范围之前，消除热点噪声；否则，光斑中心点候选范围内的像素单元在物理空间上相邻近。

在某类实施例中，将光斑数据加到与样本数据对应事件帧数据中，完成光斑数据增强，或者基于光斑数据直接更新样本数据中与光斑数据坐标相对应的像素单元的像素值。

在某类实施例中，所述图像传感器为以下之一：帧图像传感器，基于事件的传感器，融合事件成像原理的图像传感器。

在某类实施例中，若所述预设条件为各像素单元的像素值大于或等于第一像素值阈值的像素点集，则像素单元的像素值大于或等于第一像素值阈值的像素点数量大于或等于第一数量阈值的区域为光斑中心点候选范围；

或者，若所述预设条件为像素单元的像素值大于或等于第一像素值阈值的像素点集，则对应像素点数量总和最大的区域为光斑中心点候选范围；

或者，若所述预设条件为所述光斑中心点候选范围内所有像素单元的像素值总和大于或等于第二像素值阈值，则像素值总和最大的区域为光斑中心点候选范围。

在某类实施例中，所述形状为以下形状之一：圆形，类圆形，正方形和长方形。

一种数据增强方法，包括如下步骤：

计算时间窗口内各像素单元产生的脉冲事件数量；

基于各像素单元产生的事件数量获得满足预设条件的光斑中心点候选范围；

基于光斑中心点候选范围进行光斑数据增强；

其中，所述光斑数据是指由于用户动作或物体与光源存在交叉，在图像传感器中产生的不被期望数据；

所述预设条件为各像素单元产生的事件数量大于或等于第一事件数量阈值的像素点集，或者所述光斑中心点候选范围内所有像素单元产生的事件总和大于或等于第二事件数量阈值。

在某类实施例中，选择光斑中心点候选范围内任意位置的一个或多个像素单元作为光斑数据增强的中心点，并设置光斑尺寸和形状；

通过以下方式之一获得光斑数据，并利用与不同光斑尺寸或形状对应的一组或多组光斑数据对训练集的样本数据进行光斑数据增强：

i)光斑中心点设置最大像素值，随着光斑中心点之间的距离变大，减小像素值；其中，距离包括横坐标或/和纵坐标，与光斑中心点之间的距离每增加单位距离，像素值减少单位值；

ii)光斑中心点所在的横坐标为中间行，中间行设置最大像素值，从中间行开始向两侧逐步减少像素值；其中，与中间行的距离每增加单位距离，对应行像素单元的像素值减少单位值；

iii)光斑中心点所在的纵坐标为中间列，中间列设置最大像素值，从中间列开始向两侧逐步减少像素值；其中，与中间列的距离每增加单位距离，对应列像素单元的像素值减少单位值；

所述单位值为正整数。

在某类实施例中，在基于各像素单元产生的事件数量获得满足预设条件的光斑中心点候选范围之前，消除热点噪声；否则，光斑中心点候选范围内的像素单元在物理空间上相邻近。

在某类实施例中，所述图像传感器为以下之一：帧图像传感器，基于事件的传感器，融合事件成像原理的图像传感器。

在某类实施例中，将光斑数据加到与样本数据中，完成光斑数据增强，或者基于光斑数据直接更新样本数据中与光斑数据坐标相对应的像素单元的像素值。

在某类实施例中，将光斑数据旋转预设角度，并使用旋转后的光斑数据对训练集的样本数据进行光斑数据增强。

在某类实施例中，若所述预设条件为各像素单元产生的事件数量大于或等于第一事件数量阈值的像素点集，则像素单元产生的事件数量大于或等于第一事件数量值阈值的像素点数量大于或等于第二数量阈值的区域为光斑中心点候选范围；

或者，若所述预设条件为各像素单元产生的事件数量大于或等于第一事件数量阈值的像素点集，则对应像素点数量总和最大的区域为光斑中心点候选范围；

或者，若所述预设条件为所述光斑中心点候选范围内所有像素单元的像素值总和大于或等于第二像素值阈值，则像素值总和最大的区域为光斑中心点候选范围。

一种脉冲神经网络训练方法，使用如前所述的数据增强方法或者如前所述的数据增强方法，对脉冲神经网络训练集的样本数据进行至少一次数据增强；基于增强后的训练集完成对脉冲神经网络的训练。

一种存储介质，该存储介质上存储有计算机代码，其特征在于：通过执行该计算机代码，以实现如前所述的数据增强方法或者如前所述的数据增强方法。

一种芯片，包括脉冲神经网络处理器，所述脉冲神经网络处理器部署有使用如前所述的脉冲神经网络训练方法获得的最优配置参数。

在某类实施例中，所述芯片为类脑芯片或神经拟态芯片，具有事件触发机制。

在某类实施例中，所述芯片包括图像传感器，所述图像传感器与所述脉冲神经网络处理器集成在一起，或通过接口耦接。

一种电子产品，所述电子产品上配有如前所述的芯片。

本发明的部分或全部实施例，具有如下有益技术效果：

1）本发明通过对训练数据做关于光斑的数据增强，以得到多样性的包含光斑的训练数据，以使脉冲神经网络能够适应复杂、多变的实际工作环境，具有更好的精度和稳定性。

2）本发明基于实际工程中动作与光源会生交叉、传感器视野范围内存在影子的情况，针对性地进行了关于光斑的数据增强，方法简单、易实施，有效解决了相应的问题。

3）本发明可基于像素单元的像素值或像素单元产生的脉冲事件数量进行增强，具有很强的灵活性。

4）本发明在训练数据量较少时具有优越性，基于用户、光源与传感器的相对位置（距离和角度），获得丰富、多样的训练数据。

更多的有益效果将在优选实施例中作进一步的介绍。

以上披露的技术方案/特征，旨在对具体实施方式部分中所描述的技术方案、技术特征进行概括，因而记载的范围可能不完全相同。但是该部分披露的这些新的技术方案同样属于本发明文件所公开的众多技术方案的一部分，该部分披露的技术特征与后续具体实施方式部分公开的技术特征、未在说明书中明确描述的附图中的部分内容，以相互合理组合的方式披露更多的技术方案。

本发明任意位置所披露的所有技术特征所组合出的技术方案，用于支撑对技术方案的概括、专利文件的修改、技术方案的披露。

附图说明

图1是脉冲神经网络训练及参数部署映射示意图；

图2是本发明某实施例中光斑数据示意图；

图3是本发明光斑数据增强示意图；

图4是本发明某实施例中光斑现象示意图；

图5是本发明某实施例中不同情形下光斑数据示意图；

图6是本发明某实施例中光斑数据增强流程图；

图7是本发明某实施例中进行光斑数据增强的几种示例；

图8是本发明某优选实施例中光斑数据增强示意图。

具体实施方式

由于不能穷尽描述各种替代方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案中的要点内容进行清楚、完整地描述。对于下文未详细披露的其它的技术方案和细节，一般均属于本领域通过常规手段即可实现的技术目标或技术特征，限于篇幅，本发明不对其详细介绍。

除非是除法的含义，本发明中任意位置的“/”均表示逻辑“或”。本发明任意位置中的“第一”、“第二”等序号仅仅用于描述上的区分标记，并不暗示时间或空间上的绝对顺序，也不暗示冠以这种序号的术语与冠以其它定语的相同术语必然是不同的指代。

本发明会对各种用于组合成各种不同具体实施例的要点进行描述，这些要点将被组合至各种方法、产品中。在本发明中，即便仅在介绍方法/产品方案时所描述的要点，意味着对应的产品/方法方案也明确地包括该技术特征。

本发明中任意位置处描述存在或包括某步骤、模块、特征时，并不暗示这种存在是排它性地唯一存在，本领域技术人员完全可以根据本发明所披露的技术方案而辅以其它技术手段而获得其它实施例。本发明所公开的实施例，一般是出于披露优选实施例的目的，但这并不暗示该优选实施例的相反实施例，为本发明所排斥/排除，只要这种相反实施例至少解决了本发明的某个技术问题，都是本发明所希望涵盖的。基于本发明中具体实施例描述的要点，本领域技术人员完全可以对某些技术特征施加替换、删减、增加、组合、调换顺序等手段，获得一个仍遵循本发明构思的技术方案。这些未脱离本发明技术构思的方案也在本发明保护范围之内。

脉冲神经网络（Spiking neural network，SNN）：事件驱动的神经形态芯片中的一种，是第三代人工神经网络，具有丰富的时空动力学特征、多样的编码机制、事件驱动特性，计算代价小、功耗低。本发明实施例对脉冲神经网络的类型不进行具体限定，只要基于脉冲信号或者事件进行驱动的神经网络均可以适用于本发明实施例提供的声源定向方法，可以根据实际应用场景进行搭建脉冲神经网络，例如脉冲卷积神经网络（SCNN）、脉冲循环神经网络（SRNN）等。

事件相机，事件驱动的图像传感器，也被称为动态视觉传感器（DVS）。基于该原理，有一些技术方案将其与传统帧图像像素融合在一起，所获得的传感器既能输出事件，也能输出像素亮度，比如DAVIS传感器、ATIS传感器，这些基于事件（event-based）的传感器（EBS）在本发明中被统称为事件成像装置，它属于传感器的一种。本发明以事件相机为例，披露光斑数据增强方案。

光斑数据是指由于用户动作或物体与光源存在交叉，在图像传感器中产生的不被期望数据。

图2是本发明某实施例中光斑数据示意图，其中，包括样本数据和在室内环境中对实际环境信号采集而获得的实时数据。样本数据通常数据不够丰富，且是在特定的场景下录制，数据典型，成像质量通常比较好。然而，实际室内环境中，用户动作与光源产生交叉时，交叉区域的光线将变暗，交叉区域周围边界处将变亮，造成事件相机不停地生成不被期望出现的事件（或称作脉冲），将某个时间段内运动交叉的事件数据压缩成一帧，在有效数据之外，出现一个光斑，如图中所示的光斑数据。这些不被期望的事件呈现出虚假“运动”景象或者导致极为糟糕的成像质量，进而影响后续信息处理难度和能力。

由于用于SNN训练的神经形态数据集尚处于起步阶段，目前的SNN样本数据集不仅小且仅面向几个单一的任务。而针对当前任务录制的数据集更加受限于样本、资金及时间的支持。本发明基于光斑数据增强，一方面对训练数据进行了扩充，获得丰富的数据集，另一方面得到的数据集契合实际使用时的场景（动作与光源可能存在交叉），基于该数据集训练得到的配置参数不仅能够应对复杂的任务场景，具有更好的普适性，更能提高SNN或神经形态硬件的推理准确性和稳定性。

图3是本发明光斑数据增强示意图，原始样本数据经光斑数据增强后，得到带光斑数据的数据集，使用带光斑的数据集训练脉冲神经网络。由于光斑的位置、大小跟动作、光源与传感器的相对位置有关，本发明针对多种情形进行光斑数据增强，得到多个数据集，并使用多个数据集中的一个或多个训练脉冲神经网络。训练是对于给定的样本数据（训练集或测试集），获得最优的网络配置参数，基于该最优的网络配置参数，SNN能够对于任意给定的输入，输出与输入样本相匹配的结果。注意，配置有脉冲神经网络的芯片或神经形态硬件，不遵循传统的“冯诺伊曼架构”，因此也不会存在“指令”（计算机程序）概念。

通常情况下，SNN进行训练和执行推理在不同的设备上进行，网络训练是在训练设备（如高性能CPU、GPU）上进行，训练设备上的SNN是对芯片上SNN的一种模拟，训练获得的配置参数映射到芯片上的SNN。此外，SNN的训练和执行可以在同一设备上进行，例如该神经形态硬件包括训练模式和推理模式，执行片上学习。

图4是本发明某实施例中光斑现象示意图，运动物体与光源交叉处产生光斑。当用户面向事件相机镜头做动作，背向某个光源，在这种场景中，事件相机与光源的相对位置、事件相机的分辨率、光源尺寸一般都是相对固定的。光斑的位置、尺寸跟用户/动作、光源与事件相机的相对位置有关，相对位置包括距离和角度。使用芯片实物大量测试可知，光斑出现在用户的动作与光源产生交叉的地方。用户动作时，动作与光源交叉处的光线变化比其他地方更更大，事件相机产生的事件数据也更多，这些由于动作与光源交叉产生的事件们在成像时呈现明显的光斑。并且，光斑大致具有两种形状，圆形（包括椭圆）或矩形（包括正方形或长方形）光斑。对于大光源（如长方形光源），或者手与光源距离较远等情形，手部动作时不会完全遮挡光源，此时光斑近似于圆形。对于小光源（如圆形/正方形小光源），或者手与光源距离较近等情形，动作可能会完全遮挡光源，此时光斑近似于矩形。

此外，实验证实，对于基于传统帧图像传感器产生的差帧图像转换为的事件帧或脉冲序列，也存在光斑现象，这是由于光斑现象源于光线的变化，与光源交叉会影响交叉处像素点的像素值。

图5是本发明某实施例中不同情形下光斑数据示意图，其中，图5中的（a）为手与光源无交叉时，将事件相机产生的事件压帧后的成像效果。图5中的（b）为手与光源有交叉，且手与事件相机距离较远时，事件相机产生的事件压帧后的成像效果。图5中的（c）为手与光源有交叉，且手与事件相机距离较近时，事件相机产生的事件压帧后的成像效果。

当手部与光源无交叉时，手晃动激发事件相机产生的事件压帧后的成像中无光斑产生。当手部与光源有交叉时，出现光斑，并且用户与事件相机的距离与光斑的大小成反比，距离越远光斑越小，反之，光斑越大。图5中的（b），当用户与事件相机的距离较远时，用户的动作激发事件相机产生的事件压帧后的成像较小，与光源交叉时，遮挡的光源部分/区域较小，产生的光斑较小。图5中的（c）中，与光源交叉时，遮挡的光源部分较大，产生的光斑则较大。此外，经测试可知，光斑数据的分布类似正态分布。光斑中心的像素值较大，并向远处逐渐较小。

图6是本发明某实施例中基于事件帧数据进行光斑数据增强流程图，包括如下步骤：

S101、预处理。

样本数据集可以是差帧图像集，或者事件帧图像集，或者事件流。若样本数据为事件流，对事件流数据进行压帧。若样本数据为差帧数据形式，将差帧数据转换为事件帧数据。若样本数据为事件帧数据，则跳过此步骤。

对于事件相机等直接产生的事件流，将时间窗口内的事件压缩生成事件帧。事件帧是时间窗口内事件的集合体。生成事件帧的方式包括单通道事件帧或双通道事件帧，单通道事件帧为：时间窗口内，忽略事件极性，将每个像素点所有时间戳的事件进行叠加，或选择将每个像素点所有时间戳的ON事件（光强增大）或OFF事件（光强减弱）叠加，双通道事件帧为：时间窗口内，将每个像素点所有时间戳的事件，分别按照事件的极性叠加。本发明对生成各种事件帧的方式不作限制。

S102、确定满足预设条件的像素点集，获得光斑中心点候选范围。例如，在事件帧数据上，搜索满足预设条件的像素点集。

在某实施例中，基于各像素的像素值确定光斑中心点候选范围。由于光线与动作交叉处，产生大量的脉冲事件，搜索像素单元的像素值大于或等于第一阈值的像素点集。由于某些像素点非正常工作会产生高频的热点噪声（hot pixel）事件，其分布是离散、孤立的，因此，可通过像素点集内的像素单元在物理空间是否相邻近，排除产生热点噪声的像素单元，在物理空间上相邻近的像素单元即属于光斑中心点候选范围。

在某优选实施例中，地址（横或/和纵坐标）相邻的区域内，像素单元的像素值大于或等于第一像素值阈值的像素点数量大于或等于第一数量阈值的像素点集为光斑中心点候选范围。在另一选实施例中，地址（横或/和纵坐标）相邻的区域内，像素单元的像素值满足第一像素值阈值的像素点数量的总和最大的区域为光斑中心点候选范围，其中满足第一像素值阈值是指，像素单元的像素值大于或等于第一像素值阈值。

在另一实施例中，在地址（横或/和纵坐标）相邻的区域内，基于区域内像素值总和确定光斑中心点候选范围，光斑中心点候选范围内所有像素单元的像素值总和大于或等于第二像素值阈值。进一步地，像素值总和最大的区域为光斑中心点候选范围。

在某些实施例中，可提前（步骤S101或S102之前）消除热点噪声，如此，前述实施例中确定光斑中心点候选范围时，可不需要再判断像素点集内的像素单元在物理空间是否相邻近。

S103、基于光斑中心点候选范围进行光斑数据增强。具体地，基于光斑中心点候选范围获得光斑中心点，以光斑中心点为中心，基于预设的光斑尺寸或/和形状，获得一组光斑数据。

在某优选实施例中，选择光斑中心点候选范围内像素值最强的像素单元或其坐标为进行光斑数据增强的中心点。此外，为了增加样本数据量，可选择光斑中心点候选范围内任意位置的一个或多个像素单元作为光斑数据增强的中心点，实施例中以一个光斑中心点为例，但并未以此为限。

由于手与事件相机的距离与光斑的大小成反比，手与事件相机的距离越远光斑越小，反之，光斑越大。并且对于不同大小的光源，或/和手部动作时遮挡光源的程度影响光斑形状，因此，本发明随机选择中心点或/和设置光斑大小或/和光斑形状，以模拟各种不同的使用场景。

光斑形状可为圆形（包括类圆形）、矩形（正方形、长方形）等任意形状，为了简化操作，本发明光斑形状优选正方形或矩形，但对此并不限制。

光斑中心点设置最大像素值，计算各像素点与光斑中心点的距离，其中所述距离为横坐标距离或纵坐标距离或直径或半径等其他数学方式计算的数值。

在某些实施例中，以光斑中心点为中心，沿四周（距离或半径变大）的方向，减少像素单元的像素值，以生成光斑数据。在某优选实施例中，每增加单位距离，像素值减少单位值，其中单位值为正数。

在另一些实施例中，光斑数据中每一行的像素值都是相同的，且中心点所在行（纵坐标相同）的各像素单元的像素值最大，从中间行开始向两侧逐渐减少像素值，以生成光斑数据。在某优选实施例中，与中间行的距离每增加单位距离，该行像素单元的像素值减少单位值，其中单位值为正数。

在其他实施例中，光斑数据中每一列的像素值都是相同的，且中心点所在列（横坐标相同）的各像素单元的像素值最大，从中间列开始向两侧逐渐减少像素值，以生成光斑数据。在某优选实施例中，与中间列的距离每增加单位距离，该列像素单元的像素值减少单位值，其中单位值为正数。

其中，可先将光斑数据存储，然后将光斑数据加到样本数据图中，完成光斑数据增强图，还可以直接对样本数据图进行更新，得到增强后的数据集，本发明对此不进行限制。

在某些实施例中，通过调整光斑尺寸或形状参数，获得一组新的光斑数据。利用与不同光斑尺寸或形状对应的一组或多组光斑数据对训练集的样本数据进行光斑数据增强，获得一个或多个新的样本数据集。

在某些实施例中，将光斑数据旋转预设角度，并基于旋转后的光斑数据完成光斑数据增强。

本发明另一些实施例中基于事件数量进行光斑数据增强流程图，包括如下步骤：

步骤S201、计算时间窗口内各像素单元产生的事件数量。同一像素单元产生的事件坐标相同，因此，可基于事件地址，确定时间窗口内各像素单元产生的事件数量。

步骤S202、基于事件数量确定光斑中心点候选范围。

在地址（横或/和纵坐标）相邻的区域内，基于各像素产生的事件数量确定光斑中心点候选范围。在某实施例中，候选范围内各像素单元的像素值大于或等于第一事件数量阈值。在另一实施例中，候选范围内事件数量大于或等于第一事件数量阈值的像素点数量大于或等于第二数量阈值。

优选地，满足第一事件数量阈值的像素点数量的总和最大的区域为光斑中心点候选范围，其中满足像素单元的像素值大于或等于第一事件数量阈值。

在另一实施例中，在地址（横或/和纵坐标）相邻的区域内，基于事件数量的总和确定光斑中心点候选范围，光斑中心点候选范围内所有像素单元产生的事件数量总和大于或等于第二事件数量阈值。进一步地，事件数量总和最大的区域为光斑中心点候选范围。

同样地，在某些实施例中，可提前（步骤S201或S202之前）消除热点噪声，如此，前述实施例中确定光斑中心点候选范围时，可不需要再判断像素点集内的像素单元在物理空间是否相邻近。

步骤S203、基于光斑中心点候选范围进行光斑数据增强。

选择光斑中心点候选范围内任意位置的一个或多个像素单元作为光斑数据增强的中心点，实施例中以一个光斑中心点为例，但并未以此为限。并通过调节光斑形状和大小，以模拟不同的使用场景。

生成光斑数据时，以光斑中心点为中心，沿四周（距离或半径变大）的方向，减少像素单元的像素值，在某优选实施例中，每增加单位距离，像素值减少单位值。或者，以光斑中心点所在的行（或列）为中间行（或中间列），从中间列开始向两侧逐渐减少像素值，与中间行（或中间列）的距离每增加单位距离，该行（或列）像素单元的像素值减少单位值，其中单位值为正数。

在某些实施例中，将光斑数据旋转预设角度，并将旋转后的光斑数据加到样本数据中，完成光斑数据增强。

在某些实施例中，可先将光斑数据存储，然后将光斑数据加到样本数据图中，完成光斑数据增强图，还可以直接对样本数据图进行更新，得到增强后的数据集，本发明对此不进行限制。

图7是本发明某实施例中进行光斑数据增强的几种示例。本发明确定满足预设条件的像素点集，即光斑中心点候选范围。选择光斑中心点候选范围内的任意位置的一个或多个像素单元作为光斑数据增强的中心点。基于光源大小，或者动作与光源相对位置选择光斑形状，由于测试时，光源为长方形大光源，因此选择圆形光斑形状。基于手与事件相机的距离与光斑的大小，设置光斑尺寸（如直径或大小），以光斑中心为圆心，沿距离或直径变大方向，依次减少像素值，生成的圆形或近圆形的光斑数据。图7中的（a）至图7中的（d）分别展示了针对不同情形进行的光斑数据增强，使训练数据不仅能够契合实际使用时存在的光斑现象，更能涵盖多种可能的情形，提升了训练数据的多样性，使训练网络具有更好的鲁棒性和普适性。

图8是本发明某优选实施例中进行光斑数据增强示意图。事件相机产生的事件包括坐标信息和时间信息，即产生事件的像素坐标和事件产生的时间戳。其中，坐标为两位（x,y）表示传感器是二维传感器，还可以是产生事件的一维传感器，如音频传感器、振动传感器等，或者更多维传感器，本发明不仅限于此。其中，坐标为（x ,y）的第一像素在t时刻产生的事件e，在t－1时刻产生的事件e－1。基于预设条件获得光斑中心点候选范围，图8中所示的正方形或近圆形光斑数据是与图7中的（b）相同的环境中获得的光斑尺寸和形状。各像素单元产生的事件数量大于或等于第一事件数量阈值（3）的像素点集为光斑中心点候选区域，以光斑中心点候选范围内产生事件数量最大（14）的第一像素单元的坐标（x ,y）为中心，沿距离或直径变大方向，依次减少产生的光斑事件数量，生成的圆形或近圆形的光斑数据，并将生成的光斑数据加到样本数据中，完成光斑数据增强。

本发明还涉及脉冲神经网络训练方法，使用如前所述的数据增强方法，对脉冲神经网络训练集的样本数据进行至少一次数据增强；基于增强后的训练集完成对脉冲神经网络的训练。

本发明还涉及存储介质，该存储介质上存储有计算机代码，其特征在于：通过执行该计算机代码，以实现如前所述的数据增强方法。

本发明还涉及一种芯片，该芯片包括脉冲神经网络处理器，所述脉冲神经网络处理器部署有使用如前所述的脉冲神经网络训练方法获得的最优配置参数。

在某优选实施例中，所述芯片为类脑芯片或神经拟态芯片，具有事件触发机制。

在另一优选实施例中，芯片包括事件相机和脉冲神经网络处理器，二者集成在一起，或通过接口耦接。该芯片部署有基于30组不同光斑数据增强后的数据集进行训练而获得的网络配置参数，使用该芯片感知计算实际应用场景中的数据，芯片的性能表现更好，稳定性和适应性更好。

在另一优选实施例中，所述芯片包括图像传感器，所述图像传感器与所述脉冲神经网络处理器集成在一起，或通过接口耦接。

本发明还涉及一种电子产品，所述电子产品上配有如前所述的芯片。

尽管已经参考本发明的具体特征和实施例描述了本发明，但是在不脱离本发明的情况下仍可以对其进行各种修改、组合、替换。本发明的保护范围旨在不限于说明书中描述的过程、机器、制造、物质组成、装置、方法和步骤的特定实施例，并且这些方法、模块可能还被实施在相关联、相互依赖、相互配合、前/后级的一个或多个产品、方法当中。

因此，说明书和附图应简单地视为由所附权利要求限定的技术方案的部分实施例的介绍，因而应根据最大合理解释原则对所附权利要求解读，并旨在尽可能涵盖本发明公开范围内的所有修改、变化、组合或等同物，同时还应避免不合常理的解读方式。

为了实现更好的技术效果或出于某些应用的需求，本领域技术人员可能在本发明的基础之上，对技术方案做出进一步的改进。然而，即便该部分改进/设计具有创造性或/和进步性，只要依赖本发明的技术构思，覆盖了权利要求所限定的技术特征，该技术方案同样应落入本发明的保护范围之内。

所附的权利要求中所提及的若干技术特征可能存在替代的技术特征，或者对某些技术流程的顺序、物质组织顺序可以重组。本领域普通技术人员知晓本发明后，容易想到该些替换手段，或者改变技术流程的顺序、物质组织顺序，然后采用了基本相同的手段，解决基本相同的技术问题，达到基本相同的技术效果，因此即便权利要求中明确限定了上述手段或/和顺序，然而该些修饰、改变、替换，均应依据等同原则而落入权利要求的保护范围。

结合本文中所公开的实施例中描述的各方法步骤或模块，能够以硬件、软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各实施例的步骤及组成。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用或设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为在本发明所要求保护的范围之外。

Claims (23)

1.一种数据增强方法，其特征在于，包括如下步骤：

若训练集的样本数据为事件帧，则进行如下操作，否则先对样本数据进行预处理，将样本数据转换为事件帧；

基于事件帧中像素单元的像素值获得满足预设条件的光斑中心点候选范围；

基于光斑中心点候选范围进行光斑数据增强；

其中，所述光斑数据是指由于用户动作或物体与光源存在交叉，在图像传感器中产生的不被期望数据；

其中， 基于光斑中心点候选范围进行光斑数据增强包括：

选择光斑中心点候选范围内任意位置的一个或多个像素单元作为光斑中心点；

以光斑中心点为中心，基于预设的光斑尺寸和形状得到光斑数据；

基于光斑数据对训练集的样本数据进行光斑数据增强。

2.根据权利要求1所述的数据增强方法，其特征在于：

所述预设条件为各像素单元的像素值大于或等于第一像素值阈值的像素点集，或者所述光斑中心点候选范围内所有像素单元的像素值总和大于或等于第二像素值阈值。

3.根据权利要求2所述的数据增强方法，其特征在于，基于预设的光斑尺寸和形状，通过以下方式之一获得一组光斑数据：

i)光斑中心点设置最大像素值，随着光斑中心点之间的距离变大，减小像素值；其中，距离包括横坐标或/和纵坐标，与光斑中心点之间的距离每增加单位距离，像素值减少单位值；

ii)光斑中心点所在的横坐标为中间行，中间行设置最大像素值，从中间行开始向两侧逐步减少像素值；其中，与中间行的距离每增加单位距离，对应行像素单元的像素值减少单位值；

iii)光斑中心点所在的纵坐标为中间列，中间列设置最大像素值，从中间列开始向两侧逐步减少像素值；其中，与中间列的距离每增加单位距离，对应列像素单元的像素值减少单位值；

所述单位值为正数。

4.根据权利要求3所述的数据增强方法，其特征在于：

将光斑数据旋转预设角度，并使用旋转后的光斑数据对训练集的样本数据进行光斑数据增强。

5.根据权利要求4所述的数据增强方法，其特征在于：

在所述基于事件帧中像素单元的像素值获得满足预设条件的光斑中心点候选范围之前，消除热点噪声；否则，光斑中心点候选范围内的像素单元在物理空间上相邻近。

6.根据权利要求4所述的数据增强方法，其特征在于：

将光斑数据加到与样本数据对应事件帧数据中，完成光斑数据增强，或者基于光斑数据直接更新样本数据中与光斑数据坐标相对应的像素单元的像素值。

7.根据权利要求1至6任一项所述的数据增强方法，其特征在于，所述图像传感器为以下之一：

帧图像传感器，基于事件的传感器，融合事件成像原理的图像传感器。

8.根据权利要求1至6任一项所述的数据增强方法，其特征在于：

若所述预设条件为各像素单元的像素值大于或等于第一像素值阈值的像素点集，则像素单元的像素值大于或等于第一像素值阈值的像素点数量大于或等于第一数量阈值的区域为光斑中心点候选范围；

或者，若所述预设条件为像素单元的像素值大于或等于第一像素值阈值的像素点集，则对应像素点数量总和最大的区域为光斑中心点候选范围；

或者，若所述预设条件为所述光斑中心点候选范围内所有像素单元的像素值总和大于或等于第二像素值阈值，则像素值总和最大的区域为光斑中心点候选范围。

9.根据权利要求2至6任一项所述的数据增强方法，其特征在于，所述形状为以下形状之一：

圆形，类圆形，正方形和长方形。

10.一种数据增强方法，其特征在于，包括如下步骤：

计算时间窗口内各像素单元产生的脉冲事件数量；

基于各像素单元产生的事件数量获得满足预设条件的光斑中心点候选范围；

基于光斑中心点候选范围进行光斑数据增强；

其中，所述光斑数据是指由于用户动作或物体与光源存在交叉，在图像传感器中产生的不被期望数据；

其中， 基于光斑中心点候选范围进行光斑数据增强包括：

选择光斑中心点候选范围内任意位置的一个或多个像素单元作为光斑中心点；

以光斑中心点为中心 ，基于预设的光斑尺寸和形状得到光斑数据；

基于光斑数据对训练集的样本数据进行光斑数据增强。

11.根据权利要求10所述的数据增强方法，其特征在于:

所述预设条件为各像素单元产生的事件数量大于或等于第一事件数量阈值的像素点集，或者所述光斑中心点候选范围内所有像素单元产生的事件总和大于或等于第二事件数量阈值。

12.根据权利要求10或11所述的数据增强方法，其特征在于:

选择光斑中心点候选范围内任意位置的一个或多个像素单元作为光斑数据增强的中心点，并设置光斑尺寸和形状；

通过以下方式之一获得光斑数据，并利用与不同光斑尺寸或形状对应的一组或多组光斑数据对训练集的样本数据进行光斑数据增强：

i)光斑中心点设置最大像素值，随着光斑中心点之间的距离变大，减小像素值；其中，距离包括横坐标或/和纵坐标，与光斑中心点之间的距离每增加单位距离，像素值减少单位值；

ii)光斑中心点所在的横坐标为中间行，中间行设置最大像素值，从中间行开始向两侧逐步减少像素值；其中，与中间行的距离每增加单位距离，对应行像素单元的像素值减少单位值；

iii)光斑中心点所在的纵坐标为中间列，中间列设置最大像素值，从中间列开始向两侧逐步减少像素值；其中，与中间列的距离每增加单位距离，对应列像素单元的像素值减少单位值；

所述单位值为正整数。

13.根据权利要求12所述的数据增强方法，其特征在于：

在基于各像素单元产生的事件数量获得满足预设条件的光斑中心点候选范围之前，消除热点噪声；否则，光斑中心点候选范围内的像素单元在物理空间上相邻近。

14.根据权利要求10-11、13任一项所述的数据增强方法，其特征在于，所述图像传感器为以下之一：

帧图像传感器，基于事件的传感器，融合事件成像原理的图像传感器。

15.根据权利要求10-11、13任一项所述的数据增强方法，其特征在于：

将光斑数据加到与样本数据中，完成光斑数据增强，或者基于光斑数据直接更新样本数据中与光斑数据坐标相对应的像素单元的像素值。

16.根据权利要求10-11、13任一项所述的数据增强方法，其特征在于：

将光斑数据旋转预设角度，并使用旋转后的光斑数据对训练集的样本数据进行光斑数据增强。

17.根据权利要求10-11、13任一项所述的数据增强方法，其特征在于：

若所述预设条件为各像素单元产生的事件数量大于或等于第一事件数量阈值的像素点集，则像素单元产生的事件数量大于或等于第一事件数量值阈值的像素点数量大于或等于第二数量阈值的区域为光斑中心点候选范围；

或者，若所述预设条件为各像素单元产生的事件数量大于或等于第一事件数量阈值的像素点集，则对应像素点数量总和最大的区域为光斑中心点候选范围；

或者，若所述预设条件为所述光斑中心点候选范围内所有像素单元的像素值总和大于或等于第二像素值阈值，则像素值总和最大的区域为光斑中心点候选范围。

18.一种脉冲神经网络训练方法，其特征在于：

使用如权利要求1至17任一项所述的数据增强方法，对脉冲神经网络训练集的样本数据进行至少一次数据增强；

基于增强后的训练集完成对脉冲神经网络的训练。

19.一种存储介质，其特征在于：

该存储介质上存储有计算机代码，其特征在于：通过执行该计算机代码，以实现如权利要求1至17任一项所述的数据增强方法。

20.一种芯片，其特征在于：

包括脉冲神经网络处理器，所述脉冲神经网络处理器部署有使用如权利要求18所述的脉冲神经网络训练方法获得的最优配置参数。

21.根据权利要求20所述的芯片，其特征在于：

所述芯片为类脑芯片或神经拟态芯片，具有事件触发机制。

22.根据权利要求21所述的芯片，其特征在于：

所述芯片包括图像传感器，所述图像传感器与所述脉冲神经网络处理器集成在一起，或通过接口耦接。

23.一种电子产品，其特征在于：

所述电子产品上配有如权利要求20至22任意一项所述的芯片。