CN114244970A - 一种事件信号处理方法、装置、设备及可读存储介质 - Google Patents

Abstract

本申请提供了一种事件信号处理方法、装置、设备及可读存储介质，该方法包括：根据图像传感器的像素阵列中各像素的入射光强度生成相应的实时电压；对各实时电压与预设参考电压作差之后，将各电压差值分别与预设第一电压阈值以及预设第二电压阈值进行比较，生成各像素的事件信号；基于各事件信号中第一子事件信号以及第二子事件信号的取值，将同一像素连续目标帧数的事件信号进行合并处理，得到合并事件信号。通过本申请方案的实施，根据事件信号对应的二值向量取值对同一像素的多帧事件信号进行合并，能够使得数据紧凑、数据量小，降低后续事件数据处理的功耗。

Description

一种事件信号处理方法、装置、设备及可读存储介质

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种事件信号处理方法、装置、设备及可读存储介质。

背景技术

随着科学技术的不断发展，计算机视觉技术也越来越成熟。事件相机的出现，在视觉领域引来了越来越多的关注。它模拟人类的视网膜，响应由于运动产生的亮度变化的像素点脉冲，因此它能够以极高的帧率捕获场景的亮度变化，记录特定时间点和图像中特定位置的事件，形成事件流而不是帧流，从而解决了传统相机信息冗余、大量数据存储和实时处理等问题。

当前事件相机对事件数据的处理基本上都是在像素阵列外围，比如芯片上或者芯片外。如果是在芯片上对事件数据处理，其在进行整帧的初步算法时会占用大量的资源(芯片的面积)，如果是在芯片外对事件数据处理，会产生更大的功耗。

发明内容

本申请实施例提供了一种事件信号处理方法、装置、设备及可读存储介质，至少能够解决相关技术中事件相机的事件数据量以及事件数据处理功耗较大的问题。

本申请实施例第一方面提供了一种事件信号处理方法，应用于事件相机，包括：

根据图像传感器的像素阵列中各像素的入射光强度生成相应的实时电压；

对各所述实时电压与预设参考电压作差之后，将各电压差值分别与预设第一电压阈值以及预设第二电压阈值进行比较，生成各像素的事件信号；其中，所述事件信号包括第一子事件信号以及第二子事件信号；

基于所述第一子事件信号以及所述第二子事件信号的取值，将同一像素连续目标帧数的所述事件信号进行合并处理，得到合并事件信号。

本申请实施例第二方面提供了一种事件信号处理装置，应用于事件相机，包括：

第一生成模块，用于根据图像传感器的像素阵列中各像素的入射光强度生成相应的实时电压；

第二生成模块，用于对各所述实时电压与预设参考电压作差之后，将各电压差值分别与预设第一电压阈值以及预设第二电压阈值进行比较，生成各像素的事件信号；其中，所述事件信号包括第一子事件信号以及第二子事件信号；

合并模块，用于基于所述第一子事件信号以及所述第二子事件信号的取值，将同一像素连续目标帧数的所述事件信号进行合并处理，得到合并事件信号。

本申请实施例第三方面提供了一种终端设备，包括：存储器及处理器，其中，处理器用于执行存储在存储器上的计算机程序，处理器执行计算机程序时，实现上述本申请实施例第一方面提供的事件信号处理方法中的各步骤。

本申请实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现上述本申请实施例第一方面提供的事件信号处理方法中的各步骤。

由上可见，根据本申请方案所提供的事件信号处理方法、装置、设备及可读存储介质，根据图像传感器的像素阵列中各像素的入射光强度生成相应的实时电压；对各实时电压与预设参考电压作差之后，将各电压差值分别与预设第一电压阈值以及预设第二电压阈值进行比较，生成各像素的事件信号；基于各事件信号中第一子事件信号以及第二子事件信号的取值，将同一像素连续目标帧数的事件信号进行合并处理，得到合并事件信号。通过本申请方案的实施，根据事件信号对应的二值向量取值对同一像素的多帧事件信号进行合并，能够使得数据紧凑、数据量小，降低后续事件数据处理的功耗。

附图说明

图1为本申请第一实施例提供的一种事件信号处理方法的基础流程示意图；

图2为本申请第一实施例提供的一种事件产生示意图；

图3为本申请第二实施例提供的一种事件信号处理方法的细化流程示意图；

图4为本申请第三实施例提供的事件信号处理装置的程序模块示意图；

图5为本申请第四实施例提供的终端设备的结构示意图。

具体实施方式

为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请实施例的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请实施例中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请实施例中的具体含义。

以上所述仅为本申请的较佳实施例而已，并不用以限制本发明，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请的保护范围之内。

为了解决相关技术中事件相机的事件数据量以及事件数据处理功耗较大的问题，本申请第一实施例提供了一种事件信号处理方法，应用于事件相机，事件相机(Event-based Camera)是一种新型的图像传感器，它的每个像素点独立工作，只有当某个像素的亮度变化达到一定的阈值后才输出一个事件。

如图1为本实施例提供的事件信号处理方法的基础流程示意图，该事件信号处理方法包括以下的步骤：

步骤101、根据图像传感器的像素阵列中各像素的入射光强度生成相应的实时电压。

具体的，事件相机设置有图像传感器，图像传感器包括由多个像素组成的像素阵列，像素阵列中每个像素传感器是集成电路，在该集成电路中，光电二极管可与集聚电荷的电容器集成，其响应于入射光强度而由光电二极管生成光电流，然后根据光电流相应生成实时电压。

步骤102、对各实时电压与预设参考电压作差之后，将各电压差值分别与预设第一电压阈值以及预设第二电压阈值进行比较，生成各像素的事件信号。

其中，事件信号包括第一子事件信号(也即UP事件信号)以及第二子事件信号(也即DN事件信号)，第一电压阈值大于0，第二电压阈值小于0，当电压差值小于第一电压阈值或大于第二电压阈值时，第一子事件信号或第二子事件信号的取值为0，当电压差值大于第一电压阈值或小于第二电压阈值时，第一子事件信号或第二子事件信号为非零取值。

具体的，本实施例将各实时电压分别减去参考电压得到电压差值，然后基于该电压差值判断入射光强度是否发生变化(变强或变弱)，在实际应用中，可以分别配置有第一比较电路和第二比较电路，第一比较电路用于检测光强是否变强，第二比较电路用于检测光强是否变弱，两个比较电路分别对应于不同的电压阈值，当上述电压差值大于第一电压阈值时，第一比较电路检测到光强变强，当上述电压差值小于第二电压阈值时，第二比较电路检测到光强变弱。

应当说明的是，该参考电压可以是预先设定的固定电压，也可以是后续灵活更新的电压。另外，在本实施例优选实施方式中，第一电压阈值与第二电压阈值可以互为相反数，例如第一电压阈值的取值为0.1V，那么第二电压阈值的取值则为-0.1V。

还应当理解的是，在实际应用中，每个像素的事件信号均为一个二值向量(即2bit向量)，该2bit向量用于表征光信号是变强还是变弱。在本实施例中，2bit向量可以采用[a，b]的数对形式表示，其中，第一子事件信号a的取值由电压差值与第一电压阈值的比较关系决定，第二子事件信号b的取值由电压差值与第二电压阈值的比较关系决定，当电压差值大于第一电压阈值时，a的取值为非零数值，当电压差值小于第二电压阈值时，b的取值为非零数值，在本实施例优选实施方式中，a和b的非零取值可以均为1，当然，在另一些实施方式中也可以分别为1和-1，本实施例对此不作唯一限定。

接下来，本实施例对二值向量的生成方式进行举例说明，假设参考电压Vm为0.5V，第一电压阈值A1与第二电压阈值A2分别为0.1V和-0.1V。当实时电压Vin为0.7V时，电压差值Vin-Vm大于第一电压阈值A1，此时触发UP事件，输出向量值1，并且电压差值Vin-Vm大于第二电压阈值A2，未能触发DN事件，输出向量值0，那么根据比较结果所最终输出的2bit向量为[1，0]；而当实时电压Vin为0.5V时，电压差值Vin-Vm小于第一电压阈值A1，此时未能触发UP事件，输出向量值0，并且电压差值Vin-Vm大于第二电压阈值A2，未能触发DN事件，输出向量值0，那么根据比较结果所最终输出的2bit向量为[0，0]；而当实时电压Vin为0.3V时，电压差值Vin-Vm小于第一电压阈值A1，此时未能触发UP事件，输出向量值0，并且电压差值Vin-Vm小于第二电压阈值A2，触发DN事件，输出向量值1，那么根据比较结果所最终输出的2bit向量为[0，1]。应当理解的是，当2bit向量为全零数对[0，0]时，表征光信号未发生变化，而当2bit向量为非全零数对[1，0]或[0，1]时，表征光信号变强或变弱。当然，在实际应用中不排除系统可能出现错误，输出2bit向量[1，1]，这种事件信号通常是噪声信号，例如频闪噪声等，本实施例可以将其认定为是无效事件信号，在实际应用中可以选择不读出该信号，也可以通过滤波算法等滤除该噪声信号。

步骤103、基于第一子事件信号以及第二子事件信号的取值，将同一像素连续目标帧数的事件信号进行合并处理，得到合并事件信号。

在本实施例中，合并事件信号用于事件相机的读出电路读出后生成事件图像。本实施例通过对多帧事件信号进行合并，以降低输出的事件信号的帧数以及降低噪声，也即通过压缩事件数据来达到降低事件数据处理功耗的效果。另外，还应当说明的是，本实施例的帧可以理解为同一像素在单位时间所产生的一个事件信号。

在本实施例一种实施方式中，上述生成各像素的事件信号的步骤之后，还包括：获取噪声信号的频率以及图像传感器的帧率；基于频率以及帧率计算目标帧数。

具体的，在实际应用中，所需合并的事件信号的帧数可以根据实际需要灵活选择，例如3帧、5帧、10帧等，优选地，本实施例合并的帧数N可以考虑噪声的频率f和图像传感器的帧率F，帧数计算公式可以表示为N＝F/f。假设该噪声为50HZ，帧率为500fps，那么N为10帧，如此能保证合并的帧数里面包含噪声的一个周期，减少判别错误。

在本实施例一种实施方式中，第一事件信号以及第二事件信号的非零取值为1。相应的，上述将同一像素连续目标帧数的事件信号进行合并处理的步骤，包括：针对同一像素连续目标帧数的事件信号，将第一子事件信号以及第二子事件信号进行异或运算；将目标帧数的事件信号中，运算结果为全零数对的无效事件信号进行筛除；将剩余的有效事件信号进行合并处理。

具体的，在本实施例中，考虑到事件信号中可能出现既有UP事件信号又有DN事件信号的无效事件信号，从而在对事件信号进行合并处理之前，还可以对多帧事件信号进行预处理以筛除无效事件信号，即通过异或门部件对每帧事件信号的UP事件与DN事件进行异或运算，如果第一子事件信号与第二子事件信号的取值不相同，则异或结果为1，反之若两个子事件信号的取值相同，则异或结果为0，对于本实施例的异或运算结果为全零数对(0,0)的无效事件信号的二值向量存在两种情况(1,1)或(0,0)，筛除之后所剩余的有效事件信号仅会存在(1,0)或(0,1)。

在本实施例一种实施方式中，上述基于第一子事件信号以及第二子事件信号的取值，将同一像素连续目标帧数的事件信号进行合并处理，得到合并事件信号的步骤，包括：针对同一像素连续目标帧数的事件信号，从首帧事件信号开始，将相邻两帧事件信号的第一子事件信号以及第二子事件信号进行或运算，得到合并事件信号。

其中，帧序号大于2的事件信号与前两帧事件信号相应的合并事件信号组成相邻两帧事件信号。

具体的，本实施例通过或门部件分别对相邻帧事件信号的UP事件信号进行或运算，以及对相邻帧事件信号的DN事件进行或运算，其中，首帧事件信号与第二帧事件信号的UP事件信号以及DN事件信号分别或运算后，得到的二值向量再作为第三帧事件信号的相邻帧事件信号继续进行或运算，以此类推，直至最后一帧事件信号运算完毕，然后基于最终运算得到的二值向量确定最终所需输出的一帧合并事件信号，其中，若最终运算得到的二值向量为(1,1)，则包括但不限于将多帧参与或运算的事件信号中最后一帧事件信号作为合并事件信号，而若最终运算得到的二值向量的取值非(1,1)，则将最终运算得到的二值向量直接作为合并事件信号。本实施例以合并5帧事件信号为例，第1至5帧事件信号的二值向量分别表示为：(1,0)、(0,1)、(0,0)、(0,0)、(0,1)，应当理解的是，在实际应用中，若连续目标帧数的事件信号中出现单帧事件信号的二值向量为(1,1)，则可以将其作为噪声信号，例如频闪噪声等，本实施例可以选择不使用该信号参与或运算，也可以通过滤波算法等滤除该噪声信号。在本实施例合并上述5帧事件信号时，首先对前两帧事件信号(1,0)与(0,1)进行或运算得到二值向量(1,1)，然后将首次或运算得到的二值向量(1,1)与第三帧事件信号(0,0)进行或运算得到二值向量(1,1)，进一步再将第二次或运算得到的二值向量(1,1)与第四帧事件信号(0,0)进行或运算得到二值向量(1,1)，最后将第三次或运算得到的二值向量(1,1)与第五帧事件信号(0,1)进行或运算得到二值向量(1,1)，由于在完成所有事件信号的或运算之后所得二值向量为(1,1)，一般但不限于将最后一帧(即第5帧)事件信号(0,1)作为最终输出的合并事件信号，表征生成DN事件。

在本实施例另一种实施方式中，上述基于第一子事件信号以及第二子事件信号的取值，将同一像素连续目标帧数的事件信号进行合并处理，得到合并事件信号的步骤，包括：基于第一子事件信号以及第二子事件信号的取值，统计同一像素连续目标帧数的事件信号中第一子事件生成次数以及第二子事件生成次数；将第一子事件生成次数以及第二子事件生成次数分别与预设次数阈值进行比较；根据比较结果配置新第一子事件信号以及新第二子事件信号的取值，得到合并事件信号。

具体的，本实施例对多帧事件信号中的总UP事件信号数量以及总DN事件数量分别进行统计，然后将统计得到的总数量分别与预设阈值进行比较，若大于或等于预设阈值则判定有相应事件生成，反之这判定无相应事件生成，最终基于此输出合并事件信号。本实施例同样以合并5帧事件信号为例，5帧事件信号的二值向量分别表示为：(1,0)、(0,1)、(1,0)、(0,0)、(1,0)，次数阈值设为3，通过统计可以得到总UP事件信号数量为3，总DN事件信号数量为1，分别将两者与次数阈值3进行比较可以得知5帧事件信号中生成UP事件的次数满足大于或等于预设阈值的条件，判定生成UP事件信号，同理，判定未生成DN事件信号，由此，可以配置合并事件信号中UP事件信号的取值为1，DN事件信号的取值为0，最终输出合并事件信号(1,0)。

在本实施例又一种实施方式中，第一事件信号以及第二事件信号的非零取值为1。相应的，上述基于第一子事件信号以及第二子事件信号的取值，将同一像素连续目标帧数的事件信号进行合并处理，得到合并事件信号的步骤，包括：将同一像素连续目标帧数的事件信号，分别与预设参考事件信号进行第一子事件信号的异或运算以及第二子事件信号的异或运算；基于异或运算后所得到的事件信号，对连续多帧取值相同的事件信号进行去重，得到合并事件信号。

具体的，本实施例的参考事件信号可以为连续多帧事件信号中的首帧事件信号抑或预先存储的特定事件信号。在本实施例中，若参考事件信号为预先存储的事件信号，这分别将各帧事件信号与参考事件信号进行异或运算，若参考事件信号为首帧事件信号，则将除首帧事件信号之外的其它事件信号分别与首帧事件信号进行异或运算。

如图2所示为本实施例提供的一种事件产生示意图，假设t1时刻为第1帧，目标像素产生UP事件信号“1”、DN事件信号“0”；t2时刻为第2帧，产生UP事件信号“1”、DN事件信号“0”，将第二帧事件信号的UP事件信号“1”与第一帧事件信号的UP事件信号“1”异或后，得到UP信号“0”，以及将第二帧事件信号的DN事件信号“0”与第一帧事件信号的DN信号“0”进行异或后，得到DN事件信号“0”；t3时刻为第3帧，产生UP事件信号1、DN事件信号“0”，将第三帧事件信号与第一帧事件信号异或后，得到UP事件信号“0”、DN事件信号“0”；t4时刻为第4帧，产生UP事件信号“1”、DN事件信号“0”，将第四帧事件信号与第一帧事件信号异或后，得到UP事件信号“0”、DN事件信号“0”；t5时刻为第5帧，产生UP事件信号“0”、DN事件信号“1”，将第五帧事件信号和第一帧事件信号异或后，得到第五UP信号“1”、第五DN信号“1”。由此，在执行完成异或运算之后，根据异或结果可以得出五帧事件信号中第1至4帧事件信号相同，都是UP事件，第5帧输出的是DN事件，那么可以对连续重复的事件信号进行去重，选择不输出第1至3帧的事件信号，仅保留第4帧事件信号(1,0)与第5帧事件信号(0,1)作为合并事件信号，表示这几帧里面有UP事件和DN事件生成。应当说明的是，在本实施例中，最终输出的合并事件信号可以直接基于异或后的事件信号得到，也可以参考异或结果从原始产生的事件信号中选取得到。

进一步地，在本实施例一种实施方式中，上述根据异或运算结果，对连续多帧取值相同的事件信号进行去重，得到合并事件信号的步骤，包括：对连续多帧取值相同的异或运算结果进行去重，得到中间合并事件信号；当参考事件信号的第一子事件信号或第二子事件信号的取值为1时，对中间合并事件信号的第一子事件信号或第二子事件信号的取值进行修改处理，得到最终的合并事件信号；其中，修改处理为将取值1修改为0以及将取值0修改为1。

具体的，针对前述直接基于异或后的事件信号得到最终输出的合并事件信号的实施方式，在本实施例中，若参考事件信号中子事件信号的取值为“1”，则异或后所生成的事件信号与原始生成的事件信号“反向”，若参考事件信号中子事件信号的取值为“0”，则异或后所生成的事件信号与原始生成的事件信号相同，基于此，本实施例在基于异或后的事件信号生成最终输出的合并事件信号时，可以根据参考事件信号的子事件信号的取值来配置最终合并事件信号，以前述异或后所得到的第4帧事件信号(0,0)为例，由于首帧事件信号的二值向量为(1,0)，那么合并事件信号中第4帧事件信号的UP事件信号应为“1”、DN事件信号应为“0”。

基于上述本申请实施例的技术方案，根据图像传感器的像素阵列中各像素的入射光强度生成相应的实时电压；对各实时电压与预设参考电压作差之后，将各电压差值分别与预设第一电压阈值以及预设第二电压阈值进行比较，生成各像素的事件信号；基于各事件信号中第一子事件信号以及第二子事件信号的取值，将同一像素连续目标帧数的事件信号进行合并处理，得到合并事件信号。通过本申请方案的实施，根据事件信号对应的二值向量取值对同一像素的多帧事件信号进行合并，能够使得数据紧凑、数据量小，降低后续事件数据处理的功耗。

图3中的方法为本申请第二实施例提供的一种细化的事件信号处理方法，该事件信号处理方法包括：

步骤301、根据图像传感器的像素阵列中各像素的入射光强度生成相应的实时电压。

步骤302、对各实时电压与预设参考电压作差之后，将各电压差值分别与预设第一电压阈值以及预设第二电压阈值进行比较，生成各像素的事件信号。

在本实施例中，事件信号包括第一子事件信号以及第二子事件信号，第一电压阈值大于0，第二电压阈值小于0，当电压差值小于第一电压阈值或大于第二电压阈值时，第一子事件信号或第二子事件信号的取值为0，当电压差值大于第一电压阈值或小于第二电压阈值时，第一子事件信号或第二子事件信号的取值为1。

步骤303、针对同一像素连续目标帧数的事件信号，将第一子事件信号以及第二子事件信号进行异或运算。

在本实施例中，对多帧事件信号进行预处理以筛除无效事件信号，即通过异或门部件对每帧事件信号的UP事件与DN事件进行异或运算，如果第一子事件信号与第二子事件信号的取值不相同，则异或结果为1，反之若两个子事件信号的取值相同，则异或结果为0。

步骤304、将目标帧数的事件信号中，运算结果为全零数对的无效事件信号进行筛除。

对于本实施例的异或运算结果为全零数对(0,0)的无效事件信号的二值向量存在两种情况(1,1)或(0,0)，筛除之后所剩余的有效事件信号仅会存在(1,0)或(0,1)。

步骤305、针对剩余的有效事件信号，分别与预设参考事件信号进行第一子事件信号的异或运算以及第二子事件信号的异或运算。

步骤306、对连续多帧取值相同的异或运算结果进行去重，得到中间合并事件信号。

在本实施例中，各原始产生的事件信号与同一参考事件信号进行异或运算之后，若异或运算结果相同，则说明这些事件信号的二值矩阵相同，本实施例对连续多帧相同的事件信号进行去重，以降低最终输出的事件数据量。

步骤307、当参考事件信号的第一子事件信号或第二子事件信号的取值为1时，对中间合并事件信号的第一子事件信号或第二子事件信号的取值进行修改处理，得到最终的合并事件信号。

其中，修改处理为将取值1修改为0以及将取值0修改为1。在本实施例中，若参考事件信号中子事件信号的取值为“1”，则异或后所产生的事件信号与原始生成的事件信号“反向”，从而在输出最终的事件信号时，需要进行反向处理还原至原始产生的事件信号，保证最终输出事件数据的准确性。

应当理解的是，本实施例中各步骤的序号的大小并不意味着步骤执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成唯一限定。

图4为本申请第三实施例提供的一种事件信号处理装置。该事件信号处理装置可用于实现前述实施例中的事件信号处理方法。如图4所示，该事件信号处理装置主要包括：

第一生成模块401，用于根据图像传感器的像素阵列中各像素的入射光强度生成相应的实时电压；

第二生成模块402，用于对各实时电压与预设参考电压作差之后，将各电压差值分别与预设第一电压阈值以及预设第二电压阈值进行比较，生成各像素的事件信号；其中，事件信号包括第一子事件信号以及第二子事件信号，第一电压阈值大于0，第二电压阈值小于0，当电压差值小于第一电压阈值或大于第二电压阈值时，第一子事件信号或第二子事件信号的取值为0，当电压差值大于第一电压阈值或小于第二电压阈值时，第一子事件信号或第二子事件信号为非零取值；

合并模块403，用于基于第一子事件信号以及第二子事件信号的取值，将同一像素连续目标帧数的事件信号进行合并处理，得到合并事件信号。

在本实施例的一些实施方式中，该事件信号处理装置还包括：计算模块，用于获取噪声信号的频率以及图像传感器的帧率；基于频率以及帧率计算目标帧数。

在本实施例的一些实施方式中，非零取值为1。相应的，上述合并模块具体用于：针对同一像素连续目标帧数的事件信号，将第一子事件信号以及第二子事件信号进行异或运算；将目标帧数的事件信号中，运算结果为全零数对的无效事件信号进行筛除；将剩余的有效事件信号进行合并处理。

在本实施例的另一些实施方式中，上述合并模块具体用于：针对同一像素连续目标帧数的事件信号，从首帧事件信号开始，将相邻两帧事件信号的第一子事件信号以及第二子事件信号进行或运算，得到合并事件信号；其中，帧序号大于2的事件信号与前两帧事件信号相应的合并事件信号组成相邻两帧事件信号。

在本实施例的又一些实施方式中，上述合并模块具体用于：基于第一子事件信号以及第二子事件信号的取值，统计同一像素连续目标帧数的事件信号中第一子事件生成次数以及第二子事件生成次数；将第一子事件生成次数以及第二子事件生成次数分别与预设次数阈值进行比较；根据比较结果配置新第一子事件信号以及新第二子事件信号的取值，得到合并事件信号。

在本实施例的再一些实施方式中，相应的，上述合并模块具体用于：将同一像素连续目标帧数的事件信号，分别与预设参考事件信号进行第一子事件信号的异或运算以及第二子事件信号的异或运算；基于异或运算后所得到的事件信号，对连续多帧取值相同的事件信号进行去重，得到合并事件信号。

进一步地，在本实施例的一些实施方式中，上述合并模块在执行根据异或运算结果，对连续多帧取值相同的事件信号进行去重，得到合并事件信号的功能时，具体用于：对连续多帧取值相同的异或运算结果进行去重，得到中间合并事件信号；当参考事件信号的第一子事件信号或第二子事件信号的取值为1时，对中间合并事件信号的第一子事件信号或第二子事件信号的取值进行修改处理，得到最终的合并事件信号；其中，修改处理为将取值1修改为0以及将取值0修改为1。

应当说明的是，第一、二实施例中的事件信号处理方法均可基于本实施例提供的事件信号处理装置实现，所属领域的普通技术人员可以清楚的了解到，为描述的方便和简洁，本实施例中所描述的事件信号处理装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

根据本实施例所提供的事件信号处理装置，根据图像传感器的像素阵列中各像素的入射光强度生成相应的实时电压；对各实时电压与预设参考电压作差之后，将各电压差值分别与预设第一电压阈值以及预设第二电压阈值进行比较，生成各像素的事件信号；基于各事件信号中第一子事件信号以及第二子事件信号的取值，将同一像素连续目标帧数的事件信号进行合并处理，得到合并事件信号。通过本申请方案的实施，根据事件信号对应的二值向量取值对同一像素的多帧事件信号进行合并，能够使得数据紧凑、数据量小，降低后续事件数据处理的功耗。

图5为本申请第四实施例提供的一种终端设备。该终端设备可用于实现前述实施例中的事件信号处理方法，主要包括：

存储器501、处理器502及存储在存储器501上并可在处理器502上运行的计算机程序503，存储器501和处理器502通过通信连接。处理器502执行该计算机程序503时，实现前述实施例一或二中的方法。其中，处理器的数量可以是一个或多个。

存储器501可以是高速随机存取记忆体(RAM，Random Access Memory)存储器，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器501用于存储可执行程序代码，处理器502与存储器501耦合。

进一步的，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于上述各实施例中的电子装置中，该计算机可读存储介质可以是前述图5所示实施例中的存储器。

该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现前述实施例中的事件信号处理方法。进一步的，该计算机可存储介质还可以是U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上为对本申请所提供的事件信号处理方法、装置、设备及可读存储介质的描述，对于本领域的技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种事件信号处理方法，应用于事件相机，其特征在于，所述事件信号处理方法包括：

根据图像传感器的像素阵列中各像素的入射光强度生成相应的实时电压；

对各所述实时电压与预设参考电压作差之后，将各电压差值分别与预设第一电压阈值以及预设第二电压阈值进行比较，生成各像素的事件信号；其中，所述事件信号包括第一子事件信号以及第二子事件信号；

基于所述第一子事件信号以及所述第二子事件信号的取值，将同一像素连续目标帧数的所述事件信号进行合并处理，得到合并事件信号。

2.根据权利要求1所述的事件信号处理方法，其特征在于，所述生成各像素的事件信号的步骤之后，还包括：

获取噪声信号的频率以及所述图像传感器的帧率；

基于所述频率以及所述帧率计算所述目标帧数。

3.根据权利要求1所述的事件信号处理方法，其特征在于，所述将同一像素连续目标帧数的所述事件信号进行合并处理的步骤，包括：

针对同一像素连续目标帧数的所述事件信号，将所述第一子事件信号以及所述第二子事件信号进行异或运算；

将所述目标帧数的所述事件信号中，运算结果为全零数对的无效事件信号进行筛除；

将剩余的有效事件信号进行合并处理。

4.根据权利要求1所述的事件信号处理方法，其特征在于，所述基于所述第一子事件信号以及所述第二子事件信号的取值，将同一像素连续目标帧数的所述事件信号进行合并处理，得到合并事件信号的步骤，包括：

针对同一像素连续目标帧数的所述事件信号，从首帧所述事件信号开始，将相邻两帧所述事件信号的所述第一子事件信号以及所述第二子事件信号进行或运算，得到合并事件信号；其中，帧序号大于2的所述事件信号与前两帧所述事件信号相应的所述合并事件信号组成相邻两帧所述事件信号。

5.根据权利要求1所述的事件信号处理方法，其特征在于，所述基于所述第一子事件信号以及所述第二子事件信号的取值，将同一像素连续目标帧数的所述事件信号进行合并处理，得到合并事件信号的步骤，包括：

基于所述第一子事件信号以及所述第二子事件信号的取值，统计同一像素连续目标帧数的所述事件信号中第一子事件生成次数以及第二子事件生成次数；

将所述第一子事件生成次数以及所述第二子事件生成次数分别与预设次数阈值进行比较；

根据比较结果配置新第一子事件信号以及新第二子事件信号的取值，得到合并事件信号。

6.根据权利要求1所述的事件信号处理方法，其特征在于，所述基于所述第一子事件信号以及所述第二子事件信号的取值，将同一像素连续目标帧数的所述事件信号进行合并处理，得到合并事件信号的步骤，包括：

将同一像素连续目标帧数的所述事件信号，分别与预设参考事件信号进行所述第一子事件信号的异或运算以及所述第二子事件信号的异或运算；

根据异或运算结果，对连续多帧取值相同的所述事件信号进行去重，得到合并事件信号。

7.根据权利要求6所述的事件信号处理方法，其特征在于，所述根据异或运算结果，对连续多帧取值相同的所述事件信号进行去重，得到合并事件信号的步骤，包括：

对连续多帧取值相同的异或运算结果进行去重，得到中间合并事件信号；

当所述参考事件信号的所述第一子事件信号或第二子事件信号的取值为1时，对所述中间合并事件信号的所述第一子事件信号或第二子事件信号的取值进行修改处理，得到最终的合并事件信号；其中，所述修改处理为将取值1修改为0以及将取值0修改为1。

8.一种事件信号处理装置，应用于事件相机，其特征在于，所述事件信号处理装置包括：

第一生成模块，用于根据图像传感器的像素阵列中各像素的入射光强度生成相应的实时电压；

第二生成模块，用于对各所述实时电压与预设参考电压作差之后，将各电压差值分别与预设第一电压阈值以及预设第二电压阈值进行比较，生成各像素的事件信号；其中，所述事件信号包括第一子事件信号以及第二子事件信号；

合并模块，用于基于所述第一子事件信号以及所述第二子事件信号的取值，将同一像素连续目标帧数的所述事件信号进行合并处理，得到合并事件信号。

9.一种终端设备，其特征在于，包括存储器及处理器，其中：

所述处理器用于执行存储在所述存储器上的计算机程序；

所述处理器执行所述计算机程序时，实现权利要求1至7中任意一项所述方法中的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至7中的任意一项所述方法中的步骤。

Images