CN114885099A - 一种事件图像输出方法及相关装置 - Google Patents

Abstract

本申请提供了一种事件图像输出方法及相关装置，该方法包括：针对缓存事件流中的每一帧新事件数据，将新事件数据之前连续目标帧数的事件数据相同像素位置的二进制值进行求和，得到叠加事件数据；将新事件数据中各二进制值为第一取值的目标像素位置的取值，分别叠加至叠加事件数据中相应像素位置的取值，然后统计叠加事件数据中各包括目标像素位置的第一像素阵列的事件像素数量；基于各事件像素数量对叠加事件数据中目标像素位置的取值进行去噪处理，得到中间事件数据，然后基于中间事件数据获取去噪事件数据；基于去噪事件数据输出事件图像。由此，在不降低帧率的同时提高了事件图像的成像质量，并有利于降低去噪运算的计算量。

Description

一种事件图像输出方法及相关装置

技术领域

本申请涉及数据处理技术领域，尤其涉及一种事件图像输出方法及相关装置。

背景技术

随着科学技术的不断发展，计算机视觉技术也越来越成熟。事件相机的出现，在视觉领域引来了越来越多的关注。它模拟人类的视网膜，响应由于运动产生的亮度变化的像素点脉冲，因此它能够以极高的帧率捕获场景的亮度变化，记录特定时间点和图像中特定位置的事件，形成事件流而不是帧流，从而解决了传统相机信息冗余、大量数据存储和实时处理等问题。

然而，相关技术中所提供的事件相机没有异步传感器，从而事件相机所拍摄的事件图像通常含有大量噪声，而将事件图像进行噪声滤波是保证图像质量的重要手段之一，现有的事件图像去噪技术一般存在运算复杂、延时较大、帧率较低的缺陷，在实际应用中的去噪效果较差。

发明内容

本申请实施例提供了一种事件图像输出方法及相关装置，至少能够解决相关技术中提供的事件图像去噪技术所存在的运算复杂、延时较大、帧率较低的问题。

本申请实施例第一方面提供了一种事件图像输出方法，应用于事件相机，包括：

针对缓存事件流中的每一帧新事件数据，将所述新事件数据之前连续目标帧数的事件数据相同像素位置的二进制值进行求和，得到叠加事件数据；其中，所述二进制值包括第一取值和第二取值，所述第一取值为1，表征像素有事件产生；所述第二取值为0，表征像素无事件产生；

将所述新事件数据中各所述二进制值为所述第一取值的目标像素位置的取值，分别叠加至所述叠加事件数据中相应像素位置的取值，然后统计所述叠加事件数据中各包括所述目标像素位置的第一像素阵列的事件像素数量；

基于各所述事件像素数量对所述叠加事件数据中所述目标像素位置的取值进行去噪处理，得到中间事件数据，然后基于所述中间事件数据获取去噪事件数据；

基于所述去噪事件数据输出事件图像。

本申请实施例第二方面提供了一种事件图像输出装置，应用于事件相机，包括：

叠加模块，用于针对缓存事件流中的每一帧新事件数据，将所述新事件数据之前连续目标帧数的事件数据相同像素位置的二进制值进行求和，得到叠加事件数据；其中，所述二进制值包括第一取值和第二取值，所述第一取值为1，表征像素有事件产生；所述第二取值为0，表征像素无事件产生；

统计模块，用于将所述新事件数据中各所述二进制值为所述第一取值的目标像素位置的取值，分别叠加至所述叠加事件数据中相应像素位置的取值，然后统计所述叠加事件数据中各包括所述目标像素位置的第一像素阵列的事件像素数量；

去噪模块，用于基于各所述事件像素数量对所述叠加事件数据中所述目标像素位置的取值进行去噪处理，得到中间事件数据，然后基于所述中间事件数据获取去噪事件数据；

输出模块，用于基于所述去噪事件数据输出事件图像。

本申请实施例第三方面提供了一种事件相机，包括：存储器及处理器，其中，处理器用于执行存储在存储器上的计算机程序，处理器执行计算机程序时，实现上述本申请实施例第一方面提供的事件图像输出方法中的各步骤。

本申请实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现上述本申请实施例第一方面提供的事件图像输出方法中的各步骤。

由上可见，根据本申请方案所提供的事件图像输出方法及相关装置，针对缓存事件流中的每一帧新事件数据，将新事件数据之前连续目标帧数的事件数据相同像素位置的二进制值进行求和，得到叠加事件数据；将新事件数据中各二进制值为第一取值的目标像素位置的取值，分别叠加至叠加事件数据中相应像素位置的取值，然后统计叠加事件数据中各包括目标像素位置的第一像素阵列的事件像素数量；基于各事件像素数量对叠加事件数据中目标像素位置的取值进行去噪处理，得到中间事件数据，然后基于中间事件数据获取去噪事件数据；基于去噪事件数据输出事件图像。由此，在不降低帧率的同时提高了事件图像的成像质量，并有利于降低去噪运算的计算量和图像输出延时。

附图说明

图1为本申请第一实施例提供的一种事件图像输出方法的基础流程示意图；

图2a至2d分别为本申请第一实施例提供的t1时刻至t4时刻依次缓存的4帧事件数据的示意图，图2e为本申请第一实施例提供的叠加事件数据的示意图；

图3为本申请第一实施例提供的第一像素阵列的示意图；

图4为本申请第一实施例提供的去噪事件数据的示意图；

图5为本申请第一实施例提供的第三像素阵列的示意图；

图6为本申请第二实施例提供的一种事件图像输出方法的细化流程示意图；

图7为本申请第三实施例提供的事件图像输出装置的程序模块示意图；

图8为本申请第四实施例提供的事件相机的结构示意图。

具体实施方式

为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请实施例的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请实施例中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请实施例中的具体含义。

以上所述仅为本申请的较佳实施例而已，并不用以限制本发明，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请的保护范围之内。

事件相机(Event-based Camera)是一种新型的图像传感器，该图像传感器包括由多个像素组成的像素阵列，其每个像素点独立工作，只有当某个像素的亮度变化达到一定的阈值后才输出一个事件。

应当说明的是，事件相机的像素阵列中每个像素传感器是集成电路，在该集成电路中，光电二极管可与集聚电荷的电容器集成，其响应于入射光强度而由光电二极管生成光电流，并根据光电流相应生成实时电压。

然后，对各实时电压与预设参考电压作差之后，将各电压差值分别与预设电压阈值范围进行比较，根据比较结果对应生成各像素的二值向量，该二值向量用于表征光信号是变强、变弱还是不变，应当说明的是，当电压差值超出电压阈值范围时，所生成的二值向量为[1，0]或[0，1]，其中，[1，0]表示像素产生UP事件，[0，1]表示像素产生DN事件，这两种二值向量对应同一二进制值1，而当电压差值未超出电压阈值范围时，所生成的二值向量为[0，0]，表示像素未产生事件，该二值向量对应二进制值0。

最后，将有事件的像素的事件极性嵌附上像素坐标位置信息以及时间戳信息，生成事件数据，并基于所获取的事件数据输出事件图像。

为了解决相关技术中所提供的事件图像去噪技术所存在的运算复杂、延时较大、帧率较低的问题，本申请第一实施例提供了一种事件图像输出方法，应用于事件相机，如图1为本实施例提供的事件图像输出方法的基础流程示意图，该事件图像输出方法包括以下的步骤：

步骤101、针对缓存事件流中的每一帧新事件数据，将新事件数据之前连续目标帧数的事件数据相同像素位置的二进制值进行求和，得到叠加事件数据。

具体的，在本实施例中，二进制值包括第一取值和第二取值，第一取值表征像素有事件产生，第二取值表示像素无事件产生，优选的，第一取值为1，第二取值为0。本实施例对不同事件数据同一像素位置的二进制值进行求和运算，然后将图像传感器整体像素阵列中所有像素位置分别赋予相应的求和运算结果的取值，得到叠加事件数据。

应当说明的是，本实施例的目标帧数为输出事件图像所要求的时序连续的事件数据帧的总帧数，在本实施例中，以目标帧数为3进行示例性说明，如图2a至2d分别为t1时刻至t4时刻依次缓存的4帧事件数据的示意图，t1时刻缓存的事件数据201为首帧事件数据，t4时刻缓存的事件数据204为新事件数据，在执行本实施例的事件数据叠加流程时，分别对201、202、203三帧事件数据执行求和运算，得到如图2e所示的叠加事件数据。应当说明的是，在图2a至2e中，A、B、D、E为示例性的有事件产生的像素位置，C为示例性的无事件产生的像素位置。

在本实施例一种实施方式中，该方法还包括：获取噪声信号的频率以及事件相机的图像传感器的帧率；基于频率以及帧率计算目标帧数。

具体的，在实际应用中，所需合并的事件数据的帧数可以根据实际需要灵活选择，例如3帧、5帧、10帧等，优选地，本实施例合并的帧数N可以考虑噪声的频率f和图像传感器的帧率F，帧数计算公式可以表示为N＝F/f。假设该噪声为50Hz，帧率为150fps，那么N为3帧，如此能保证合并的帧数里面包含噪声的一个周期。

步骤102、将新事件数据中各二进制值为第一取值的目标像素位置的取值，分别叠加至叠加事件数据中相应像素位置的取值，然后统计叠加事件数据中各包括目标像素位置的第一像素阵列的事件像素数量。

具体的，在本实施例中，以新事件数据中产生事件的像素位置为参考，在叠加事件数据中定位待去噪像素位置，也即针对新事件数据中每一第一取值的像素位置，将其映射至叠加事件数据，然后统计叠加事件数据中该像素位置所处区域的整体事件产生情况，也即统计由该像素位置以及附近像素位置所组成的像素阵列中所有像素取值非第二取值的事件像素的总和。应当理解的是，本实施例的第一像素阵列由目标像素位置及其邻域像素位置组成，在实际应用中该像素阵列可以为规则形状的像素阵列也可以为不规则形状的像素阵列，邻域大小也可视实际应用场景灵活设定，本实施例对此不作唯一限定。

在本实施例一种实施方式中，上述统计叠加事件数据中各包括目标像素位置的第一像素阵列的事件像素数量的步骤，包括：在叠加事件数据对应的整体像素阵列中，以目标像素位置为中心划定目标尺寸的第一像素阵列；统计第一像素阵列的事件像素数量。

本实施例以上述图2e中A像素位置为例进行说明，如图3为本实施例提供的一种第一像素阵列的示意图，优选的以目标像素位置为中心规则划定像素阵列，由于叠加事件数据中A像素位置进一步叠加了新事件数据A像素位置的取值，从而该事件位置的取值在原基础上加1，图3中像素阵列的尺寸为3*3，在实际应用中可以视实际应用灵活调整，该像素阵列中事件像素数量为6。

步骤103、基于各事件像素数量对叠加事件数据中目标像素位置的取值进行去噪处理，得到中间事件数据，然后基于中间事件数据获取去噪事件数据。

具体的，在本实施例中，将各事件像素数量与预设第二阈值进行比较，当事件像素数量小于第二阈值时，将叠加事件数据中目标像素位置的取值设置为第二取值，得到中间事件数据。

继续承接前述举例，假使第二阈值为5，由于事件像素数量大于等于该阈值，则说明待去噪像素位置并非噪点，其产生的事件是有效事件，反之，若事件像素数量小于该阈值，则判定待去噪像素位置为噪点，其产生事件为假事件，应当对其进行去除，也即将叠加事件数据中该像素位置的原取值设置为第二取值，也即将原取值重置为0。针对新事件数据中所有取值为第一取值的有事件产生的像素位置，均在叠加事件数据相应像素位置执行上述操作，将上述邻域事件总数量小于阈值的所有事件像素进行事件滤除，得到中间事件数据。

在本实施例一种实施方式中，上述基于中间事件数据获取去噪事件数据的步骤，包括：在中间事件数据各取值非第二取值的像素位置，剔除连续目标帧数的事件数据中首帧事件数据相应像素位置的二进制值，得到去噪事件数据。

具体的，本实施例以目标帧数N为事件数据帧的成像单位，而在得到中间事件数据的过程中，新事件数据中所有事件像素均被进一步叠加至叠加事件数据，从而中间事件数据实际包括N+1帧事件数据帧的事件信息，基于此，本实施例在得到中间事件数据之后，分别获取中间事件数据中非0像素位置以及N帧事件数据中首帧事件数据的非0像素位置，然后取两者的交集，针对中间事件数据中处于交集内的像素位置，对其取值执行减1操作，即可剔除中间事件数据中所包含的首帧事件数据的事件信息，得到去噪事件数据。

进一步地，在本实施例一种实施方式中，上述在中间事件数据各取值非第二取值的像素位置，剔除连续目标帧数的事件数据中首帧事件数据相应像素位置的二进制值，得到去噪事件数据的步骤之前，还包括：获取去噪处理所去除的事件噪点的总占比，并将总占比与预设第一阈值进行比较。

相对应的，若总占比大于或等于第一阈值，则执行在中间事件数据各取值非第二取值的像素位置，剔除连续目标帧数的事件数据中首帧事件数据相应像素位置的二进制值，得到去噪事件数据的步骤。

若总占比小于第一阈值，则对中间事件数据各取值非第二取值的像素位置均进行减1操作，得到去噪事件数据。

具体的，本实施例在对中间事件数据进行事件剔除处理时，可提供两种事件剔除率不同的实现方式，在实际应用中，先对去噪处理的去噪率进行统计，若去噪率较高，则针对中间事件数据中的事件点进一步剔除首帧事件数据的事件点，若去噪率相对较低，则针对中间事件数据中的所有事件点的取值均执行减1操作，所剔除的事件点相对更多，以进一步降低去噪事件数据仍存在潜在噪点的概率。

应当说明的是，由于中间事件数据所包含的事件信息的帧数大于成像单位所要求的帧数，从而通过剔除首帧事件数据来保持图像输出帧率与要求帧率相符，然而，剔除首帧事件数据所采用的技术手段为参考首帧事件数据中非0像素位置对中间事件数据中相应非0像素位置执行减1操作，其本质为针对中间事件数据进行事件点剔除操作，在本实施例中，考虑到参考首帧事件数据进行事件点剔除操作需要取交集来定位中间事件数据中待执行减1操作的像素位置，算法复杂度相对较高，并且，若前述进行噪点滤除过程中噪点占比相对较低，则中间事件数据中可能仍存在潜在噪点，由此，本实施例为了实现剔除一帧事件数据的目的，直接将中间事件数据中非0像素位置均执行减1操作，实现了中间事件数据所包含的事件信息的帧数与成像单位所要求的帧数相符合，有效降低了事件点剔除操作的算法复杂度，且提高了潜在噪点的滤除程度。

在本实施例一种实施方式中，上述基于各事件像素数量对叠加事件数据中目标像素位置的取值进行去噪处理的步骤之后，还包括：对第一像素阵列的阵列尺寸进行增加调整，然后返回执行统计叠加事件数据中各包括目标像素位置的第一像素阵列的事件像素数量的步骤。

具体的，为了提高去噪质量，本实施例可以对事件数据进行多次去噪，也即在对叠加事件数据完成前次去噪之后，再针对叠加事件数据中未被滤除的目标像素位置重新划定第一像素阵列，所重新划定的第一像素阵列的尺寸大于前次去噪的阵列尺寸，例如前次去噪所划定的阵列尺寸为3*3，再次进行去噪所划定的阵列尺寸可以为5*5，然后重新执行去噪流程，在实际应用中，重复去噪的次数可视实际应用场景灵活设定，本实施例对此不作唯一限定。

在本实施例另一种实施方式中，在上述基于去噪事件数据输出事件图像的步骤之前，还包括：将去噪事件数据的整体像素阵列划分为多个第二像素阵列；对各第二像素阵列中所有像素位置的取值进行求和，将求和结果赋为相应第二像素阵列的十进制值，得到以第二像素阵列为单位的组合事件数据；对组合事件数据中包括第二像素阵列的第三像素阵列的所有十进制值进行求和；在求和结果小于第三阈值时，对去噪事件数据中第二像素阵列所有像素位置的取值均进行去噪处理，得到最终的去噪事件数据。

具体的，为了提高去噪质量，本实施例采用多次去噪的方式实现，其中，在首次去噪过程中，以单个像素位置为单位进行去噪处理，而在二次去噪过程中，进一步将去噪事件数据的整体像素阵列划分为多个第二像素阵列，如图4所示为本实施例提供的去噪事件数据的示意图，去噪事件数据206的整体像素阵列包括9*9个单像素位置(例如图4中A)，然后以尺寸为3*3的第二像素阵列(例如图4中2061)为单位，将整体像素阵列划分为3*3个第二像素阵列。接下来，针对每个第二像素阵列，计算其所有像素位置的取值之和，得到每个第二像素阵列对应的十进制值，针对图4中第二像素阵列2061，其内所有像素位置的取值之和为14，那么该第二像素阵列的十进制值即为14。更进一步地，以第二像素阵列为去噪单位，统计包括待去噪的第二像素阵列以及附近第二像素阵列的第三像素阵列(该像素阵列包括待去噪的第二像素阵列以及其邻接的第二像素阵列)的十进制值之和，并将该求和结果与预设阈值进行比较，若小于该阈值，则认定该待去噪的第二像素阵列为噪声块，其所包括的所有像素位置均为噪点，从而将该第二像素阵列中所有像素位置的取值均设置为第二取值，滤除该噪声块中所有噪声事件，完成二次去噪。

如图5所示为本实施例提供的第三像素阵列的示意图，该第三像素阵列由待去噪的第二像素阵列及其邻域第二像素阵列组成，在本实施例中，取图4中第二像素阵列2061作为待去噪的第二像素阵列，第二像素阵列2061与其下方以及右方邻接的两个第二像素阵列2062、2063组成第三像素阵列，其中，第二像素阵列2061的十进制值为14，第二像素阵列2062的十进制值为2，第二像素阵列2063的十进制值为8，三者的十进制之和为24，若第三阈值为25，则待去噪的第二像素阵列所处的第三像素阵列的十进制之和小于第三阈值，说明第二像素阵列2061中所产生的事件为无效事件，也即噪点，需要将去噪事件数据206的第二像素阵列2061中所有像素位置的取值均设置为第二取值，也即重置为0。也即，在本实施方式中，在经过首次细粒度去噪之后进一步进行粗粒度去噪，可以有效滤除一些块状噪声，提高去噪质量。

步骤104、基于去噪事件数据输出事件图像。

具体的，本实施例以目标帧数作为并帧单位来输出去噪事件数据，在实际应用中，所持续产生的事件流中事件数据的帧数可能远大于目标帧数，那么则会产生多个去噪事件数据，本实施例可以分别基于各去噪事件数据相应输出多张事件图像，也可以结合多帧去噪事件数据输出单张事件图像。应当说明的是，区别于相关技术中仅基于当前帧事件数据生成事件图像，本实施例的各去噪事件数据实际包括当前帧以及在前帧多帧事件数据的事件信息，从而基于该去噪事件数据所生成的事件图像可以在不降低帧率的同时提高事件图像的成像质量。

在本实施例一种实施方式中，上述基于去噪事件数据输出事件图像的步骤，包括：基于不同时刻的去噪事件数据分别生成事件图像；将所有事件图像融合后进行输出。

具体的，本实施例可以针对不同时刻所获取的去噪事件数据分别生成一张事件图像，然后将所有事件图像进行融合，得到最终所需输出的事件图像，由此可以输出一张完整性更好、分辨率更高的事件图像。

基于上述本申请实施例的技术方案，针对缓存事件流中的每一帧新事件数据，将新事件数据之前连续目标帧数的事件数据相同像素位置的二进制值进行求和，得到叠加事件数据；将新事件数据中各二进制值为第一取值的目标像素位置的取值，分别叠加至叠加事件数据中相应像素位置的取值，然后统计叠加事件数据中各包括目标像素位置的第一像素阵列的事件像素数量；基于各事件像素数量对叠加事件数据中目标像素位置的取值进行去噪处理，得到中间事件数据，然后基于中间事件数据获取去噪事件数据；基于去噪事件数据输出事件图像。由此，在不降低帧率的同时提高了事件图像的成像质量，并有利于降低去噪运算的计算量。

图6中的方法为本申请第二实施例提供的一种细化的事件图像输出方法，该事件图像输出方法包括：

步骤601、针对缓存事件流中的每一帧新事件数据，将新事件数据之前连续目标帧数的事件数据相同像素位置的二进制值进行求和，得到叠加事件数据。

在本实施例中，二进制值包括第一取值和第二取值，第一取值为1，表征像素有事件产生；第二取值为0，表征像素无事件产生。

步骤602、将新事件数据中各二进制值为第一取值的目标像素位置的取值，分别叠加至叠加事件数据中相应像素位置的取值，然后统计叠加事件数据中各包括目标像素位置的第一像素阵列的事件像素数量。

具体的，本实施例在叠加事件数据目标像素位置的取值基础上进一步叠加新事件像素数据相应位置的取值，也即针对叠加事件数据目标像素位置执行加1操作，然后再执行事件像素统计，应当理解的是，本实施例的事件像素指像素位置取值非0的像素。

步骤603、将各事件像素数量与预设阈值进行比较，当事件像素数量小于阈值时，将叠加事件数据中目标像素位置的取值设置为第二取值，得到中间事件数据。

在本实施例中，若目标像素位置邻域的事件像素数量小于数量阈值，则判定待去噪的目标像素位置为噪点，其产生事件为假事件，应当对其进行去除。

步骤604、在中间事件数据各取值非第二取值的像素位置，剔除连续目标帧数的事件数据中首帧事件数据相应像素位置的二进制值，得到去噪事件数据。

在本实施例中，以目标帧数N为事件数据帧的成像单位，而在得到中间事件数据的过程中，新事件数据中所有事件像素均被进一步叠加至叠加事件数据，从而中间事件数据实际包括N+1帧事件数据帧的事件信息，基于此，本实施例在得到中间事件数据之后，需要在中间事件数据中，对N帧事件数据中首帧事件数据进行剔除，最终得到去噪事件数据。

步骤605、将去噪事件数据的整体像素阵列划分为多个第二像素阵列。

在本实施例中，为了提高去噪质量，可以采用多次去噪的方式实现，其中，在首次去噪过程中，以单个像素位置为单位进行去噪处理，而在二次去噪过程中，进一步将去噪事件数据的整体像素阵列划分为多个第二像素阵列，而以包括多个单像素的像素阵列为单位进行去噪处理。

步骤606、对各第二像素阵列中所有像素位置的取值进行求和，将求和结果赋为相应第二像素阵列的十进制值，得到以第二像素阵列为单位的组合事件数据。

步骤607、对组合事件数据中包括第二像素阵列的第三像素阵列的所有十进制值进行求和。

步骤608、在求和结果小于预设阈值时，将去噪事件数据中第二像素阵列所有像素位置的取值均设置为第二取值，得到最终的去噪事件数据。

在本实施例中，以第二像素阵列为去噪单位，统计包括待去噪第二像素阵列以及邻近第二像素阵列的第三像素阵列的十进制值之和，并将该求和结果与预设阈值进行比较，若小于该阈值，则认定该待去噪第二像素阵列为噪声块，其所包括的所有像素位置均为噪点，从而将该第二像素阵列中所有像素位置的取值均设置为第二取值，也即置0，滤除该噪声块中所有噪声事件，完成二次去噪，可以有效滤除一些块状噪声，提高去噪质量。

步骤609、基于不同时刻的去噪事件数据分别生成事件图像，然后将所有事件图像融合后进行输出。

具体的，对于事件相机单个完整成像周期所得到的事件流，本实施例针对该事件流中帧序号处于目标帧数之后的各事件数据分别生成一去噪事件数据，然后针对不同去噪事件数据分别生成一张事件图像，最后将所有事件图像进行融合，得到最终所需输出的事件图像，由此可以输出一张完整性更好、分辨率更高的事件图像。

应当理解的是，本实施例中各步骤的序号的大小并不意味着步骤执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成唯一限定。

图7为本申请第三实施例提供的一种事件图像输出装置。该事件图像输出装置可用于实现前述实施例中的事件图像输出方法。如图7所示，该事件图像输出装置主要包括：

叠加模块701，用于针对缓存事件流中的每一帧新事件数据，将新事件数据之前连续目标帧数的事件数据相同像素位置的二进制值进行求和，得到叠加事件数据；其中，二进制值包括第一取值和第二取值，第一取值为1，表征像素有事件产生；第二取值为0，表征像素无事件产生；

统计模块702，用于将新事件数据中各二进制值为第一取值的目标像素位置的取值，分别叠加至叠加事件数据中相应像素位置的取值，然后统计叠加事件数据中各包括目标像素位置的第一像素阵列的事件像素数量；

去噪模块703，用于基于各事件像素数量对叠加事件数据中目标像素位置的取值进行去噪处理，得到中间事件数据，然后基于中间事件数据获取去噪事件数据；

输出模块704，用于基于去噪事件数据输出事件图像。

在本实施例的一些实施方式中，去噪模块在执行上述基于中间事件数据获取去噪事件数据的功能时，具体用于：在中间事件数据各取值非第二取值的像素位置，剔除连续目标帧数的事件数据中首帧事件数据相应像素位置的二进制值，得到去噪事件数据。

进一步地，在本实施例的一些实施方式中，去噪模块具体用于：获取去噪处理所去除的事件噪点的总占比，并将总占比与预设第一阈值进行比较；若总占比大于或等于第一阈值，则在中间事件数据各取值非第二取值的像素位置，剔除连续目标帧数的事件数据中首帧事件数据相应像素位置的二进制值，得到去噪事件数据。

更进一步地，在本实施例的一些实施方式中，去噪模块还用于：若总占比小于第一阈值，则对中间事件数据各取值非第二取值的像素位置均进行减1操作，得到去噪事件数据。

在本实施例的另一些实施方式中，去噪模块在执行上述基于各事件像素数量对叠加事件数据中目标像素位置的取值进行去噪处理，得到中间事件数据的功能时，具体用于：将各事件像素数量与预设第二阈值进行比较；当事件像素数量小于第二阈值时，将叠加事件数据中目标像素位置的取值设置为第二取值，得到中间事件数据。

在本实施例的一些实施方式中，该事件图像输出装置还包括：调整模块，用于：对第一像素阵列的阵列尺寸进行增加调整。相应的，统计模块还用于在所述调整模块对第一像素阵列的阵列尺寸进行增加调整之后，重新执行其统计叠加事件数据中各包括目标像素位置的第一像素阵列的事件像素数量的功能。

在本实施例的一些实施方式中，统计模块还用于：将去噪事件数据的整体像素阵列划分为多个第二像素阵列；对各第二像素阵列中所有像素位置的取值进行求和，将求和结果赋为相应第二像素阵列的十进制值，得到以第二像素阵列为单位的组合事件数据；对组合事件数据中包括第二像素阵列的第三像素阵列的所有十进制值进行求和。去噪模块还用于：在求和结果小于第三阈值时，对去噪事件数据中第二像素阵列所有像素位置的取值均进行去噪处理，得到最终的去噪事件数据。

应当说明的是，第一、二实施例中的事件图像输出方法均可基于本实施例提供的事件图像输出装置实现，所属领域的普通技术人员可以清楚的了解到，为描述的方便和简洁，本实施例中所描述的事件图像输出装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

根据本实施例所提供的事件图像输出装置，针对缓存事件流中的每一帧新事件数据，将新事件数据之前连续目标帧数的事件数据相同像素位置的二进制值进行求和，得到叠加事件数据；将新事件数据中各二进制值为第一取值的目标像素位置的取值，分别叠加至叠加事件数据中相应像素位置的取值，然后统计叠加事件数据中各包括目标像素位置的第一像素阵列的事件像素数量；基于各事件像素数量对叠加事件数据中目标像素位置的取值进行去噪处理，得到中间事件数据，然后基于中间事件数据获取去噪事件数据；基于去噪事件数据输出事件图像。

图8为本申请第四实施例提供的一种事件相机。该事件相机可用于实现前述实施例中的事件图像输出方法，主要包括：

存储器801、处理器802及存储在存储器801上并可在处理器802上运行的计算机程序803，存储器801和处理器802通过通信连接。处理器802执行该计算机程序803时，实现前述实施例一或二中的方法。其中，处理器的数量可以是一个或多个。

存储器801可以是高速随机存取记忆体(RAM，Random Access Memory)存储器，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器801用于存储可执行程序代码，处理器802与存储器801耦合。

进一步的，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于上述各实施例中的电子装置中，该计算机可读存储介质可以是前述图8所示实施例中的存储器。

该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现前述实施例中的事件图像输出方法。进一步的，该计算机可存储介质还可以是U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上为对本申请所提供的事件图像输出方法及相关装置的描述，对于本领域的技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种事件图像输出方法，应用于事件相机，其特征在于，所述事件图像输出方法包括：

针对缓存事件流中的每一帧新事件数据，将所述新事件数据之前连续目标帧数的事件数据相同像素位置的二进制值进行求和，得到叠加事件数据；其中，所述二进制值包括第一取值和第二取值，所述第一取值为1，表征像素有事件产生；所述第二取值为0，表征像素无事件产生；

将所述新事件数据中各所述二进制值为所述第一取值的目标像素位置的取值，分别叠加至所述叠加事件数据中相应像素位置的取值，然后统计所述叠加事件数据中各包括所述目标像素位置的第一像素阵列的事件像素数量；

基于各所述事件像素数量对所述叠加事件数据中所述目标像素位置的取值进行去噪处理，得到中间事件数据，然后基于所述中间事件数据获取去噪事件数据；

基于所述去噪事件数据输出事件图像。

2.根据权利要求1所述的事件图像输出方法，其特征在于，所述基于所述中间事件数据获取去噪事件数据的步骤，包括：

在所述中间事件数据各取值非所述第二取值的像素位置，剔除所述连续目标帧数的事件数据中首帧事件数据相应像素位置的二进制值，得到去噪事件数据。

3.根据权利要求2所述的事件图像输出方法，其特征在于，所述在所述中间事件数据各取值非所述第二取值的像素位置，剔除所述连续目标帧数的事件数据中首帧事件数据相应像素位置的二进制值，得到去噪事件数据的步骤之前，还包括：

获取所述去噪处理所去除的事件噪点的总占比，并将所述总占比与预设第一阈值进行比较；

若所述总占比大于或等于所述第一阈值，则执行所述在所述中间事件数据各取值非所述第二取值的像素位置，剔除所述连续目标帧数的事件数据中首帧事件数据相应像素位置的二进制值，得到去噪事件数据的步骤。

4.根据权利要求3所述的事件图像输出方法，其特征在于，所述将所述总占比与预设第一阈值进行比较的步骤之后，还包括：

若所述总占比小于所述第一阈值，则对所述中间事件数据各取值非所述第二取值的像素位置均进行减1操作，得到去噪事件数据。

5.根据权利要求1所述的事件图像输出方法，其特征在于，所述基于各所述事件像素数量对所述叠加事件数据中所述目标像素位置的取值进行去噪处理，得到中间事件数据的步骤，包括：

将各所述事件像素数量与预设第二阈值进行比较；

当所述事件像素数量小于所述第二阈值时，将所述叠加事件数据中所述目标像素位置的取值设置为所述第二取值，得到中间事件数据。

6.根据权利要求1所述的事件图像输出方法，其特征在于，所述基于各所述事件像素数量对所述叠加事件数据中所述目标像素位置的取值进行去噪处理的步骤之后，还包括：

对所述第一像素阵列的阵列尺寸进行增加调整，然后返回执行所述统计所述叠加事件数据中各包括所述目标像素位置的第一像素阵列的事件像素数量的步骤。

7.根据权利要求1至6中任意一项所述的事件图像输出方法，其特征在于，所述基于所述去噪事件数据输出事件图像的步骤之前，还包括：

将所述去噪事件数据的整体像素阵列划分为多个第二像素阵列；

对各所述第二像素阵列中所有像素位置的取值进行求和，将求和结果赋为相应所述第二像素阵列的十进制值，得到以所述第二像素阵列为单位的组合事件数据；

对所述组合事件数据中包括所述第二像素阵列的第三像素阵列的所有所述十进制值进行求和；

在求和结果小于第三阈值时，对所述去噪事件数据中所述第二像素阵列所有像素位置的取值均进行去噪处理，得到最终的去噪事件数据。

8.一种事件图像输出装置，应用于事件相机，其特征在于，所述事件图像输出装置包括：

叠加模块，用于针对缓存事件流中的每一帧新事件数据，将所述新事件数据之前连续目标帧数的事件数据相同像素位置的二进制值进行求和，得到叠加事件数据；其中，所述二进制值包括第一取值和第二取值，所述第一取值为1，表征像素有事件产生；所述第二取值为0，表征像素无事件产生；

统计模块，用于将所述新事件数据中各所述二进制值为所述第一取值的目标像素位置的取值，分别叠加至所述叠加事件数据中相应像素位置的取值，然后统计所述叠加事件数据中各包括所述目标像素位置的第一像素阵列的事件像素数量；

去噪模块，用于基于各所述事件像素数量对所述叠加事件数据中所述目标像素位置的取值进行去噪处理，得到中间事件数据，然后基于所述中间事件数据获取去噪事件数据；

输出模块，用于基于所述去噪事件数据输出事件图像。

9.一种事件相机，其特征在于，包括存储器及处理器，其中：

所述处理器用于执行存储在所述存储器上的计算机程序；

所述处理器执行所述计算机程序时，实现权利要求1至7中任意一项所述方法中的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至7中的任意一项所述方法中的步骤。

Images