CN114169362A - 一种基于时空相关滤波的事件流数据去噪方法 - Google Patents

Abstract

本发明公开了一种基于时空相关滤波器的事件流数据去噪方法，对事件相机获取的原始事件流数据依次读取当前事件，获取其时空邻域事件，分析这些事件的时空相关性，构造时空相关滤波器，对当前事件进行滤波处理，直到原始事件流中所有事件都处理完。本发明利用了噪声事件是随机独立出现且符合泊松分布、而有效事件之间存在时空相关性这一特点，通过时空相关性分析来判定当前事件的属性。由于在给定时间间隔内，当前事件的相邻空间域中产生两个或多个噪声事件的概率很低，当检测到当前事件存在两个或两个以上相邻有效事件时，则视当前事件为有效事件被保留，否则视其为噪声事件被滤除。提高了事件流数据去噪效果，有利于对有效事件进行表达和检测。

Description

一种基于时空相关滤波的事件流数据去噪方法

技术领域

本发明属于利用事件相机获取的事件流数据进行快速运动物体检测、光流估计、高动态范围图像重建等技术领域，具体涉及基于时空相关滤波的事件流数据去噪方法。

背景技术

动态视觉传感器(Dynamic Vision Sensors，DVS)是一类新型的仿生视觉传感器，采用DVS的相机称为事件相机(Event-Based Camera)，它是一种基于地址事件表示(Address Event Representation，AER)的异步相机。事件相机工作时只捕捉场景中运动物体的动态信息，既能在光照条件良好的白天工作，也能在光线较暗的夜晚工作。它采用仿视网膜的动态像素点检测技术来感知并编码视觉数据，当场景中多个像素点同时请求变亮或变暗的事件时，事件相机将以微秒级时延异步输出非结构化的事件流(Event Stream)数据，其中包含了能够表征场景中动态目标位置和时间信息的事件，称为有效事件。采用事件相机能够很好地消除静态冗余信息，不会出现动态目标模糊和拖尾等现象，且可有效减少数据存储量、提高后续的视觉任务处理速度。可广泛应用于环境监测、安全监控、智能无人系统等领域。

然而，事件相机本身采用的电路结构对环境变化非常敏感，由DVS电路热噪声及结泄漏电流引起的背景活动噪声，不可避免第会在场景中部分像素点处形成事件，称为噪声事件。因此，在事件相机输出的事件流数据中存在一部分噪声事件。噪声事件会干扰对有效事件的表达和检测，并消耗不必要的通信带宽和处理资源。因此，需要对事件流数据进行去噪处理。但是，与传统的帧图像的去噪概念完全不同，事件流数据去噪的目的是将其中的噪声事件滤除，而尽可能保留反映场景中动态目标运动情况的有效事件。

目前使用事件相机进行事件流数据采集时，一般通过相机的配套软件手动调整相机对场景亮度变化的检测阈值，以降低相机对事件的检测灵敏度，减少噪声事件的影响。但是，这种方式常常导致输出的整体事件流数据量减少，会丢失部分有效事件。虽然目前针对传统帧图像的去噪方法有很多，但其处理方法不能直接用于事件流数据。

发明内容

本发明的目的在于提供一种基于时空相关滤波的事件流数据去噪处理方法。该方法利用了事件相机输出的事件流数据中的噪声事件是随机独立出现且符合泊松分布、而反映运动目标的有效事件之间存在时空相关性这一特点，来区分噪声事件与有效事件，实现滤除噪声事件的目的。

为达到上述发明创造目的，本发明采用如下构思：

考虑到场景中物体的运动是在一定时间间隔完成的，且在一定空间范围连续进行的，首先利用事件流数据中与动态目标对应的每个有效事件的空间位置和时间戳，对事件之间的时空相关性形成约束，构建时空相关滤波器；之后通过时空相关性分析来判定当前事件是否属于有效事件，若是有效事件，则将其保留在事件流数据中，否则将其视为噪声事件滤除掉；然后对于所有事件依次进行时空相关性分析，判断是否属于有效事件并进行滤波处理。

根据上述发明构思，本发明采用如下四个基本步骤来实现事件流数据去噪：

步骤1：输入事件相机获取的原始事件流数据，其中包含了有效事件和噪声事件；

步骤2：读取当前事件，获取其时空邻域事件，分析这些事件的时空相关性；

步骤3：构造时空相关滤波器，对当前事件进行滤波处理；

步骤4：依次对每个事件执行步骤2和步骤3，直到原始事件流中所有事件都处理完。

与现有技术相比，本发明具有如下突出的实质性特点和显著的进步：

本发明利用了噪声事件是随机独立出现且符合泊松分布、而反映运动目标的有效事件之间存在时空相关性这一特点，构建时空相关滤波器，来区分噪声事件与有效事件；由于在给定时间间隔内，当前事件的相邻空间域中产生两个或多个噪声事件的概率很低，当检测到当前事件存在两个或两个以上相邻有效事件时，则视当前事件为有效事件被保留，否则视其为噪声事件被滤除，从而提高事件流数据去噪效果，有利于对有效事件进行表达和检测。

附图说明

图1为本发明的基于时空相关滤波的事件流数据去噪方法实施步骤。

图2为本发明的单个事件的时空邻域模型。

图3为本发明的时空相关滤波器示意图。

具体实施方式

下面结合附图，对本发明的具体实施例做进一步的说明。

如图1所示，一种基于时空相关滤波的事件流数据去噪方法，具体步骤如下：

步骤1：输入事件相机获取的原始事件流数据，其中包含了有效事件和噪声事件。

在所述步骤1中，利用事件相机拍摄视场中的运动目标，对应像素点得到的事件流数据中的每个事件，都包含了该事件在像素阵列中的位置信息和时间信息，表示为e(x,y,t)，其中，e表示在像素点位置(x,y)上在时刻t(时间戳)产生的事件。原始事件流数据中既包含了有效事件，也包含了噪声事件。

虽然噪声事件和有效事件具有相同的表示方式，但是噪声事件是随机独立发生的，其概率分布符合泊松分布，表示为：

其中，N(τ)表示τ时间间隔内事件相机产生的噪声事件数量，P表示τ时间间隔内产生n个噪声事件的概率。λ表示事件相机中每个像素点产生噪声事件的平均速率，是事件相机的出厂参数之一。由噪声事件的形成机理可知，通常情况下，给定时间间隔内，某个像素点的相邻空间域中产生两个或多个噪声事件的概率是很低的。

步骤2：读取当前事件，获取其时空邻域的相邻事件，分析这些事件的时空相关性。

1)在所述步骤2中，首先设置时间间隔阈值ΔT，创建两个空存储表Rm和Cm，其大小与事件相机所用DVS传感器的行、列像素阵列数相同，利用这两个表来分别存储相邻事件的行、列位置信息。

2)在所述步骤2中，按照图2所示的单个事件的时空邻域模型，对读取到的当前事件e(x,y,t)，获取其时空邻域的相邻事件的位置信息和时间戳信息。图中，红色点代表当前事件，蓝色点代表当前像素点位置(x,y)在不同时刻产生的事件e(x,y,t±Δt)，其中Δt表示时间的变化。绿色点代表当前时刻t在其它位置产生的事件e(x±Δx,y±Δy,t)，其中Δx和Δy分别表示像素阵列中行和列的变化，即空间位置变化。橙色点表示不同位置和不同时刻产生的事件e(x±Δx,y±Δy,t±Δt)，其中的行列信息和时间戳信息均发生了改变。

3)在所述步骤2中，用下式(2)来分析任意两个事件e_i(x_i,y_i,t_i)和e_j(x_j,y_j,t_j)之间的时空相关性：

其中，ΔT为设定的时间间隔阈值，用于判别两个事件的时间戳的差值是否在设定范围内。满足(2)式的条件，则认为这两个事件具有时空相关性，也就是说它们是相邻事件。

4)在所述步骤2中，根据当前事件的发生位置(x,y)，包括当前事件在内，其邻域中最多有六个可能满足时间间隔约束的事件数量。按照(2)式依次检测这六个事件中是否存在两个或两个以上的相邻事件：若无，则视当前事件为噪声事件，从事件流数据中剔除掉，然后直接进入步骤4；若有，则视其为两个相邻的有效事件，获取其位置信息和时间戳信息，进入步骤3。

步骤3：构造时空相关滤波器，对当前事件进行滤波处理。

1)在所述步骤3中，对当前事件构造如图3所示的时空相关滤波器，图中，设e₀(x₀,y₀,t₀)表示当前事件，e₁(x₁,y₁,t₁)和e₂(x₂,y₂,t₂)分别表示与当前事件相邻的两个有效事件。

2)在所述步骤3中，对当前事件做滤波处理的方法是：按照下式(3)的约束条件，判定当前事件的邻域是否存在与其时间戳之差在ΔT范围内的相邻的两个有效事件：

若(3)式满足，则视当前事件为一个有效事件，保留在事件流数据中；否则，视当前事件为一个噪声事件，从事件流数据中剔除掉。并根据处理结果更新存储表，更新当前事件的标记。

步骤4：依次对每个事件执行步骤2和步骤3，直到原始事件流中所有事件都处理完。

在所述步骤4中，先判断是否已处理完原始事件流数据中的所有事件，若是，则去噪处理完成；否则，重复步骤2和步骤3直至全部处理完成。

上述实施例基于时空相关滤波器的事件流数据去噪方法，对事件相机获取的原始事件流数据依次读取当前事件，获取其时空邻域事件，分析这些事件的时空相关性，构造时空相关滤波器，对当前事件进行滤波处理，直到原始事件流中所有事件都处理完。本发明利用了噪声事件是随机独立出现且符合泊松分布、而有效事件之间存在时空相关性这一特点，通过时空相关性分析来判定当前事件的属性。由于在给定时间间隔内，当前事件的相邻空间域中产生两个或多个噪声事件的概率很低，当检测到当前事件存在两个或两个以上相邻有效事件时，则视当前事件为有效事件被保留，否则视其为噪声事件被滤除。提高了事件流数据去噪效果，有利于对有效事件进行表达和检测。

上面对本发明实施例结合附图进行了说明，但本发明不限于上述实施例，还可以根据本发明的发明创造的目的做出多种变化，凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合或简化，均应为等效的置换方式，只要符合本发明的发明目的，只要不背离本发明的技术原理和发明构思，都属于本发明的保护范围。

Claims (4)

1.一种基于时空相关滤波的事件流数据去噪方法，其特征在于，具体步骤如下：

步骤1：输入事件相机获取的原始事件流数据，其中包含了有效事件和噪声事件；

步骤2：读取当前事件，获取其时空邻域事件，分析这些事件的时空相关性；

步骤3：构造时空相关滤波器，对当前事件进行滤波处理；

步骤4：依次对每个事件执行步骤2和步骤3，直到原始事件流中所有事件都处理完。

2.根据权利要求1所述的基于时空相关滤波的事件流数据去噪方法，其特征在于，

在所述步骤1中，利用事件相机拍摄视场中的运动目标，对应像素点得到的事件流数据中的每个事件，都包含了该事件在像素阵列中的位置信息和时间信息，表示为e(x,y,t)，其中，e表示在像素点位置(x,y)上在时刻t产生的事件；原始事件流数据中既包含了有效事件，也包含了噪声事件；

虽然噪声事件和有效事件具有相同的表示方式，但是噪声事件是随机独立发生的，其概率分布符合泊松分布，表示为：

其中，N(τ)表示τ时间间隔内事件相机产生的噪声事件数量，P表示τ时间间隔内产生n个噪声事件的概率；λ表示事件相机中每个像素点产生噪声事件的平均速率，是事件相机的出厂参数之一；由噪声事件的形成机理得知，通常情况下，给定时间间隔内，某个像素点的相邻空间域中产生两个或多个噪声事件的概率是很低的。

3.根据权利要求1所述的基于时空相关滤波的事件流数据去噪方法，其特征在于，

1)在所述步骤2中，首先设置时间间隔阈值ΔT，创建两个空存储表Rm和Cm，其大小与事件相机所用DVS传感器的行、列像素阵列数相同，利用这两个表来分别存储相邻事件的行、列位置信息；

2)对读取到的当前事件e(x,y,t)，获取其时空邻域的相邻事件的位置信息和时间戳信息；

3)用下式(2)来分析任意两个事件e_i(x_i,y_i,t_i)和e_j(x_j,y_j,t_j)之间的时空相关性：

其中，ΔT为设定的时间间隔阈值，用于判别两个事件的时间戳的差值是否在设定范围内；满足(2)式的条件，则认为这两个事件具有时空相关性，也就是说它们是相邻事件；

4)根据当前事件的发生位置(x,y)，包括当前事件在内，其邻域中最多有六个可能满足时间间隔约束的事件数量；按照(2)式依次检测这六个事件中是否存在两个或两个以上的相邻事件：若无，则视当前事件为噪声事件，从事件流数据中剔除掉，然后直接进入步骤4；若有，则视其为两个相邻的有效事件，获取其位置信息和时间戳信息，进入步骤3。

4.根据权利要求1所述的基于时空相关滤波的事件流数据去噪方法，其特征在于，

1)在所述步骤3中，对当前事件构造时空相关滤波器，设e₀(x₀,y₀,t₀)表示当前事件，e₁(x₁,y₁,t₁)和e₂(x₂,y₂,t₂)分别表示与当前事件相邻的两个有效事件；

2)对当前事件做滤波处理的方法是：按照下式(3)的约束条件，判定当前事件的邻域是否存在与其时间戳之差在ΔT范围内的相邻的两个有效事件：

若(3)式满足，则视当前事件为一个有效事件，保留在事件流数据中；否则，视当前事件为一个噪声事件，从事件流数据中剔除掉，并根据处理结果更新存储表，更新当前事件的标记。

Images