CN114885074A - 一种基于时空密度的事件相机去噪方法 - Google Patents

Abstract

本发明公开了一种基于时空密度的事件相机去噪方法，包括如下步骤：(1)获取原始事件流；(2)将事件流以固定事件个数分组，计算时间邻域阈值；(3)根据已到达事件的时空特性判断新到达事件是否为噪声；(4)建立密度矩阵去掉事件流初始部分噪声。该方法利用有效事件之间的时空相关性强、密度大，而噪声事件之间时空相关性弱、密度小的特点，对新到达的事件逐个滤波完成对事件流的降噪，同时更好的保留事件的时间分辨率，解决现有事件流降噪方法计算复杂，运算量大或者参数固定导致对不同场景下降噪效果不一的问题。

Description

一种基于时空密度的事件相机去噪方法

技术领域

本发明涉及图像传感器领域，具体涉及一种基于时空密度的事件相机去噪方法。

背景技术

事件相机是一种新型的视觉传感器，与传统相机不同的是，这种传感器的像素检测光强的变化。当某个像素的亮度变化超过特定的阈值时，这个像素将输出其在图像平面上的坐标、变化发生的时间、变化的极性。这些变化成为事件，每个事件由四个元素组成：事件发生的像素行坐标、像素列坐标、事件发生的时刻以及表示光强变亮或变暗的极性。由事件相机的工作原理可知，它突破了传统相机的一些限制，信息获取速度不受曝光时间和帧率的影响，像素响应时间在微秒级甚至纳秒级。事件相机是异步输出事件，不再是结构化的图像信息，而是事件流。与传统相机相比，事件相机具有高时间分辨率、高动态范围、低功耗等优点，且没有运动模糊的影响。事件相机的这些优势使得它在SLAM、目标跟踪和识别、三维重建以及无人机等方面都有应用。因此，基于事件相机的应用研究近年来成为了不断发展的热门研究领域。

然而在实际应用中，事件相机超高的动态范围使得其对光照强度的变化非常敏感，加上事件相机内部因素，如结漏电流等，以及外部环境因素的影响，输出的事件流易受到干扰而产生大量的背景噪声，影响可视化效果和后续对事件流的处理。因此对事件流进行去噪是十分必要的。

目前，关于事件相机去噪方法主要有两大类：一类是通过累计固定数量的事件或者固定时间的事件的方式将事件流转化成图像帧的形式，再利用传统的基于帧的图像去噪方法实现去噪。如专利公开号为CN107610069A，名称为《基于共享K-SVD字典的DVS可视化视频去噪方法》，通过先存储事件相机获取的事件流，再将其可视化为轮廓清晰的图像，使用共享K-SVD字典的方法对图像进行去噪。但是这种方法没有充分利用异步事件流高时间分辨率的特性，降低了对事件流的处理效率，且需要先采集存储再处理，不能实现实时性去噪。第二类是直接对事件流进行逐事件处理。如专利公开号为CN111770290A，名称为《一种动态视觉传感器输出事件流降噪方法》，以及专利公开号为CN109726356A，名称为《一种动态视觉传感器的地址事件流数据去噪方法》，都是利用有效事件之间的时空相关性，构建不同的相关性表示方法来表征事件之间的时空相关性进行逐事件去噪，但是这两种方法中前者事件的时间邻域是固定的，未能够自动调节该阈值，不能适用于不同密度的事件流，后者计算过程较为复杂，在算力有限的情景下存在这不足。

发明内容

本发明的目的在于提供一种基于时空密度的事件相机去噪方法，解决现有去噪方法计算过程复杂，参数固定以及时空相关滤波器无法去掉初始部分噪声等问题。该方法通过单位事件数量和事件相机相关参数确定事件领域大小，再利用时空相关滤波器和密度矩阵进行去噪。

本发明采用的技术方案如下：

一种基于时空密度的事件相机去噪方法，所述方法包括如下步骤：

步骤(1)、根据事件相机的成像原理仿真生成事件流；

步骤(2)、计算事件的时间邻域Δt；所述步骤(2)的具体过程包括：

2a、计算每个像素的平均事件数：

其中，AE表示每个像素的平均事件数目；NE表示一段事件流的事件个数；X、Y分别表示所述事件相机的感光探测器的横向和纵向的像素个数；

2b、计算时间邻域：

其中，T表示一段事件流中最后一个事件与第一个事件的时间戳之差；

步骤(3)、根据已到达事件判断新到达事件是否为噪声；所述步骤(3)的具体过程包括：

3a、假定事件相机的分辨率为m×n，建立一个m×n的矩阵，将每个新到达事件e_i(x_i，y_i，t_i，p_i)的时间戳t_i存储在所述矩阵对应的位置(x_i，y_i)及其8邻域的位置中，从而覆盖掉之前的时间戳，其中，x_i表示产生事件的像素的横坐标，y_i表示产生事件的像素的纵坐标，t_i表示事件的时间戳，p_i表示事件的极性，i表示事件流中第i个事件，i＝1，2，3，……；

3b、判断新到达事件的时间戳是否在上述位置写入的前一个已到达事件的时间戳的Δt范围之内，即：

t_c－t_p≤Δt

其中，t_c是新到达事件的时间戳；t_p是此位置写入的前一个已到达事件的时间戳；

3c、若新到达事件满足步骤3b中的条件则保留，否则判定为噪声事件，并滤除掉；

步骤(4)、计算密度矩阵，去掉事件流初始部分的噪声；

进一步的，步骤(2)中，在计算AE时加入一个比例因子F，所述时间邻域表示为：

进一步的，所述步骤(4)的具体过程包括：

4a、截取初始部分的事件流，截取长度为2Δt，即截取的事件流中最后一个事件的时间戳t_i满足：

t_i≤2Δt且t_i+1＞2Δt

其中t_i+1表示事件流截取之后余下的事件流中第一个事件的时间戳，Δt是步骤(2)中计算得到的时间邻域；

4b、对于步骤4a中截取的初始部分的事件流，以其中每个事件为中心，建立一个L×L的矩阵D，L为奇数，分别将

内L×L个像素产生的事件的个数累加并将累加结果放入矩阵D中对应的位置：

其中，(x_k，y_k)为事件的空间坐标，k表示截取的事件流中第k个事件，k＝1，2，3，……；1≤i₀，j₀≤L；

表示事件的时空邻域，其中上标L表示时空邻域的空间邻域尺寸，下标Δt表示时空邻域的时间邻域大小；ε(x，y，t)是一个二值函数，表示为：

4c、计算矩阵D中所有元素的和R：

如果R大于设定的阈值，则该事件保留，否则将该事件滤除；

4d、将降噪完成的初始部分的事件流与其余部分事件流合并，作为最终降噪结果。

本发明具有以下有益效果：

本发明利用有效事件之间的时空相关性强、密度大，而噪声事件之间时空相关性弱、密度小的特点，对新到达的事件逐个滤波完成对事件流的降噪，同时更好的保留事件的时间分辨率，解决了现有事件流降噪方法计算复杂，运算量大或者参数固定导致对不同场景下降噪效果不一的问题。

附图说明

图1为本发明一种基于时空密度的事件相机去噪方法具体流程图；

图2为时空邻域示意图；

图3为生成的原始事件流；

图4为本发明的第一步的去噪效果图；

图5为本发明的第二步的去噪效果图。

具体实施方式

以下结合具体实施例对本发明作进一步详细描述。

本发明一种基于时空密度的事件相机去噪方法，具体流程图如图1所示，具体由以下步骤实现：

步骤(1)、根据事件相机的成像原理仿真生成事件流，如图3所示；

步骤(2)、计算事件的时间邻域Δt；所述步骤(2)的具体过程为：

2a、计算每个像素的平均事件数，设定事件流中的事件个数为5000，事件相机的分辨率为1024×1024：

其中，AE表示每个像素的平均事件数目；NE表示一段事件流的事件数量；X、Y分别表示所述事件相机的感光探测器的横向和纵向的像素个数；

2b、计算时间邻域，NE为5000时，最后一个事件与第一个事件的时间戳之差为251.692963508171，代入以下公式计算：

其中，T表示一段事件流中最后一个事件与第一个事件的时间戳之差；

优选的，由于不同型号事件相机给事件打时间戳的机制不一样，且不是每一个像素都会有事件产生，因此在步骤(2)中，计算AE时加入一个比例因子，此处设比例因子为1500，时间邻域表示为：

其中，F表示比例因子；

步骤(3)、根据已到达事件判断新到达事件是否为噪声，去噪效果如图4所示；所述步骤(3)的具体过程为：

3a、假定事件相机的分辨率为1024×1024，建立一个1024×1024的矩阵，将每个新到达事件e_i(x_i，y_i，t_i，p_i)的时间戳t_i存储在所述矩阵对应的位置(x_i，y_i)及其8邻域的位置中，从而覆盖掉之前的时间戳，其中，x_i表示产生事件的像素的横坐标，y_i表示产生事件的像素的纵坐标，t_i表示事件的时间戳，i表示事件流中第i个事件，p_i表示事件的极性，i＝1，2，3……；

3b、判断新到达事件的时间戳是否在上述位置写入的前一个已到达事件的时间戳的Δt范围之内，即：

t_c-t_p≤35.2658

其中，t_c是当前事件的时间戳；t_p是此位置写入的前一个事件的时间戳；

3c、若新到达事件满足步骤3b中的条件则保留，否则判定为噪声事件，并滤除掉；

步骤(4)、初始到达的事件在其时间邻域内没有对比事件，因此在事件流初始一段时间内所有的事件都被保留下来，计算密度矩阵去掉初始部分的噪声，去噪效果如图5所示；所述步骤(4)的具体过程为：

4a、截取初始部分的事件流，截取长度为2Δt＝70.5316ms，即截取的事件流中最后一个事件的时间戳t_i满足：

t_i≤70.5316ms且t_i+1＞70.5316ms

其中t_i+1表示事件流截取之后余下的事件流中第一个事件的时间戳；

4b、对于步骤4a中截取的初始部分的事件流，以其中每个事件为中心，建立一个L×L的矩阵D，L为奇数，此处L为5，分别将

内L×L个像素产生的事件的个数累加并将累加结果放入矩阵D中对应的位置，此处即将分别将

内25个像素产生的事件的个数累加并将累加结果放入矩阵D中对应的位置：

其中，(x_k，y_k)为事件的空间坐标，k表示截取的事件流中第k个事件，k＝1，2，3，……；1≤i₀，j₀≤L；

表示事件的时空邻域，如图2所示，其中上标L表示时空邻域的空间邻域尺寸，下标Δt表示时空邻域的时间邻域大小；ε(x，y，t)是一个二值函数，表示为：

4c、计算矩阵D中所有元素的和R：

如果R大于设定的阈值8，则该事件保留，否则将该事件滤除；

4d、将降噪完成的初始部分事件流与其余部分事件流合并，作为最终降噪结果。

本发明未详述部分属于本技术领域的公知技术。以上所述仅为本发明的具体实例而已，并不用于以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于时空密度的事件相机去噪方法，其特征在于，所述方法包括如下步骤：

步骤(1)、根据事件相机的成像原理仿真生成事件流；

步骤(2)、计算事件的时间邻域Δt；所述步骤(2)的具体过程包括：

2a、计算每个像素的平均事件数：

其中，AE表示每个像素的平均事件数；NE表示一段事件流中包含的事件个数；X、Y分别表示所述事件相机的感光探测器的横向和纵向的像素个数；

2b、计算时间邻域：

其中，T表示一段事件流中最后一个事件与第一个事件的时间戳之差；

步骤(3)、根据已到达事件判断新到达事件是否为噪声；所述步骤(3)的具体过程包括：

3a、假定事件相机的分辨率为m×n，建立一个m×n的矩阵，将每个新到达事件e_i(x_i,y_i,t_i,p_i)的时间戳t_i存储在所述矩阵对应的位置(x_i,y_i)及其8邻域的位置中，从而覆盖掉之前的时间戳，其中，x_i表示产生事件的像素的横坐标，y_i表示产生事件的像素的纵坐标，t_i表示事件的时间戳，p_i表示事件的极性，i表示事件流中第i个事件，i＝1,2,3,……；

3b、判断新到达事件的时间戳是否在上述位置写入的前一个已到达事件的时间戳的Δt范围之内，即：

t_c-t_p≤Δt

其中，t_c是新到达事件的时间戳；t_p是此位置写入的前一个已到达事件的时间戳；

3c、若新到达事件满足步骤3b中的条件则保留，否则判定为噪声事件，并滤除掉；

步骤(4)、计算密度矩阵，去掉事件流初始部分的噪声。

2.根据权利要求1所述的一种基于时空密度的事件相机去噪方法，其特征在于，

步骤(2)中，在计算AE时加入一个比例因子F，所述时间邻域表示为：

3.根据权利要求1所述的一种基于时空密度的事件相机去噪方法，其特征在于，

所述步骤(4)的具体过程包括：

4a、截取初始部分的事件流，截取长度为2Δt，即截取的事件流中最后一个事件的时间戳t_i满足：

t_i≤2Δt且t_i+1＞2Δt

其中t_i+1表示事件流截取之后余下的事件流中第一个事件的时间戳，Δt是步骤(2)中计算得到的时间邻域；

4b、对于步骤4a中截取的初始部分的事件流，以其中每个事件为中心，建立一个L×L的矩阵D，L为奇数，分别将

内L×L个像素产生的事件的个数累加并将累加结果放入矩阵D中对应的位置：

其中，(x_k,y_k)为事件的空间坐标，k表示截取的事件流中第k个事件，k＝1,2,3,……；1≤i₀,j₀≤L；

表示事件的时空邻域，其中上标L表示时空邻域的空间邻域尺寸，下标Δt表示时空邻域的时间邻域大小；ε(x，y，t)是一个二值函数，表示为：

4c、计算矩阵D中所有元素的和R：

如果R大于设定的阈值，则该事件保留，否则将该事件滤除；

4d、将降噪完成的初始部分的事件流与其余部分事件流合并，作为最终降噪结果。

Images