CN110428477B - 一种不受速度影响的事件相机的成图方法 - Google Patents

Abstract

本发明提供一种不受速度影响的事件相机的成图方法，为解决事件相机产生的数据是异步事件流而不是传统图像帧流导致的传统图像算法无法应用于事件相机的问题，通过保持图像中轮廓上像素点的值与周围像素点的值的差值恒定的方法，能够从事件流生成亮度恒定，对比度大的图像帧流。每到来一个事件都更新一次速度不变图像，将图像上该事件位置的亮度设为一极大定值并减小周围领域点的亮度值，保持边缘对比度恒定，并使用高通滤波器去除拖尾效果。本发明的方法生成的图像，边缘清晰，亮度对比恒定，有助于后续的图像处理。

Description

一种不受速度影响的事件相机的成图方法

技术领域

本发明涉及电子信息技术领域，特别是涉及一种事件相机的成图方法。

背景技术

随着科学技术的发展，计算机视觉技术也越来越成熟。由于图像中信息的丰富性以及可见光相机的便携性，理所当然地使可见光相机成为了各种计算机视觉应用中会选择的硬件，使图片成为了各种计算机视觉应用中处理的数据。计算机视觉感知方面最重要的里程碑之一，是证明了单个移动摄像头能够实时估计自我中心和场景的能力——通常称为即时定位和地图构建(Simultaneous Localization And Mapping,SLAM)。在过去的30年，在SLAM领域有了巨大的发展，使得大场景应用成为了可能。移动机器人的SLAM应用是当今一个热点的研究，机器人能够通过自身的传感器(例如相机)获得周围环境的信息，确定自身位置，构建环境地图，从而进行更多的功能，例如：导航、避障等等。但图片数据量大且冗余，存储和处理都对硬件有很高的要求，且传统光学相机在快速运动的情况下容易出现模糊的情况，光照变化大时无法准确捕获图像信息，这些问题都亟待解决。

动态视觉传感器的出现，提供了一个有希望的解决方案，在机器视觉领域引来了越来越多的关注。事件相机便是基于此传感器而工作的。它模拟人类的视网膜，响应由于运动产生的亮度变化的像素点脉冲，所以它能够以极高的帧速率捕获场景的亮度变化，记录特定时间点和图像中特定位置的事件，形成事件流而不是帧流，成图后就是场景中物体的边缘信息，一下子解决了上述的图片信息冗余问题和大量数据存储和实时处理问题，所以事件相机成为了机器视觉的新方向。

事件相机产生数据是一组异步事件流，而不是传统图像帧流。事件流虽然有着高时间分辨率的优点，但传统图像处理算法都是针对图像帧数据的，无法直接应用于事件相机。要建立起传统图像处理算法和异步事件流的桥梁，一个好的成图方法是必不可少的。

当前大部分研究中使用的成图方法是简单地从事件点直接累积成图像帧，通过在事件流上取窗(一般为时间窗或事件数量窗)，将一个窗内的所有事件出现的坐标处像素置为1，其余位置像素为0，生成二值图像。但这种方法中取窗的参数非常重要，不能适应速度快慢变化大的场景，如果窗口长度相对于场景速度过小，物体轮廓会不连续；如果窗口长度相对于场景速度过大，将会有轮廓的拖尾存在，这些都会对后续的传统图像处理算法产生不好的影响。

发明内容

为了克服上述现有技术的不足，本发明提供了一种不受速度影响的事件相机的成图方法。

本发明的技术方案为一种不受速度影响的事件相机的成图方法，包含以下步骤：

步骤1，一串由事件相机采集生成的异步事件流,记为e_i＝{t_i，x_i，y_i，p_i}(i＝1，2，3，…，n)，t_i为事件e_i的时间戳，x_i为事件e_i发生的横坐标，y_i为事件e_i发生的纵坐标，p_i为事件e_i的极性(可为+1和-1，分别表示亮度增加和亮度降低)；

步骤2，记此方法生成的图像为T(x，y),在0时刻，初始化为全0矩阵；

步骤3，每到来一个事件，假设该事件为e_k＝{t_k，x_k，y_k，p_k},图像上以坐标(x_k，y_k)为中心的大小为(2r+1)×(2r+1)的邻域，记为

对于图片上

内的点

处理方式分为下列两种情况：

如果T(x，y)≥T(x_k，y_k),那么将该点的值减去一个定值sub，即T(x，y)＝T(x，y)-sub；

如果T(x，y)＜T(x_k，y_k)，那么该点的值不变。

步骤4，将图像上坐标(x_k，y_k)处的值设置为(2r+1)²；

步骤5，对于图像上每一个点随时间变化的函数进行高通滤波。这一步骤具体分析如下：

根据步骤3和步骤4，可以知道，每到来一个事件e_k＝{t_k，x_k，y_k，p_k},图像T(x，y)的更新可表示为如下式子：

那么,定义图像T上每一个点的值的变化为ΔT_k(x，y),那么ΔT_k(x，y)可表示为如下式子：

所以经过一段时间t后，随着这段时间内n个事件的积累，图像T(x，y)可以表示为：

τ是积分变量，对于一个尺度常量α＞0,定义一个高通滤波器F(s)＝s/(s+α)，s是拉普拉斯域的变量；定义

为信号T(x，y，t)的拉普拉斯变换，定义

为T(x，y，t)经过高通滤波器后的结果；

然后对上式进行拉普拉斯反变换，G(x，y，t)为

的拉普拉斯反变换，对于每一个像素位置(x,y)得到常微分方程

假设没有事件出现，上式变成了常系数一阶常微分方程

定义t_k为当前事件的时间戳，定义

为从下逼近t_k的极限值，定义

为从上逼近t_k的极限值，得到从t^(x，y)(上一个出现在该位置(x，y)处事件的时间戳)到

的积分为:

对于时间段

到

更新时间戳状态

t^(x，y)＝t_k

故高通滤波处理在时域上简化为下列式子：

这里G即是高通滤波后的图像。

步骤6，每到来一个新的事件，重复步骤3-步骤5。

与现有技术相比，本发明的优点和有益效果：

1.图像中轮廓上像素点的值与周围像素点的值的差值保持恒定。

2.对每一个像素点进行高通滤波，将持续不变的拖尾部分(即直流分量)滤除，仅仅保留最新的边缘信息(即动态部分)。

3.本发明的方法生成的图像，边缘清晰，亮度对比恒定，有助于后续的图像处理。

附图说明

图1为本发明所述一种不受速度影响的事件相机的成图方法的流程图。

图2为本发明中事件坐标邻域点处理示意图。

图3为本发明实施例中生成的图像展示图。

具体实施方法

下面将结合数据集事件流，对本发明的具体实施方式作进一步的说明。

步骤1，一串由事件相机采集生成的异步事件流,记为e_i＝{t_i，x_i，y_i，p_i}(i＝1，2，3，…，n)；本实例中选择了由苏黎世大学机器人与感知小组使用动态和主动像素视觉传感器(DAVIS)采集的数据集中的shapes_rotation部分，该传感器的分辨率为240×180像素。

步骤2，记此方法生成的图像为T(x，y),在0时刻，初始化为全0矩阵，即一个240×180的全零矩阵。

步骤3，每到来一个事件，假设该事件为e_k＝{t_k，x_k，y_k，p_k},图像上以坐标(x_k，y_k)为中心的大小为(2r+1)×(2r+1)的邻域，这里r＝3，即7×7的领域，记为

对于图片上

内的点

如图2所示，处理方式分为下列两种情况：

如果T(x，y)≥T(x_k，y_k),那么将该点的值减去一个定值sub＝5，即T(x，y)＝T(x，y)-sub；

如果T(x，y)＜T(x_k，y_k)，那么该点的值不变。

步骤4，将图像上坐标(x_k，y_k)处的值设置为(2r+1)²，即49；

步骤5，对于图像上每一个点随时间变化的函数进行高通滤波。根据上述分析，可知高通滤波在时域的处理形式如下式所示，这里α=0.5。

T即为最后生成的成图矩阵。

步骤6，每到来一个新的事件，重复步骤3-步骤5。

根据所需的图像帧流的时间分辨率，在响应的时刻获取T矩阵，即为该时刻的图像。此方法适应于各种帧率的图像帧流生成。如图3所示，这里展示了该数据集生成的图像帧流中在时刻0.65s生成的图像。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (1)

1.一种不受速度影响的事件相机的成图方法，其特征在于，包括如下步骤：

步骤1，一串由事件相机采集生成的异步事件流,记为e_i＝{t_i,x_i,y_i,p_i}，i＝1,2,3,…,n，t_i为事件e_i的时间戳，x_i为事件e_i发生的横坐标，y_i为事件e_i发生的纵坐标，p_i为事件e_i的极性；

步骤2，记此方法生成的图像为T(x,y),在0时刻，初始化为全0矩阵；

步骤3，每到来一个事件，假设该事件为e_k＝{t_k,x_k,y_k,p_k},图像上以坐标(x_k,y_k)为中心的大小为(2r+1)×(2r+1)的邻域，记为N_ei＝{(x,y)|x_k-r≤x≤x_k+r,y_k-r≤x≤y_k+r},对于图片上

内的点(x,y)∈N_ei，处理方式分为下列两种情况：

如果T(x,y)≥T(x_k,y_k),那么将该点的值减去一个定值sub，即T(x,y)＝T(x,y)-sub；

如果T(x,y)<T(x_k,y_k)，那么该点的值不变；

步骤4，将图像上坐标(x_k,y_k)处的值设置为(2r+1)²；

步骤5，对于图像上每一个点随时间变化的函数进行高通滤波；

步骤5的具体实现方式如下，

每到来一个事件e_k＝{t_k,x_k,y_k,p_k},图像T(x,y)的更新可表示为如下式子：

那么,定义图像T上每一个点的值的变化为ΔT_k(x,y),那么ΔT_k(x,y)可表示为如下式子：

所以经过一段时间t后，随着这段时间内n个事件的积累，图像T(x,y)可以表示为：

τ是积分变量，对于一个尺度常量α>0,定义一个高通滤波器F(s)＝s/(s+α)，s是拉普拉斯域的变量；定义

为信号T(x,y,t)的拉普拉斯变换，定义

为T(x,y,t)经过高通滤波器后的结果；

然后对上式进行拉普拉斯反变换，G(x,y,t)为

的拉普拉斯反变换，对于每一个像素位置(x,y)得到常微分方程

假设没有事件出现，上式变成了常系数一阶常微分方程

定义t_k为当前事件的时间戳，定义

为从下逼近t_k的极限值，定义

为从上逼近t_k的极限值，得到从t^(x,y)到

的积分为：

其中，t^(x,y)表示上一个出现在位置(x,y)处事件的时间戳；

对于时间段

到

更新时间戳状态

t^(x,y)＝t_k

故高通滤波处理在时域上简化为下列式子：

这里G即是高通滤波后的图像；

步骤6，每到来一个新的事件，重复步骤3-步骤5。

Images