CN111064865A - 一种动态视觉传感器背景活动噪声过滤器及处理器 - Google Patents

Abstract

本发明公开了一种动态视觉传感器背景活动噪声过滤器及处理器，本发明的动态视觉传感器背景活动噪声过滤器哈希映射模块、移位及取余逻辑模块、M数组存储及元素检查模块、数组更新模块，利用上述模块将输入的事件映射到M数组的索引位置并根据M数组的值来进行噪声事件判断，并最终更新索引位置的值以记录事件。本发明能够实现动态视觉传感器背景活动噪声的过滤，且本发明比传统的最近邻滤波器占用的内存资源更少，同时保证处理速度小于事件产生的速度从而保证实时处理，并且获得了更好的信噪比；哈希映射模块、移位及取余逻辑模块、M数组存储及元素检查模块、数组更新模块依次相连形成流水线能够加快DVS输出事件流的处理速度。

Description

一种动态视觉传感器背景活动噪声过滤器及处理器

技术领域

本发明涉及动态视觉传感器，具体涉及一种动态视觉传感器背景活动噪声过滤器及处理器。

背景技术

图像数据在人工智能领域，尤其是在深度学习算法中被广泛利用。它们通常由基于帧的图像传感器收集，它们具有几个常见的缺点，例如恒定的高功耗，对明亮的环境光线的敏感性以及捕获快速物体的能力低。基于神经形态事件的传感器有望解决这些问题。

基于神经形态事件的传感器已有几十年的研究历史，目前主流的传感器是动态视觉传感器(Dynamic Vision Sensor，DVS)，基于异步时间的图像传感器(AsynchronousTime-based Image Sensor，ATIS)，动态和有源像素视觉传感器(Dynamic and Activepixel Vision Sensor，DAVIS)。这些传感器具有高采样率、高动态范围、低功耗的特点，使得其特别适合捕捉高速动态物体。同时，DVS的高灵敏度的特点使得其可以应用在光照较差的环境。

DVS的输出是基于地址事件表示(Address Event Representation，AER)的脉冲数据流。AER是一种新兴的异步协议。每个基于AER的事件都包含了地址，时间信息，具有高速、实时等优势。但是由于器件本身的一些特性，即由瞬时噪声和结漏电流引起的像素点阈值的变化，这些传感器将在恒定照明下产生背景活动(Background Activity)事件。由于神经形态的计算是基于脉冲事件进行相关的计算，所以每个脉冲事件对神经形态计算系统都是至关重要的。因此，通过相应的滤波操作过滤掉噪声事件，提升DVS输出脉冲流的质量是十分必要的。目前主流的滤波算法是最近邻(Nearest Neighbor，NNb)滤波器。该滤波器根据DVS脉冲事件的地址信息，分析新脉冲事件的时刻与其相邻区域像素点产生脉冲事件的时刻的差值。若该差值小于给定的阈值，则认为这两个事件是相关的，即新的事件不是噪声事件。否则判定这两个事件不相关，新的事件是噪声事件，需要被过滤掉。在硬件实现上，需要为每个像素点都保留一个存储空间，来记录其产生事件的时刻。硬件存储开销与像素点的个数乘正比。尤其对于百万像素的图片来说，带来的硬件开销是十分巨大的，而且这样的滤波算法十分不利于硬件的实现。因此需要设计一种硬件架构，在合理的存储空间内，能够支持噪声事件的滤波，从而为神经形态计算硬件平台提供高质量的输入数据，提升整体的性能。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种动态视觉传感器背景活动噪声过滤器及处理器，本发明能够实现动态视觉传感器背景活动噪声的过滤，且本发明比传统的最近邻滤波器占用的内存资源更少，同时保证处理速度小于事件产生的速度从而保证实时处理，并且获得了更好的信噪比。

为了解决上述技术问题，本发明采用的技术方案为：

一种动态视觉传感器背景活动噪声过滤器，包括：

哈希映射模块，用于通过局部敏感的k个哈希函数将输入的事件从其原始空间投射到低维空间得到k个哈希值h₁,h₂,…,h_k，其中k为大于等于1的自然数；

移位及取余逻辑模块，用于将k个哈希值h₁,h₂,…,h_k分别进行移位及取余得到对应的信息编码值，且使得信息编码值位于M数组的索引范围内；

M数组存储及元素检查模块，用于将所有信息编码值在预设的M数组中索引位置的值和预设阈值进行比较，如果任意一个索引位置的值小于阈值则将标志设置为1，表示输入的事件是噪声事件；否则将标志设置为0，表示输入的事件是真实事件；

数组更新模块，用于更新各个信息编码值在预设的M数组中索引位置的值；

所述哈希映射模块、移位及取余逻辑模块、M数组存储及元素检查模块、数组更新模块依次相连形成流水线。

可选地，所述哈希映射模块的前端还连接有预处理模块，所述预处理模块包含减法器，所述减法器用于将输入的原始的事件(x,y,ts₁)中的时间戳ts₁减去预设的基准时间戳Timebase得到新的时间戳ts₂，其中(x,y)分别表示产生该事件的横、纵坐标，且该事件的横、纵坐标(x,y)和新的时间戳ts₂组成的事件(x,y,ts₂)并输出至哈希映射模块。

可选地，所述哈希映射模块的哈希函数包括三个乘法器和三个加法器，三个乘法器均具有一个哈希函数参数输入端和一个事件标量输入端，三个乘法器的三个事件的标量输入端分别对应事件(x,y,ts₂)的横坐标x、纵坐标y、时间戳ts₂，且其中横坐标x、纵坐标y对应乘法器的输出分别作为第一个加法器的输入，时间戳ts₂对应的乘法器的输出和一个哈希函数参数作为第二个加法器的输入，第一个加法器、第二个加法器的输出分别作为第三个加法器的输入，且由所述第三个加法器的输出作为该哈希函数的输出。

可选地，所述移位及取余逻辑模块包括：

移位操作模块，用于对每一个哈希函数的输出右移N位；

取余操作模块，用于判断右移N位后的结果为正还是为负，然后根据正负判断结果进行相应的取余运算。

可选地，所述M数组为128位的数组，所述哈希函数的输出为32位的数据，所述移位操作模块对每一个哈希函数的输出h_j[31:0]右移的位数N为11后得到S_j[31:0]；所述取余操作模块具体包括：

正负判断逻辑，用于判断右移后的结果S_j[31:0]的最高位S_j[31]，如果S_j[31]是否等于0，如果为0则调用正值取余操作逻辑；否则调用负值取余操作逻辑；

正值取余操作逻辑，用于从右移后的结果S_j[31:0]获取低7位的值S_j[6:0]并加1后输出；

负值取余操作逻辑，用于从右移后的结果S_j[31:0]取反得到T_j[31:0]，然后将128减去T_j[31:0]中的低7位的值T_j[6:0]得到的结果输出。

可选地，所述M数组存储及元素检查模块包括：

k个判断逻辑，用于分别将k个哈希值h₁,h₂,…,h_k对应的信息编码值在预设的M数组中索引位置的值和预设阈值进行比较；

多个加法器构成的树形结构，位于叶子节点的每一个加法器的输入为两个信息编码值在预设的M数组中索引位置的值和预设阈值进行比较的结果，且树形结构的根节点为输出；

综合比较模块，用于判断树形结构根节点的输出小于k是否成立，其中k为哈希函数的个数，如果成立标志为1，表示输入的事件是噪声事件；否则输出标志0，表示输入的事件是真实事件。

可选地，所述数组更新模块根据M数组存储及元素检查模块的输出更新各个信息编码值在预设的M数组中索引位置的值，如果M数组存储及元素检查模块的输出标志为1，则更新各个信息编码值在预设的M数组中索引位置的值为原值加上第一预设步长，如果M数组存储及元素检查模块的输出标志为0，则更新各个信息编码值在预设的M数组中索引位置的值为原值加上第二预设步长，所述第一预设步长小于第二预设步长。

此外，本发明还提供一种处理器，包括处理器本体，所述处理器本体中设有所述的动态视觉传感器背景活动噪声过滤器。

和现有技术相比，本发明具有下述优点：

1、本发明包括哈希映射模块、移位及取余逻辑模块、M数组存储及元素检查模块、数组更新模块，哈希映射模块通过局部敏感的k个哈希函数将输入的事件从其原始空间投射到低维空间得到k个哈希值h₁,h₂,…,h_k，其中k为大于等于1的自然数，移位及取余逻辑模块将k个哈希值h₁,h₂,…,h_k分别进行移位及取余得到对应的信息编码值，且使得信息编码值位于M数组的索引范围内，M数组存储及元素检查模块将所有信息编码值在预设的M数组中索引位置的值和预设阈值进行比较，如果任意一个索引位置的值小于阈值则将标志设置为1，表示输入的事件是噪声事件；否则将标志设置为0，表示输入的事件是真实事件，数组更新模块更新各个信息编码值在预设的M数组中索引位置的值，从而能够实现动态视觉传感器背景活动噪声的过滤，且本发明比传统的最近邻滤波器占用的内存资源更少，同时保证处理速度小于事件产生的速度从而保证实时处理，并且获得了更好的信噪比。

2、本发明包括哈希映射模块、移位及取余逻辑模块、M数组存储及元素检查模块、数组更新模块，且哈希映射模块、移位及取余逻辑模块、M数组存储及元素检查模块、数组更新模块依次相连形成流水线，流水线结构能够加快DVS输出事件流的处理速度。

附图说明

图1为本发明实施例的总体结构示意图。

图2为本发明实施例的详细结构示意图。

图3为本发明实施例的移位与取余操作示意图。

具体实施方式

如图1所示，本实施例中的动态视觉传感器背景活动噪声过滤器包括：

哈希映射模块(图1中简称为Hash)，用于通过局部敏感的k个哈希函数将输入的事件从其原始空间投射到低维空间得到k个哈希值h₁,h₂,…,h_k，其中k为大于等于1的自然数；

移位及取余逻辑模块(图1中简称为Index)，用于将k个哈希值h₁,h₂,…,h_k分别进行移位及取余得到对应的信息编码值，且使得信息编码值位于M数组的索引范围内；

M数组存储及元素检查模块(图1中简称为Check)，用于将所有信息编码值在预设的M数组中索引位置的值和预设阈值进行比较，如果任意一个索引位置的值小于阈值则将标志设置为1，表示输入的事件是噪声事件；否则将标志设置为0，表示输入的事件是真实事件；

数组更新模块(图1中简称为Update)，用于更新各个信息编码值在预设的M数组中索引位置的值；

哈希映射模块、移位及取余逻辑模块、M数组存储及元素检查模块、数组更新模块依次相连形成流水线，能够加快DVS输出事件流的处理速度。

本实施例中的动态视觉传感器背景活动噪声过滤器利用已经处理好的哈希函数将DVS(动态视觉传感器)输出事件的3维向量降为到一个实数值，再将实数值进行信息编码。编码后的数据与相应的阈值进行比较，来判断这个新的脉冲事件是否为噪声事件。同时，编码的信息需要存储在固定的存储列表中，随着事件的处理，会不断的更新该存储列表。由于DVS是检测每个像素点的光强变化，在某时刻当该点光强变化超过给定阈值后，会在当前时刻产生一个脉冲事件。DVS的输出是基于AER表示的脉冲事件，其每个事件的格式为(x,y,ts₁,p)。其中(x,y)分别表示产生该脉冲事件的横、纵坐标；ts₁表示产生该事件的时刻；p表示该事件极性。p＝1表示该像素点光强增强，p＝0表示该像素点光强减弱。滤波器并没有使用极性这一信息，而是使用了每个事件的(x,y,ts₁)信息进行滤波。

为了防止时间戳过大而无法处理，以及减少存储的开销，如图2所示，哈希映射模块的前端还连接有预处理模块，预处理模块包含减法器，减法器用于将输入的原始的事件(x,y,ts₁)中的时间戳ts₁减去预设的基准时间戳Timebase得到新的时间戳ts₂，其中(x,y)分别表示产生该事件的横、纵坐标，且该事件的横、纵坐标(x,y)和新的时间戳ts₂组成的事件(x,y,ts₂)并输出至哈希映射模块。时间戳ts₁减去预设的基准时间戳Timebase得到新的时间戳ts₂的函数表达式可表示为：

ts₂＝ts₁-Time_base

哈希映射模块通过局部敏感的哈希函数将事件从其原始空间投射到低维空间，以维护时空相关信息。即将事件(x,y,ts₂)与优化后的K个哈希函数进行运算，分别得到k个哈希值(h₁,h₂,…,h_k)。如图2所示，哈希映射模块的哈希函数包括三个乘法器和三个加法器，三个乘法器均具有一个哈希函数参数输入端和一个事件标量输入端，三个乘法器的三个事件的标量输入端分别对应事件(x,y,ts₂)的横坐标x、纵坐标y、时间戳ts₂，且其中横坐标x、纵坐标y对应乘法器的输出分别作为第一个加法器的输入，时间戳ts₂对应的乘法器的输出和一个哈希函数参数作为第二个加法器的输入，第一个加法器、第二个加法器的输出分别作为第三个加法器的输入，且由第三个加法器的输出作为该哈希函数的输出。

哈希函数的函数表达式可表示为：

h_j′＝a₁·x+a₂·y+a₃·T₂+a₄

上式中，a₁，a₂，a₃，a₄分别为哈希函数参数，可对应图2中的P1_1,P1_2,P1_3,P1_4。

哈希函数用来对DVS输出的事件event进行压缩。本实施例中，哈希函数的函数表达式为h_i(x)＝(ax+b)/w，其中x表示输入向量形式的事件event，a为哈希函数的参数向量，参数向量a和输入向量x相同维度，w为分割线段的单位长度，b为偏置项，偏置项b取值在0到分割线段的单位长度w之间。一个哈希函数就相当于三维空间中的一条直线，该直线被以分割线段的单位长度w为单位的线段进行分割，空间中的一点在该直线上的投影必会落到某个线段范围内，该线段的编号就蕴含了该事件的信息，这种方式能够使得一个空间中相邻的数据点映射到另一个空间中也是相邻的。

移位及取余逻辑模块根据上一阶段得k个哈希值(h₁,h₂,…,h_k)作为索引从M数组中获取相应的元素。其中M数组存放的是Hash阶段由哈希映射模块的到哈希值，其记录有关先前事件的信息，并且是检查当前事件与先前事件之间的相关性的关键。M数组需要进行更新和复位的操作，更新的部分会在Update阶段由数组更新模块完成。因为M数组的单元只能计数有限的数目，并且会在没有复位的情况下溢出，所以M数组需要以一定的频率复位。因此，本实施例中定义了一个具有从事件流中分割出的固定数量事件的处理窗口(processing window)。在每个处理窗口的开始，将重置M数组。处理窗口的开始和长度是可配置的。

如图2所示，移位及取余逻辑模块包括：

移位操作模块，用于对每一个哈希函数的输出右移N位；

取余操作模块，用于判断右移N位后的结果为正还是为负，然后根据正负判断结果进行相应的取余运算。

本实施例中M数组为128位的数组，哈希函数的输出为32位的数据，如图3所示，移位操作模块对每一个哈希函数的输出h_j[31:0]右移的位数N为11后得到S_j[31:0]；取余操作模块具体包括：

正负判断逻辑，用于判断右移后的结果S_j[31:0]的最高位S_j[31]，如果S_j[31]是否等于0，如果为0则调用正值取余操作逻辑；否则调用负值取余操作逻辑；

正值取余操作逻辑，用于从右移后的结果S_j[31:0]获取低7位的值S_j[6:0]并加1后输出；

负值取余操作逻辑，用于从右移后的结果S_j[31:0]取反得到T_j[31:0]，然后将128减去T_j[31:0]中的低7位的值T_j[6:0]得到的结果输出。

如图2所示，M数组存储及元素检查模块包括：

k个判断逻辑，用于分别将k个哈希值h₁,h₂,…,h_k对应的信息编码值在预设的M数组中索引位置的值和预设阈值进行比较；

多个加法器构成的树形结构，位于叶子节点的每一个加法器的输入为两个信息编码值在预设的M数组中索引位置的值和预设阈值进行比较的结果，且树形结构的根节点为输出；

综合比较模块，用于判断树形结构根节点的输出小于k是否成立，其中k为哈希函数的个数，如果成立标志为1，表示输入的事件是噪声事件；否则输出标志0，表示输入的事件是真实事件。

M数组存储及元素检查模块将被索引的元素转发到检测阶段，将它们与阈值进行比较并生成标志记为指示信号标志Noise_flag。如果任意一个索引位置的值小于阈值则将指示信号标志Noise_flag设置为1，表示输入的事件是噪声事件；否则将指示信号标志Noise_flag设置为0，表示输入的事件是真实事件。该指示信号标志Noise_flag用于帮助后处理平台确定事件是可以立即丢弃还是应该处理。

本实施例中，数组更新模块根据M数组存储及元素检查模块的输出更新各个信息编码值在预设的M数组中索引位置的值，如果M数组存储及元素检查模块的输出标志为1，则更新各个信息编码值在预设的M数组中索引位置的值为原值加上第一预设步长，如果M数组存储及元素检查模块的输出标志为0，则更新各个信息编码值在预设的M数组中索引位置的值为原值加上第二预设步长，第一预设步长小于第二预设步长，这样做的目的是为了区分噪声事件和真实事件的信息，噪声事件不应该让存储压缩后的时空信息的m列表的某个位置的值快速地上升，否则这个位置很容易从指示噪声像素点变成指示非噪声像素点。数组更新模块使M数组可以将当前事件信息整合到自身中。通过使用M数组，滤波器不必存储每个事件的时间戳即可检查事件之间的相关性。

此外，本实施例还提供一种处理器，包括处理器本体，处理器本体中设有本实施例前述的动态视觉传感器背景活动噪声过滤器。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种动态视觉传感器背景活动噪声过滤器，其特征在于包括：

哈希映射模块，用于通过局部敏感的k个哈希函数将输入的事件从其原始空间投射到低维空间得到k个哈希值h₁,h₂,…,h_k，其中k为大于等于1的自然数；

移位及取余逻辑模块，用于将k个哈希值h₁,h₂,…,h_k分别进行移位及取余得到对应的信息编码值，且使得信息编码值位于M数组的索引范围内；

M数组存储及元素检查模块，用于将所有信息编码值在预设的M数组中索引位置的值和预设阈值进行比较，如果任意一个索引位置的值小于阈值则将标志设置为1，表示输入的事件是噪声事件；否则将标志设置为0，表示输入的事件是真实事件；

数组更新模块，用于更新各个信息编码值在预设的M数组中索引位置的值；

所述哈希映射模块、移位及取余逻辑模块、M数组存储及元素检查模块、数组更新模块依次相连形成流水线。

2.根据权利要求1所述的动态视觉传感器背景活动噪声过滤器，其特征在于，所述哈希映射模块的前端还连接有预处理模块，所述预处理模块包含减法器，所述减法器用于将输入的原始的事件(x,y,ts₁)中的时间戳ts₁减去预设的基准时间戳Timebase得到新的时间戳ts₂，其中(x,y)分别表示产生该事件的横、纵坐标，且该事件的横、纵坐标(x,y)和新的时间戳ts₂组成的事件(x,y,ts₂)并输出至哈希映射模块。

3.根据权利要求1所述的动态视觉传感器背景活动噪声过滤器，其特征在于，所述哈希映射模块的哈希函数包括三个乘法器和三个加法器，三个乘法器均具有一个哈希函数参数输入端和一个事件标量输入端，三个乘法器的三个事件的标量输入端分别对应事件(x,y,ts₂)的横坐标x、纵坐标y、时间戳ts₂，且其中横坐标x、纵坐标y对应乘法器的输出分别作为第一个加法器的输入，时间戳ts₂对应的乘法器的输出和一个哈希函数参数作为第二个加法器的输入，第一个加法器、第二个加法器的输出分别作为第三个加法器的输入，且由所述第三个加法器的输出作为该哈希函数的输出。

4.根据权利要求1所述的动态视觉传感器背景活动噪声过滤器，其特征在于，所述移位及取余逻辑模块包括：

移位操作模块，用于对每一个哈希函数的输出右移N位；

取余操作模块，用于判断右移N位后的结果为正还是为负，然后根据正负判断结果进行相应的取余运算。

5.根据权利要求4所述的动态视觉传感器背景活动噪声过滤器，其特征在于，所述M数组为128位的数组，所述哈希函数的输出为32位的数据，所述移位操作模块对每一个哈希函数的输出h_j[31:0]右移的位数N为11后得到S_j[31:0]；所述取余操作模块具体包括：

正负判断逻辑，用于判断右移后的结果S_j[31:0]的最高位S_j[31]，如果S_j[31]是否等于0，如果为0则调用正值取余操作逻辑；否则调用负值取余操作逻辑；

正值取余操作逻辑，用于从右移后的结果S_j[31:0]获取低7位的值S_j[6:0]并加1后输出；

负值取余操作逻辑，用于从右移后的结果S_j[31:0]取反得到T_j[31:0]，然后将128减去T_j[31:0]中的低7位的值T_j[6:0]得到的结果输出。

6.根据权利要求1所述的动态视觉传感器背景活动噪声过滤器，其特征在于，所述M数组存储及元素检查模块包括：

k个判断逻辑，用于分别将k个哈希值h₁,h₂,…,h_k对应的信息编码值在预设的M数组中索引位置的值和预设阈值进行比较；

多个加法器构成的树形结构，位于叶子节点的每一个加法器的输入为两个信息编码值在预设的M数组中索引位置的值和预设阈值进行比较的结果，且树形结构的根节点为输出；

综合比较模块，用于判断树形结构根节点的输出小于k是否成立，其中k为哈希函数的个数，如果成立标志为1，表示输入的事件是噪声事件；否则输出标志0，表示输入的事件是真实事件。

7.根据权利要求1所述的动态视觉传感器背景活动噪声过滤器，其特征在于，所述数组更新模块根据M数组存储及元素检查模块的输出更新各个信息编码值在预设的M数组中索引位置的值，如果M数组存储及元素检查模块的输出标志为1，则更新各个信息编码值在预设的M数组中索引位置的值为原值加上第一预设步长，如果M数组存储及元素检查模块的输出标志为0，则更新各个信息编码值在预设的M数组中索引位置的值为原值加上第二预设步长，所述第一预设步长小于第二预设步长。

8.一种处理器，包括处理器本体，其特征在于，所述处理器本体中设有权利要求1～7中任意一项所述的动态视觉传感器背景活动噪声过滤器。

Images