CN111770290A - 一种动态视觉传感器输出事件流降噪方法 - Google Patents

Abstract

一种动态视觉传感器输出事件流降噪方法，涉及图像传感器领域，解决现有的降噪方法需要较高的运算能力且运算方法复杂，延时较大，或固化参数无法调整等缺陷。同时，算法存在不利于嵌入式的移植，空间领域的事件由于利用不完全，导致损失空间信息等问题，本方法对新到达的事件的时空邻域中的事件个数和位置进行统计和判断，得出该事件是否为噪声事件。该方法相对已有方法计算简单，参数可调等优点。本发明方法不需要未来的事件参与计算和判断，降低延迟事件。依次对新到达的事件进行滤波，不以帧的形式处理数据，更好的保留时间信息和分辨率。通过判断空间位置，可以消除高频出现的闪烁噪声。

Description

一种动态视觉传感器输出事件流降噪方法

技术领域

本发明涉及图像传感器领域，具体涉及一种动态视觉传感器图像数据的降噪方法。

背景技术

目前，传统的图像传感器如CCD和CMOS传感器已广泛应用于日常生活中。简言之，CCD图像传感器主要通过光敏元件阵列和电荷转移装置转换和转移信号电荷，从而将光信号转化为模拟信号；CMOS图像传感器将包含光电二极管的像素集成在单个硅片上，以将光学信号转换为数字信号。上述两个传感器都以特定帧速率拍摄，从而形成一系列帧图像。但是，以这种方式获得的帧图像包含大量冗余信息，并且需要一定的积分时间，使得相机难以捕获易于图像模糊的快速移动目标，以及传统图像传感器很难处理过暗或过亮的场景。成像传感器的快速发展导致图像数据量的几何增加。当前的算法和计算能力开始难以快速处理大量图像数据。

动态视觉传感器(dynamic vision sensor，DVS)可以从硬件角度解决大量图像数据的问题。DVS的像素检测光强度的变化。当变化达到某个阈值时，像素将在图像平面中输出其坐标，并通过同步系统打上时间戳。这些变化称为事件，每个事件包含四个元素：像素行坐标、像素列坐标、发生事件的时刻和光强变化的极性即变亮或变暗。根据动态视觉传感器的原理，它不受传统图像传感器的一些概念的限制。DVS的输出是事件流，而不是帧。与基于帧的图像传感器相比，动态视觉传感器在减少输出数据量和检测高速运动方面具有优势。依托DVS的优势，它在SLAM，物联网，生物医学和四轴飞机中有应用。目前，商业公司已经设计并生产了它，将其应用于更高级别的自动驾驶技术。

然而，现有的降噪技术存在或运算复杂，或延时较大，或固化参数无法调整等缺陷。且由于热噪声和结漏电流，即使光强度没有变化也会有输出。此输出称为噪声。噪声会影响图像质量，浪费通信带宽并消耗不必要的计算能力。当DVS跟踪一个小的慢速物体时，噪声是不可取的，这可能导致错误的跟踪。因此，需要一种有效且快速的DVS去噪算法。

针对上述需求，目前，国内外也有很多相关的解决方案。

专利公开号为CN 107610069A，名称为《基于共享K-SVD字典的DVS可视化视频去噪方法》，提出一种基于共享K-SVD字典的DVS可视化降噪方法，首先存储DVS获取的数据，之后将其可视化为轮廓清晰的图像，再使用K-SVD字典对图像去噪。此方法需要对数据先采集再处理，无法满足实时去噪的需求。

专利公开号为CN 109726356A，名称为《一种动态视觉传感器的地址事件流数据去噪方法》，提出构建概率无向图模型，获取概率无向图模型的能量函数再对数据进行区域划分，之后对每个区域进行降噪处理。该方法计算过程较复杂，在算力有限的情景下存在不足。

专利公开号为CN 109068024A，名称为《一种对时空信号进行滤波的方法》，提出对事件之间的时空相关性判断，在时空上不孤立，时间上连续的信号进行累加，达到一定阈值时进行输出一个脉冲信号。该方法需要累加事件，则会产生相应的延迟，而且会损失一定事件分辨率。

专利公开号为CN 107147856 A，名称为《一种像素单元及其去噪方法、动态视觉传感器、成像装置》，提出在硬件中实施降噪，当像素单元对光信号有响应触发事件发生时，通过获取位于四个邻域的像素单元的激发状态信号并判断其状态，若该四个邻域的像素单元至少有三个处于未响应状态，则使该像素单元不做出响应，有效避免孤立噪声的产生。此方法参数不可调，而且在空间邻域利用上不完整，会损失空间信息。

专利公开号为CN 107220942 A，名称为《用于动态视觉传感器的图像表示和处理的方法和装置》，使用图像去噪单元进行去噪，在帧中每一个事件，确定事件的邻域和时间窗内事件数量，判断是否达到阈值，未达到则丢弃，对于非噪声事件，确定邻域密度，并且将达到邻域密度阈值的事件生成置信图，对于下一帧图像的每一图像，确定事件的邻域内和时间窗内的事件数量，再确定前帧的置信事件的数量，通过计算再进行阈值比对。DVS本来的优势就是不以帧的形式输出，以提高了时间分辨率，而这个方法将DVS的数据切分成帧之后处理，这使用了未来的数据，增加了延时。

上述现有方法都是对DVS数据进行降噪，但是每一个方法都有些许不足，有部分方法将DVS输出的时空数据流切成帧来进行处理，这样将使用未来的数据，增加处理的延迟，而且需要较高的运算能力，不利于嵌入式的移植。采用硬件实现的方案虽然处理速度快，但是，空间邻域的事件利用不完全，会损失空间信息。可以总结为已有方法无法同时以较低的延迟和完整空间邻域信息来进行降噪处理。

发明内容

本发明为解决现有的降噪方法需要较高的运算能力且运算方法复杂，延时较大，或固化参数无法调整等缺陷。同时，算法存在不利于嵌入式的移植，空间领域的事件由于利用不完全，导致损失空间信息等问题，提供一种动态视觉传感器图像数据的降噪方法。

一种动态视觉传感器图像的降噪方法，采用已发生的事件，判断新到达的事件是否是噪声事件，该方法由以下步骤实现：

步骤一、动态视觉传感器成像系统获取的事件流，并滤除所述事件流的随机噪声；

计算邻域事件数量矩阵N，所述邻域事件数量矩阵N的大小与空间邻域的大小相同，均为L×L，N的元素为新到达事件时空邻域中每个像素产生的事件个数；

将随机噪声滤波器F与所述邻域事件数量矩阵N计算哈达马积并求其1范数，获得随机噪声判定值R；即：R＝||F*N||₁；

当所述随机噪声判定值R大于阈值时，则该事件保留，否则将该事件滤除；

步骤二、滤除所述事件流中的闪烁噪声；

将步骤一保留的事件作为粗滤波结果，再判断新到达事件与所述粗滤波结果的空间位置；

如果在设定的空间邻域和的时间邻域内，相邻像素没有事件，则判定新到达事件为闪烁噪声并将其滤除，否则将所述新到达事件保留作为最终滤波降噪结果。

本发明的有益效果：本发明所述的图像降噪方法，本方法对新到达的事件的时空邻域中的事件个数和位置进行统计和判断，得出该事件是否为噪声事件。该方法相对已有方法计算简单，参数可调等优点。具有以下优点：

(1)不需要未来的事件参与计算和判断，降低延迟事件。

(2)依次对新到达的事件进行滤波，不以帧的形式处理数据，更好的保留时间信息和分辨率。

(3)通过判断空间位置，可以消除高频出现的闪烁噪声。

附图说明

图1为本发明所述的一种动态视觉传感器图像数据的降噪方法的流程图；

图2为本发明所述的一种动态视觉传感器图像数据的降噪方法看的时空邻域示意图；

图3为采用原始数据三维可视化图像效果图；

图4为采用降噪后数据三维可视化图像效果图。

具体实施方式

结合图1至图4说明本实施方式，一种动态视觉传感器图像数据的降噪方法，

本方法分为两步，第一步滤除由于电路热噪声导致的密度较低的随机噪声，第二步滤除由于结漏电流导致的频率较高的闪烁噪声。

第一步滤波首先计算邻域事件数量矩阵N，矩阵N的大小与空间邻域的大小相同为L×L，N的元素为新到达事件时空邻域中每个像素产生的事件个数。

之后与随机噪声滤波器F与矩阵N求哈达马积并求其1范数，得到随机噪声判定值R，即

R＝||F*N||₁

其中

当判定值R大于阈值，则该事件保留，否则将其滤除。

第一步采用以下实施方式：传感器的分辨率为m×n，建立m×n×k的三维矩阵，其中k根据硬件的内存大小设定。将事件e(x₁,y₁,t₁,p)的时间戳t₁依次存储于矩阵对应的(x₁,y₁)元素中，从中计算邻域事件数量矩阵N。之后计算新到达事件的随机噪声判定值R并与阈值进行比较，并在固定时间清楚矩阵中多余数据。例如空间邻域为5×5，时间邻域为5ms，阈值为3，新到达事件e_new(10,20,30,+1)，则将行索引为8～12，列索引为18～22的像素5ms内产生的事件数量分别放入5×5的矩阵中，并于随机噪声滤波器进行运算，如果R满足阈值要求，则保留该事件，否则则滤除。

第二步，将上一步滤波的结果保留，为粗滤波结果。再判断新到达事件与粗滤波结果的空间位置。如果在3×3的空间邻域，Δtms的时间邻域内，相邻像素没有事件，则定义该事件为闪烁噪声将其滤除，否则将其保留，为最终滤波降噪结果。

第二步采用以下实施方式：采用与第一步相同的方式存储粗滤波结果于同样大小的矩阵，并提取行、列索引以新到达事件为中心3×3空间邻域内的事件，分别统计该9个位置的事件个数并放入一个3×3的矩阵D的对应位置。将该矩阵与模板矩阵M求哈达马积并求其无穷范数得到S：

S＝||D*M||_∞(1)

式中：

如果S为0，则该事件为噪声，否则将其保留，作为最终降噪结果。例如新到达事件e_new(10,20,30,+1)，时间邻域为5ms，则将粗降噪结果矩阵中行索引在9～11，列索引在19～21范围内的事件，统计时间戳大于25的事件个数，并得到矩阵D，若

S＝12>0，则保留该事件。若

S＝0，则滤除该事件。

将该方法进行仿真：硬件平台采用Intel(R)Core(TM)i5-7200U CPU，主频2.50GHz，内存8GB；软件平台为Windows 10家庭中文版64位操作系统，Matlab 2017a。

本实施方式中，通过判断新到达事件的随机噪声判定值R是否达到某一阈值，则将事件进行保留，否则将其滤除。以上为粗滤波过程。

然后将粗滤波结果保留，并判断新到达事件在粗滤波结果中的空间位置是否有其他事件，有则保留新到达事件，否则将其滤除，这一步结果为最终降噪结果。

根据粗滤波过程，采用行列与像素阵列相同大小的三维矩阵存储对应像素输出事件的时间戳。统计时空邻域中的数量通过将新到达事件的时间戳与矩阵指定区域的元素做差运算，差小于Δt的事件个数大于设定的阈值，则保留该事件。

根据中所述的指定区域是以新到达事件的空间坐标为矩阵行列索引范围的中心，所以空间邻域半径r可根据需求更改；Δt的大小同样可调，这两项参数用来确定空间邻域的大小。阈值的设定控制降噪的强度。

结合图3和图4说明本实施方式，图4是采用CeleX-IV动态视觉传感器采集到的事件数据，场景是运动的摆球。从三维可视化示意图3可以看出，噪声掩盖了真实事件，通过该方法降噪之后，三维可视化示意图4中可以看出摆球的运动轨迹，空间信息与时间信息均得以保留。

本实施方式所述的方法对新到达的事件的时空邻域中的事件个数和位置进行统计和判断，得出该事件是否为噪音事件。该方法相对已有方法计算简单，不使用未来的事件，延迟低，参数可调等优点。本发明不仅可以在上位机中以串行方式实现，而且可以移植到嵌入式系统中用并行方式实现。

Claims (3)

1.一种动态视觉传感器输出事件流降噪方法，其特征是：采用已发生的事件，判断新到达的事件是否是噪声事件，具体步骤为：

步骤一、动态视觉传感器成像系统获取的事件流，并滤除所述事件流的随机噪声；

计算邻域事件数量矩阵N，所述邻域事件数量矩阵N的大小与空间邻域的大小相同，均为L×L，N的元素为新到达事件时空邻域中每个像素产生的事件个数；

将随机噪声滤波器F与所述邻域事件数量矩阵N计算哈达马积并求其1范数，获得随机噪声判定值R；即：R＝||F*N||₁；

当所述随机噪声判定值R大于阈值时，则该事件保留，否则将该事件滤除；

步骤二、滤除所述事件流中的闪烁噪声；

将步骤一保留的事件作为粗滤波结果，再判断新到达事件与所述粗滤波结果的空间位置；

如果在设定的空间邻域和的时间邻域内，相邻像素没有事件，则判定新到达事件为闪烁噪声并将其滤除，否则将所述新到达事件保留作为最终滤波降噪结果。

2.根据权利要求1所述的一种动态视觉传感器输出事件流降噪方法，其特征在于：步骤一的具体过程为：

步骤一一、设定传感器的分辨率为m×n，建立m×n×k的三维矩阵，所述k为根据硬件的内存大小设定的数值；

将事件e(x₁,y₁,t₁,p)的时间戳t₁依次存储于所述三维矩阵对应的(x₁,y₁)行列中，计算邻域事件数量矩阵N，P为事件的极性；

步骤一二、将随机噪声滤波器F与所述邻域事件数量矩阵N计算哈达马积并求其1范数，获得新到达事件的随机噪声判定值R；即：R＝||F*N||₁；

步骤一三、将步骤一二所述的新到达事件的随机噪声判定值R与设定的阈值进行比较，当所述随机噪声判定值R大于阈值时，则该事件保留，否则将该事件滤除。

3.根据权利要求1所述的一种动态视觉传感器输出事件流降噪方法，其特征在于：步骤二的具体过程为：

将所述粗滤波结果存储于与步骤一中三维矩阵大小相同的矩阵中，并提取行、列索引以新到达事件为中心q×q空间邻域内的事件，分别统计该q²个位置的事件个数并放入一个q×q的矩阵D的对应位置；

将该矩阵与模板矩阵M求哈达马积并求其无穷范数，获得矩阵S：

S＝||D*M||_∞ (1)

其中

如果S为0，则所述新到达事件为噪声，否则保留所述新到达事件，并作为最终降噪结果。

Images