CN114078100A - 聚类降噪装置、方法、芯片、事件成像装置及电子设备 - Google Patents

Abstract

本发明公开了一种聚类降噪装置、方法、芯片、事件成像装置及电子设备。为解决事件成像过程中的存在噪声的技术问题，本发明降噪方案包括实时接收新事件，并将该新事件不断存入存储空间对应的地址，存储空间动态变化，实时更新；在存储空间中确定聚类范围，判定新事件是否与存储空间内的其它事件形成有效的聚类关系，根据聚类关系可以判定该事件属于噪声事件还是有效事件。通过该些技术手段，本发明所公开的降噪方案，不仅能滤除普通噪声，还可以滤除特殊噪声，在滤除噪声的同时，能最大程度保留有效事件，对有效事件的杀伤小，具有响应速度快、延时低、功耗低等技术效果。

Description

聚类降噪装置、方法、芯片、事件成像装置及电子设备

技术领域

本发明涉及一种聚类降噪装置、方法、芯片及电子设备，具体涉及一种对事件成像装置输出的脉冲事件进行聚类噪声滤除的装置、方法、芯片及电子设备。

背景技术

事件成像不以固定的速率捕捉图像，而是异步地测量每个像素的亮度变化，并输出一系列事件，与传统相机相比，事件相机提供了有吸引力的特性：功耗低、实时性强、动态范围大、分辨率高等。常见的事件成像装置有动态视觉传感器DVS，其是一种适用于神经拟态、类脑计算的视觉传感器。但受限于当前技术工艺，DVS的实际输出存在各类噪声，各国研究学者也对此前沿领域做了很多研究工作，但多数滤波技术存在处理周期长，降噪效率低，有效事件保留率低等问题。

针对事件成像装置的降噪方法的核心指标之一是降噪速度，因为当视野内目标移位时，事件数据到来很快并且多，如果不是高速的降噪算法，就缺乏实际应用价值。

一类常见的降噪方案是相关性滤波，判断当前事件发生时，一段时间、范围内是否有其它事件产生，如果有则认为是有效事件。一些方案中存储每个像素周围八个临近像素的时间戳，新时间戳覆盖前一时间戳，然后判断当前时间戳与前一时间戳的差值是否大于阈值，大于阈值则认为是噪声事件，进行滤除。然而，该类方法中，滤波效果并不理想，仅能滤除低频的背景噪声，在hot pixel噪声附近存在背景噪声时，降噪效果会受到影响，同时该类方法对空间范围利用不完整，会损失空间信息。

为了滤除热像素噪声，一种降噪方案是进行两步滤波，如现有技术1：CN111770290A(长春光机所，吕恒毅等)，首先进行粗滤波，采用宽松阈值滤除背景噪声，然后进行精细滤波，判定第一事件周围是否有足够的关联事件。具体地，粗滤波时，首先计算第一事件附近5×5范围内事件的数量，认为数量小于阈值的事件为噪声事件并进行滤除。然后进行精细滤波，采用更严格的3×3范围判断第一事件附近是否有其它关联事件，若有则保留该事件，否则，滤除该事件。然而，衡量降噪效果的好坏，有两个重要的指标是看误删(虚警)和遗漏(漏警)，即本来是噪声的事件，滤波漏掉了多少，以及不是噪声的事件，错误删掉了多少。该方法的两步骤都对空间范围的取值具有很高的依赖性，空间范围过大会导致噪声事件被遗漏，滤波效果的不好；空间范围过小会导致误判有效事件，有效事件被滤除，影响成像质量。同时，该方法复杂度较高和耗时较长，且对特殊噪声(如黑块噪声)没有进行处理，实用价值相对不足。

针对上述事件成像降噪技术的不足，本发明提出一种聚类降噪技术，在不影响现有事件成像的优良性能的基础上，实时性高、耗能低、简洁有效，并且硬件上容易实施，具有较强的灵活性和广泛的适用性。

发明内容

为了解决或缓解上述部分或全部问题，本发明提出一种聚类降噪方案，并根据各类噪声事件的特点进行噪声滤除。具体是通过如下方式实现的：

一种聚类降噪装置，该聚类降噪装置接收事件成像装置输出的若干事件，所述若干事件的数据信息至少包括坐标信息和时间信息，所述若干事件包括第一事件，所述聚类降噪装置包括：第一存储空间，被配置为：至少用于存储事件的时间信息；映射模块，被配置为：根据第一事件的坐标信息，将所述第一事件的至少时间信息存储至位于第一存储空间中并且与第一事件的坐标信息相对应的第一存储单元；聚类运算模块，被配置为：根据第一事件的坐标信息，在第一存储空间中确定第一事件的聚类范围；根据所述聚类范围内所存储的事件的时间信息与第一事件的时间信息之间的关系，判定所述第一事件是否与聚类范围内的事件形成有效的聚类关系，若是则判定该第一事件为有效事件，若否则判定该第一事件为噪声事件。

在某类实施例中，当所述若干事件中晚于第一事件之后生成的部分事件的至少时间信息被存储至第一存储空间后，根据所述聚类范围内所存储的事件的时间信息与第一事件的时间信息之间的关系，判定所述第一事件是否与聚类范围内的事件形成有效的聚类关系；或者，当所述第一事件的至少时间信息存储至位于第一存储空间中并且与第一事件的坐标信息相对应的第一存储单元前或后，立即根据所述聚类范围内所存储的事件的时间信息与第一事件的时间信息之间的关系，判定所述第一事件是否与聚类范围内的事件形成有效的聚类关系。

在某类实施例中，第一事件的聚类范围为：在所述事件成像装置中，在物理空间上与生成所述第一事件的事件成像单元相邻近的事件成像单元映射在第一存储空间中的地址范围。

在某类实施例中，所述聚类运算模块包括第一阈值判断模块和第二阈值判断模块；所述第一阈值判断模块，被配置为：基于事件的时间信息，分别计算第一事件与聚类范围内每一事件的时间间隔，将计算得到的时间间隔与第一阈值比较，得到第一事件与聚类范围内每一事件之间的时间关系值；将第一事件与聚类范围内每一事件之间的时间关系值相加，得到聚类时间关系值总和；所述第二阈值判断模块，被配置为：将所述聚类时间关系值总和与第二阈值比较，依据比较结果判定该事件为噪声事件或者有效事件。

在某类实施例中，所述聚类运算模块包括第三阈值判断模块；所述第三阈值判断模块设置有第三阈值，其中所述第三阈值为时间阈值或频率阈值；若第三阈值为时间阈值时，若聚类范围内所有事件的平均时间间隔或/和最大时间间隔小于所述第三阈值，则判定该事件为噪声事件；若第三阈值为频率阈值时，若聚类范围内所有事件的平均频率或/和最小频率大于所述第三阈值，则判定该事件为噪声事件。

在某类实施例中，所述第一阈值判断模块：并行地计算第一事件与聚类范围内每一事件之间的时间关系值；或/和,并行地将第一事件与聚类范围内每一事件之间的时间关系值相加。

在某类实施例中，若时间间隔比第一阈值大，则时间关系值为0；若时间间隔比第一阈值小，则时间关系值为1；若所述聚类时间关系值总和比第二阈值大，则判定为有效事件，否则为噪声事件。

一种聚类降噪方法，所述聚类降噪方法包括如下步骤：接收事件成像装置输出的若干事件，所述若干事件的数据信息至少包括坐标信息和时间信息，所述若干事件包括第一事件；根据第一事件的坐标信息，将所述第一事件的至少时间信息存储至位于第一存储空间中并且与第一事件的坐标信息相对应的第一存储单元；根据第一事件的坐标信息，在第一存储空间中确定第一事件的聚类范围；根据所述聚类范围内所存储的事件的时间信息与第一事件的时间信息之间的关系，判定所述第一事件是否与聚类范围内的事件形成有效的聚类关系，若是则判定该第一事件为有效事件，若否则判定该第一事件为噪声事件。

在某类实施例中，当所述若干事件中晚于第一事件之后生成的部分事件的至少时间信息被存储至第一存储空间后，根据所述聚类范围内所存储的事件的时间信息与第一事件的时间信息之间的关系，判定所述第一事件是否与聚类范围内的事件形成有效的聚类关系；或者，当所述第一事件的至少时间信息存储至位于第一存储空间中并且与第一事件的坐标信息相对应的第一存储单元前或后，立即根据所述聚类范围内所存储的事件的时间信息与第一事件的时间信息之间的关系，判定所述第一事件是否与聚类范围内的事件形成有效的聚类关系。

在某类实施例中，第一事件的聚类范围为：在所述事件成像装置中，在物理空间上与生成所述第一事件的事件成像单元相邻近的事件成像单元映射在第一存储空间中的地址范围。

在某类实施例中，基于事件的时间信息，分别计算第一事件与聚类范围内每一事件的时间间隔，将计算得到的时间间隔与第一阈值比较，得到第一事件与聚类范围内每一事件之间的时间关系值；将第一事件与聚类范围内每一事件之间的时间关系值相加，得到聚类时间关系值总和；将所述聚类时间关系值总和与第二阈值比较，依据比较结果判定该事件为噪声事件或者有效事件。

在某类实施例中，设置第三阈值，其中所述第三阈值为时间阈值或频率阈值；若第三阈值为时间阈值时，若聚类范围内所有事件的平均时间间隔或/和最大时间间隔小于所述第三阈值，则判定该事件为噪声事件；若第三阈值为频率阈值时，若聚类范围内所有事件的平均频率或/和最小频率大于所述第三阈值，则判定该事件为噪声事件。

在某类实施例中，并行地计算第一事件与聚类范围内每一事件之间的时间关系值；或/和,并行地将第一事件与聚类范围内每一事件之间的时间关系值相加。

在某类实施例中，若时间间隔比第一阈值大，则时间关系值为0；若时间间隔比第一阈值小，则时间关系值为1；若所述聚类时间关系值总和比第二阈值大，则判定为有效事件，否则为噪声事件。

一种聚类降噪方法，该聚类降噪方法接收事件成像装置输出的第一事件，获取所述第一事件的数据信息，该数据信息至少包括坐标信息；其中，所述坐标信息为第一事件在事件成像装置探测平面生成时的位置；根据所述坐标信息，将所述第一事件映射至第一存储空间中对应的第一存储单元；在第一存储空间中确定第一事件的聚类范围；通过聚类运算，将聚类范围内的事件进行分类，至少得到有效事件集合、噪声事件集合。

在某类实施例中，所述聚类运算为采用K均值聚类或/和均值漂移聚类。

一种芯片，该芯片中包括如前任意一项所述的聚类降噪装置，或者，该芯片应用如前任意一项所述的聚类降噪方法。

在某类实施例中，所述聚类降噪装置被实施在专用接口电路中；或被实施为FPGA电路；或通过软硬件相结合方式实施；或所述聚类降噪方法通过软件在上位机中实现。

一种事件成像装置，该事件成像装置包括如前任意一项所述的聚类降噪装置，或者，该事件成像装置应用如前任意一项所述的聚类降噪方法。

一种电子设备，该电子设备包括事件成像装置，以及如前任意一项所述的聚类降噪装置，其中所述的聚类降噪装置被配置为用于对所述事件成像装置输出的若干事件进行噪声过滤。

所述第二阈值判断模块判断的噪声事件为随机噪声或/和hot pixel热点噪声产生的事件。所述第三阈值判断模块判断的噪声事件为黑噪声或/和黑块噪声产生的事件。

本发明结合事件成像装置的结构原理，针对当前降噪技术面临的难题，提出一种实时、聚类降噪技术，在较短的处理周期内实现高性能的噪声滤波，从而可以有效改善DVS有效事件甄别、DVS图像算法处理、DVS探测结构功耗等性能。

本发明部分或全部实施例相比于现有技术，具有如下有益效果：

(1)本发明基于事件成像的特点，进行实时降噪处理，响应速度快、延时低，具有很强的实时性。

(2)本发明不需要压帧，完整地保留了事件的时间属性，直接从三维脉冲事件流中筛选噪声，避免了有效事件的丢失，且支持并行处理，易于在硬件中实现。

(3)本发明根据每个事件与DVS探测平面之前发生事件的时间和空间分布关系对事件进行聚类判定，降噪方法简单有效，在保证精度的情况下滤除噪声，保留有效事件，对于DVS相机性能的提高具有重要参考和指导意义。

(4)本发明处理不仅能滤除普通噪声(背景随机噪声、hot pixel噪声)，还能滤除特殊噪声(黑块噪声，黑噪声)，滤波性能好，具有较强的灵活性和广泛地适用性。

(5)本发明滤波的同时，能最大化保留有效事件，对有效事件的杀伤小，虚警概率低。

(6)本发明有效滤除了不期望的环境噪声，在DVS视野内不存在运动物体时，不产生第一事件。

(7)本发明能够有效地滤除各类噪声事件，DVS激活时，目标物体的运动轨迹清晰无损，整个运动轨迹粗细基本一致，在降噪过程中不会误伤有效事件，降噪效果好。

更多的有益技术效果，将在后续优选的实施例中一并描述。

附图说明

图1是本发明聚类降噪方法的场景示意图；

图2是本发明某优选实施例进行存储空间映射的示意图；

图3是本发明某优选实施例DVS探测平面对应存储空间示意图；

图4是本发明某优选实施例进行聚类判定的示意图；

图5是本发明实施例第一事件及聚类范围对应存储空间；

图6本发明某实施例聚类范围内与第一事件具有时间关系的事件分布示意图；

图7是本发明某优选实施例进行特殊噪声判定的示意图；

图8是本发明实施例提供的聚类降噪处理的流程图；

图9是本发明实施例提供的聚类降噪处理的简化图；

图10a是降噪前无有效事件时DVS存在的黑噪声图谱；

图10b是使用本发明某优选实施例降噪后DVS存在的黑噪声图谱；

图11a是降噪前无有效事件时DVS存在的黑块噪声图谱；

图11b是使用本发明某优选实施例降噪后DVS存在的黑块噪声图谱；

图12a是滤波前DVS激活状态时的事件图谱；

图12b是另一实施例降噪后DVS激活状态时的事件图谱；

图13是本发明某优选实施例提供的脉冲神经网络处理器进行后端处理的示意图。

具体实施方式

对于下文未详细披露的其它的技术方案和细节，一般均属于本领域的常规技术手段/公知常识，由于篇幅限制，本发明不对其详细介绍。

除非是除法的含义，本发明中任意位置的“/”均表示逻辑“或”。本发明任意位置中的“第一”、“第二”、“第三”等序号仅仅用于描述上的区分标记，并不暗示时间或空间上的绝对顺序，也不暗示冠以这种序号的术语与冠以其它定语的相同术语必然是不同的指代。

本发明中任意位置处描述存在或包括某步骤、模块时，并不暗示这种存在是排它性地唯一存在，本领域技术人员完全可以根据本发明所披露的技术方案而辅以其它技术手段而获得其它技术方案，这种方案未脱离本发明的构思而在本发明保护范围之内。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

术语解释：

事件成像：感受环境光的变化或捕捉视线内变发生化的场景，产生的一系列事件，称作事件流或事件包。

随机噪声：该噪声在事件成像装置的N×N二维平面中随机生成，从而其连续的事件在空间中均匀分布，通常不存在若干连续的点在同一块较小的平面区域中出现。

Hot Pixel热点噪声：指事件成像装置某些像素点机理存在一定的问题，会频繁误触发，形成固定的噪声来源。热点噪声触发时间间隔通常在毫秒级别，其间隔内会有其它的噪声或者事件，从而也不存在若干连续的噪声在同一块较小的平面区域中出现。

黑块噪声：某些事件成像装置结构对于探测范围中的全部或部分为黑色区块的物体过于敏感，在整个该区域会产生误触发，产生频繁的事件，这种情况本文称之为黑块噪声，其特征是触发频率远高于正常事件的触发频率，触发周期通常小于10us。

黑噪声：指某些事件成像装置结构在无光或低光条件下非常灵敏，会连续地进行误触发，其噪声覆盖整个事件成像装置探测范围，使事件成像装置探测结构工作在全负荷状态，极大影响了系统的稳定性。其特征是事件无间隔连续输出，即两个事件间几乎没有时间间隔。

聚类：将一定范围内的数据集合起来，基于一定的分类规则，将数据集合划分为多个子集合，其中每个子集合中的数据具有高度的内在相似性。本发明将一定范围内的事件聚集起来，进行分类，得到噪声事件集和有效事件集合。

聚类范围：在本文中也称作聚类空间、空间聚类。与事件成像装置中的产生第一事件的某个事件成像单元物理空间上相互临近的事件成像单元集合，或/和其映射在存储空间W中后的地址范围/集合。对应至事件成像装置中，该临近的范围可以方形，长方形、原型，等等。示例地，如图2所示，聚类范围为存储空间W中的灰色区域。聚类范围可以不包括第一事件对应的存储单元(因为第一事件与自身在时空上必然属于同类，但将该存储单元也归为聚类空间也不违背原则)。再如图6中所示，聚类范围为以第一事件对应存储单元为中心的周围17×17的像素点方阵。

时间关系值：一种表征两个时刻之间远近关系的度量值。若小于某阈值，这认为二者时间上接近，举例而言可以使用数值1表示，否则认为关系较远，举例而言可以使用数值0表示。聚类时间关系值总和是聚类范围内若干时间关系值之和。

脉冲神经网络SNN：第三代神经网络，神经元内部的信息传递是由脉冲序列(或事件流)完成的，脉冲序列是由离散的脉冲时间点组成的时间序列，数据集由时空事件流构成，在硬件电路上具有超低能耗实现的优势。SNN神经元比ANN神经元更仿生，具有丰富的时间信息和神经动力学特性(阈值发放特性)，在高效处理复杂、稀疏和嘈杂的时空信息方面取得了卓越的性能。

神经元：在芯片层面是指模拟生物神经元工作原理的硬件(如电路)或软件或/和硬件相结合的方式来实施。

脉冲神经网络处理器：与传统的遭遇冯·诺依曼架构不同，不存在传统的数据、指令的概念，是一种全新的计算范式。配置有脉冲神经网络，利用脉冲序列的发放时间/频率等传递信息，具有膜电压累积等真实模拟过程，也称作拟神态芯片、神经拟态芯片或类脑芯片。

本文将根据事件成像的噪声特点将噪声分为随机噪声、Hot Pixel热点噪声、黑块噪声和黑噪声四种，基于各类噪声的特点，本文在有限的时间和空间内，根据每个事件的时间和空间分布特性对事件进行聚类判定，从而保留真实有效事件，滤除上述各类噪声问题。

事件成像不生成帧图像，每一个像素独立且异步的测量其像素亮度的变化，只要视野中有一个像素亮度变化就产生事件，不需要等待，具有很强的实时性。由于所有的事件都是独立且异步发生的，即使再小的时间间隔也不可能完全同时发生。因此事件成像装置产生的事件的时刻(可以用时间戳来表示)均不相同。事件成像装置包括但不限于DVS(动态视觉传感器)、PET(正电子发射计算机断层成像)读出装置。下文以DVS为例，采集事件时，每一时刻(可以用时间戳来表示)，仅输出一个变化的脉冲事件。因此DVS的探测平面动态变化。

由于事件成像装置不捕捉静态画面、不生成灰度帧，产生的事件流是一种全新的数据形式，因此现有的降噪技术难以适用。现有方法对事件流进行压帧处理，例如将一段时间间隔内的事件进行压缩，以生成事件帧，帧的格式能够被传统的人工神经网络接受，发挥现有降噪算法的优势。但该方法违背了事件成像的本质，引入了帧的概念，压缩维度意味着信息丢失，同时实时性也受到影响。实时性降低意味着产生延迟，会出现运动模糊等问题。

事件成像中当某个像素所处位置的亮度值发生变化时，实时产生若干事件，这些若干事件中包括第一事件。本发明的降噪方案，充分适应事件成像的特点，对于产生的第一事件实时地进行降噪处理，响应速度极快。本发明中的第一事件可以所述若干事件中最新的、最后产生的事件，也可以是最新、最后产生事件之前的某一事件。对于前者，事件刚生成就立即根据聚类判别结果分辨其是噪声事件还是有效事件。对于后者，事件生成后并不立即判断其是否是噪声/有效事件，而是允许其后更新生成的事件将其时间信息存储第一存储空间，然后再完成聚类判断，这样可以避免误伤新生成的事件被判别为噪声事件。

基于以上DVS的噪声特性，本发明针对DVS事件的分布特征，提出一种聚类降噪方法，直接从脉冲事件流中筛选噪声，不需要压帧，避免了包含连续运动信息的有效事件的丢失，如图1所示，平面中每个方格均存储对应像素点最新采样的事件，黑色方格是新输入事件对应的存储坐标，灰色方格是空间中与新输入事件具有一定事件关联的事件，具体过程如下：

步骤S1：DVS实时输出第一事件。具体为，接收事件成像装置输出的若干事件，所述若干事件的数据信息至少包括坐标信息和时间信息，所述若干事件包括第一事件。

DVS输出事件的数据信息包括坐标、时间等信息。事件的数据信息在本文中也称作事件信息或事件数据。时间信息包括事件发生的时刻，具体可以用时间戳表示。DVS输出事件的数据还可包括极性，用于表示产生事件的像素点处光强变化的形式，是变亮或变暗。作为一个示例，像素事件的事件数据可以基于地址－事件表达(Address-EventRepresentation，AER)进行表示，也可以采用其它包括坐标信息和时间信息的方式进行表示。此外，对于事件的表达方式，维度越多，意味着占用的资源越多，在某些情形下，事件的极性可省略。

坐标信息包括事件在N×K探测平面发生的位置。设定DVS探测平面坐标为X-Y坐标系，例如事件发生的位置为(i,j)，其中N、K为正整数，表示DVS的坐标范围，N×K可代表DVS的分辨率大小，i、j也是正整数。其中，DVS的探测平面可以是正方形或者长方形，也可以是其它形状，如圆形等，位置信息的表示方式也可以是其它表示方式，如极坐标等，本发明在此不做限定。

步骤S2：将DVS输出的第一事件映射至对应的存储空间。具体为，根据第一事件的坐标信息，将所述第一事件的至少时间信息存储至位于第一存储空间中并且与第一事件的坐标信息相对应的第一存储单元。

存储空间或存储器，用于动态存储DVS输出的事件流。例如，如图2中所示，存在一个与DVS N×K探测平面对应的N×K×M存储空间W，其中N为DVS的X坐标范围、K为DVS的Y坐标范围、M对应存储一个DVS事件的数据信息所需的存储区域大小，即每一个事件的数据信息为M bits，或者时间戳位宽。N、K和M可根据需要调节，且均是正整数。存储空间内存储事件信息，有时也称存储空间内存储事件。存储空间可以为空间有序化的寄存器，RAM存储单元、磁盘存储空间等。

对应于事件位置信息的方式，存储空间W中每个点可以用相应的方式来表示。当DVS有最第一事件E输出时，根据坐标或位置(i,j)，第一事件E被映射到W空间相应的存储位置W(i,j)，由于W空间的存储地址已经表征坐标或位置信息，在一个实施例中，可只将包含第一事件E的时间或/和极性等特征的数据信息存储至该存储位置W(i,j)，该方式进一步降低了数据量，更加快速、简洁有效，资源消耗也更少。同时，存储时间或/和极性等特征的数据信息的同时，本领域技术人员可根据实际需求，决定是否位置坐标信息。当然，数据量的增多意味着资源开销的增加，计算复杂度提升，会影响实时性。

随着不断接收DVS产生的事件，事件流将完整分布在W空间中，从而必然会出现第一事件E对应的存储位置W(i,j)留存有第一事件到来之前发生的事件信息，可以使用第一事件E的数据覆盖之前的事件数据，即每新存入一个第一事件E，该地址处原来的事件数据被覆盖，从而保证每个存储位置W(i,j)内所存储的事件都是该区域最新发生或采集的事件。

因此，对于W空间中，存储器按序存储DVS输出的事件流，每个存储位置(单元)均存储了该像素点最新采集的事件。为实现实时、精确的降噪目标，基于上述提出的方案，本发明通过具体的某款DVS举例说明，如图3所示，根据某款DVS探测范围，设定128×128×M的存储空间W，与DVS Pixel像素点一一相对应，M为时间戳位宽，可根据需要调节，如设定为32。

然而，在其它实施例中，存储空间W平面大小可以与DVS探测平面大小不一致，可以仅针对DVS探测平面的部分区域降噪。例如，DVS探测平面为256×128，存储空间W大小为128×128×M。

在进一步地实施例中，还可以增加存储级数，用于存储第一事件E到来之前该存储区域W(i,j)发生的事件信息。

步骤S3：分析事件属性，进行聚类判定。具体为，根据第一事件的坐标信息，在第一存储空间中确定第一事件的聚类范围；根据所述聚类范围内所存储的事件的时间信息与第一事件的时间信息之间的关系，判定所述第一事件是否与聚类范围内的事件形成有效的聚类关系，若是则判定该第一事件为有效事件，若否则判定该第一事件为噪声事件。

在存储空间映射中，所有DVS近期在各坐标发生的事件均得以记录，将存储空间按时间顺序展开，可以观察到一系列的散点。这里通过输入事件E与存储空间各事件散点间聚类关系的判定，来区分噪声和有效事件。

DVS所探测的动态事件一般是由运动物体的边缘区域触发，边缘处强度梯度大，在空间和时间上具有较强的关联性，因此有效事件通常在空间中为集中分布或连续的点。噪声事件，往往随机产生。如前文所述，DVS的成像伴随的噪声有随机噪声、Hot Pixel热点噪声、黑块噪声、黑噪声等。

对于普通噪声事件，如随机噪声或/和hot pixel热点噪声，通常在空间或/和时间上离散分布，表现为单独且离散的点，其与其它事件间的关联较弱，空间聚类集合很小，很容易与真实事件进行区分。而对于特殊噪声事件，如黑块噪声或/和黑噪声，在空间或/和时间上不离散分布，具有一定的时间或/和空间相关性，普通的降噪方式或聚类方式不足以应对。为了进一步提升降噪效果，本发明对该类噪声进行滤除，对该区域的聚类的同时，结合区域内事件发生的频率特性，区分有效事件和噪声事件。

本发明结合DVS实时输出事件的时间和空间特征，对第一事件与之前DVS探测空间的事件进行分析，从而在保证精度的情况下滤除DVS的噪声，保留有效事件，对于DVS成像性能的提高具有重要参考和指导意义。

进一步地，本发明通过聚类的方式甄别出噪声事件与有效事件，如图4所示，通过聚类运算分析，将聚类的事件划分为多个子集合，至少分类为有效事件集合和噪声事件集合，其中每个子集合中的数据具有高度的内在相似性。聚类运算可采用K均值聚类或均值漂移聚类等，实现有效实时的分类。

此外，在DVS实时降噪过程中，对于每个新产生的事件,通过聚类运算，判定该事件与位于存储空间W中的聚类空间范围内事件的聚类关系，根据聚类关系判定该事件属于噪声还是事件。具体步骤如下：

步骤S31：确定空间聚类范围。

根据输入事件的属性，确定空间聚类范围。例如，可以根据输入事件的坐标(i,j)确定输入事件在存储空间W中相关联的坐标范围，例如范围为W(i,j)±d或者W(i±d,j±d)。

聚类范围可根据DVS采样速度、有效事件产生速度等具体情况设定成不同的值，如目标运动快，则有效事件产生速率快，存储空间W中相关联的坐标范围可以大一些。对应的，事件产生速率慢，则存储空间W中相关联的坐标范围可以小一些。

此外，存储空间W中相关联的坐标范围还可以有其它表示范围，如坐标范围为长方形、圆形或其它形状，本发明对此不作限制。

步骤S32：进行聚类分析，滤除普通噪声。

在存储空间W中，在与第一事件对应存储单元相关联的地址范围内(即聚类范围)，将事件聚集起来。通过聚类运算，可以判定该事件是否与聚类范围的事件形成有效的聚类关系，根据聚类关系可以判定该事件属于噪声事件还是有效事件。

该聚类判断易于在硬件中实现，可以使用FPGA、ASIC(如专用接口电路)或IC设计，且涉及的计算、判断都是并行处理，并行处理速度更快、具有更强的实时性，避免了软件进行降噪处理时执行累加操作带来的延迟和功耗增加。

优选地，利用阈值进行聚类判断，判断所述第一事件时有效事件或者噪声事件。

如图5所示，当DVS输出第一事件时，运算单元根据DVS坐标，按照聚类设定确定聚类的范围，如聚类范围为以第一事件为中心周围17×17的像素点方阵。在存储空间中可以采用访问相邻地址的方式获取聚类范围中各像素点的时间戳。

根据上述步骤，可获取第一事件及其聚类范围内事件的信息，该信息至少包括时间信息，通过聚类运算，判定该事件属于噪声事件还是有效事件。

这里简要介绍一种应用于硬件的聚类运算方案，该方案在硬件中实现：

设DVS产生的第一事件E数据信息为：坐标(i,j)、时间戳T(i,j)，聚类范围为[(i-8,j-8),(i-8,j-8+1),…,(i+8,j+8)],设value(k,p)为表征第一事件E(i,j)与聚类范围内某事件E(k,p)在时间方面的关系值(称之为时间关系值)，事件E(k,p)的时间戳为T(k,p)。

前述设定已经实现了空间的筛选，基于简化运算的需求，这里仅考虑时间差以简化运算，即计算第一事件E(i,j)与聚类范围内每一事件E(k,p)的时间间隔(或时间差)dT(k,p)：

dT(k,p)＝T(k,p)-T(i,j)；

设定第一阈值T1，将时间间隔dT与第一阈值T1比较，得到第一事件E(i,j)与聚类范围内任意事件E(k,p)的时间关系值，并且在某类实施例中，所述第一关系值为1，所述第二关系值为0。

当dT<T1时，value(k,p)＝1(第一关系值)，代表第一事件E(i,j)与聚类范围内某事件E(k,p)在时间上相关。当dT>T1时，value(k,p)＝0(第二关系值)，代表二者在时间上无关。

本发明中的时间关系值，是基于两事件之间的时间间隔而通过数值表征其时间相关性。在其它实施例中，所述关系值可为其它值，例如第一关系值可以为2或任意正数，第二关系值可以为-1或任意非正数。如上所述，优选地，在时间间隔大于某范围，认定其关系值为0，否则为某一非0数值。

替代地，任意其它合理的表征远近的一对数值(比如0.01与1)，均可以作为两事件的时间关系值，同时，关系值也可以设置成相反的数值，比如有效事件的关系值为0，噪声事件的关系值为1或－1，本发明对此不做限定。

非常容易预见，本发明中至少此处位置的逻辑判断、数值赋予，均可以根据本发明的构思而合理设置/调整，使之符合解决降噪问题的合乎逻辑的需要，这种逻辑判断、数值赋予的变形并未脱离本发明的构思，是本发明的等同替代方案，同样属于本发明所要求保护的技术方案。

聚类范围内与第一事件具有时间关系的若干事件分布如图6所示(灰色)，将上述第一事件与聚类范围内任意事件之间的时间关系值相加，得到聚类时间关系值总和Value_total，则聚类时间关系值总和为：

在某类实施例中，还可以通过顺序(串行)读/写的方式处理第一事件与聚类范围内事件的时间关系。

以第一关系值为1，第二关系值为0为例，针对聚类时间关系值总和Value_total设置第二阈值：当Value_total大于第二阈值，则认为第一事件与聚类范围内的事件形成有效的聚类关系，具有强关联性，可以认为隶属同一事件集，即动态行为；当Value_total小于第二阈值，则认为第一事件与聚类范围内的事件未形成有效的聚类关系，具有弱关联性，可以认为不隶属同一事件集，即非动态行为，可认为是噪声。据此，可以实现对真实事件的甄别，并滤除噪声。

为了提高数据处理速度，上述时间关系值或/和聚类时间关系值总和的计算可被配置为并行执行，即并行计算第一事件E(i,j)与聚类范围内任意事件的时间关系，或/和完成时间关系值总和的计算和判断。

因此，上述利用第一阈值、第二阈值判定该事件属于噪声事件还是有效事件的过程中涉及的计算、判断都可以采用并行处理，并行处理在硬件中实现，且资源占用少，能够有效降低DVS传感器的输出功耗。

同时该实施例，采用运算非常简洁，例如，利用加法或/和减法运算并行地计算第一事件与聚类范围内每个历史事件的时间间隔，将所述第一事件与聚类范围内每个历史事件的时间间隔与第一阈值并行比较，具有实时、高速的特点，避免了串行计算(如软件进行降噪处理时所需的累加操作)增大延迟和功耗。

进一步地，本发明还包括步骤S33：滤除特殊噪声。

对于存储空间W中相关联坐标范围内的事件(空间聚类中的事件)，根据这些事件发生的时间信息，进一步判定其是否为噪声。如图7所示，空间聚类中的事件的时间戳信息集中在t₁至t_n，计算这些事件发生的平均时间间隔或最大时间间隔，由于黑块噪声、黑噪声类的噪声事件频率极高，常常大于事件产生的频率，通过拒识可以规避该类特殊噪声。

优选的，设置第三阈值，第三阈值为时间阈值或频率阈值。当第三阈值为时间阈值，若空间聚类范围中所有事件的时间间隔(平均时间间隔或/和最大时间间隔)小于该第三时间阈值，则认为该事件为噪声事件，否则，则认为该事件为有效事件。当第三阈值为频率阈值时，若聚类范围内所有事件的平均频率或/和最小频率大于所述第三阈值，则认为该事件为噪声事件，否则为有效事件。

本发明依据噪声事件的时间或/和空间相关性，将噪声分为普通噪声事件(随机噪声，hot pixel)和特殊噪声事件(黑块噪声，黑噪声)，依据步骤S32对普通噪声事件进行滤除，依据步骤S33对特殊噪声事件进行滤除，二者结合起来时，则可以更好地过滤噪声的影响，因此也可以考虑进行联合判定，如图8所示。其中，对特殊噪声进行降噪的步骤S33既可以置于步骤S32之前，也可以置于步骤S32之后，也可以并行同时处理，本发明对此不做限定。

图9是本发明发的聚类降噪方法的简化图，本发明的实时降噪技术主要采用如下方式：实时接收DVS产生的事件，并将该第一事件不断存入存储空间W对应的地址，存储空间W动态变化，实时更新。以第一事件在存储空间的位置为中心确定聚类范围，判定第一事件是否与聚类范围内的事件形成有效的聚类关系，根据聚类关系可以判定该事件属于噪声还是事件。进一步地，根据聚类空间中所有事件发生的平均时间间隔或/和最大时间间隔滤除特殊噪声(黑块噪声、黑噪声)，其中，该步骤可以置于滤除普通噪声事件集合之前，也可以置于滤除普通噪声事件集合之后，也可以并行同时处理。

此外，通过聚类分析，对存储空间内一定范围(聚类范围)内存储的事件进行聚类判定，将聚类范围内的事件进行分类，至少分为有效事件和噪声事件，得到有效事件集合、噪声事件集合。对于有效事件集合进行保留，对于噪声事件集合可以保留用于对后续第一事件的判断，也可以丢弃或滤除噪声事件集合。但对于丢弃噪声事件集合的方法，该方法存在误判缺陷，即部分有效事件被误判为噪声事件，导致部分有效事件缺失，例如目标运动时DVS采集的最初几个有效事件，很有可能被误判为噪声事件。

采用本发明的聚类实时噪声降噪技术，以聚类时间关系值总和为6作为判定依据，即第二阈值设为6，其滤波效果如图10a和图10b、图11a和图11b、图12a和图12b所示。

图10a和图10b为对某款DVS中黑噪声的降噪效果对比图，其中，图10a为降噪前，DVS存在的黑噪声图谱，图10b表示对采用本发明的降噪技术后的黑噪声图谱。图11a和图11b为某款DVS视野内存在黑块物体时，对黑块物体带来的黑块噪声的降噪效果对比图，图11a为降噪前黑块物体带来的黑块噪声图谱，即DVS在静息状态时，视野内黑块物体产生了大量的噪声，图11b表示对采用本发明的降噪技术后的黑块噪声图谱。

从中可以看出，采用本发明的聚类实时噪声降噪技术，降噪后DVS成像存在的黑噪声和黑块噪声基本消除，有效滤除了不期望的环境噪声，即在DVS视野内不存在运动物体时，不产生第一事件，有效降低了系统功耗。

图12a和图12b为某款DVS视野内存在运动物体时(激活状态)，采用本发明的降噪技术前后某款DVS成像效果对比图，图12a表示滤波前，DVS激活状态时的事件图谱(包括噪声事件和有效事件)，图12b表示在DVS激活状态时采用本发明的降噪技术后的事件图谱，从中可看出采用本发明所述的聚类实时噪声降噪技术，能够有效地滤除噪声事件，噪声事件的干扰几乎没有，运动轨迹无损清晰可见，并且整个运动轨迹粗细基本一致，直观地表明在降噪过程中对有效事件很小，降噪效果好。因此，本发明在保证精度的情况下滤除多种噪声，能最大化保留有效事件，对有效事件的杀伤小，对于事件成像装置性能的提高具有重要参考和指导意义。

该类实施例其它未描述内容与先前实施例相同，为避免篇幅过于冗长，此处以引用的方式将先前实施例的全部内容引用于此。

脉冲神经网络处理器或事件驱动处理器与事件成像装置输出的事件流是非常契合，都是基于脉冲事件的异步处理，使得系统中只传递少量信息，实现低功耗和实时性。如图13所示，将训练得到的权重值等配置参数部署至类脑芯片中，芯片中的脉冲神经网络基于降噪后的事件流进行推理，进而提高类脑芯片的推理或分类结果的准确性。

此外，本发明的聚类降噪技术可以集成至事件成像装置中、设于处理器中或/和配置在事件成像装置与处理器之间的接口中，其中该接口电路可以独立存在，也可以与脉冲神经网络处理器或事件驱动处理器集成在单芯片上。其中，该集成可以通过转接板耦接于单芯片，也可以被制造在同一个裸晶中。

本发明还提供一种芯片，其包括如前任意一项所述的聚类降噪装置，或被配置为执行如上的步骤S1～S3以及所述的其它全部步骤。所述处理器/芯片包括但不限于脉冲神经网络处理器、事件驱动处理器、类脑芯片、类脑处理器等。

本发明还提供一种事件成像装置，该事件成像装置包括如前任意一项所述的聚类降噪装置，或者，该事件成像装置应用如前任意一项所述的聚类降噪方法。即本发明的降噪方案可以直接应用于事件成像装置，二者集成与同一产品之中。

本发明还包括一种电子设备，该电子设备包括事件成像装置，以及如前任意一项所述的聚类降噪装置，其中所述的聚类降噪装置被配置为用于对所述事件成像装置输出的事件流进行噪声过滤。

为了实现更好的技术效果或出于某些应用的需求，本领域技术人员可能在本发明的基础之上，对技术方案作出进一步的改进。然而，即便该部分改进/设计具有创造性或/和进步性，只要利用了本发明权利要求所覆盖的技术特征，依据“全面覆盖原则”，该技术方案同样应落入本发明的保护范围之内。

所附的权利要求中所提及的若干技术特征可能存在替代的技术特征，或者对某些技术流程的顺序、物质组织顺序可以重组。本领域普通技术人员知晓本发明后，容易想到该些替换手段，或者改变技术流程的顺序、物质组织顺序，然后采用了基本相同的手段，解决基本相同的技术问题，达到了基本相同的技术效果，因此即便权利要求中明确限定了上述手段或/和顺序，然而该些修饰、改变、替换，均应依据“等同原则”而落入权利要求的保护范围。

对于权利要求中有明确的数值限定的，通常情况下，本领域技术人员能够理解，该数值附近的其它合理数值同样能够应用于某具体的实施方式中。这些未脱离本发明构思的通过细节规避的设计方案，同样落入该权利要求的保护范围。

结合本文中所公开的实施例中描述的各方法步骤和单元，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各实施例的步骤及组成。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明所要求保护的范围。

Claims (20)

1.一种聚类降噪装置，该聚类降噪装置接收事件成像装置输出的若干事件，所述若干事件的数据信息至少包括坐标信息和时间信息，所述若干事件包括第一事件，其特征在于，所述聚类降噪装置包括：

第一存储空间，被配置为：至少用于存储事件的时间信息；

映射模块，被配置为：根据第一事件的坐标信息，将所述第一事件的至少时间信息存储至位于第一存储空间中并且与第一事件的坐标信息相对应的第一存储单元；

聚类运算模块，被配置为：根据第一事件的坐标信息，在第一存储空间中确定第一事件的聚类范围；根据所述聚类范围内所存储的事件的时间信息与第一事件的时间信息之间的关系，判定所述第一事件是否与聚类范围内的事件形成有效的聚类关系，若是则判定该第一事件为有效事件，若否则判定该第一事件为噪声事件。

2.根据权利要求1所述的聚类降噪装置，其特征在于：当所述若干事件中晚于第一事件之后生成的部分事件的至少时间信息被存储至第一存储空间后，根据所述聚类范围内所存储的事件的时间信息与第一事件的时间信息之间的关系，判定所述第一事件是否与聚类范围内的事件形成有效的聚类关系；或者，

当所述第一事件的至少时间信息存储至位于第一存储空间中并且与第一事件的坐标信息相对应的第一存储单元前或后，立即根据所述聚类范围内所存储的事件的时间信息与第一事件的时间信息之间的关系，判定所述第一事件是否与聚类范围内的事件形成有效的聚类关系。

3.根据权利要求1所述的聚类降噪装置，其特征在于：第一事件的聚类范围为：在所述事件成像装置中，在物理空间上与生成所述第一事件的事件成像单元相邻近的事件成像单元映射在第一存储空间中的地址范围。

4.根据权利要求1-3任意一项所述的聚类降噪装置，其特征在于：所述聚类运算模块包括第一阈值判断模块和第二阈值判断模块；

所述第一阈值判断模块，被配置为：基于事件的时间信息，分别计算第一事件与聚类范围内每一事件的时间间隔，将计算得到的时间间隔与第一阈值比较，得到第一事件与聚类范围内每一事件之间的时间关系值；将第一事件与聚类范围内每一事件之间的时间关系值相加，得到聚类时间关系值总和；

所述第二阈值判断模块，被配置为：将所述聚类时间关系值总和与第二阈值比较，依据比较结果判定该事件为噪声事件或者有效事件。

5.根据权利要求1-3任意一项所述的聚类降噪装置，其特征在于：所述聚类运算模块包括第三阈值判断模块；

所述第三阈值判断模块设置有第三阈值，其中所述第三阈值为时间阈值或频率阈值；

若第三阈值为时间阈值时，若聚类范围内所有事件的平均时间间隔或/和最大时间间隔小于所述第三阈值，则判定该事件为噪声事件；

若第三阈值为频率阈值时，若聚类范围内所有事件的平均频率或/和最小频率大于所述第三阈值，则判定该事件为噪声事件。

6.根据权利要求4所述的聚类降噪装置，其特征在于：

所述第一阈值判断模块：并行地计算第一事件与聚类范围内每一事件之间的时间关系值；或/和,并行地将第一事件与聚类范围内每一事件之间的时间关系值相加。

7.根据权利要求4所述的聚类降噪装置，其特征在于：

若时间间隔比第一阈值大，则时间关系值为0；若时间间隔比第一阈值小，则时间关系值为1；若所述聚类时间关系值总和比第二阈值大，则判定为有效事件，否则为噪声事件。

8.一种聚类降噪方法，其特征在于，所述聚类降噪方法包括如下步骤：

接收事件成像装置输出的若干事件，所述若干事件的数据信息至少包括坐标信息和时间信息，所述若干事件包括第一事件；

根据第一事件的坐标信息，将所述第一事件的至少时间信息存储至位于第一存储空间中并且与第一事件的坐标信息相对应的第一存储单元；

根据第一事件的坐标信息，在第一存储空间中确定第一事件的聚类范围；

根据所述聚类范围内所存储的事件的时间信息与第一事件的时间信息之间的关系，判定所述第一事件是否与聚类范围内的事件形成有效的聚类关系，若是则判定该第一事件为有效事件，若否则判定该第一事件为噪声事件。

9.根据权利要求8所述的聚类降噪方法，其特征在于：当所述若干事件中晚于第一事件之后生成的部分事件的至少时间信息被存储至第一存储空间后，根据所述聚类范围内所存储的事件的时间信息与第一事件的时间信息之间的关系，判定所述第一事件是否与聚类范围内的事件形成有效的聚类关系；或者，

当所述第一事件的至少时间信息存储至位于第一存储空间中并且与第一事件的坐标信息相对应的第一存储单元前或后，立即根据所述聚类范围内所存储的事件的时间信息与第一事件的时间信息之间的关系，判定所述第一事件是否与聚类范围内的事件形成有效的聚类关系。

10.根据权利要求8所述的聚类降噪方法，其特征在于：第一事件的聚类范围为：在所述事件成像装置中，在物理空间上与生成所述第一事件的事件成像单元相邻近的事件成像单元映射在第一存储空间中的地址范围。

11.根据权利要求8-10任意一项所述的聚类降噪方法，其特征在于：

基于事件的时间信息，分别计算第一事件与聚类范围内每一事件的时间间隔，将计算得到的时间间隔与第一阈值比较，得到第一事件与聚类范围内每一事件之间的时间关系值；

将第一事件与聚类范围内每一事件之间的时间关系值相加，得到聚类时间关系值总和；

将所述聚类时间关系值总和与第二阈值比较，依据比较结果判定该事件为噪声事件或者有效事件。

12.根据权利要求8-10任意一项所述的聚类降噪方法，其特征在于：

设置第三阈值，其中所述第三阈值为时间阈值或频率阈值；

若第三阈值为时间阈值时，若聚类范围内所有事件的平均时间间隔或/和最大时间间隔小于所述第三阈值，则判定该事件为噪声事件；

若第三阈值为频率阈值时，若聚类范围内所有事件的平均频率或/和最小频率大于所述第三阈值，则判定该事件为噪声事件。

13.根据权利要求11所述的聚类降噪方法，其特征在于：

并行地计算第一事件与聚类范围内每一事件之间的时间关系值；或/和,并行地将第一事件与聚类范围内每一事件之间的时间关系值相加。

14.根据权利要求11所述的聚类降噪方法，其特征在于：

若时间间隔比第一阈值大，则时间关系值为0；若时间间隔比第一阈值小，则时间关系值为1；若所述聚类时间关系值总和比第二阈值大，则判定为有效事件，否则为噪声事件。

15.一种聚类降噪方法，该聚类降噪方法接收事件成像装置输出的第一事件，其特征在于：

获取所述第一事件的数据信息，该数据信息至少包括坐标信息；其中，所述坐标信息为第一事件在事件成像装置探测平面生成时的位置；

根据所述坐标信息，将所述第一事件映射至第一存储空间中对应的第一存储单元；

在第一存储空间中确定第一事件的聚类范围；

通过聚类运算，将聚类范围内的事件进行分类，至少得到有效事件集合、噪声事件集合。

16.根据权利要求15所述的聚类降噪方法，其特征在于：所述聚类运算为采用K均值聚类或/和均值漂移聚类。

17.一种芯片，其特征在于：该芯片中包括如权利要求1-7任意一项所述的聚类降噪装置，或者，该芯片应用如权利要求8-16任意一项所述的聚类降噪方法。

18.根据权利要求17所述的芯片，其特征在于：所述聚类降噪装置被实施在专用接口电路中；或被实施为FPGA电路；或通过软硬件相结合方式实施；或所述聚类降噪方法通过软件在上位机中实现。

19.一种事件成像装置，其特征在于：该事件成像装置包括如权利要求1-7任意一项所述的聚类降噪装置，或者，该事件成像装置应用如权利要求8-16任意一项所述的聚类降噪方法。

20.一种电子设备，其特征在于：该电子设备包括事件成像装置，以及如权利要求1-7任意一项所述的聚类降噪装置，其中所述的聚类降噪装置被配置为用于对所述事件成像装置输出的若干事件进行噪声过滤。

Images