CN115412687B - 主被动结合的降噪装置、方法、视觉传感器和芯片 - Google Patents

Abstract

本发明公开了一种主被动结合的降噪系统。为解决现有降噪效率低、延迟大、功耗大等的技术问题，本发明披露的降噪系统，将事件成像模块产生的事件映射至第一存储空间和第二存储空间，第一存储空间存储对应像素的可信度值，第二存储空间至少存储对应像素产生事件的时间戳。基于可信度值消除闪烁噪声，在第二存储空间中，根据事件成像模块新产生事件的坐标确定空间聚类范围，在聚类空间内进行聚类运算确定是否形成有效的聚类关系，以消除环境噪声，同时，增大通过光接收器的暗电流以消除暗光影响，降噪效率高、有效事件杀伤小、延迟低、功耗低，且易硬件实施。本发明适于事件相机、类脑计算领域。

Description

主被动结合的降噪装置、方法、视觉传感器和芯片

技术领域

本发明涉及一种降噪装置、方法、视觉传感器和芯片，尤其涉及一种主被动结合的降噪装置、方法、视觉传感器和芯片。

背景技术

事件相机（event-camera），其善于捕捉视场内的运动物体，成像完全由事件驱动，具有低功耗、低延迟的特点，是一种新型的视觉传感器，也称动态视觉传感器（DVS）。不同于传统的帧图像传感器（比如APS传感器），事件相机的每个像素独立工作，根据感受到的光线相比于之前的变化，输出ON事件（光强增大）或OFF事件（光强变弱），具体可以参考现有技术1-3。

现有技术1：EP3731516A1；

现有技术2：US7728269B2；

现有技术3：WO2017/174579A1；

然而，当前事件相机输出存在较多的噪声事件（简称噪声），比如随机噪声、热像素噪声、黑块噪声、shot噪声等，导致成像质量不佳。同时，在诸如家庭环境中普遍使用交流电照明，而这会导致交流电驱动的光源不停地闪烁（flickering），造成事件相机不停地生成事件（称为闪烁噪声或闪烁噪声事件）产生不被期望出现的虚假“运动”景象或者导致极为糟糕的成像质量，进而影响后续信息处理难度和能力。此外，事件相机受低照度下高频噪声事件的困扰，在低照度（数Lux光强及其以下）场景下，比如昏暗的地下停车场或更黑的环境中，噪声事件的发放频率更为剧烈，严重影响事件相机在该环境下的应用。

各国研究学者也对此前沿领域做了很多研究工作，但多数降噪方案存在效率低、延迟大、有效事件保留率低等问题。同时，大多数降噪技术，要么仅能过滤某一类噪声，未针对各类噪声的特点以进行全面过滤，要么通用的降噪方案，对多数噪声进行过滤的同时，大量杀伤有效事件，成像质量依旧难以保证。

现有技术4-5是用于消除闪烁噪声的方案，但是计算复杂，且不是事件驱动或者需要时钟，因而在成本/面积、功耗、延迟等方面存在劣势。现有技术6从晶体管级模拟和芯片测量角度，建议从事件阈值θ和控制偏置电流I_pr方面改善噪声性能。

现有技术4：US10248222B2；

现有技术5：US11416759B2；

现有技术6：Graca, R., & Delbrück, T. (20210917). Unraveling theparadox of intensity-dependent DVS pixel noise.ArXiv, abs/2109.08640。

针对上述事件成像降噪技术的不足，本发明提出一种降噪技术，在不影响现有事件成像的优良性能的基础上，能够大幅降低背景噪声且适应低照度，具有低延迟低、低耗能、简洁易实施的特点。

发明内容

为了解决或缓解上述部分或全部技术问题，本发明是通过如下技术方案实现的：

一种降噪装置，接收事件成像模块产生的第一事件；第一存储空间包括第一存储单元，所述第一存储单元用于存储与第一事件对应像素的第一计数值；第二存储空间包括第二存储单元，第二存储单元至少用于存储对应像素生成第一事件或第一事件的前一事件的时间戳；根据第一事件的时间戳和第一事件的前一事件的时间戳，得到第一事件与其前一事件的时间差；判断二者时间戳之差与第一阈值的大小以更新第一计数值；根据更新后的第一数值与第二阈值之间的大小关系，判定所述第一事件是否为闪烁噪声；根据第一事件的坐标信息，在第二存储空间中确定第一事件的聚类空间；根据所述聚类空间内所存储的事件的时间戳与第一事件的时间戳之间的时间关系，判定所述第一事件是否与聚类空间内的事件形成有效的聚类关系，判定所述第一事件是否为有效事件。

在某类实施例中，判定所述第一事件不是闪烁噪声后，再判定所述第一事件是否为有效事件。

在某类实施例中，若所述时间差小于第一阈值，则将位于第一存储空间中对应第一事件的第一存储单元中的第一数值减去一非零常量，否则将该第一数值增加一非零常量，获得更新后的第一数值。

在某类实施例中，分别计算第一事件与聚类空间内任意事件间的时间间隔，将计算得到的时间间隔与第四阈值比较，得到第一事件与聚类空间内事件间的时间关系值；将聚类空间内任意事件与第一事件间的时间关系值相加，得到关系值总和；将关系值总和与第五阈值比较，若关系值总和大于或大于等于第五阈值，则认为所述第一事件是否与聚类空间内的事件形成有效的聚类关系，所述第一事件是为有效事件，否则所述第一事件是为噪声事件。

在某类实施例中，事件成像模块包括至少一个像素电路，用于根据光线变化生成脉冲事件；所述像素电路包括光接收器和开关模块，以及暗电流增强模块；所述光接收器与所述开关模块相耦接；所述暗电流增强模块，其被用于增大通过所述光接收器两端的暗电流或通过所述开关模块的总电流，或者，通过工艺来增大通过所述光接收器两端的暗电流。

在某类实施例中，增大通过所述光接收器两端的暗电流或通过所述开关模块的总电流，以使在小于10 Lux光照条件以下，光电流与增大后的暗电流之和，大于电路电流噪声。

一种降噪方法，接收事件成像模块产生的第一事件；根据第一事件的时间戳和第一事件的前一事件的时间戳，得到第一事件与其前一事件的时间差；判断二者时间戳之差与第一阈值的大小以更新第一计数值；根据更新后的第一数值与第二阈值之间的大小关系，判定所述第一事件是否为闪烁噪声；根据第一事件的坐标信息，确定第一事件的聚类空间；根据所述聚类空间内所存储的事件的时间戳与第一事件的时间戳之间的时间关系，判定所述第一事件是否与聚类空间内的事件形成有效的聚类关系，判定所述第一事件是否为有效事件。

在某类实施例中，判定所述第一事件不是闪烁噪声后，再判定所述第一事件是否为有效事件。

在某类实施例中，分别计算第一事件与聚类空间内任意事件间的时间间隔，将计算得到的时间间隔与第四阈值比较，得到第一事件与聚类空间内事件间的时间关系值；将聚类空间内任意事件与第一事件间的时间关系值相加，得到关系值总和；将关系值总和与第五阈值比较，若关系值总和大于或大于等于第五阈值，则认为所述第一事件是否与聚类空间内的事件形成有效的聚类关系，所述第一事件是为有效事件，否则所述第一事件是为噪声事件。

在某类实施例中，事件成像模块包括至少一个像素电路，用于根据光线变化生成脉冲事件；所述像素电路包括光接收器和开关模块，以及暗电流增强模块；所述光接收器与所述开关模块相耦接；所述暗电流增强模块，其被用于增大通过所述光接收器两端的暗电流或通过所述开关模块的总电流，或者，通过工艺来增大通过所述光接收器两端的暗电流。

一种视觉传感器，该视觉传感器包括如前任意一项所述的降噪装置，或者，该视觉传感器应用如前任意一项所述的降噪方法。

一种芯片，如前任意一项所述的降噪装置，或者，该芯片应用如前任意一项所述的降噪方法。

本发明的部分或全部实施例，具有如下有益技术效果：

1）彻底的事件驱动，方案直接使用事件的时间戳，不需要时钟参与；

2）能够大幅降低背景噪声，包括热像素噪声、黑块噪声、闪烁噪声、黑噪声等，过滤性能好，具有较强的灵活性和广泛地适用性；

3）克服技术偏见，以本领域技术人员极力消除的暗电流为手段，解决本领域的技术难题，消除了暗光影响，保证事件相机在低照度环境下仍能输出高质量成像；

4）通过阈值比较而非有限状态机，后者往往需要大量计算量；

5）本发明降噪的同时，能最大化保留有效事件，对有效事件的杀伤小，虚警概率低；

6）本发明的滤波技术具有高鲁棒性、高抗噪性能、低功耗、低延迟，且支持并行处理，易在硬件中实施，硬件资源消耗小，以极低的成本换来像素及事件相机输出性能的提升。

更多的有益效果将在优选实施例中作进一步的介绍。

以上披露的技术方案/特征，旨在对具体实施方式部分中所描述的技术方案、技术特征进行概括，因而记载的范围可能不完全相同。但是该部分披露的这些新的技术方案同样属于本发明文件所公开的众多技术方案的一部分，该部分披露的技术特征与后续具体实施方式部分公开的技术特征、未在说明书中明确描述的附图中的部分内容，以相互合理组合的方式披露更多的技术方案。

本发明任意位置所披露的所有技术特征所组合出的技术方案，用于支撑对技术方案的概括、专利文件的修改、技术方案的披露。

附图说明

图1是本发明某实施例提供的降噪方法处理的流程图；

图2是本发明某实施例方案整体示意图；

图3是本发明闪烁噪声过滤方案流程图；

图4是本发明某替代实施例中闪烁噪声过滤方案流程图；

图5是本发明某实施例中低聚类降噪方案示意图；

图6是本发明某实施例中聚类计算示意图；

图7是本发明对像素电路进行改进以改善暗光下事件相机的成像质量；

图8是本发明某优选实施例提供的神经网络处理器进行后端处理的示意图。

具体实施方式

由于不能穷尽描述各种替代方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案中的要点内容进行清楚、完整地描述。对于下文未详细披露的其它的技术方案和细节，一般均属于本领域通过常规手段即可实现的技术目标或技术特征，限于篇幅，本发明不对其详细介绍。

除非是除法的含义，本发明中任意位置的“/”均表示逻辑“或”。本发明任意位置中的“第一”、“第二”等序号仅仅用于描述上的区分标记，并不暗示时间或空间上的绝对顺序，也不暗示冠以这种序号的术语与冠以其它定语的相同术语必然是不同的指代。

本发明会对各种用于组合成各种不同具体实施例的要点进行描述，这些要点将被组合至各种方法、产品中。在本发明中，即便仅在介绍方法/产品方案时所描述的要点，意味着对应的产品/方法方案也明确地包括该技术特征。

本发明中任意位置处描述存在或包括某步骤、模块、特征时，并不暗示这种存在是排它性地唯一存在，本领域技术人员完全可以根据本发明所披露的技术方案而辅以其它技术手段而获得其它实施例。本发明所公开的实施例，一般是出于披露优选实施例的目的，但这并不暗示该优选实施例的相反实施例，为本发明所排斥/排除，只要这种相反实施例至少解决了本发明的某个技术问题，都是本发明所希望涵盖的。基于本发明中具体实施例描述的要点，本领域技术人员完全可以对某些技术特征施加替换、删减、增加、组合、调换顺序等手段，获得一个仍遵循本发明构思的技术方案。这些未脱离本发明技术构思的方案也在本发明保护范围之内。

术语解释：

事件成像：其本质是一种事件驱动的图像传感器，如事件相机，也被称为动态视觉传感器（DVS）。基于该原理，有一些技术方案将其与传统帧图像像素融合在一起，所获得的传感器既能输出事件，也能输出像素亮度，比如DAVIS传感器、ATIS传感器，这些基于事件（event-based）的传感器（EBS）在本发明中被统称为事件成像装置，它属于传感器的一种。本发明以事件相机为例，披露噪声过滤的方案。

随机噪声：该噪声在事件成像装置的N×N二维平面中随机生成，从而其连续的事件在空间中均匀分布，通常不存在若干连续的点在同一块较小的平面区域中出现。

Hot Pixel热点噪声：指事件成像装置某些像素点机理存在一定的问题，会频繁误触发，形成固定的噪声来源。热点噪声触发时间间隔通常在毫秒级别，其间隔内会有其它的噪声或者事件，从而也不存在若干连续的噪声在同一块较小的平面区域中出现。

黑块噪声：某些事件成像装置结构对于探测范围中的全部或部分为黑色区块的物体过于敏感，在整个该区域会产生误触发，产生频繁的事件，这种情况本文称之为黑块噪声，它的特征是触发频率远高于正常事件的触发频率，触发周期通常小于10us。

黑噪声：指某些事件成像装置结构在无光或低光条件下非常灵敏，会连续地进行误触发，其噪声覆盖整个事件成像装置探测范围，使事件成像装置探测结构工作在全负荷状态，极大影响了系统的稳定性。它的特征是事件无间隔连续输出，即两个事件间几乎没有时间间隔。

聚类：将一定范围内的数据集合起来，基于一定的分类规则，将数据集合划分为多个子集合，其中每个子集合中的数据具有高度的内在相似性。本发明将一定范围内的事件聚集起来，进行分类，得到噪声事件集和有效事件集合。聚类范围在本文中也称作聚类空间、空间聚类，是与事件成像装置中产生第一事件的某个事件成像单元物理空间上相互临近的事件成像单元集合，或/和其映射在存储空间后的地址范围/集合。

图1是本发明某实施例提供的降噪方法处理的流程图，主要包括：事件成像装置产生事件，并将所述事件映射至存储空间，存储空间包括第一存储空间和第二存储空间。根据环境噪声的特点，过滤闪烁噪声，并通过聚类分析进行被动噪声过滤。

图2是本发明某实施例方案整体示意图。事件成像装置产生第一事件e，其中第一事件是事件成像装置某个像素（如第一像素）所处位置的亮度值发生变化时，实时产生的若干事件中的任意事件。本发明的降噪方案，充分适应事件成像的特点，对于产生的第一事件实时地进行降噪处理，响应速度极快。

事件的信息包括坐标、时间等信息。坐标为事件产生的位置，时间戳为事件产生的时刻，例如在二维空间中，产生第一事件e的第一像素在事件相机像素阵列（也称为探测平面）中的坐标记为（x，y），产生第一事件e的时间称为记作ts(e)。在事件e前生成的且由同一像素（第一像素）生成的事件被记作“e-1”，它是事件e的前一事件（简称前一事件），二者来源像素相同，坐标相同，但时间戳不同，前一事件e-1的时间戳记为ts(e-1)。第一像素生成前一事件e-1后，相继地生成了事件e。

也可以采用其它包括坐标信息和时间信息的方式进行表示，例如事件的信息可以还包括像素感光的明暗变化方向，并被称为极性。对于事件的表达方式，维度越多，意味着占用的资源越多，在某些情形下，事件的极性可省略。

事件成像装置产生的事件映射至第一存储空间和第二存储空间。

第一存储空间和第二存储空间分别用于存储被称为布尔图（bool Map）和活动图（activity Map）的数据，第一存储空间和第二存储空间中的任一存储单元与事件相机像素阵列的任一像素之间存在一一对应关系，例如生成第一事件e的像素的坐标为（x，y），它在布尔图和活动图中分别对应坐标为（x，y）的第一存储单元和第二存储单元。这种逻辑映射关系可以是任意合理方式，本发明对此不做限定。

第一存储空间，其存储单元中存储可信度计数值，用于反应对应像素可信度情况。可信度越高，对应像素受光源闪烁的影响越小。

第二存储空间，其存储单元中至少存储对应像素生成事件的时间戳，例如，至少将第一事件的时间戳存储于位于第二存储空间中与第一事件坐标相对应的存储单元。

第一存储空间和第二存储空间的存储单元可以存储的比特长度可以配置，可在满足精度需要的前提下，选择最小存储长度将有利于降低存储空间/芯片面积。例如第二存储空间中存储的时间戳，可以是与事件生成时精度相同的时间戳，也可以是精度降低后的时间戳。

图3是本发明闪烁噪声过滤方案流程图。步骤S101：接收第一事件e，根据第一事件e的时间戳ts(e)和第一事件的前一事件e-1的时间戳ts(e-1)，得到第一事件与其前一事件的时间戳之差。步骤S102：判断二者时间戳之差与第一阈值

的大小以更新第一计数值（即可信度值），若二者时间戳之差在第一阈值/>

之内（即小于第一阈值，则布尔结果为“真”），则对布尔图中第一存储单元boolMAP（x，y）中存储的第一数值执行减去第一非零常量，否则（结果为“假”），则对布尔图中第一存储单元boolMAP（x，y）中存储的第一数值执行增加第一非零常量。这里的非零常量可以是正数，也可以是负数，如果是负数，那么意味着比较第一数值与第二阈值大小关系后，判断事件e的逻辑将反过来。前述非零常量优选为1，但本发明并不以此为限制。

在某优选实施例中，前述步骤S102可进一步包括：将二者时间戳之差进一步与第三阈值

（比如为第二阈值/2）比较，如果：若二者时间戳之差小于第一阈值/>

，且大于第三阈值/>

（此时布尔结果才为“真”），则对布尔图中第一存储单元boolMAP（x，y）中存储的第一数值执行减去一非零常量，否则增加一非零常量。

步骤S3：将布尔图中第一存储单元boolMAP（x，y）中更新后的第一数值（即更新后的可信度值）与第二阈值

进行比较，若第一数值小于第二阈值/>

，那么就认为事件e是一个由闪烁光源造成的闪烁噪声；否则认为事件e不是闪烁噪声，并执行后级处理。

不论是否判别为闪烁噪声，事件e的时间戳ts(e)被存储在第二存储空间中坐标为（x，y）的第二存储单元中activityMap(x, y)。该存储操作，可以在得到第一事件与其前一事件的时间差后，也可以在判断第一事件是否为闪烁噪声后。

图4是本发明闪烁噪声过滤方案的一个替代实施例。该方案在执行闪烁噪声过滤方法前，还执行降低时间戳精度的步骤。为了降低第二存储空间的大小，通过移位的方式降低时间戳精度，比如左移时间戳后，获得低精度的时间戳ts’(e)，然后进行闪烁噪声过滤。

图5是本发明某实施例中低聚类降噪方案示意图。事件e被映射到第二存储空间中与对应像素生成事件坐标相对应的第二存储单元中，第二存储单元中至少存储对应像素生成事件的时间戳。随着事件成像装置不断产生事件流，第二存储空间中的存储单元均存储了对应像素点（像素坐标）最新采集的事件。在其他实施例中，还可以增加存储级数或存储容量，以存储第一事件e到来之前该聚类范围内发生的事件信息。

根据第一事件e的坐标（x，y），在第二存储空间中确定与事件e相关的聚类空间范围，在聚类空间内进行聚类运算以确定聚类关系。具体地，根据聚类范围内存储的所有事件的时间戳信息与第一事件的时间戳之间的关系，判定第一事件e与聚类范围内的其他事件是否形成有效的聚类关系，若是则第一事件为有效事件。

聚类空间的范围可根据事件相机采样速度、有效事件产生速率设定，如速率快，则聚类空间范围可以大一些，反之可以小一些。聚类空间范围可为正方形、长方形（x±d，y±d）、圆形或其他形状，坐标表示形式也不局限于二维x-y平面。

图6是本发明某实施例中聚类计算示意图。步骤S201：分别计算第一事件e与聚类空间内任意事件间的时间间隔，将计算得到的时间间隔与第四阈值

比较，得到第一事件与聚类空间内事件间的时间关系值。在某些实施例中，关系值计算可配置为并行计算，以提高数据处理速度。/>

若第一事件与聚类空间内任意事件间的时间间隔小于或小于等于第四阈值

（布尔结果为“真”），则得到第一关系值（第二常量），否则（结果为“假”），则得到第二关系值（第三常量）。在某些实施例中，第二常数≥第三常数，例如第二常量可为任意非负常数（例如为1），第三常量为任意非正常数（例如为0），但本发明并不以此为限制。

此外，本发明中大于、小于等措辞本质是一种逻辑比较，为获得相同逻辑比较结果，可以通过对于边界值稍作修改，但这只是本领域的一种等效的惯常替换手段，比如“≥2”与“＞1”，在某些情况下的比较逻辑结果等价。这些基本逻辑变换或边界值修改等，通常可由本领域技术人员合乎逻辑地更改、替换，这同样未脱离本发明的基本构思，仍在本发明的保护范围之内。

步骤S202：将聚类空间内任意事件与第一事件间的时间关系值相加，得到关系值总和。在某些实施例中，关系值总和的计算可配置为并行计算，并行计算易在硬件中实现，且资源占用少、功耗低。

步骤S203：将关系值总和与第五阈值

比较，根据比较结果判定该事件为噪声事件或有效事件。若关系值总和大于或大于等于第五阈值/>

，则认为第一事件与聚类空间内的事件具有强关联性，隶属于同一事件集。反之，则认为不具有相关性，不属于同一事件集，可认为是噪声。

优选地，某类实施例中，先判别是否为闪烁噪声，不是闪烁噪声后再判别是否为有效事件，这样做的好处是闪烁噪声仅仅比较单个像素的时间戳，而聚类降噪则还与该像素的邻居像素（聚类空间）发放过的脉冲事件的时间戳相比较。

上述方案均为被动降噪方法，本发明进一步进行主动降噪，从感光像素电路本身的机理出发，从源头降噪，扩大动态范围，提升成像质量。

对于能感受光线变化而产生脉冲事件的像素电路（如现有技术1-3），这些像素电路的光接收级一般均包括光接收器以及至少一个开关模块。通常来讲，暗电流（darkcurrent）是电路与光电传感器设计中极力避免或消除的电流，它往往会给电路以及传统CMOS相机性能带来不利的影响。如现有技术7：CN108088560A，在低照度情况下，基于事件的传感器性能因为暗电流的噪声而降低性能，为此，引入了dummy像素来消除暗电流的影响，即在感测电流中减去暗电流I_SAT分量。

通常，暗电流（dark current）是电路与光电传感器设计中极力避免或消除的电流，它往往会给电路以及传统CMOS相机性能带来不利的影响。本发明中所披露的方案则反其道而行之，通过增大暗电流来抑制低照度下的噪声事件。

图7是本发明对像素电路进行改进以改善暗光下事件相机的成像质量，包括两种不同实施方案。方案A中，光接收器（图中所示为光电二极管）一端接电源VDD，另一端接开关模块（图中虚线方框），开关模块最终接地。作为一个举例，开关模块中包括一个MOS管，并且第一类方案中的开关模块为PMOS管。方案B中，电源VDD接开关模块，开关模块的另一端接光电二极管，光电二极管的另一端接地，并且作为举例，该方案中的开关模块为一个NMOS管。

该两类方案中的开关模块一般都还与下一级电路连接/耦接，以实现能够产生脉冲事件的像素电路。当然，这里的光电二极管还可以通过其它模块，来耦接电源或接地。开关模块还可以是更为其它复杂的方案，还可以与其它电路组成功能模块，比如电流镜等。在某类实施例中，光接收器与开关模块之间还可以通过其它电路模块相耦接。本发明所适用的像素电路可以是多样的，本发明不以某种具体形式为限。

在本发明中，通过在光接收器两端耦接暗电流增强模块，来增大光接收器两端之间的暗电流。该暗电流增强模块的实施方式可以是任意能增大两个节点之间暗电流的方式，例如开关管类、电阻/电导类、隧穿电流类（tunnel current，即通过电介质层中电子隧穿电流来增大暗电流），结电流类（junction current，如二极管、肖特基二极管或/和反向二极管的反偏电流）等，其中，隧穿电流类器件如电容/电感/开关管等，例如开关管，其栅极与所述光接收器的一端耦接，而源极和漏极耦接于所述光接收器的另一端，或偏置电压。本发明不以某种具体的方式为限制。

此外，本发明还可通过掺杂、表面处理、异质材料等工艺，可以提升光接收器的暗电流，限于篇幅，任意能增加两个节点之间暗电流的方式都在本发明公开的范围之内，本发明不再一一赘述。

光接收器的暗电流I_dc通常远远小于1fA，而电路电流噪声i_noise（含光噪声、电噪声等，通常具有宽频谱、时间平均值为0等特征）则为数个fA或更低。对于光电流I_ph：

l当I_ph>10fA时，i_noise<<I_ph+I_dc，因此噪声事件很少；

l当I_ph<1fA时，i_noise>>I_ph+I_dc，因此噪声事件非常多。

为了降噪，根据本发明的上述实施例，如果增大暗电流I_dc至10fA，那么：i_noise<<I_ph+I_dc将永远成立，这也是为何本发明能够有效抑制暗光下的噪声事件的原因。虽然这一做法违背了本领域的一般“常识”，但本发明克服该技术偏见，有效地解决了这一领域的技术难题。

本发明在被动降噪的基础上，结合主动降噪技术，能充分消除环境背景噪声（热噪声、黑块噪声、黑噪声等），能够避免光源闪烁问题，并且从感光电路上消除暗光影响，扩大了事件相机动态范围，且对有效事件杀伤小，事件相机成像效果极佳。

图8为本发明某优选实施例提供的神经网络处理器进行后端处理的示意图。本发明的聚类降噪技术可以集成至事件成像装置中，或设于处理器中，或/和配置在事件成像装置与处理器之间的接口中，其中该接口电路可以与脉冲神经网络处理器或事件驱动处理器集成在单芯片上。其中，该集成可以通过转接板耦接于单芯片，也可以被制造在同一个裸晶中，构成“感算一体”芯片，如图8中的方案（A），也可以独立存在，如图8中的方案（B）。

尽管已经参考本发明的具体特征和实施例描述了本发明，但是在不脱离本发明的情况下仍可以对其进行各种修改、组合、替换。本发明的保护范围旨在不限于说明书中描述的过程、机器、制造、物质组成、装置、方法和步骤的特定实施例，并且这些方法、模块可能还被实施在相关联、相互依赖、相互配合、前/后级的一个或多个产品、方法当中。

因此，说明书和附图应简单地视为由所附权利要求限定的技术方案的部分实施例的介绍，因而应根据最大合理解释原则对所附权利要求解读，并旨在尽可能涵盖本发明公开范围内的所有修改、变化、组合或等同物，同时还应避免不合常理的解读方式。

为了实现更好的技术效果或出于某些应用的需求，本领域技术人员可能在本发明的基础之上，对技术方案做出进一步的改进。然而，即便该部分改进/设计具有创造性或/和进步性，只要依赖本发明的技术构思，覆盖了权利要求所限定的技术特征，该技术方案同样应落入本发明的保护范围之内。

所附的权利要求中所提及的若干技术特征可能存在替代的技术特征，或者对某些技术流程的顺序、物质组织顺序可以重组。本领域普通技术人员知晓本发明后，容易想到该些替换手段，或者改变技术流程的顺序、物质组织顺序，然后采用了基本相同的手段，解决基本相同的技术问题，达到基本相同的技术效果，因此即便权利要求中明确限定了上述手段或/和顺序，然而该些修饰、改变、替换，均应依据等同原则而落入权利要求的保护范围。

结合本文中所公开的实施例中描述的各方法步骤或模块，能够以硬件、软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各实施例的步骤及组成。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用或设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为在本发明所要求保护的范围之外。

Claims (22)

1.一种降噪装置，其特征在于：

所述降噪装置包括第一存储空间和第二存储空间；

第一存储空间包括至少一个第一存储单元，所述第一存储单元用于存储与事件对应像素的计数值；所述计数值用于反应对应像素可信度情况；

第二存储空间包括至少一个第二存储单元，所述第二存储单元至少用于存储对应像素生成事件的时间戳；

所述降噪装置接收事件成像模块产生的第一事件；根据第一事件的时间戳和第一事件的前一事件的时间戳，得到第一事件与其前一事件的时间差；判断二者时间戳之差与第一阈值的大小以更新与第一事件对应的第一计数值；根据更新后的第一数值与第二阈值之间的大小关系，判定所述第一事件是否为闪烁噪声；

根据第一事件的坐标信息，在第二存储空间中确定第一事件的聚类空间；根据所述聚类空间内所存储的事件的时间戳与第一事件的时间戳之间的时间关系，判定所述第一事件是否与聚类空间内的事件形成有效的聚类关系，判定所述第一事件是否为有效事件。

2.根据权利要求1所述的降噪装置，其特征在于：

若所述时间差小于第一阈值，则将位于第一存储空间中对应第一事件的第一存储单元中的第一数值减去一非零常量，否则将该第一数值增加一非零常量，获得更新后的第一数值。

3.根据权利要求1所述的降噪装置，其特征在于：

分别计算第一事件与聚类空间内任意事件间的时间间隔，将计算得到的时间间隔与第四阈值比较，得到第一事件与聚类空间内事件间的时间关系值；

将聚类空间内任意事件与第一事件间的时间关系值相加，得到关系值总和；

将关系值总和与第五阈值比较，若关系值总和大于或等于第五阈值，则认为所述第一事件是否与聚类空间内的事件形成有效的聚类关系，所述第一事件是为有效事件，否则所述第一事件是为噪声事件。

4.根据权利要求2所述的降噪装置，其特征在于：

如果所述一非零常量为正数，若所述更新后的第一数值小于第二阈值，则判定所述第一事件为闪烁噪声；或者，

如果所述一非零常量为负数，若所述更新后的第一数值大于第二阈值，则判定所述第一事件为闪烁噪声。

5.根据权利要求2所述的降噪装置，其特征在于：

所述减去一非零常量与所述增加一非零常量中的非零常量相同，且均等于1。

6.根据权利要求1所述的降噪装置，其特征在于：

所述第一存储空间中包括若干存储单元，第一存储空间中的若干存储单元与事件成像模块的像素阵列中的若干像素之间存在一一对应关系。

7.根据权利要求1-6任一项所述的降噪装置，其特征在于：

在判定所述第一事件是否为闪烁噪声后或得到第一事件与其前一事件的时间差后，将所述第一事件的时间戳，存储于第二存储空间中对应第一事件的第二存储单元中，以更新第二存储单元。

8.根据权利要求1-6任一项所述的降噪装置，其特征在于：

若所述时间差小于第一阈值并且还大于第三阈值时，则才将位于第一存储空间中对应第一事件的第一存储单元中的第一数值减去一非零常量，否则将该第一数值增加一非零常量。

9.根据权利要求1所述的降噪装置，其特征在于：

所述第二存储空间中包括若干存储单元，第二存储空间中的若干存储单元与事件成像模块的像素阵列中的若干像素之间存在一一对应关系；

所述第一事件的聚类空间为：第二存储空间中与第二存储单元在物理空间上临近的区间范围。

10.根据权利要求9所述的降噪装置，其特征在于：

并行地计算第一事件与聚类范围内每一事件之间的时间关系值；或/和,并行地将第一事件与聚类范围内每一事件之间的时间关系值相加。

11.根据权利要求9或10所述的降噪装置，其特征在于

若第一事件与聚类空间内任意事件间的时间间隔小于或等于第四阈值，则得到第一时间关系值，否则得到第二时间关系值。

12.根据权利要求1-6任一项所述的降噪装置，其特征在于：

事件成像模块包括至少一个像素电路，用于根据光线变化生成脉冲事件；

所述像素电路包括光接收器和开关模块，以及暗电流增强模块；

所述光接收器与所述开关模块相耦接；

所述暗电流增强模块，其被用于增大通过所述光接收器两端的暗电流或通过所述开关模块的总电流，或者，通过工艺来增大通过所述光接收器两端的暗电流。

13.根据权利要求12所述的降噪装置，其特征在于：

所述暗电流增强模块为：通过开关管组成的电路，或电阻电路模块，或基于电介质层中电子隧穿电流的器件，或结电流器件。

14.根据权利要求12所述的降噪装置，其特征在于：

增大通过所述光接收器两端的暗电流或通过所述开关模块的总电流，以使在小于10Lux光照条件以下，光电流与增大后的暗电流之和，大于电路电流噪声。

15.一种降噪方法，其特征在于：

接收事件成像模块产生的第一事件；

根据第一事件的时间戳和第一事件的前一事件的时间戳，得到第一事件与其前一事件的时间差；判断二者时间戳之差与第一阈值的大小以更新第一计数值，所述第一计数值用于反应第一事件对应像素可信度情况；根据更新后的第一计数值与第二阈值之间的大小关系，判定所述第一事件是否为闪烁噪声；

若判定所述第一事件不是闪烁噪声，则根据第一事件的坐标信息，确定第一事件的聚类空间；并根据所述聚类空间内所存储的事件的时间戳与第一事件的时间戳之间的时间关系，判定所述第一事件是否与聚类空间内的事件形成有效的聚类关系，判定所述第一事件是否为有效事件。

16.根据权利要求15所述的降噪方法，其特征在于：

若所述时间差小于第一阈值，则第一数值减去一非零常量，否则将该第一数值增加一非零常量，获得更新后的第一数值。

17.根据权利要求15或16所述的降噪方法，其特征在于：

若所述时间差小于第一阈值并且还大于第三阈值时，则才将第一数值减去一非零常量，否则将该第一数值增加一非零常量。

18.根据权利要求15所述的降噪方法，其特征在于：

第一事件的聚类空间为：在所述事件成像装置中，在物理空间上与生成所述第一事件的事件成像单元相邻近的事件成像单元映射在第二存储空间中的地址范围；所述第二存储空间至少用于存储对应像素生成事件的时间戳。

19.根据权利要求15所述的降噪方法，其特征在于：

分别计算第一事件与聚类空间内任意事件间的时间间隔，将计算得到的时间间隔与第四阈值比较，得到第一事件与聚类空间内事件间的时间关系值；

将聚类空间内任意事件与第一事件间的时间关系值相加，得到关系值总和；

将关系值总和与第五阈值比较，若关系值总和大于或大于等于第五阈值，则认为所述第一事件是否与聚类空间内的事件形成有效的聚类关系，所述第一事件是为有效事件，否则所述第一事件是为噪声事件。

20.根据权利要求15或16所述的降噪方法，其特征在于：

事件成像模块包括至少一个像素电路，用于根据光线变化生成脉冲事件；

所述像素电路包括光接收器和开关模块，以及暗电流增强模块；

所述光接收器与所述开关模块相耦接；

所述暗电流增强模块，其被用于增大通过所述光接收器两端的暗电流或通过所述开关模块的总电流，或者，通过工艺来增大通过所述光接收器两端的暗电流。

21.一种视觉传感器，其特征在于：该视觉传感器包括如权利要求1-14任意一项所述的降噪装置。

22.一种芯片，其特征在于：如权利要求1-14任意一项所述的降噪装置。

Images