CN115412686A - 融合降噪方法及装置、传感器、芯片及电子设备 - Google Patents

Abstract

本发明公开了一种融合降噪方法及装置、传感器、芯片和电子设备。为了使用最少的硬件资源获得最佳的降噪性能，本发明的融合降噪方法利用信用计数和移位寄存器，分别对闪烁噪声、非闪烁噪声过滤。此外，本发明还可以融合像素硬件降噪方案，从源头消除黑噪声。本发明以极低的硬件资源和功耗为代价解决了事件相机成像质量低的难题，获得了能够针对闪烁噪声和多种常规噪声，高速实时、准确地过滤的技术效果，提升了事件相机的工业应用价值。本发明适于事件相机、类脑计算领域。

Description

融合降噪方法及装置、传感器、芯片及电子设备

技术领域

本发明涉及一种融合降噪方法及装置、传感器、芯片和电子设备，具体涉及一种利用多种降噪方式来对事件进行融合降噪的方法及装置、传感器、芯片和电子设备。

背景技术

事件成像装置可以用于追踪、VR（眼球追踪）、避障、光流估计、驾驶员状态检测等领域，其善于捕捉视场内的运动物体，而静止物体在视场内不成像，因而成像完全由事件驱动。

由于事件成像装置通过设定阈值感知事件，每个像素（事件成像单元）感知光强变化，当光强变化超过阈值生成事件或脉冲。在诸如家庭环境中普遍使用交流电照明，而这会导致交流电驱动的光源不停地闪烁，这种光线明暗变化（光源本身和物体反射光）造成事件成像装置不停地生成事件（称为闪烁噪声）产生不被期望出现的虚假“运动”。

同时，由于所有的事件都是异步发生的，事件的时间戳均不相同，目标物体运动产生的事件具有空间和时间上的连续性，而产生常规噪声的原因具有随机性，常规噪声的数量和位置随机，常规噪声的频率随机。以动态视觉传感器（DVS）为例，常规噪声来源多种多样，包括背景活动噪声、热像素（hot-pixel）噪声等。

现有的降噪方案大多围绕噪声的随机性和孤立性开展，且多数在停留在软件或算法层面，该类方案容易占用较大存储空间等硬件资源，虽然有些方案也能占用较少的硬件资源实现降噪，但该方案容易误伤有效事件，难以采用较少的硬件资源即过滤闪烁噪声又过滤多种常规噪声。

基于此，本领域亟需一种融合降噪方法：能够针对闪烁噪声和多种常规噪声，高速实时、准确地过滤，同时计算资源和存储资源消耗少、功耗低，且在硬件中容易实现。

发明内容

为了解决或缓解上述部分或全部技术问题，本发明是通过如下技术方案实现的：

一种融合降噪方法，被用于对事件成像装置输出的输出事件集合进行降噪，所述输出事件集合包括待判别事件，所述输出事件集合中的每个事件至少包括坐标信息和时间戳信息，所述融合降噪方法包括如下步骤：根据所述待判别事件的时间戳信息和待判别事件的前一事件的时间戳信息，得到所述待判别事件与其前一事件的时间差；若所述时间差小于第一阈值，则将位于第二存储空间中对应待判别事件的第二存储单元中的第一数值减去一非零常量，否则将该第一数值增加一非零常量，获得更新后的第一数值；根据所述更新后的第一数值与第二阈值之间的大小关系，判定所述待判别事件是否为噪声事件；若所述待判别事件不是噪声事件，则：根据事件生成或获取到的先后顺序，先入先出地将所述输出事件集合的坐标信息和时间戳信息存储至第一存储空间中；并根据第一存储空间所存储的每个事件的时间戳信息，确定与待判别事件的时间戳之差在预设范围内的事件，构成第一事件集合；再根据第一事件集合中事件的坐标信息和待判别事件的坐标信息，确定第一事件集合中，在待判别事件坐标的预设距离范围内是否有达到预设数量的事件；根据所述第一事件集合中是否有达到预设数量的事件，再次判定所述待判别事件是否为噪声事件。

在某类实施例中，所述事件成像装置包括像素电路，用于根据光线变化生成脉冲事件，所述像素电路包括光接收器和开关模块；所述光接收器与所述开关模块相耦接；以及，暗电流增强模块，其被用于增大通过所述光接收器两端的暗电流或通过所述开关模块的总电流；或者，通过工艺来增大通过所述光接收器两端的暗电流。

在某类实施例中，所述融合降噪方法还包括如下步骤：获取第一存储空间中所包括的第二事件的时间戳信息，以及第一存储空间中最新存入的事件的时间戳信息或待移入第一存储空间中的新事件的时间戳信息，计算二者之间的时间戳之差，若该时间戳之差小于预设的黑噪阈值，则至少判定晚于第二事件之后生成或获取的事件为噪声事件。

在某类实施例中，如果所述一非零常量为正数，若所述更新后的第一数值小于第二阈值，则判定所述待判别事件为闪烁噪声事件；或者，如果所述一非零常量为负数，若所述更新后的第一数值大于第二阈值，则判定所述待判别事件为闪烁噪声事件；或者，如果第一事件集合中未达到预设数量的事件，则判定所述待判别事件为噪声事件。

一种融合降噪方法，被用于对事件成像装置输出的输出事件集合进行降噪，所述输出事件集合包括待判别事件，所述输出事件集合中的每个事件至少包括坐标信息和时间戳信息，所述融合降噪方法包括如下步骤：根据所述待判别事件的时间戳信息和待判别事件的前一事件的时间戳信息，得到所述待判别事件与其前一事件的时间差；判断所述时间差与第一阈值之间的大小关系，并将表示该大小关系的结果写入位于第一存储空间中对应待判别事件的第一列表中的第一位置；根据位于第一存储空间中对应待判别事件的第一列表的若干位置所存储的若干表示大小关系的结果，判定所述待判别事件是否为噪声事件；若所述待判别事件没有被判为噪声事件，则：根据事件生成或获取到的先后顺序，先入先出地将所述输出事件集合的坐标信息和时间戳信息存储至第一存储空间中；根据第一存储空间所存储的每个事件的时间戳信息，确定与待判别事件的时间戳之差在预设范围内的事件，构成第一事件集合；根据第一事件集合中事件的坐标信息和待判别事件的坐标信息，确定第一事件集合中，在待判别事件坐标的预设距离范围内是否有达到预设数量的事件；根据所述第一事件集合中是否有达到预设数量的事件，再次判定所述待判别事件是否为噪声事件。

在某类实施例中，如果所述第一列表的若干位置只有所述第一位置：若所述表示该大小关系的结果为所述时间差小于第一阈值，则判定所述待判别事件为闪烁噪声事件，否则判定所述待判别事件不是闪烁噪声事件；或者，如果所述第一列表的若干位置至少有两个位置：则根据所述第一位置所存储的该大小关系的结果和所述第一列表的其它若干位置最近所存储的表示大小关系的结果中表示同一类大小关系结果的数量，判定所述待判别事件是否为闪烁噪声事件；以及，如果第一事件集合中未达到预设数量的事件，判定所述待判别事件为噪声事件，否则所述待判别事件不是噪声事件。

一种融合降噪装置，该融合降噪装置至少包括第一存储空间和第二存储空间，并且该融合降噪装置根据所述第一存储空间、所述第二存储空间和如前任一项所述的融合降噪方法对待判别事件进行噪声过滤。

一种传感器，该传感器是事件成像装置，该事件成像装置包括像素阵列、第一存储空间和第二存储空间，所述像素阵列中包括生成待判别事件以及生成待判别事件的前一事件的第一像素，根据所述第一存储空间和第二存储空间，以及如前任一项所述的融合降噪方法对所述待判别事件进行噪声过滤。

一种芯片，该芯片上包括事件成像装置以及处理器、第一存储空间和第二存储空间，根据所述第一存储空间和第二存储空间，以及如前任一项所述的融合降噪方法至少对由所述事件成像装置生成的待判别事件进行噪声过滤；所述处理器根据至少经过前述噪声过滤后的待判别事件，对事件成像装置生成的事件进行处理。

一种电子设备，该电子设备部署有如前所述的芯片。

本发明的部分或全部实施例，具有如下有益技术效果：

1）硬件资源消耗低，并且不跟随事件成像装置分辨率的增大而显著增大。进一步，这将降低芯片的硅面积/硅成本，降低芯片静态功耗。

2）实时性高。由于支持并行计算，因此时间复杂度极低，支持对高速事件流的实时处理。这对于方案能否投入实际应用十分重要。

3）降噪效果突出。本发明可以准确过滤噪声事件，保留有效事件，对有效事件的误伤少。

4）支持闪烁噪声和多种常规噪声的过滤。除了常规噪声外，历史移位寄存器方案还可以简单、便捷地过滤黑（块）噪声。

5）方案易于硬件实现。本发明不涉及迭代运算、消耗大量计算资源的复杂运算，因此易于硬件实现。

更多的有益效果将在优选实施例中作进一步的介绍。

以上披露的技术方案/特征，旨在对具体实施方式部分中所描述的技术方案、技术特征进行概括，因而记载的范围可能不完全相同。但是该部分披露的这些新的技术方案同样属于本发明文件所公开的众多技术方案的一部分，该部分披露的技术特征与后续具体实施方式部分公开的技术特征、未在说明书中明确描述的附图中的部分内容，以相互合理组合的方式披露更多的技术方案。

本发明任意位置所披露的所有技术特征所组合出的技术方案，用于支撑对技术方案的概括、专利文件的修改、技术方案的披露。

附图说明

图1是本发明某实施例方案整体示意图；

图2是本发明融合降噪方案中闪烁噪声过滤方案的流程图；

图3是本发明融合降噪方案中的时域过滤示意图；

图4是针对第一事件集合的空域过滤示意图；

图5是某实施例中距离关系值判别示意图；

图6是针对第一事件集合的另一类空域过滤示意图；

图7是本发明所提出的基于暗电流增强模块的像素电路示意图；

图8是本发明所提出像素电路针对黑噪声或黑块噪声的抑制效果示意图；

图9是本发明针对黑噪声或黑块噪声过滤方案示意图；

图10是本发明某实施例方案的结构示意图。

具体实施方式

由于不能穷尽描述各种替代方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案中的要点内容进行清楚、完整地描述。对于下文未详细披露的其它的技术方案和细节，一般均属于本领域通过常规手段即可实现的技术目标或技术特征，限于篇幅，本发明不对其详细介绍。

除非是除法的含义，本发明中任意位置的“/”均表示逻辑“或”。本发明任意位置中的“第一”、“第二”等序号仅仅用于描述上的区分标记，并不暗示时间或空间上的绝对顺序，也不暗示冠以这种序号的术语与冠以其它定语的相同术语必然是不同的指代。

本发明会对各种用于组合成各种不同具体实施例的要点进行描述，这些要点将被组合至各种方法、产品中。在本发明中，即便仅在介绍方法/产品方案时所描述的要点，意味着对应的产品/方法方案也明确地包括该技术特征。

本发明中任意位置处描述存在或包括某步骤、模块、特征时，并不暗示这种存在是排它性地唯一存在，本领域技术人员完全可以根据本发明所披露的技术方案而辅以其它技术手段而获得其它实施例。本发明所公开的实施例，一般是出于披露优选实施例的目的，但这并不暗示该优选实施例的相反实施例，为本发明所排斥/排除，只要这种相反实施例至少解决了本发明的某个技术问题，都是本发明所希望涵盖的。基于本发明中具体实施例描述的要点，本领域技术人员完全可以对某些技术特征施加替换、删减、增加、组合、调换顺序等手段，获得一个仍遵循本发明构思的技术方案。这些未脱离本发明技术构思的方案也在本发明保护范围之内。

部分重要术语及符号解释：

e_i：标号为i的事件，其中i为正整数。

diff(e₀，e_i)：标号为0的新事件与标号为i的事件之间的横坐标、纵坐标差值，是一个向量，比如（1，3）。

d(e₀，e_i)：简写为d(0，i)，新事件e₀的坐标信息（x (e₀)，y(e₀)）与事件e_i的坐标信息（x(e_i)，y(e_i)）之间的某种距离度量，某种实施例下其可以被定义为一个标量。

R(e₀，e_i)：简记为R(0，i)，表示新事件e₀与事件e_i之间的距离关系值。Rs是若干距离关系值的和，称为关系值总和。

x(e_i)，y(e_i)，t (e_i)：分别为标号为i的事件e_i的横坐标、纵坐标、时间戳。

事件相机，其本质是一种事件驱动的图像传感器，也被称为动态视觉传感器（DVS）。基于该原理，有一些技术方案将其与传统帧图像像素融合在一起，所获得的传感器既能输出事件，也能输出像素亮度，比如DAVIS传感器、ATIS传感器，这些基于事件（event-based）的传感器（EBS）在本发明中被统称为事件成像装置，它属于传感器的一种。本发明以事件相机（event camera）为例，披露对闪烁噪声和多种常规噪声过滤的方案。

事件相机，其本质是一种事件驱动的图像传感器，也被称为动态视觉传感器（DVS）。基于该原理，有一些技术方案将其与传统帧图像像素融合在一起，所获得的传感器既能输出事件，也能输出像素亮度，比如DAVIS传感器、ATIS传感器，这些基于事件（event-based）的传感器（EBS）在本发明中被统称为事件成像装置，它属于传感器的一种。本发明以事件相机（event camera）为例，披露对闪烁噪声和多种常规噪声过滤的方案。

事件相机，比如DVS，受噪声干扰或/和运动目标的影响，生成脉冲事件（简称事件）构成的序列，这些输出事件集合通常包括产生事件的成像单元在事件相机中的坐标信息（或位置信息），比如横坐标、纵坐标；事件生成时的时间戳信息；以及其它信息，比如极性信息。

第一存储空间遵循先入先出的存储原则。举例而言，将存储e_n坐标信息和时间戳信息的存储单元中的信息移除，然后将事件e_n-₁的坐标信息和时间戳信息写入之前存储e_n坐标信息和时间戳信息的存储单元，以此类推，将事件e₁的坐标信息和时间戳信息写入之前存储e₂坐标信息和时间戳信息的存储单元，将新事件e₀的坐标信息和时间戳信息写入之前存储e₁坐标信息和时间戳信息的存储单元。换言之，按事件生成的顺序（时间戳）或者第一存储空间获取到的顺序，依次将事件的坐标信息和时间戳信息存入第一存储空间的各个存储单元，当然这里各个存储单元存储的信息可以不限于坐标信息和时间戳信息。

新事件e₀（待判别事件）为事件成像装置当前最新生成的事件，其坐标为（x (e₀)，y(e₀)），其时间戳为t (e₀)。第一存储空间包括若干存储单元，并被用于存储这些事件的至少坐标信息和时间戳信息。比如第一存储空间有n个存储单元，其存储有事件e₁~e_n中每一个事件的坐标信息和时间戳信息，每个存储单元存储一个事件的坐标信息和时间戳信息，其中n为一正整数。举例而言，事件e_n被存储在第一存储空间中的信息为（x(e_n)，y(e_n)，t(e_n)），其中（x(e_n)，y(e_n)）为该事件的坐标信息，t(e_n)为时间戳信息，具体对应第n存储单元。虽然第一存储空间只是被用于存储事件的至少时间戳信息和坐标信息，为了简便描述，本发明中可以视第一存储空间存储是对应该时间戳信息和坐标信息的事件。比如，新事件是待移入第一存储空间中的事件。

耦接：电气元件之间可以建立电气连接，包括直接连接和借助于其它电路模块而连接。

参考图1，对于事件相机生成的待判别事件e₀，不失一般性，可以是事件相机生成的任一事件，其来自第一像素。在事件e₀前生成的且由同一像素（第一像素）生成的事件被记作“e₀-1”，它是事件e₀的前一事件（简称前一事件），二者来源像素相同，坐标相同，但时间戳不同，前一事件e₀-1的时间戳记为t (e₀-1)。第一像素生成前一事件e₀-1后，相继地生成了事件e₀。事件的信息可以还包括像素感光的明暗变化方向，并被称为极性。

此外，还存在两个存储空间，分别称为第一存储空间和第二存储空间，并分别存储被称为活动图（activity Map）和布尔图（bool Map）的数据。活动图和布尔图对应的任一存储单元与事件相机像素阵列的任一像素之间存在一一对应关系。换言之，每个像素在第一存储空间和第二存储空间中分别存在一个对应的存储单元。不失一般性，对于任一事件e₀而言，分别称之为第一存储单元、第二存储单元。为了简化描述，任一事件e₀的生成像素的坐标为（x (e₀)，y(e₀)），它在活动图和布尔图中分别对应的第一存储单元和第二存储单元的坐标在逻辑上都是（x (e₀)，y(e₀)）。这种逻辑映射关系可以是任意合理方式，本发明对此不做限定。

所述的活动图，其对应的第一存储空间中的存储单元所存储的是对应像素生成最新事件的时间戳。换言之，活动图中的数据，是整个像素阵列每个像素最后一次发放事件的时间戳。优选地，存储单元可以是16比特存储长度。值得一提的是，存储长度越短，所需的存储空间越小。在满足精度需要的前提下，选择最小存储长度将有利于降低存储空间/芯片面积。因此这里的时间戳，可能是降低在事件相机中生成的像素时间戳时的精度（原时间戳精度）后的时间戳，当然选择按原时间戳精度存储，也是可以的。

所述的布尔图，其对应的第二存储空间中的存储单元所存储的是一个计数，该计数反映的是对应像素的可信度。事件e₀对应的该计数的数值越大，事件e₀是由闪烁光源造成的可能性越小。优选地，存储单元可以是3比特存储长度，1比特存储长度是一种极为特殊的特例，也可以是4比特、5比特。若为3比特，某实施例中其存储的值位于-4至3之间，初始值为0。

第一存储空间、第二存储空间，是芯片存储区域的一部分。事件相机的像素阵列是芯片的感光部分，像素电路中可以包括光电二极管。像素阵列和第一存储空间以及第二存储空间，所构成的芯片可以仅仅是事件成像装置，即一个传感器。该传感器还可以与处理器通过转接板而连接在一起，构成一颗“感算一体”的芯片，这时的第一存储空间和第二存储空间，作为用于构建降噪电路/模块而可以视为接口电路的一部分。

本发明的融合降噪方案包括闪烁噪声和常规噪声的过滤，分别对待判别事件进行闪烁噪声和常规噪声的判定，可以是同时判定，也可以是依次判定，在此不限定闪烁噪声和常规噪声的判定顺序，在待判别事件为闪烁噪声或常规噪声时，过滤待判别事件。

参考图2，这里生成事件的装置可以是任意一种事件成像装置。待判别事件e₀，其时间戳t (e₀)与前一事件e₀-1的时间戳t (e₀-1)做差，得到的结果与第一阈值

比较，若二者时间戳之差在第一阈值

之内（即小于第一阈值，则布尔结果为“真”），则对布尔图中第二存储单元中存储的第一数值boolMAP（x (e₀)，y(e₀)）（本质是可信度计数值）执行减去一非零常量，否则（结果为“假”），则对布尔图中第二存储单元中存储的第一数值boolMAP（x(e₀)，y(e₀)）执行增加一非零常量。这里的非零常量可以是正数，也可以是负数，如果是负数，那么意味着比较第一数值与第二阈值

大小关系后，判断事件e₀的逻辑将反过来。前述非零常量优选为1。

作为前述实施例进一步优选实施例，前述做差得到的结果还进一步与第三阈值

（比如为第二阈值/2）比较，如果：若二者时间戳之差在第二阈值

之内，且大于第三阈值

（此时布尔结果才为“真”），则对则对布尔图中第二存储单元中存储的第一数值boolMAP（x (e₀)，y(e₀)）执行减去一非零常量，否则增加一非零常量。

然后根据布尔图中第一存储单元中存储的第一数值boolMAP（x (e₀)，y(e₀)）与第二阈值

进行比较，若第一数值小于第二阈值

，那么就认为事件e₀是一个由闪烁光源造成的闪烁噪声事件；否则认为事件e₀不是闪烁噪声。

不论是否判别为闪烁噪声，事件e₀的时间戳t (e₀)被存储在第一存储空间中坐标为（x (e₀)，y(e₀)）的第一存储单元中，其值被记为activityMap（x (e₀)，y(e₀)）。该存储操作，可以在得到待判别事件与其前一事件的时间差后，也可以在判断待判别事件是否为闪烁噪声后。作为后续，当像素阵列中坐标为（x (e₀)，y(e₀)）的像素再次发放一个新的事件e₀+1后，前述的activityMap（x (e₀)，y(e₀)）值被读取并作为前述新的事件e₀+1的前一事件e₀的时间戳t (e₀)。换言之，在更新活动图的过程中，事件e₀的前一事件e₀-1的时间戳t (e₀-1)被事件e₀的时间戳t (e₀)冲刷掉，因此这也是为何活动图中的数据是整个像素阵列每个像素最后一次发放事件的时间戳。

本发明在融合降噪方法中过滤常规噪声的方法包括时域聚类过滤部分和空域聚类过滤部分。时域聚类过滤部分：依据第一时间阈值T_θ，确定待判别事件的第一事件集合。具体地，判断存储在第一存储空间中的事件的时间戳信息（t (e₁),t (e₂), t(e₃),…, t(e_n);）与新事件的时间戳信息t (e₀)之间的差值与第一时间阈值之间的大小关系，找到生成时间最久的且与新事件的时间戳信息t (e₀)之间的差值小于第一时间阈值（比如20毫秒）的事件。参考图3，该示例中事件e₆是符合该条件的事件，进而第一事件集合被确定为e₁~e₆。

确定第一事件集合的方式可以有多种。比如，按照事件e₁~ e_n的发生顺序依次计算事件的时间戳与t (e₀)差值，并与待判别事件阈值比较大小，首次发现前述大小关系翻转处，即可确定第一事件集合。当然，也可以倒序进行判断，比如按照事件e₁~ e_n的发生顺序。

参考图4，接着将第一事件集合（而非第一存储空间中的所有事件）作为时域聚类结果，参与后续的空域聚类过滤部分。在某类实施例中，基于新事件e₀的坐标信息与第一事件集合中的每一事件（e₁~ e_m）的坐标信息完成空域聚类过滤，并最终判断新事件e₀是否为常规噪声事件。

参考图5，新事件e₀的坐标为（x (e₀)，y(e₀)），从空域角度，如果该新事件周围一定范围内，比如（x (e₀)±d, y(e₀)±d）范围内所发生的事件，与新事件属于同一聚类事件，比如逻辑上认为这些事件属于某目标对象触发的某个区域内事件成像单元的改变，其中d为一实数。当然这里限定的一定范围，可以根据实际应用需要，而设置成多种方式，比如方形、不固定边长的长方形，本发明不以此为限。

继续参考图3，为了完成空域聚类判断，本发明的某类实施例中，在距离关系值计算模块中，可以采取基于距离关系值R（e₀, e_i）来对信息降维。示例地，在某优选实施例中，从数学上描述如下：

其中，R（e₀, e_i）（简记为R(0,i)）表示新事件e₀与事件e_i之间的距离关系值，若新事件e₀的坐标信息（x (e₀)，y(e₀)）与事件e_i的坐标信息（x (e_i)，y(e_i)）之间的距离d(e₀,e_i)（简记为d(0,i)）在某个设定的距离d以内，则距离关系值为1，否则距离关系值为0，其中i为正整数，d为第一距离阈值，比如d=8。

显然距离关系值的定义可以是多种多样的，比如数值上可以不必为1与0，还可以是2与0、1与0.01、-1与0，1与-1等等，这些定义可能会导致在判断是否为常规噪声事件上的逻辑调整乃至逻辑反转，但这些逻辑适应对本领域技术人员而言显而易见的，本发明不以此为限。

此外，显然的定义也可以是多种多样的，举例地，在某些优选实施例中，其可以被定义为：

，或者为

且

。事实上，原则上任何能表征新事件e₀与事件e_i的距离远近的量化方式，都可以作为新事件e₀与事件ei之间的距离关系值，本发明不以该些例子为限。

参考图4，关系值求和模块对第一事件集合中的所有事件与新事件之间的距离关系值求和，获得关系值总和Rs。基于该关系值总和Rs与第四阈值的比较结果，噪声判断模块判决新事件是噪声事件或者有效事件。比如在前述设定的距离关系值为1和0的实施例中，若关系值总和Rs小于（或≤）第四阈值，则认为新事件为噪声事件，否则认为新事件为有效事件。换言之，这里若判断新事件与第一事件集合中的事件形成了有效聚类即认为该事件是有效事件，否则为噪声事件。

参考图4，若第一事件集合中的事件个数为整数m，在某类实施例中，可以通过计算新事件与第一事件集合中每一事件的横坐标距离和纵坐标距离，若横坐标距离和纵坐标距离均相等，即该事件是相同事件成像单元所发放的事件。当然也可以直接对事件的坐标值进行比对后过滤，还可以设置第五阈值，对相同事件数量大于第五阈值的事件进行去重，本发明不以此为限。设经过过滤后的事件数量为整数m’，其中m’ ≤m。

参考图6其是本发明所提出的针对第一事件集合空域聚类过滤的另一类实施例。与图3代表的实施例不同的是，该类实施例不立即判断新事件e₀是否是常规噪声事件，而是在将某一个事件，比如事件e₄移入第一存储空间中一定深度后，再对该事件e₄（待判别事件）是否为噪声事件进行判断，其判断逻辑与前述的多个实施例相同，此处以引用前述描述的方式将其引入此处，在此不再赘述。其中，在确定第一事件集合时，确定与待判别事件发生的时间差（比如，时间戳的差值）在设定范围内的事件为第一事件集合中的元素。第一事件集合中的事件，可以先于待判别事件发生（e₅~e_m），也可以晚于待判别事件发生（e₁~e₃）。

移入一定深入后，再判断该事件是否为噪声事件的好处是：运动目标的边缘刚生成的新事件可能因为其附近空间区域所积累的事件不足而在前述实施例中被判别为噪声事件，影响成像效果，而移入一定深度后，则允许后续的事件有机会与之形成有效聚类，因而虽然引入一定延迟但是能有效避免该类事件的误判，提升准确度。

本发明中，在事件e₀不是闪烁噪声事件和常规噪声事件中的任意一种噪声事件时，则事件e₀为有效事件，并执行后级处理。

此外，本发明中大于、小于等措辞本质是一种逻辑比较，为获得相同逻辑比较结果，可以通过对于边界值稍作修改，但这只是本领域的一种等效的惯常替换手段，比如“≥2”与“＞1”，在某些情况下的比较逻辑结果等价。这些基本逻辑变换或边界值修改等，通常可由本领域技术人员合乎逻辑地更改、替换，这同样未脱离本发明的基本构思，仍在本发明的保护范围之内。

优选地，参考图7，本发明的事件成像装置包括像素电路，像素电路用于根据光线变化生成脉冲事件。像素电路包括光接收器、开关模块以及暗电流增强模块。光接收器与开关模块相耦接，通过在光接收器两端耦接暗电流增强模块，来增大光接收器两端之间的暗电流。该暗电流增强模块的实施方式可以是任意能增大两个节点之间暗电流的方式，本发明不以某种具体的方式为限制。

作为举例，本发明还提供以下四类暗电流增强模块实现方式：

1）开关管类。举例地，通过至少一个MOS管来耦接光接收器的两端，以增大光接收器两端的暗电流。

2）电阻类。举例地，在光接收器两端耦接具有一定等效阻值的电阻电路模块，比如是一个电阻，举例地通过低掺杂的硅，来增大光接收器两端的暗电流。

3）隧穿电流（tunnel current）类。即通过电介质层中电子隧穿电流来增大暗电流。

举例地，在光接收器两端耦接具有一定等效电容值的电容模块。通过电容两端的隧穿的电流来增大光接收器两端的暗电流。

优选地，通过至少一个开关管（NMOS或/和PMOS），其栅极耦接于光接收器一端，而漏极和源极耦接偏置电压或所述光接收器的另一端（比如共同接地）。

4）结电流（junction current）类。举例地，通过并联一个反向二极管，利用反向二极管中的反偏电流来增大光接收器两端的暗电流。

在另一类实施例中，通过肖特基二极管来增大光接收器两端的暗电流（未示出）。这里的二极管、肖特基二极管，均属于基于结电流器件来生成暗电流。

此外，本发明还披露一种工艺类方案。通过掺杂、表面处理、异质材料等工艺，可以提升光接收器的暗电流。一般地，越是先进的工艺，光接收器的暗电流越低，但是通过掺杂或其它工艺手段，来提升光接收器的暗电流，在本发明中可以明显抑制低照度下的噪声事件。

该类实施例中，并非通过独立的器件来实现暗电流增强，而是内化于光接收器内部，通过对光接收器进行改进来获得更大的暗电流。

以上方式是对如何增加两个节点之间的暗电流的一些举例，由于还有更多的增大暗电流方式，限于篇幅，本发明不再一一赘述。本发明不以前述举例为限。

举例地，在不同光照条件（比如小于10 Lux）以下，光电流与增大后的暗电流之和，大于电路电流噪声，比如前者是后者的10倍及其以上。

如图8所示，通过前述的方案，增大暗电流后，在低照度下非常有效地抑制住了噪声事件的频率，有效改善了事件相机等视觉传感器的可应用场景。

举例地，作为本发明的原理阐释，光接收器的暗电流I_dc通常远远小于1fA，而电路电流噪声i_noise（含光噪声、电噪声等，通常具有宽频谱、时间平均值为0等特征）则为数个fA或更低。对于光电流I_ph：

1)当I_ph>10fA时，i_noise<<I_ph+I_dc，因此噪声事件很少；

2)当I_ph<1fA时，i_noise>>I_ph+I_dc，因此噪声事件非常多。

为了降噪，根据本发明的实施例，通过融合降噪方法中的像素电路增大暗电流I_dc至10fA，那么：i_noise<<I_ph+I_dc将永远成立，这也是为何本发明能够有效抑制暗光下的噪声事件（黑噪声或黑块噪声）的原因，再得到事件e₀不是闪烁噪声事件和常规噪声事件中的任意一种噪声事件时，则事件e₀为有效事件，并将事件e₀交由后级处理。该实施列在硬件资源消耗低的情况下，可以抑制黑噪声、并过滤闪烁噪声和多种常规噪声，降噪效果突出。

参考图9，其展示的增加黑噪声或黑块噪声的过滤方案。黑噪声或黑块噪声是一种频率尤其高的噪声，是由于事件成像装置对于全部或部分为黑色区块的物体，或者在低光（或无光）条件下频繁的误触发所产生，其特征是噪声事件几乎无间隔连续输出，触发频率远高于正常事件的触发频率，触发周期通常小于10微秒，频率在10万赫兹以上。

在本发明前述实施例中，十分便于实施黑噪声或黑块噪声判别方案。由于第一存储空间中依照时间戳顺序存储了大量的事件，设定某个整数p，第二事件e_p与第一存储空间中最新存入事件e₀之间的时间差为t(e_p)-t(e₀)，若t(e_p)-t(e₀)<T_b，则可以直接判定第二事件e_p与事件e₀之间的事件均为黑噪声或黑块噪声（高频噪声），否则不是黑噪声或黑块噪声，其中t(e_p)和t(e₀)分别为第二事件e_p与事件e₀的时间戳，T_b为黑噪阈值。比如，假定发放频率不低于3微秒的事件为黑噪声，p=100，那么T_b可以设置为300微秒。

作为替代实施例，第二存储空间所存储的布尔图还可以通过一组数据来存储同一像素对应的相继生成的多个事件的前述布尔结果。换言之，前述实施例只根据最新事件e₀的前述布尔结果对第一数值boolMAP（x (e₀)，y(e₀)）进行增/减计数，而替代实施例则保留前后多次布尔结果历史记录（原则上保存每个像素前后多次事件的时间戳也可行，但对存储空间需求较大），显然从更为丰富的历史记录中，很容易算得对应的第一数值，以及其与第二阈值

的大小关系。该方案可以解决闪烁噪声问题，但缺点是需要更大的第一存储空间。这些特例或替代实施例，仍在本发明所披露的技术构思之内。

换言之，这里披露的融合降噪方法，包括如下步骤：被用于对事件成像装置输出的输出事件集合进行降噪，输出事件集合包括待判别事件，输出事件集合中的每个事件至少包括坐标信息和时间戳信息，融合降噪方法包括如下步骤：根据事件生成或获取到的先后顺序，先入先出地将输出事件集合的坐标信息和时间戳信息存储至第一存储空间中；根据待判别事件的时间戳信息和待判别事件的前一事件的时间戳信息，得到待判别事件与其前一事件的时间差；判断时间差与第一阈值之间的大小关系，并将表示该大小关系的结果写入位于第一存储空间中对应待判别事件的第一列表中的第一位置；或根据第一存储空间所存储的每个事件的时间戳信息，确定与待判别事件的时间戳之差在预设范围内的事件，构成第一事件集合；根据第一事件集合中事件的坐标信息和待判别事件的坐标信息，确定第一事件集合中，在待判别事件坐标的预设距离范围内是否有达到预设数量的事件；根据位于第一存储空间中对应待判别事件的第一列表的若干位置所存储的若干表示大小关系的结果，以及第一事件集合中是否有达到预设数量的事件，判定待判别事件是否为噪声事件。

优选地，如果所述第一列表的若干位置只有所述第一位置（此时第一位置，可以就是存储前述判断大小关系的结果的一个临时位置）：若所述表示该大小关系的结果为所述时间差小于第一阈值，则判定待判别事件为闪烁噪声，否则判定待判别事件不是闪烁噪声。该实施例对应前述特例。

优选地，如果所述第一列表的若干位置至少有两个位置：则根据所述第一位置所存储的该大小关系的结果和所述第一列表的其它若干位置最近所存储的表示大小关系的结果中表示同一类大小关系结果的数量，判定待判别事件是否为闪烁噪声。这里选择其它若干位置最近所存储的表示大小关系的结果的原因在于同一像素最近触发所述大小关系，更能反映待判别事件e₀是否为闪烁噪声。比如，第一列表中存储了5个表示小于关系和2个表示大于关系的值，这等效于前述第一数值等于3的情形。

应注意，该替代实施例或特例，其它技术特征与在此前述的技术特征相同（不明显违背逻辑的前提下），在此以引用的方式将其罗列于此。

参考图10，其展示的是本发明优选实施例中的降噪流程。首先通过千速像素电路层面，消除黑噪声；然后通过图2所代表的信任计数方案消除闪烁噪声，最后再利用图4或6所代表的历史移位寄存器方案，消除常规噪声（含hot-pixel噪声、背景随机噪声等）。

以上融合降噪方法流程，可以通过设计对应集成电路以实现相应的信息处理流程，以形成最终的事件成像装置或芯片，也可以通过FPGA或软件的方法实现，实现上述方法的物理载体就是融合降噪装置。需要说明的是，本发明中各种阈值等参数，均是可配置的，方便根据不同的场景予以调整。此外所述的第一存储空间、第二存储空间中的存储单元可以是集中式的，也可以是分布式的。

应用前述融合降噪方法，或包括前述融合降噪装置的事件成像装置，可以具有较好的抗闪烁噪声性能。而应用前述闪烁噪声过滤方法，或包括前述噪声过滤装置、事件成像装置的电子设备，可以比较容易地在交流电源驱动的光源下工作。

换言之，这里披露了：一种融合降噪装置，该融合降噪装置至少包括第一存储空间和第二存储空间，并且该融合降噪装置根据第一存储空间、第二存储空间和如前任一项的融合降噪方法对待判别事件进行噪声过滤。

一种传感器，该传感器是事件成像装置，该事件成像装置包括像素阵列、第一存储空间和第二存储空间，像素阵列中包括生成待判别事件以及生成待判别事件的前一事件的第一像素，根据第一存储空间和第二存储空间，以及如前任一项的融合降噪方法对待判别事件进行噪声过滤。

一种芯片，该芯片上包括事件成像装置以及处理器、第一存储空间和第二存储空间，根据第一存储空间和第二存储空间，以及如前任一项的融合降噪方法至少对由事件成像装置生成的待判别事件进行噪声过滤；处理器根据至少经过前述噪声过滤后的待判别事件，对事件成像装置生成的事件进行处理。

一种电子设备，该电子设备部署有如前所述的芯片，并被用于处理环境信号。

尽管已经参考本发明的具体特征和实施例描述了本发明，但是在不脱离本发明的情况下仍可以对其进行各种修改、组合、替换。本发明的保护范围旨在不限于说明书中描述的过程、机器、制造、物质组成、装置、方法和步骤的特定实施例，并且这些方法、模块可能还被实施在相关联、相互依赖、相互配合、前/后级的一个或多个产品、方法当中。

因此，说明书和附图应简单地视为由所附权利要求限定的技术方案的部分实施例的介绍，因而应根据最大合理解释原则对所附权利要求解读，并旨在尽可能涵盖本发明公开范围内的所有修改、变化、组合或等同物，同时还应避免不合常理的解读方式。

为了实现更好的技术效果或出于某些应用的需求，本领域技术人员可能在本发明的基础之上，对技术方案做出进一步的改进。然而，即便该部分改进/设计具有创造性或/和进步性，只要依赖本发明的技术构思，覆盖了权利要求所限定的技术特征，该技术方案同样应落入本发明的保护范围之内。

所附的权利要求中所提及的若干技术特征可能存在替代的技术特征，或者对某些技术流程的顺序、物质组织顺序可以重组。本领域普通技术人员知晓本发明后，容易想到该些替换手段，或者改变技术流程的顺序、物质组织顺序，然后采用了基本相同的手段，解决基本相同的技术问题，达到基本相同的技术效果，因此即便权利要求中明确限定了上述手段或/和顺序，然而该些修饰、改变、替换，均应依据等同原则而落入权利要求的保护范围。

结合本文中所公开的实施例中描述的各方法步骤或模块，能够以硬件、软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各实施例的步骤及组成。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用或设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为在本发明所要求保护的范围之外。

Claims (10)

1.一种融合降噪方法，被用于对事件成像装置输出的输出事件集合进行降噪，所述输出事件集合包括待判别事件，所述输出事件集合中的每个事件至少包括坐标信息和时间戳信息，其特征在于，所述融合降噪方法包括如下步骤：

根据所述待判别事件的时间戳信息和待判别事件的前一事件的时间戳信息，得到所述待判别事件与其前一事件的时间差；

若所述时间差小于第一阈值，则将位于第二存储空间中对应待判别事件的第二存储单元中的第一数值减去一非零常量，否则将该第一数值增加一非零常量，获得更新后的第一数值；

根据所述更新后的第一数值与第二阈值之间的大小关系，判定所述待判别事件是否为噪声事件；

若所述待判别事件不是噪声事件，则：根据事件生成或获取到的先后顺序，先入先出地将所述输出事件集合的坐标信息和时间戳信息存储至第一存储空间中；并根据第一存储空间所存储的每个事件的时间戳信息，确定与待判别事件的时间戳之差在预设范围内的事件，构成第一事件集合；再根据第一事件集合中事件的坐标信息和待判别事件的坐标信息，确定第一事件集合中，在待判别事件坐标的预设距离范围内是否有达到预设数量的事件；根据所述第一事件集合中是否有达到预设数量的事件，再次判定所述待判别事件是否为噪声事件。

2.根据权利要求1所述的融合降噪方法，所述事件成像装置包括像素电路，用于根据光线变化生成脉冲事件，其特征在于：

所述像素电路包括光接收器和开关模块；

所述光接收器与所述开关模块相耦接；以及，

暗电流增强模块，其被用于增大通过所述光接收器两端的暗电流或通过所述开关模块的总电流；或者，

通过工艺来增大通过所述光接收器两端的暗电流。

3.根据权利要求1所述的融合降噪方法，其特征在于：所述融合降噪方法还包括如下步骤：获取第一存储空间中所包括的第二事件的时间戳信息，以及第一存储空间中最新存入的事件的时间戳信息或待移入第一存储空间中的新事件的时间戳信息，计算二者之间的时间戳之差，若该时间戳之差小于预设的黑噪阈值，则至少判定晚于第二事件之后生成或获取的事件为噪声事件。

4.根据权利要求1所述的融合降噪方法，其特征在于：所融合降噪方法还包括：

如果所述一非零常量为正数，若所述更新后的第一数值小于第二阈值，则判定所述待判别事件为闪烁噪声事件；或者，

如果所述一非零常量为负数，若所述更新后的第一数值大于第二阈值，则判定所述待判别事件为闪烁噪声事件；或者，

如果第一事件集合中未达到预设数量的事件，则判定所述待判别事件为噪声事件。

5.一种融合降噪方法，被用于对事件成像装置输出的输出事件集合进行降噪，所述输出事件集合包括待判别事件，所述输出事件集合中的每个事件至少包括坐标信息和时间戳信息，其特征在于，所述融合降噪方法包括如下步骤：

根据所述待判别事件的时间戳信息和待判别事件的前一事件的时间戳信息，得到所述待判别事件与其前一事件的时间差；

判断所述时间差与第一阈值之间的大小关系，并将表示该大小关系的结果写入位于第一存储空间中对应待判别事件的第一列表中的第一位置；

根据位于第一存储空间中对应待判别事件的第一列表的若干位置所存储的若干表示大小关系的结果，判定所述待判别事件是否为噪声事件；

若所述待判别事件没有被判为噪声事件，则：根据事件生成或获取到的先后顺序，先入先出地将所述输出事件集合的坐标信息和时间戳信息存储至第一存储空间中；根据第一存储空间所存储的每个事件的时间戳信息，确定与待判别事件的时间戳之差在预设范围内的事件，构成第一事件集合；根据第一事件集合中事件的坐标信息和待判别事件的坐标信息，确定第一事件集合中，在待判别事件坐标的预设距离范围内是否有达到预设数量的事件；根据所述第一事件集合中是否有达到预设数量的事件，再次判定所述待判别事件是否为噪声事件。

6.根据权利要求5所述的融合降噪方法，其特征在于：

如果所述第一列表的若干位置只有所述第一位置：若所述表示该大小关系的结果为所述时间差小于第一阈值，则判定所述待判别事件为闪烁噪声事件，否则判定所述待判别事件不是闪烁噪声事件；或者，

如果所述第一列表的若干位置至少有两个位置：则根据所述第一位置所存储的该大小关系的结果和所述第一列表的其它若干位置最近所存储的表示大小关系的结果中表示同一类大小关系结果的数量，判定所述待判别事件是否为闪烁噪声事件；以及，

如果第一事件集合中未达到预设数量的事件，判定所述待判别事件为噪声事件，否则所述待判别事件不是噪声事件。

7.一种融合降噪装置，其特征在于：

该融合降噪装置至少包括第一存储空间和第二存储空间，并且该融合降噪装置根据所述第一存储空间、所述第二存储空间和如权利要求1-6任一项所述的融合降噪方法对待判别事件进行噪声过滤。

8.一种传感器，该传感器是事件成像装置，该事件成像装置包括像素阵列、第一存储空间和第二存储空间，所述像素阵列中包括生成待判别事件以及生成待判别事件的前一事件的第一像素，其特征在于：

根据所述第一存储空间和第二存储空间，以及权利要求1-6任一项所述的融合降噪方法对所述待判别事件进行噪声过滤。

9.一种芯片，该芯片上包括事件成像装置以及处理器、第一存储空间和第二存储空间，其特征在于：

根据所述第一存储空间和第二存储空间，以及权利要求1-6任一项所述的融合降噪方法至少对由所述事件成像装置生成的待判别事件进行噪声过滤；

所述处理器根据至少经过前述噪声过滤后的待判别事件，对事件成像装置生成的事件进行处理。

10.一种电子设备，其特征在于：该电子设备部署有如权利要求9所述的芯片。

Images