CN117479031A - 一种事件传感器的像素排列结构及去噪方法 - Google Patents

Abstract

本发明提供一种事件传感器的像素排列结构及去噪方法，所述去噪方法包括：将像素阵列划分为多个像素单元，每个像素单元至少包含一个亮度像素；将事件传感器上电，以初始亮度值设置初始阈值；读取亮度像素的亮度值，并计算每个像素单元的亮度均值；将亮度均值与初始亮度值进行比较，若无变化，则直接输出事件；若有变化，则根据亮度均值估计噪声，并根据噪声计算每个像素单元的新阈值，并将像素单元的初始阈值调整为新阈值，之后输出去噪后的事件。本发明通过亮度像素检测场景亮度进而估计噪声并计算新阈值，在事件产生的电路端自适应调节阈值，在前端去除事件噪声，有效地避免或减轻后端处理的成本、功耗、延迟以及事件噪声占用的带宽资源。

Description

一种事件传感器的像素排列结构及去噪方法

技术领域

本发明涉及图像通讯领域，特别涉及一种事件传感器的像素排列结构及一种事件传感器的去噪方法。

背景技术

事件传感器（动态视觉传感器）是受生物视觉系统启发的一类新型神经形态视觉传感器，其每个像素点独立的检测其上的亮度变化，生成异步的事件流数据，该数据包括时间戳、像素地址和亮度变化的极性。

e=（x，y，t，p），事件e表示在事件传感器上位于（x，y）处的像素点在t时刻因亮度变化而被触发的事件，p（△I，C）为一个截断函数，C为事件点的激发阈值，△I为亮度变化值。当亮度变化值大于C时，激发正极性事件，当亮度变化值小于-C时，激发负极性事件，当亮度变化值的绝对值小于C时，事件传感器无输出。

事件传感器相比于传统的图像传感器，具有低延迟、高动态范围、数据量小和极低功耗等优点。其应用范围广泛，包括机器人、物联网、安防监控、自动驾驶和工业检测等。

事件传感器具有诸多优点，但具有一些不可忽视的缺点，比如在环境光照较暗时噪声过大。事件噪声是指当某个像素产生了一个不是由于事件源而产生的事件，也就是说不该有事件发生却发生了。事件噪声一般与环境光照、电流和温度等因素有关。当前对于事件噪声都是采用后续滤波（比如相关性滤波）的办法去除，但这种后续滤波会占用较大的计算资源（包括存储空间和计算逻辑），而且没有意义的事件噪声从传感器传输至处理端还会占用带宽资源，这些都使得系统增加了额外的功耗和成本，并产生一定的延迟，影响事件传感器的应用场景。

发明内容

本发明的目的在于提供一种事件传感器的像素排列结构及去噪方法，在像素电路层去除事件噪声，有效地避免或减轻后端处理的成本、功耗、延迟以及事件噪声占用的带宽资源。

为解决上述技术问题，根据本发明的第一个方面，提供了一种事件传感器的像素排列结构，包括由多个像素排列而成的像素阵列，所述像素包括事件像素与亮度像素。

可选的，所述亮度像素随机分布于所述像素阵列中。

可选的，所述亮度像素均匀分布于所述像素阵列中.

可选的，在所述像素阵列的行方向上每隔a个所述事件像素设置一个所述亮度像素，或/和，在所述像素阵列的列方向上每隔b个所述事件像素设置一个所述亮度像素，其中a、b均为正整数。

为解决上述技术问题，根据本发明的第二个方面，还提供了一种事件传感器的去噪方法，所述事件传感器包括如上所述的像素排列结构，所述事件传感器的去噪方法包括以下步骤：

将像素阵列划分为多个像素单元，每个所述像素单元至少包含一个亮度像素；

将事件传感器上电，以初始亮度值设置初始阈值；

读取所有所述亮度像素的亮度值，并计算每个所述像素单元的亮度均值；

将所述亮度均值与所述初始亮度值进行比较，若亮度无变化，则所述初始阈值无需修改，直接输出事件；

若亮度有变化，则根据所述亮度均值估计噪声，并根据噪声计算每个像素单元的新阈值，并将所述像素单元的初始阈值调整为所述新阈值，之后输出去噪后的事件。

可选的，阈值与噪声的关系式为：C=c*δ，其中，C为阈值，δ为噪声，c为可调系数，且c大于1。

可选的，将所述像素单元的初始阈值调整为所述新阈值的方法包括：通过调整所述像素单元中事件像素的参考电压来调整所述像素单元的阈值。

可选的，采用数模转换器来控制所述像素单元中事件像素的参考电压。

可选的，输出去噪后的事件之后，所述去噪方法还包括：判断是否需要停止去噪，若需要则直接结束，若不需要，则重新读取所有所述亮度像素的亮度值。

可选的，所述是否需要停止去噪包含所述事件传感器是否断电或去噪功能是否关闭。

综上所述，在本发明提供的事件传感器的像素排列结构及去噪方法中，在像素阵列中设置有亮度像素，在去噪方法中，首先将像素阵列分为多个像素单元，每个所述像素单元至少包含一个亮度像素，然后将事件传感器上电，以初始亮度设置初始阈值，接着读取所有亮度像素的亮度值，并计算每个像素单元的亮度均值，然后将亮度均值与初始亮度值进行比较，若亮度无变化，则直接输出事件，若亮度有变化，则根据亮度均值估计噪声，并根据噪声计算每个像素单元的新阈值，并将所述像素单元的初始阈值调整为所述新阈值，再输出去噪后的事件。本发明在事件像素阵列中嵌入亮度像素，通过亮度像素检测场景亮度（即光照）进而估计噪声并计算新阈值，来达到抑制事件噪声的目的，本发明在事件产生的电路端根据当时的光照条件自适应调节阈值，尽可能在前端去除事件噪声，有效地避免或减轻后端处理的成本、功耗、延迟以及事件噪声占用的带宽资源。

附图说明

图1是本发明一实施例提供的像素阵列的示意图。

图2是本发明一实施例提供的事件传感器的去噪方法的流程框图。

图3是本发明一实施例提供的像素单元的划分示意图。

图4是本发明一实施例提供的调节参考电压的电路结构示意图。

图5是本发明一实施例提供的事件像素的电路结构示意图。

具体实施方式

为使本发明的目的、优点和特征更加清楚，以下结合附图和具体实施例对本发明作进一步详细说明。需说明的是，附图均采用非常简化的形式且未按比例绘制，仅用以方便、明晰地辅助说明本发明实施例的目的。此外，附图所展示的结构往往是实际结构的一部分。特别的，各附图需要展示的侧重点不同，有时会采用不同的比例。

如在本发明中所使用的，单数形式“一”、“一个”以及“该”包括复数对象，除非内容另外明确指出外。如在本发明中所使用的，术语“或”通常是以包括“和/或”的含义而进行使用的，除非内容另外明确指出外。如在本发明中所使用的，术语“若干”通常是以包括“至少一个”的含义而进行使用的，除非内容另外明确指出外。如在本发明中所使用的，术语“至少两个”通常是以包括“两个或两个以上”的含义而进行使用的，除非内容另外明确指出外。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者至少两个该特征。

针对背景技术中提到的问题，发明人发现：一个事件的产生条件是当某像素亮度的变化达到或超过某个阈值C，阈值C并不是一个常量，它与当前的场景亮度有关。然而，目前的事件传感器只有事件像素，没有能够检测场景亮度的亮度像素。针对该问题，发明人经研究提供一种事件传感器的像素排列结构以及事件传感器的去噪方法，在常规的事件像素阵列中，嵌入一定密度的亮度像素，用于检测场景的亮度程度，进而估计噪声和事件阈值，来达到抑制事件噪声的目的。

经过进一步研究，本发明提供一种事件传感器的像素排列结构，包括由多个像素排列而成的像素阵列，所述像素包括事件像素与亮度像素。

本发明一实施例中，所述亮度像素均匀分布于所述像素阵列中。示例性的，在所述像素阵列的行方向上每隔a个所述事件像素设置一个所述亮度像素，或/和，在所述像素阵列的列方向上每隔b个所述事件像素设置一个所述亮度像素，其中a、b均为正整数，a可以等于b，a也可以不等于b。一实施例中：在所述像素阵列的行方向上每隔1个所述事件像素设置一个所述亮度像素。另一实施例中：在所述像素阵列的列方向上每隔2个所述事件像素设置一个所述亮度像素。另一实施例中：在所述像素阵列的行方向上每隔1个所述事件像素设置一个所述亮度像素，并且在所述像素阵列的列方向上每隔2个所述事件像素设置一个所述亮度像素。另一实施例中，在所述像素阵列的行方向与列方向上每隔一个所述事件像素设置一个所述亮度像素，即所述事件像素与亮度像素间隔排布；或者，在所述像素阵列的行方向与列方向上每隔两个所述事件像素设置一个所述亮度像素，当然，也可以是每隔三个或三个以上所述事件像素设置一个所述亮度像素，本发明对此不作限定。

上述实施例中，所述亮度像素均规则排布于所述像素阵列中，当然，所述亮度像素也可以是其他的排布方式，本发明对于像素阵列中所述亮度像素的排布方式并不作限定。

本发明另一实施例中，所述亮度像素可以随机排布于所述像素阵列中，可以根据实际需求在所述阵列像素中随机设置所述亮度像素。

图1是本发明一实施例提供的像素阵列的示意图。请参考图1所示，本实施例所示是一个16×16的像素阵列，其中E表示事件传感器的事件像素，L表示亮度像素，在像素阵列行方向（水平方向）与列方向（竖直方向）上每隔三个事件像素E设置一个亮度像素L，亮度像素L的密度是1/16，所述亮度像素的密度是指亮度像素的数量与像素阵列中所有的像素数量的比值。图1只是一个示例，亮度像素L在事件传感器的像素结构中的密度和布局排列并不仅限于此。

在所述像素阵列中设置亮度像素，所述亮度像素能够检测事件传感器所在场景的亮度从而在去噪过程中能够根据亮度估计噪声并计算新阈值，使得事件传感器能够在事件产生的像素电路端自适应调节阈值，从而在前端去除事件噪声，无需将没有意义的事件噪声从传感器传输至处理端，有效地避免或减轻后端处理的成本、功耗、延迟以及事件噪声占用的带宽资源。

相应的，本发明还提供一种事件传感器的去噪方法，所述事件传感器包括如上所述的像素排列结构。所述事件传感器的去噪方法包括以下步骤：

步骤S1：将像素阵列划分为多个像素单元，每个所述像素单元至少包含一个亮度像素；

步骤S2：将事件传感器上电，以每个像素单元的初始亮度值设置该像素单元的初始阈值；

步骤S3：读取所有所述亮度像素的亮度值，并计算每个所述像素单元的亮度均值；

步骤S4：将所述亮度均值与所述初始亮度值进行比较，若亮度无变化，则所述初始阈值无需修改，直接输出事件；以及

步骤S5：若亮度有变化，则根据所述亮度均值估计噪声，并根据噪声计算每个像素单元的新阈值，并将所述像素单元的初始阈值调整为所述新阈值，之后输出去噪后的事件。

本发明中在事件像素阵列中设置亮度像素，通过亮度像素检测场景亮度（即光照）进而估计噪声并计算新阈值，来达到抑制事件噪声的目的，本发明在事件产生的电路端根据当时的光照条件自适应调节阈值，尽可能在前端去除事件噪声，有效地避免或减轻后端处理的成本、功耗、延迟以及事件噪声占用的带宽资源。

图2是本发明一实施例提供的事件传感器的去噪方法的流程框图。请参考图2所示，以下对本实施例提供的事件传感器的去噪方法的各步骤进行详细说明。

在步骤S1中，将像素阵列划分为多个像素单元，每个所述像素单元至少包括一个亮度像素。

图3是本发明一实施例提供的像素单元的划分示意图，请参考图3所示，本实施例中将整个像素阵列划分为m*n块，即划分为m*n个像素单元，例如所述像素单元分别为（0，0）、（0，1）、（0，2）、……、（0，n-1）、（1，0）、（2，0）、……、（m-1，n-1），其中m、n均为大于等于2的正整数。当然，所述像素阵列的划分并不局限于此。

在步骤S2中，将事件传感器上电，以初始亮度值设置初始阈值。

像常规图像传感器一样，事件传感器的噪声主要来源于光子的散粒噪声和电路的读出噪声，从噪声的分布看既有正态分布，也有泊松分布。传感器的总噪声可以用正态分布来近似表示，比如N（μ，δ²），其中μ为亮度均值，δ为方差（即噪声强度）。方差δ可以理论估计或实际量测标定得到，它一般随场景亮度变化。对于事件传感器，可以通过调节事件阈值C来抑制事件噪声，例如：

C=c*δ （式1）

其中，c是一个可调的系数，c可以根据实际应用情况来确定，若c偏小，可能会有部分噪声事件无法滤除，若c偏大，则部分真正的事件信号也可能被去除，因此需要根据实际需求来确定c的大小，本实施例中，c大于1，但不限于此。

本实施例中，根据每个像素单元的初始亮度值获得所述像素单元的初始阈值。即根据每个所述像素单元中亮度像素的初始亮度值来得到该像素单元的初始阈值。具体的，可以根据初始亮度值得到亮度方差，再根据方差得到初始阈值。

在步骤S3中，读取所有所述亮度像素的亮度值，并计算每个像素单元的亮度均值。

所述事件传感器的电路按帧读取所有亮度像素的亮度值，并计算每个像素单元的亮度均值L(i，j)，i=0、1、2、……、m-1，j=0、1、2、……、n-1。若所述像素单元仅包含一个所述亮度像素，则亮度均值即为该亮度像素的亮度值，若所述像素单元包含两个及以上的亮度像素，则亮度均值即为该像素单元内所有亮度像素的均值。

在步骤S4中，将所述亮度均值与所述初始亮度值进行比较，若亮度无变化，则所述初始阈值无需修改，直接输出事件。

将所述亮度均值与所述初始亮度值进行比较，即针对所述初始亮度值，判断亮度有没有变化，若亮度无变化，即所述亮度均值与所述初始亮度值相等，则所述初始阈值无需修改，即所述像素单元此时的阈值即为初始阈值，无需对所述像素单元的阈值进行修改，直接输出事件即可，输出的事件相当于进行去噪后的事件。

在步骤S5中，若亮度有变化，则根据所述亮度均值估计噪声，并根据噪声计算每个像素单元的新阈值，并将所述像素单元的初始阈值调整为所述新阈值，之后输出去噪后的事件。

亮度有变化，即所述亮度均值与所述初始亮度值不相等，则需要根据亮度均值估计噪声，即根据亮度均值估计亮度方差，从而得到噪声，然后根据式1由噪声计算得到新阈值，即根据每个像素单元的亮度均值估计噪声，根据噪声得到每个像素单元的新阈值，然后将该像素单元的初始阈值调整为所述新阈值，即将所述像素单元的阈值更新为新阈值，此过程即为去噪的过程，然后输出去噪后的事件。

本实施例中，可以通过调整所述像素单元中事件像素的参考电压来调整所述像素单元的阈值。示例性的，图4是本发明一实施例提供的调节参考电压的电路结构示意图，请参考图4所示，可以采用数模转换器来控制所述像素单元中事件像素的参考电压VREF，具体的，通过调整输入所述数模转换器的数字化的阈值以调整所述数模转换器输出的参考电压VREF，通过参考电压VREF的调整来实现像素单元的阈值调整。其中数字化的阈值的取值范围例如包括0~1023档。

图5是本发明一实施例提供的事件像素的电路结构示意图，请参考图5所示，事件像素感光产生的电压经电流放大器放大，然后与参考电压VREF输入比较器进行比较。本实施例中，通过调整所述参考电压VREF来调整事件像素的阈值，通过调整所述像素单元中所有的事件像素的阈值从而调整所述像素单元的阈值。

输出去噪后的事件之后，所述去噪方法还包括：判断是否需要停止去噪，若需要则直接结束，若不需要，则重新读取所有所述亮度像素的亮度值，即重新执行步骤S3。

本实施例中，所述是否需要停止去噪包含所述事件传感器是否断电或去噪功能是否关闭等，即判断所述事件传感器是否断电，若断电则结束，或者判断事件传感器是否需要关闭去噪功能，若是则结束。若不需要停止去噪，则重复执行步骤S3至步骤S5。

综上所述，在本发明提供的事件传感器的像素排列结构及去噪方法中，在像素阵列中设置亮度像素，在去噪方法中，首先将像素阵列分为多个像素单元，每个所述像素单元至少包含一个亮度像素，然后将事件传感器上电，以初始亮度设置初始阈值，接着读取所有亮度像素的亮度值，并计算每个像素单元的亮度均值，然后将亮度均值与初始亮度值进行比较，若亮度无变化，则直接输出事件，若亮度有变化，则根据亮度均值估计噪声，并根据噪声计算每个像素单元的新阈值，并将所述像素单元的额初始阈值调整为所述新阈值，再输出去噪后的事件。本发明在事件像素阵列中嵌入亮度像素，通过亮度像素检测场景亮度（即光照）进而估计噪声并计算新阈值，来达到抑制事件噪声的目的，本发明在事件产生的电路端根据当时的光照条件自适应调节阈值，尽可能在前端去除事件噪声，有效地避免或减轻后端处理的成本、功耗、延迟以及事件噪声占用的带宽资源。

上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (10)

1.一种事件传感器的像素排列结构，其特征在于，包括由多个像素排列而成的像素阵列，所述像素包括事件像素与亮度像素；将所述像素阵列划分为多个像素单元，每个所述像素单元至少包含一个亮度像素；

将事件传感器上电，以初始亮度值设置初始阈值；

读取所有所述亮度像素的亮度值，并计算每个所述像素单元的亮度均值；

将所述亮度均值与所述初始亮度值进行比较，若亮度无变化，则所述初始阈值无需修改，直接输出事件；

若亮度有变化，则根据所述亮度均值估计噪声，并根据噪声计算每个像素单元的新阈值，并将所述像素单元的初始阈值调整为所述新阈值，之后输出去噪后的事件。

2.根据权利要求1所述的事件传感器的像素排列结构，其特征在于，所述亮度像素随机分布于所述像素阵列中。

3.根据权利要求1所述的事件传感器的像素排列结构，其特征在于，所述亮度像素均匀分布于所述像素阵列中。

4.根据权利要求3所述的事件传感器的像素排列结构，其特征在于，在所述像素阵列的行方向上每隔a个所述事件像素设置一个所述亮度像素，或/和，在所述像素阵列的列方向上每隔b个所述事件像素设置一个所述亮度像素，其中a、b均为正整数。

5.一种事件传感器的去噪方法，其特征在于，所述事件传感器包括如权利要求1所述的像素排列结构，所述事件传感器的去噪方法包括以下步骤：

将像素阵列划分为多个像素单元，每个所述像素单元至少包含一个亮度像素；

将事件传感器上电，以初始亮度值设置初始阈值；

读取所有所述亮度像素的亮度值，并计算每个所述像素单元的亮度均值；

将所述亮度均值与所述初始亮度值进行比较，若亮度无变化，则所述初始阈值无需修改，直接输出事件；

若亮度有变化，则根据所述亮度均值估计噪声，并根据噪声计算每个像素单元的新阈值，并将所述像素单元的初始阈值调整为所述新阈值，之后输出去噪后的事件。

6.根据权利要求5所述的事件传感器的去噪方法，其特征在于，阈值与噪声的关系式为：C=c*δ，其中，C为阈值，δ为噪声，c为可调系数，且c大于1。

7.根据权利要求5所述的事件传感器的去噪方法，其特征在于，将所述像素单元的初始阈值调整为所述新阈值的方法包括：通过调整所述像素单元中事件像素的参考电压来调整所述像素单元的阈值。

8.根据权利要求7所述的事件传感器的去噪方法，其特征在于，采用数模转换器来控制所述像素单元中事件像素的参考电压。

9.根据权利要求5至8任一项所述的事件传感器的去噪方法，其特征在于，输出去噪后的事件之后，所述去噪方法还包括：判断是否需要停止去噪，若需要则直接结束，若不需要，则重新读取所有所述亮度像素的亮度值。

10.根据权利要求9所述的事件传感器的去噪方法，其特征在于，所述是否需要停止去噪包含所述事件传感器是否断电或去噪功能是否关闭。