CN114037741B - 一种基于事件相机的自适应目标检测方法及装置 - Google Patents

Abstract

本发明公开了一种基于事件相机的自适应目标检测方法及装置，选定初始时间和事件重构间隔时间，将在事件重构间隔时间范围内的所有事件组成一个事件窗，获取事件窗对应的均值时间图，初始化自适应目标框的中心点位置和边长，在均值时间图中画出初始目标框，迭代计算当前目标框内所有事件点位置的均值和标准差，并更新目标框直到满足迭代终止条件。本发明实现过程简单且算力要求小，在轻量化平台实现也能达到理想效果。

Description

一种基于事件相机的自适应目标检测方法及装置

技术领域

本申请属于目标检测技术领域，尤其涉及一种基于事件相机的自适应目标检测方法及装置。

背景技术

事件相机是采集事件的传感器，也称为神经形态像机、硅视网膜或动态视觉传感器，是一种能够记录像素亮度变化的成像传感器。事件相机的输出是“事件”或者“脉冲”序列，每个事件表示光线亮度的变化，当光强与上一时刻的光强变化超过一定阈值时产生脉冲，由芯片传输，包含的信息有位置，正负极性(光变强或变弱)，当前时间。事件相机输出的事件序列的数据量远小于传统相机传输的数据，且事件序列没有最小时间单位，所以不像传统相机定时输出数据，具有低延迟特性。

目标检测是计算机视觉领域中一个重要的研究领域，目标检测旨在针对不同的任务，从传感器获取的信息中找出特定的目标物体并定位出其坐标位置。目前计算机视觉任务中有很多基于传统视觉相机的目标检测的方案，这些方案都不能够很好的应对高速运动物体、高动态范围、场景亮度快速变化的场景。传统视觉相机以相对较低的固定帧率拍摄画面，对于高速运动物体会产生运动模糊，在光照亮度较低的场景不能显著呈现目标物体，在目标物体与背景相似的场景下不能准确发现目标。

与传统视觉相机相比，事件相机有低延迟、高动态范围、无运动模糊、超低功耗的特点。事件相机是只对像素亮度变化敏感的相机，可以提供微秒级的响应信号，所以常被应用到低光照、高动态或捕捉高速运动物体的任务中。因而，也开始出现基于事件相机的目标检测方法，但现有基于事件相机的目标检测，判断事件点是否为运动特征点的过程是先对每个事件点都做邻域搜索后设定欧氏距离阈值来去除噪声点，再对保留下来的事件点在一定时间范围内求速度，最后通过设定阈值的方式来决定该事件点是否属于运动目标。由于对大量无关事件点做运算，计算开销大，不适用于低功耗计算场景。

发明内容

本申请的目的是提供一种基于事件相机的自适应目标检测方法及装置，以克服现有技术计算开销大，不适用于低功耗计算场景等技术问题。

为了实现上述目的，本申请技术方案如下：

一种基于事件相机的自适应目标检测方法，包括：

步骤1、选定初始时间和事件重构间隔时间，将在事件重构间隔时间范围内的所有事件组成一个事件窗，获取事件窗对应的均值时间图；

步骤2、初始化自适应目标框的中心点位置和边长，在均值时间图中画出初始目标框；

步骤3、迭代计算当前目标框内所有事件点位置的均值和标准差，将均值作为新的目标框中心点位置，4倍标准差作为新的目标框边长；

步骤4、判断是否达到迭代终止条件，如果否，则返回步骤3继续进行迭代，如果达到迭代终止条件，则停止迭代，输出最终目标框中心点位置和边长。

进一步的，所述获取事件窗对应的均值时间图之后，还包括：

对均值事件图进行归一化处理。

进一步的，所述获取事件窗对应的均值时间图之后，还包括：

对均值时间图做开运算去除噪声。

进一步的，所述判断是否达到迭代终止条件，包括：

将当前计算出的目标框中心点位置和边长与上一次迭代结果进行比较，如果比较的结果均小于各自对应的收敛阈值，则判断达到迭代终止条件。

本申请还提出了一种基于事件相机的自适应目标检测装置，包括：

事件窗均值模块，用于选定初始时间和事件重构间隔时间，将在事件重构间隔时间范围内的所有事件组成一个事件窗，获取事件窗对应的均值时间图；

初始化模块，用于初始化自适应目标框的中心点位置和边长，在均值时间图中画出初始目标框；

迭代模块，用于迭代计算当前目标框内所有事件点位置的均值和标准差，将均值作为新的目标框中心点位置，4倍标准差作为新的目标框边长；

判断模块，用于判断是否达到迭代终止条件，如果否，则返回迭代模块继续进行迭代，如果达到迭代终止条件，则停止迭代，输出最终目标框中心点位置和边长。

进一步的，所述事件窗均值模块，在获取事件窗对应的均值时间图之后，还用于对均值事件图进行归一化处理。

进一步的，所述事件窗均值模块，在获取事件窗对应的均值时间图之后，还用于对均值时间图做开运算去除噪声。

进一步的，所述判断模块判断是否达到迭代终止条件，包括：

将当前计算出的目标框中心点位置和边长与上一次迭代结果进行比较，如果比较的结果均小于各自对应的收敛阈值，则判断达到迭代终止条件。

本申请提出的一种基于事件相机的自适应目标检测方法及装置，利用事件相机图像低延迟、高动态的特点，对事件画面中的运动物体进行检测，并根据事件点的统计特性，用自适应的目标框将运动物体显著标出，结果清晰直观。本申请根据快速运动物体产生的事件出现频率大的特点，快速定位初始目标框中心，之后只对感兴趣的区域做统计运算，并由运算结果调整目标框，达到自适应的效果。实现过程简单且算力要求小，在轻量化平台实现也能达到理想效果。

附图说明

图1为本申请一种基于事件相机的自适应目标检测方法流程图；

图2为本申请实施例初始目标框示意图；

图3为本申请实施例经过4次迭代后的目标框示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。

运动物体产生的真实亮度变化信号具有相关性，且待检测的快速运动目标，例如运动的球、无人机、鸟等，在极短的时间内为刚体，即某像素点的运动速度与周边一小块时空域内的点运动速度是一致的。所以在事件图像中，真正快速运动物体所产生的事件出现的频率相较于其他动态扰动更高，这些事件点的坐标上一般会有相对较高的平均时间戳，在均值时间图中的像素值更大。本申请技术方案利用这个特点，在均值时间图像选取像素值最大的点快速定位运动目标位置。

如图1所示，本申请提供了一种基于事件相机的自适应目标检测方法，包括：

步骤S1、选定初始时间和事件重构间隔时间，将在事件重构间隔时间范围内的所有事件组成一个事件窗，获取事件窗对应的均值时间图。

本申请将事件相机采集到的每个事件用一个四元组(timestamp,x,y,polarity)表示，分别表示事件发生的时间、事件发生位置的横坐标、事件发生位置的纵坐标和事件的极性，其中亮度增大超过阈值极性为1，亮度减小超过阈值极性为0，亮度变化未超过阈值时，则不产生事件。

本申请的目的是检测出快速运动的物体，基于事件的生成机制，在本申请中采用固定时间间隔法，选定初始时间t₀和事件重构间隔时间Δt，将在[t₀,t₀+Δt]时间范围内的所有事件组成一个事件窗。事件窗是若干个事件的集合，表示为其中e_ij是坐标为(i,j)处的所有事件。

根据事件生成的像素位置，在有极性生成的对应像素点，事件被绘制成白色像素，图像的背景颜色为黑色，生成事件图像。

在选定事件窗后，获取事件窗对应的均值时间图的具体步骤如下：

计算每个像素点的事件计数表示事件窗内在(i,j)坐标处的事件个数；

均值时间图中各像素点值定义为t∈[t₀,t₀+Δt],其中(t-t₀)表示事件窗中各事件相对于事件窗起始时刻的时间戳。

在一个具体的实施例中，本申请在获取事件窗对应的均值时间图之后，还对均值事件图进行归一化处理。

具体的，计算归一化均值时间图公式如下：

其中，N_i,j是归一化之后均值时间图中的像素，表示均值时间图中像素最小值，/>表示均值时间图中像素最大值。需要说明的是，均值时间图中像素的大小与该点属于运动物体的概率正相关，本申请做归一化处理并非必须的步骤，本申请将所有像素点归一化到0到255的范围内，这样就可以直接输出灰度图像，方便可视化。本申请也可以不做归一化处理，这里不再赘述。

本申请在获取事件窗对应的均值时间图之后再对均值时间图做开运算去除噪声。需要说明的是，去除噪声还可以采用本领域的其他去噪方法，这里不一一赘述。

噪声信号在事件画面和均值时间画面中呈随机点状分布的，单个噪点的产生与周边点不相关。开运算是一种形态学处理方法，也是一个基于几何运算的滤波器，它的特点是能够除去图像中孤立的小点，毛刺和小桥，而图像中物体总的位置和形状不变。

步骤S2、初始化自适应目标框的中心点位置和边长，在均值时间图中画出初始目标框。

目标检测就是定位目标的位置，本申请先初始化目标框的中心点位置和边长，然后通过迭代的方法去更新目标框的位置和尺寸，直到迭代出最逼近真实目标的目标框。

初始化时，选取去噪后均值时间图中最大值的位置作为目标框中心点的初始位置，事件图边长的一半作为初始的目标框边长，在均值时间图中画出初始目标框。一个具体示例的均值时间图和初始化检测目标框如图2所示。

步骤S3、迭代计算当前目标框内所有事件点位置的均值和标准差，将均值作为新的目标框中心点位置，4倍标准差作为新的目标框边长。

本步骤通过迭代更新目标框中心点位置和边长。根据运动物体所产生的事件点位置符合高斯分布的特点，本申请求出当前目标框内所有事件点位置的均值和标准差，将均值作为新的目标框中心点位置，4倍标准差作为新的目标框边长。

步骤S4、判断是否达到迭代终止条件，如果否，则返回步骤3继续进行迭代，如果达到迭代终止条件，则停止迭代，输出最终目标框中心点位置和边长。

本申请在每次迭代后，可以得到一个新的目标框中心点位置和新的目标框边长。设定的迭代终止条件可以是判断计算结果是否收敛，或判断是否达到预设的迭代次数。

以判断计算结果是否收敛作为迭代终止条件时，将当前计算出的目标框中心点位置和边长与上一次迭代结果进行比较，如果比较的结果均小于各自对应的收敛阈值，则判断达到迭代终止条件。

具体的，在每次迭代完成后，输出当前迭代得到的目标框中心点位置和边长，将当前迭代得到的目标框中心点位置和边长与上一次迭代的结果做比较。比较的目的是判断是否收敛，可以设置中心点位置和边长各自对应的收敛阈值，如果当前迭代得到的目标框中心点位置和边长与上一次迭代的结果的差值均小于各自的收敛阈值，则说明收敛，否则未收敛。收敛则说明前后两次迭代的结果非常接近，再进行迭代已经难以进一步接近真实的目标框中心点位置和边长。设置的收敛阈值是一个比较小的值，例如10^-2，具体收敛阈值的数值可以根据实际情况进行调整。

如图3所示，给出了四次迭代的结果，在每次迭代后目标框更加逼近真实目标，直到收敛，得出最后得到的目标框。

在完成一个事件窗的处理后，再次取下一个事件窗的事件序列，对下一个事件窗进行目标检测，就可以达到对事件帧构成的视频做目标检测的效果。

本申请只对感兴趣的区域做统计运算，并由运算结果调整目标框，达到自适应的效果。实现过程简单且算力要求小，在轻量化平台实现也能达到理想效果，从而可以实现在手机终端上进行应用。

在一个实施例中，本申请还提供了一种基于事件相机的自适应目标检测装置，包括：

事件窗均值模块，用于选定初始时间和事件重构间隔时间，将在事件重构间隔时间范围内的所有事件组成一个事件窗，获取事件窗对应的均值时间图；

初始化模块，用于初始化自适应目标框的中心点位置和边长，在均值时间图中画出初始目标框；

迭代模块，用于迭代计算当前目标框内所有事件点位置的均值和标准差，将均值作为新的目标框中心点位置，4倍标准差作为新的目标框边长；

判断模块，用于判断是否达到迭代终止条件，如果否，则返回迭代模块继续进行迭代，如果达到迭代终止条件，则停止迭代，输出最终目标框中心点位置和边长。

关于基于事件相机的自适应目标检测装置的具体限定可以参见上文中对于基于事件相机的自适应目标检测方法的限定，在此不再赘述。上述基于事件相机的自适应目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件互相之间可以通过一条或多条通讯总线或信号线实现电性连接。存储器中存储有可在处理器上运行的计算机程序，所述处理器通过运行存储在存储器内的计算机程序，从而实现本发明实施例中的网络拓扑布局方法。

其中，所述存储器可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器用于存储程序，所述处理器在接收到执行指令后，执行所述程序。

所述处理器可能是一种集成电路芯片，具有数据的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

与上述方法对应的，在一个具体的实施例中，所述事件窗均值模块，在获取事件窗对应的均值时间图之后，还用于对均值事件图进行归一化处理。

在另一个具体的实施例中，所述事件窗均值模块，在获取事件窗对应的均值时间图之后，还用于对均值时间图做开运算去除噪声。

在另一个具体的实施例中，所述判断模块判断是否达到迭代终止条件，包括：

将当前计算出的目标框中心点位置和边长与上一次迭代结果进行比较，如果比较的结果均小于各自对应的收敛阈值，则判断达到迭代终止条件。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种基于事件相机的自适应目标检测方法，其特征在于，所述基于事件相机的自适应目标检测方法，包括：

步骤1、选定初始时间和事件重构间隔时间，将在事件重构间隔时间范围内的所有事件组成一个事件窗，获取事件窗对应的均值时间图；

步骤2、初始化自适应目标框的中心点位置和边长，在均值时间图中画出初始目标框；

步骤3、迭代计算当前目标框内所有事件点位置的均值和标准差，将均值作为新的目标框中心点位置，4倍标准差作为新的目标框边长；

步骤4、判断是否达到迭代终止条件，如果否，则返回步骤3继续进行迭代，如果达到迭代终止条件，则停止迭代，输出最终目标框中心点位置和边长。

2.根据权利要求1所述的基于事件相机的自适应目标检测方法，其特征在于，所述获取事件窗对应的均值时间图之后，还包括：

对均值时间图进行归一化处理。

3.根据权利要求1所述的基于事件相机的自适应目标检测方法，其特征在于，所述获取事件窗对应的均值时间图之后，还包括：

对均值时间图做开运算去除噪声。

4.根据权利要求1所述的基于事件相机的自适应目标检测方法，其特征在于，所述判断是否达到迭代终止条件，包括：

将当前计算出的目标框中心点位置和边长与上一次迭代结果进行比较，如果比较的结果均小于各自对应的收敛阈值，则判断达到迭代终止条件。

5.一种基于事件相机的自适应目标检测装置，其特征在于，所述基于事件相机的自适应目标检测装置，包括：

事件窗均值模块，用于选定初始时间和事件重构间隔时间，将在事件重构间隔时间范围内的所有事件组成一个事件窗，获取事件窗对应的均值时间图；

初始化模块，用于初始化自适应目标框的中心点位置和边长，在均值时间图中画出初始目标框；

迭代模块，用于迭代计算当前目标框内所有事件点位置的均值和标准差，将均值作为新的目标框中心点位置，4倍标准差作为新的目标框边长；

判断模块，用于判断是否达到迭代终止条件，如果否，则返回迭代模块继续进行迭代，如果达到迭代终止条件，则停止迭代，输出最终目标框中心点位置和边长。

6.根据权利要求5所述的基于事件相机的自适应目标检测装置，其特征在于，所述事件窗均值模块，在获取事件窗对应的均值时间图之后，还用于对均值时间图进行归一化处理。

7.根据权利要求5所述的基于事件相机的自适应目标检测装置，其特征在于，所述事件窗均值模块，在获取事件窗对应的均值时间图之后，还用于对均值时间图做开运算去除噪声。

8.根据权利要求5所述的基于事件相机的自适应目标检测装置，其特征在于，所述判断模块判断是否达到迭代终止条件，包括：

将当前计算出的目标框中心点位置和边长与上一次迭代结果进行比较，如果比较的结果均小于各自对应的收敛阈值，则判断达到迭代终止条件。