CN113112521A

CN113112521A - 一种基于脉冲阵列的运动检测方法

Info

Publication number: CN113112521A
Application number: CN202110254930.XA
Authority: CN
Inventors: 黄铁军; 郑雅菁; 余肇飞; 田永鸿
Original assignee: Peking University
Current assignee: Peking University
Priority date: 2021-03-09
Filing date: 2021-03-09
Publication date: 2021-07-13
Anticipated expiration: 2041-03-09
Also published as: CN113112521B

Abstract

本申请涉及运动检测技术领域，具体而言，本申请涉及一种基于脉冲阵列的运动检测方法。所述方法包括以下步骤：采集监测区域的时空信号生成时空脉冲阵列；将所述时空脉冲阵列输入脉冲神经网络中，所述脉冲神经网络中的脉冲神经元处理具有运动特征的时空脉冲序列并产生对应的脉冲；根据所述脉冲神经网络产生的所述脉冲获得不同空间位置的运动信息。本申请的方法利用高频率视网膜相机获得的脉冲阵列本身具有的时空特性，直接以视觉脉冲序列为输入，获取监测区域中存在的各种运动状态，获取各个运动状态对应的参数信息，输出的运动信息可用于物体跟踪及运动补偿等，从而更有利于后续基于脉冲信号的高速视觉对象的检测、识别及跟踪等高级视觉任务。

Description

一种基于脉冲阵列的运动检测方法

技术领域

本申请涉及运动检测技术领域，更为具体来说，本申请涉及一种基于脉冲阵列的运动检测方法。

背景技术

近年来，区别于传统相机的神经视觉传感器取得了许多研究进展，其仿照生物视网膜根据外界光照环境产生脉冲信号的原理，基于监测区域中采样的光信号变化产生脉冲信号。这种信号采样机制具有低功耗、高动态范围和高时间分辨率的优点，即可以获取极端光照条件下的信号变化，并且以远超于传统相机采样频率(30帧/秒)的输出脉冲信号。这种类脑的视觉信息表示方法比传统视频编码了更多的时序信息，且采用的二值时空脉冲阵列所需的编码空间远小于传统的图片或视频，使得后续处理方法能够在使用较少计算空间的基础上快速感知外界环境变化。因此，使用脉冲时空阵列完成运动检测等与时序相关的任务具有天然的优势。

目前，有许多基于脉冲阵列的运动检测处理方法，但是大多数都是先将时空阵列转化为图片帧的形式再进行运动模型的训练学习。这种处理方式没有发挥脉冲序列的时空优点，并且还需要将时空序列转成图片帧再进行处理的方式与传统方法无异。要发挥神经视觉传感器的优点，须直接根据脉冲信号进行视觉信息的处理分析。

因此，本申请提出一种改进的方法，以至少部分地解决上述技术问题。

发明内容

为实现上述技术目的，本申请提供了一种基于脉冲阵列的运动检测方法，包括以下步骤：

采集监测区域的时空信号生成时空脉冲阵列；

将所述时空脉冲阵列输入脉冲神经网络中，所述脉冲神经网络中的脉冲神经元处理具有运动特征的时空脉冲序列并产生对应的脉冲；

根据所述脉冲神经网络产生的所述脉冲获得不同空间位置的运动信息。

具体地，所述脉冲神经网络包括特征提取层和运动检测层，所述特征提取层进行运动模式检测，获取对应不同运动特征的脉冲序列，所述运动检测层根据所述脉冲序列进行运动模型检测。

具体地，所述脉冲神经网络在特征提取层之前还包括输入层，所述输入层对采集到的原始脉冲阵列做滤波处理，以筛除非运动区域产生的冗余脉冲信号，再送入特征提取层。

具体地，对应不同运动特征的脉冲神经元输出对应脉冲阵列中各个运动特征神经元的运动模式后，还包括：对各个脉冲特征表现出的运动模式不唯一的情况，设置反向抑制，使得在某个局部空间只能表现出一种运动模式。

进一步地，所述特征提取层由对应不同朝向、不同速度的神经元组成。

进一步地，所述特征提取层由对应不同运动特征的脉冲神经元组成，以输入层产生的前脉冲阵列作为输入，输出对应不同运动特征神经元下的后脉冲序列；根据输出的后脉冲序列与前一时刻输入的前脉冲阵列的空间关系进行运动特征神经元权值的调整。

进一步地，所述根据输出的后脉冲序列与前一时刻输入的前脉冲阵列的空间关系进行运动特征神经元权值的调整，其方法包括：

后脉冲序列与前脉冲序列空间对应位置上，如果后脉冲序列产生脉冲有脉冲信号，而前脉冲序列没有脉冲信号，则减弱对应输出后脉冲序列的运动特征神经元在该空间对应位置上的权值；

如果后脉冲序列与前脉冲序列在空间对应位置上都有脉冲信号，增强对应输出后脉冲序列的运动特征神经元在该空间对应位置上的权值。

优选地，在调整运动特征神经元在不同空间位置上的权值时，训练采用的学习率设定模型包括：提前设定的固定学习率，或是根据局部位置的脉冲发放模式进行自适应的调整。

优选地，在增强和减弱运动特征神经元在某空间位置的权值时，综合所述空间位置周边的增强和减弱的权值，进行累加操作后以所述空间位置周边的后脉冲序列中脉冲信号的个数为分母进行缩放，再用得到的值更新运动特征神经元的权值。

优选地，所述采集监测区域的时空信号包括采集监测区域的光信号和/或采集监测区域的地址事件表示信号。

具体地，所述采集监测区域的光信号的步骤为：

采集监测区域内的各个局部空间位置的光信号，按照时间顺序分别对各个局部空间位置的光信号强度进行累积，以得到各个局部空间位置的信号累积强度值；

在任一局部空间位置的信号累积强度值达到阈值时，输出该局部空间位置的一个脉冲信号；

将各个局部空间位置对应的脉冲信号按照时间顺序排列成二值序列；

利用所有局部空间位置对应的二值序列按照空间位置相互关系形成原始脉冲阵列。

进一步地，所述采集监测区域的地址事件表示信号为通过动态视觉传感器获取所述监测区域的地址事件表示信号，再将所述地址事件表示信号转化为原始脉冲阵列。

本申请的有益效果为：

本申请提出的基于脉冲阵列的运动检测方法，利用高频率视网膜相机获得的脉冲阵列本身具有的时空特性，仿照生物视觉特性，直接以视觉脉冲序列为输入，获取监测区域中存在的各种运动状态，获取各个运动状态对应的参数信息，输出的运动信息可用于物体跟踪及运动补偿等，从而更有利于后续基于脉冲信号的高速视觉对象的检测、识别及跟踪等高级视觉任务。

附图说明

图1示出了本申请的实施例1的流程示意图；

图2示出了本申请的实施例1的处理过程与效果示意图；

图3示出了本申请的实施例2的流程示意图；

图4示出了本申请的实施例3的流程示意图。

具体实施方式

以下，将参照附图来描述本申请的实施例。但是应该理解的是，这些描述只是示例性的，而并非要限制本申请的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本申请的概念。对于本领域技术人员来说显而易见的是，本申请可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本申请发生混淆，对于本领域公知的一些技术特征未进行描述。

应予以注意的是，这里所使用的术语仅是为了描述具体实施例，而非意图限制根据本申请的示例性实施例。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或附加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组合。

现在，将参照附图更详细地描述根据本申请的示例性实施例。然而，这些示例性实施例可以多种不同的形式来实施，并且不应当被解释为只限于这里所阐述的实施例。附图并非是按比例绘制的，其中为了清楚表达的目的，可能放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状以及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。

实施例1：

本申请提供了一种基于脉冲阵列的运动检测方法，如图1所示，本申请提供了一种基于脉冲阵列的运动检测方法，包括以下步骤：

采集监测区域的时空信号生成时空脉冲阵列；

将时空脉冲阵列输入脉冲神经网络中，脉冲神经网络中的脉冲神经元处理具有运动特征的时空脉冲序列并产生对应的脉冲；

根据脉冲神经网络产生的脉冲获得不同空间位置的运动信息。

脉冲神经网络包括特征提取层和运动检测层，所述特征提取层进行运动模式检测，获取对应不同运动特征的脉冲序列，所述运动检测层根据所述脉冲序列进行运动模型检测。

脉冲神经网络在特征提取层之前还包括输入层，所述输入层对采集到的原始脉冲阵列做滤波处理，以筛除非运动区域产生的冗余脉冲信号，再送入特征提取层。

对应不同运动特征的脉冲神经元输出对应脉冲阵列中各个运动特征神经元的运动模式后，还包括：

对各个脉冲特征表现出的运动模式不唯一的情况，设置反向抑制，使得在某个局部空间只能表现出一种运动模式。进一步地，所述特征提取层由对应不同朝向、不同速度的神经元组成。

根据输出的后脉冲序列与前一时刻输入的前脉冲阵列的空间关系进行运动特征神经元权值的调整，其方法包括：

优选地，采集监测区域的时空信号包括采集监测区域的光信号和/或采集监测区域的地址事件表示信号。

具体地，所述采集监测区域的光信号的步骤为：

图2示出了运用本申请处理过程与效果示意图，如图2所示，在获得输入层的脉冲阵列后，通过运动特征神经元的发放模式获取所输入脉冲阵列中每个像素对应的运动模式，图2所示中有对应八个方向的运动特征神经元(由不同灰度表示)，在运动特征提取后，得到每个像素的运动特征，如字符C为对应“右下”箭头的运动特征。在运动检测层引入的侧向连接使得在局部尽可能只有一种运动模式，如在特征提取后，字符A的区域存在多种运动特征(不同灰度值)，在侧向抑制后该区域都为对应“右上”的运动模式。最终通过整合监测区域中存在的运动模式，可得脉冲阵列中存在字符C区域为“右下”，字符A区域为“右上”的运动模式。

实施例2：

本申请提供了一种基于脉冲阵列的运动检测方法，首先对监测区域内的各个空间位置的光信号进行采集，同时对每个空间位置的信号进行累积，得到信号累积强度值；一旦某个空间位置的信号累积强度值超过预设的发放阈值，则输出一个脉冲信号；将每个空间位置对应的脉冲信号按照时间先后排列成二值序列，所有空间位置对应的二值序列构成脉冲阵列。图3为三维时空脉冲阵列的运动检测流程图，如图3所示，基于短时程可塑性模型的时域滤波器处理方法包括如下步骤：

步骤1，将每个时刻的脉冲阵列形成的一个二维阵列输入输入层；所述二维阵列示例如下：

其中“1”表示该时刻在对应位置有脉冲信号，“0”表示该时刻在对应位置无脉冲信号。粗体的“1”表示的是运动物体产生的脉冲信号，圈外的“1”为静止/背景区域产生的脉冲信号。

在输入层中，设置时域滤波器将背景中冗余的噪声去除，保留运动区域的脉冲阵列并输出。滤波器采取的是动态连接门的形式，当输入脉冲序列规律性较强时关闭，不输出脉冲，反之，当输入脉冲发生不规则变化时开启，输出脉冲。上述示例中的脉冲阵列，经过滤后获得的脉冲阵列为：

步骤2，在特征提取结束后为由脉冲神经元组成的运动检测层，以步骤1产生的脉冲阵列为输入，分析每个脉冲神经元的运动参数。这里以获取各个神经元的运动朝向为例，阐述运动特征提取模块的工作流程。首先设置对应各个运动朝向的运动特征神经元(每个神经元对应一个运动模型)，根据这些运动单元预测各个脉冲下一时刻的运动位置，根据预测结果与下一时刻该脉冲实际所在位置更新对应的运动模型参数。参数更新时根据特征神经元输出的后脉冲阵列和上一时刻步骤1输出的前脉冲阵列更新不同运动特征神经元的权值。

步骤3，当后脉冲序列与前脉冲序列空间对应位置上，后脉冲序列产生脉冲有脉冲信号，而前脉冲序列没有脉冲信号时，减弱对应输出后脉冲序列的运动模型在该空间位置上的权值；当后脉冲序列与前脉冲序列空间对应位置上都有脉冲信号时，增强对应输出后脉冲序列的运动神经元在该空间位置上的权值。

如在t和t+1时刻获得的前脉冲和后脉冲序列脉冲阵列发放情况如下:

并在网络中设置了分别对应向左、左上、上、右上、右、右下、下和左下共八个方向的运动神经元，通过比对上述两个脉冲阵列并更新不同运动神经元的权重，在更新后可得向右的神经元匹配的脉冲数最多，因此其对应的权重也最高，脉冲发放率也是最高，因此判断所得当前该位置的运动朝向应是朝右。

步骤4，在动作检测模块加入侧向抑制功能，使得局部空间位置的运动尽量只由一个运动特征神经元表示。侧向抑制功能可以通过向每个神经元添加负反馈控制，或是全局/局部的周边神经元统计一个抑制信号。例如在某个局部，有三个位置是“向右”运动神经元的脉冲发放率最高，而有一个位置是“向右上”运动神经元的脉冲发放率最高，则通过局部的横向抑制，其最终获得的运动检测结果也为“向右”的运动朝向。

实施例3：

本申请提出的基于脉冲阵列的运动检测方法，目前还存在另外一种仿视网膜相机能产生脉冲事件信号，处理流程如图4所示。动态视觉传感器(Dynamic Vision Sensor，DVS)是模仿视网膜外周细胞对亮度变化敏感机理的视觉传感器，通过判断亮度变化是否超过一定阈值产生On事件和Off事件，On事件表示阈值变化超过一定正值，Off事件表示阈值变化低于一定的负值；DVS产生的脉冲以(x，y，t，p)四元组的地址事件表示形式，(x，y)是脉冲发放的二维空间位置，t为此脉冲事件产生的时间戳，p表示事件极性(On或者OFF，分别用“1”和“-1”表示)。在使用DVS产生的脉冲事件时，先将地址表示事件按照固定时间间隔或固定事件长度的方式转换为脉冲发放时间阵列平面，在转换时不考虑事件的极性。例如分辨率为5*5的DVS相机产生了如下事件：

(1，2，1，-1)，(1，3，1，1)，(2，1，1，-1)，(2，2，2，1)，(2，3，3，1)，(2，4，3，1)，(3，1，1，-1)，(3，2，2，1)，(3，3，3，-1)，(3，4，4，1)，(4，3，3，1)，(2，2，4，1)

地址事件表达转化为脉冲阵列平面时，如果每个位置有多个事件，就取这些事件发放事件的平均数。阵列中每个不为0的位置表示有脉冲发放，并且该位置上的数表示脉冲发放事件。

若按固定事件间隔为2转化，则上述事件可对应转换成两个脉冲阵列平面，时间戳为0-1时刻和2-3时刻的事件对应的脉冲阵列分别为：

如果以固定事件长度11将11个事件转换为脉冲阵列，则产生的脉冲阵列平面如下：

在获取上述脉冲发放时间阵列后，可按照实施例2中的步骤1～4来检测监测区域中存在的运动信息，将所述时空脉冲阵列输入脉冲神经网络中，所述脉冲神经网络中的脉冲神经元处理具有运动特征的时空脉冲序列并产生对应的脉冲；根据所述脉冲神经网络产生的所述脉冲获得不同空间位置的运动信息。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种基于脉冲阵列的运动检测方法，其特征在于，包括以下步骤：

采集监测区域的时空信号生成时空脉冲阵列；

2.根据权利要求1所述的基于脉冲阵列的运动检测方法，其特征在于，所述脉冲神经网络包括特征提取层和运动检测层，所述特征提取层进行运动模式检测，获取对应不同运动特征的脉冲序列，所述运动检测层根据所述脉冲序列进行运动模型检测。

3.根据权利要求2所述的基于脉冲阵列的运动检测方法，其特征在于，所述脉冲神经网络在特征提取层之前还包括输入层，所述输入层对采集到的原始脉冲阵列做滤波处理，以筛除非运动区域产生的冗余脉冲信号，再送入特征提取层。

4.根据权利要求2所述的基于脉冲阵列的运动检测方法，其特征在于，所述运动检测层对应不同运动特征的脉冲神经元输出对应脉冲阵列中各个运动特征神经元的运动模式后，还包括：

对各个脉冲特征表现出的运动模式不唯一的情况，设置反向抑制，使得在某个局部空间只能表现出一种运动模式。

5.根据权利要求2或3所述的基于脉冲阵列的运动检测方法，其特征在于，所述特征提取层由对应不同朝向、不同速度的神经元组成。

6.根据权利要求3所述的基于脉冲阵列的运动检测方法，其特征在于，包括：

所述特征提取层由对应不同运动特征的脉冲神经元组成，以输入层产生的前脉冲阵列作为输入，输出对应不同运动特征神经元下的后脉冲序列；

根据输出的后脉冲序列与前一时刻输入的前脉冲阵列的空间关系进行运动特征神经元权值的调整。

7.根据权利要求6所述的基于脉冲阵列的运动检测方法，其特征在于，所述根据输出的后脉冲序列与前一时刻输入的前脉冲阵列的空间关系进行运动特征神经元权值的调整，其方法包括：

8.根据权利要求6所述的基于脉冲阵列的运动检测方法，其特征在于，在调整运动特征神经元在不同空间位置上的权值时，训练采用的学习率设定模型包括：提前设定的固定学习率，或是根据局部位置的脉冲发放模式进行自适应的调整。

9.根据权利要求7所述的基于脉冲阵列的运动检测方法，其特征在于，调整运动特征神经元权值的方法还包括：在增强和减弱运动特征神经元在某空间位置的权值时，综合所述空间位置周边的增强和减弱的权值，进行累加操作后以所述空间位置周边的后脉冲序列中脉冲信号的个数为分母进行缩放，再用得到的值更新运动特征神经元的权值。

10.根据权利要求1所述的基于脉冲阵列的运动检测方法，其特征在于，所述采集监测区域的时空信号包括采集监测区域的光信号和/或采集监测区域的地址事件表示信号。

11.根据权利要求10所述的基于脉冲阵列的运动检测方法，其特征在于，所述采集监测区域的光信号的步骤为：

12.根据权利要求10所述的基于脉冲阵列的运动检测方法，其特征在于，所述采集监测区域的地址事件表示信号为通过动态视觉传感器获取所述监测区域的地址事件表示信号，再将所述地址事件表示信号转化为原始脉冲阵列。