CN114429491A - 一种基于事件相机的脉冲神经网络目标跟踪方法和系统 - Google Patents

一种基于事件相机的脉冲神经网络目标跟踪方法和系统 Download PDF

Info

Publication number
CN114429491A
CN114429491A CN202210357273.6A CN202210357273A CN114429491A CN 114429491 A CN114429491 A CN 114429491A CN 202210357273 A CN202210357273 A CN 202210357273A CN 114429491 A CN114429491 A CN 114429491A
Authority
CN
China
Prior art keywords
image
event
target
network
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210357273.6A
Other languages
English (en)
Other versions
CN114429491B (zh
Inventor
赵文一
唐华锦
洪朝飞
王笑
袁孟雯
陆宇婧
张梦骁
黄恒
潘纲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Zhejiang Lab
Original Assignee
Zhejiang University ZJU
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, Zhejiang Lab filed Critical Zhejiang University ZJU
Priority to CN202210357273.6A priority Critical patent/CN114429491B/zh
Publication of CN114429491A publication Critical patent/CN114429491A/zh
Application granted granted Critical
Publication of CN114429491B publication Critical patent/CN114429491B/zh
Priority to PCT/CN2023/085815 priority patent/WO2023193670A1/zh
Priority to US18/240,526 priority patent/US20230410328A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明属于目标跟踪领域，具体涉及一种基于事件相机的脉冲神经网络目标跟踪方法和系统，该方法包括通过事件相机获取目标高动态场景中的异步事件数据流；将异步事件数据流划分为毫秒级时间分辨率的事件帧图像；以目标图像为模板图像，以完整图像作为搜索图像，训练基于脉冲神经网络的孪生网络，该网络包括特征提取器以及计互相关计算器，图像经过特征提取器提取特征映射后，再利用互相关计算器计算出特征映射的结果；使用训练好的网络，将特征映射的结果进行插值上采样，获得目标在原图中的位置，实现目标跟踪。本发明降低了图像数据的传输延迟与目标跟踪算法的计算延迟，提高了目标跟踪在高动态场景下的精度。

Description

一种基于事件相机的脉冲神经网络目标跟踪方法和系统
技术领域
本发明涉及目标跟踪领域，具体涉及一种基于事件相机的脉冲神经网络目标跟踪方法和系统。
背景技术
运动目标的识别和跟踪是计算机视觉领域的热点问题，在人机交互、视频跟踪、视觉导航、机器人以及军事制导等方面有广泛的应用。目前，目标跟踪有基于相关滤波的以及基于深度学习的两种主流技术路线。
基于相关滤波的方法速度快，但特征提取能力有限，面对尺度变换与目标丢失问题时效果较差。而基于深度学习的方法具有良好的特征表达能力，跟踪精度更高，但随之而来的是计算量的增加，在跟踪实时性方面受到一定的限制，且受光照影响大，不适用于高动态场景。
发明内容
为了解决现有技术中存在的上述技术问题，本发明提出了一种基于事件相机的脉冲神经网络目标跟踪方法和系统，其具体技术方案如下：
一种基于事件相机的脉冲神经网络目标跟踪方法，包括以下步骤：
步骤S10，通过事件相机获取目标高动态场景中的异步事件数据流；
步骤S20，通过异步事件累积将异步事件数据流划分为毫秒级时间分辨率的N张事件帧图像，N为整数；
步骤S30，框选出第1张事件帧图像中的目标，以该目标的图像为模板图像a，以2到N张的事件帧图像作为搜索图像b，输入使用梯度替代算法训练的基于脉冲神经网络的孪生网络，所述孪生网络包括特征提取器以及互相关计算器，经过特征提取器提取特征映射后，再利用互相关计算器计算出特征映射的结果；
步骤S40，使用步骤S30训练好的网络，通过缩小搜索区域方式后，将特征映射的结果进行双三次插值上采样，获得目标在原图中的位置，实现目标跟踪。
进一步的，所述异步事件数据流具体为[t,p,x,y]格式，其中t为时间戳，p为事件极性，x,y代表事件在像素坐标系下的坐标。
进一步的，所述步骤S20，具体为：
首先根据设置好的时间步大小及数量对异步事件数据流进行划分，然后将每个时间步内的事件进行累积，同一时间步内坐标产生的事件数大于0，则该坐标处像素设置为1，否则像素设置为0，以此生成按时间步划分的事件帧图像，事件帧图像为二值图像。
进一步的，所述特征提取器提取特征映射，具体为：将所述特征提取器表示为
Figure 100002_DEST_PATH_IMAGE002
，模板图像a和搜索图像b经过特征提取器运算后的输出分别为特征映射
Figure DEST_PATH_IMAGE004
和特征映射
Figure 100002_DEST_PATH_IMAGE006
；其中，特征提取器采用脉冲卷积神经网络，其网络结构为96C5-2S-256C3-2S-384C3-384C3-256C3，其中95C5表示kernel_size为5输出通道为95的脉冲卷积层，2S表示下采样2倍的池化层，256C3表示kernel_size为3输出通道为256的脉冲卷积层，384C3表示kernel_size为3输出通道为384的脉冲卷积层，第一层卷积步长为2，其余卷积步长均为1，且所有卷积层后均带有脉冲神经元，所述脉冲神经元是LIF（Leaky integrate and fire）神经元模型，表达式为：
Figure 100002_DEST_PATH_IMAGE008
其中，
Figure 100002_DEST_PATH_IMAGE010
表示膜时间常数，
Figure 100002_DEST_PATH_IMAGE012
表示静息电位，
Figure 100002_DEST_PATH_IMAGE014
、
Figure DEST_PATH_IMAGE016
分别表示细胞膜的阻抗与输入电流，
Figure DEST_PATH_IMAGE018
表示膜电位对时间的微分（导数），
Figure DEST_PATH_IMAGE020
表示膜电位。
进一步的，所述互相关计算器为卷积层，其计算出特征映射的结果具体采用以下方式：卷积层以特征映射
Figure 189739DEST_PATH_IMAGE004
作为卷积核，以特征映射
Figure 575721DEST_PATH_IMAGE006
作为待卷积的特征图，对二者进行卷积操作，互相关计算器的运算公式为
Figure DEST_PATH_IMAGE022
，其中c为偏置项，经过该卷积层计算后产生的结果为一个代表目标中心点位置预测概率的互相关热力图，其中互相关热力图的最大脉冲发放率的位置即为预测目标中心的位置。
进一步的，所述孪生网络采用类脑计算开发框架，采用批次训练方法，首先将模板图像a进行边缘填充0操作，使其尺寸与搜索图像b相等，然后将搜索图像b与填充后的模板图像a顺序放入同一个批次中，使批次大小batchsize变为原来的2倍，新的批次中第奇数个样本为填充后的模板图像a，第偶数个样本为搜索图像b，使得输入层神经元数量一致，共用同一个网络连接，最后经过特征提取器
Figure 542409DEST_PATH_IMAGE002
后，对第奇数个样本提取特征后的输出进行裁剪，删除边缘填充的操作，得到特征映射
Figure 203198DEST_PATH_IMAGE004
，对第偶数个样本提取特征后得到特征映射
Figure 486412DEST_PATH_IMAGE006
。
进一步的，所述互相关计算器的损失函数，具体包括：
将互相关热力图上每个像素点的损失函数设置为
Figure DEST_PATH_IMAGE024
，其中，w为真实标签，即原图中有目标的位置为1，无目标的位置为-1，v为互相关计算器输出的热力图，其值为实数值，设互相关热力图为D，则整体的损失函数为
Figure DEST_PATH_IMAGE026
，即热力图D上所有点损失函数的平均值。
进一步的，所述步骤S40具体为：
保持模板图像a不变，采用的搜索图像b为从上一事件帧图像中目标位置为中心裁剪出的相当于模板图像倍数大小的图像，使用步骤S30训练好的网络，采用双三次插值将互相关热力图的尺寸上采样还原，确定预测的目标位置，再采用多尺度进行搜索将图像进行缩放，从输出中选择脉冲发放率最高即相似度最高的作为最终结果。
一种基于事件相机的脉冲神经网络目标跟踪系统，包括，数据流获取模块、高时间分辨率事件帧生成模块、网络训练模块、网络输出模块；
所述数据流获取模块，配置为通过事件相机获取目标高动态场景中的异步事件数据流；
所述高时间分辨率事件帧生成模块，配置为通过异步事件累积将异步事件流划分为毫秒级时间分辨率的N张事件帧图像，该事件帧图像为与脉冲相似的二值图像；
所述网络训练模块，配置为框选出第1张事件帧图像中的目标，以该目标的图像为模板图像a，以2到N张的事件帧图像作为搜索图像b，输入使用梯度替代算法训练的基于脉冲神经网络的孪生网络，其中所述孪生网络包括权重共享的特征提取器以及计算目标位置的互相关计算器，经过特征提取器提取特征映射后，再利用互相关计算器计算出特征映射的结果；
所述网络输出模块，配置为使用模块训练好的网络，将特征映射的结果进行插值上采样，获得目标在原图中的位置，实现目标跟踪。
有益效果：解决现有的基于传统帧率相机与深度学习的目标跟踪方法存在的高延迟以及低动态范围问题，具体的：
（1）本发明通过事件相机获取异步事件流，减少了数据传输量，降低了通信延迟；
（2）本发明通过根据时间步划分同步事件帧的方式，实时输入脉冲神经网络，免去了传统图像帧输入脉冲神经网络时需要进行脉冲编码的要求；
（3）本发明所述脉冲神经网络模型相比于深度神经网络，由于采用脉冲计算，其计算量降低，算法计算延迟降低；
（4）本发明采用脉冲卷积神经网络对事件相机数据进行特征提取，能够提高算法在高动态范围场景下的跟踪精度。
附图说明
图1是本发明的一种基于事件相机的脉冲神经网络目标跟踪方法的流程示意图；
图2是本发明实施例的一种基于事件相机的脉冲神经网络目标跟踪系统的框架示意图；
图3是本发明实施例的一种基于事件相机的脉冲神经网络目标跟踪方法的具体流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
目前，事件相机（event-based camera）或称动态视觉传感器（Dynamic visionsensor ，DVS）与传统的帧率相机相比具有不同的工作方式，其输出不是强度图像，而是在微秒分辨率下的异步事件流，其每个像素的产生是独立的；事件相机相比于帧率相机，具有延迟低、功耗低、动态范围高等优点，更适合在过亮、过暗或明暗对比强烈等光照条件恶劣的场景下实现快速目标跟踪。
同时，脉冲神经网络相比人工神经网络，由于采用脉冲发放机制，能够融合时空信息，且模拟生物膜电位的方式具有更高的生物真实性。
事件相机输出的异步事件流与脉冲神经网络的脉冲发放机制存在仿生的关联性，因此本发明结合事件相机与脉冲神经网络提出了一种高速高动态范围的目标跟踪方法和系统。
本发明的一种基于事件相机的脉冲神经网络目标跟踪方法，如图1和图3所示，包括以下步骤：
步骤S10，通过事件相机获取目标高动态场景中的异步事件数据流；
在本实施例中，通过事件相机获取目标高动态场景中的异步事件数据流，该数据流具体为[t,p,x,y]格式，其中t为时间戳，p为事件极性，x,y代表事件在像素坐标系下的坐标。
步骤S20，通过异步事件累积将异步事件数据流划分为毫秒级时间分辨率的的N张事件帧图像N为整数；
在本实施例中，根据设置好的时间步大小及数量对异步事件数据流进行划分，设置时间步为0.1ms，以50个时间步为例，采用事件相机可实现相当于传统帧率相机200FPS的拍摄速率，极大提高数据实时性。将每个时间步内的事件进行累积，只要同一时间步内某个坐标产生的事件数大于0，则该坐标处像素设置为1，否则像素设置为0，最终生成按时间步划分的事件帧图像，所述事件帧图像为与脉冲相似的二值图像。本实施例中只对极性为正即p=1的事件进行处理。
步骤S30，框选出第1张事件帧图像中的目标，以该目标的图像为模板图像a，以2到N张的事件帧图像作为搜索图像b，输入使用梯度替代算法训练的基于脉冲神经网络的孪生网络，其中所述孪生网络包括权重共享的特征提取器以及计算目标位置的互相关计算器，经过特征提取器提取特征映射后，再利用互相关计算器计算出特征映射的结果，具体的：
设计特征提取器结构。在本实施例中，所述特征提取器为脉冲卷积神经网络，其网络结构为96C5-2S-256C3-2S-384C3-384C3-256C3，其中95C5表示kernel_size为5输出通道为95的脉冲卷积层，2S表示下采样2倍的池化层，256C3表示kernel_size为3输出通道为256的脉冲卷积层，384C3表示kernel_size为3输出通道为384的脉冲卷积层，第一层卷积步长为2，其余卷积步长均为1，该特征提取器的所有脉冲卷积层后均带有脉冲神经元。
所述脉冲神经元是LIF（Leaky integrate and fire）神经元模型，表达式为：
Figure DEST_PATH_IMAGE008A
其中，
Figure 433508DEST_PATH_IMAGE010
表示膜时间常数，
Figure 169383DEST_PATH_IMAGE012
表示静息电位，
Figure 837124DEST_PATH_IMAGE014
、
Figure 224112DEST_PATH_IMAGE016
分别表示细胞膜的阻抗与输入电流，
Figure 420738DEST_PATH_IMAGE018
表示膜电位对时间的微分（导数），
Figure 643909DEST_PATH_IMAGE020
表示膜电位。
将所述特征提取器表示为
Figure 849763DEST_PATH_IMAGE002
，模板图像a尺寸为255*255*3，搜索图像b尺寸为127*127*3，则经过特征提取器运算后的输出分别为
Figure 638727DEST_PATH_IMAGE004
，大小为6*6*256,
Figure 786681DEST_PATH_IMAGE006
，大小为22*22*256；
设计互相关计算器结构：本实施例中所述互相关计算器为卷积层，该层以模板图像a提取特征后的特征映射
Figure 497148DEST_PATH_IMAGE004
作为卷积核，以搜索图像b提取特征后的特征映射
Figure 241113DEST_PATH_IMAGE006
作为待卷积的特征图，对二者进行卷积操作，则互相关计算器的运算公式为
Figure 353425DEST_PATH_IMAGE022
，其中c为偏置项，经过该层计算后产生的结果为一个代表目标中心点位置预测概率的互相关热力图，大小为17*17*1，最大脉冲发放率的位置即为预测目标中心的位置。
网络前向传播实现。本实施例中，所述孪生网络根据所采用的类脑计算开发框架不同，通常可有两种实现形式：第一种为使用Pytorch、TensorFlow等深度学习开发框架，该类框架可直接实现孪生网络的权重共享，同一网络根据不同输入产生不同输出，即对一个网络
Figure 141122DEST_PATH_IMAGE002
，可以先计算一次
Figure 338885DEST_PATH_IMAGE004
，再计算一次
Figure 886541DEST_PATH_IMAGE006
；第二种为用于脉冲神经网络开发的类脑计算框架，该类框架为模拟生物神经结构，使用该类框架定义的网络连接中须明确指出每层神经元的数量。在本实施例中，孪生网络的两条分支输入的模板图像z和搜索图像x的尺寸不同，对应到网络连接中，导致输入层神经元的数量不一样。因此如果按照常规写法，两条分支会变成不同的网络，不能共享权重。
因此，为解决类脑计算框架存在的上述问题，本发明采用批次训练方法，具体为：将模板图像a进行边缘填充0操作，使其尺寸与搜索图像b相等；将填充后的模板图像a与搜索图像b顺序放入同一个批次中，使批次大小batchsize变为原来的2倍，新的批次中第奇数个样本为a，第偶数个样本为b，使得输入层神经元数量一致，共用同一个网络连接；经过特征提取器
Figure 650097DEST_PATH_IMAGE002
后，再对第奇数个样本的输出进行裁剪，删除边缘填充的操作，得到应有的尺寸为6*6*256的特征映射
Figure 890586DEST_PATH_IMAGE004
。如此，同一个批次中每连续两个样本为一组，以第奇数个样本的特征映射
Figure 559333DEST_PATH_IMAGE004
作为卷积核，以第偶数个样本的特征映射
Figure 910680DEST_PATH_IMAGE006
作为待卷积的特征图，执行互相关计算，即可实现与深度学习开发框架相同的效果。
损失函数设计。在本实施例中，每个像素点的损失函数设置为
Figure 466427DEST_PATH_IMAGE024
，其中，w为真实标签，即原图中有目标的位置为1，无目标的位置为-1，v为互相关计算器输出的热力图，其值为实数值。设互相关热力图为D，则整体的损失函数为
Figure 877816DEST_PATH_IMAGE026
，即热力图D上所有点损失函数的平均值。
学习算法选择。本实施例中所述孪生脉冲神经网络训练方法为梯度替代法，采用STBP（Spatio-Temporal Backpropagation），STCA（Spatio-Temporal Credit Assignment）等算法，将不可导的脉冲输出替换为近似的连续可导函数，使用SGD或Adam等梯度下降方法实现网络参数的优化。
步骤S40，使用步骤S30训练好的网络，通过缩小搜索区域方式后，将特征映射的结果进行双三次插值上采样，获得目标在原图中的位置，实现目标跟踪。
在本实施例中，目标即模板图像采用不更新的方式，初始目标的特征提取器只需要计算一次，得到特征映射
Figure DEST_PATH_IMAGE028
。
由于事件相机的低延迟特性，本实施例中采用的搜索图像b为从上一事件帧中目标位置为中心裁剪出的相当于模板图像4倍大小的图像，通过缩小搜索区域进一步提升实时性。
采用双三次插值将互相关热力图的尺寸从17*17上采样还原到272*272，确定预测的目标位置。
在本实施例中，采用3种尺度进行搜索，即将图像分别缩放为
Figure DEST_PATH_IMAGE030
，从输出中选择脉冲发放率最高即相似度最高的作为最终结果。
本发明的一种基于事件相机的脉冲神经网络目标跟踪系统，如图2所示，包括：数据流获取模块100、高时间分辨率事件帧生成模块200、网络训练模块300、网络输出模块400；
所述数据流获取模块100，配置为通过事件相机获取目标高动态场景中的异步事件数据流；
所述高时间分辨率事件帧生成模块200，配置为通过异步事件累积将异步事件流划分为毫秒级时间分辨率的N张事件帧图像，该事件帧图像为与脉冲相似的二值图像；
所述网络训练模块300，配置为框选出第1张事件帧图像中的目标，以该目标的图像为模板图像a，以2到N张的事件帧图像作为搜索图像b，使用梯度替代算法训练基于脉冲神经网络的孪生网络，该网络包括权重共享的特征提取器以及计算目标位置的相似度计算器，经过特征提取器提取特征映射后，再利用互相关计算器计算出特征映射的结果；
所述网络输出模块400，配置为使用模块300训练好的网络，将特征映射的结果进行插值上采样，获得目标在原图中的位置，实现目标跟踪。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的系统的具体的工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
要说明的是，上述实施例提供的基于事件相机的脉冲神经网络目标跟踪系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种基于事件相机的脉冲神经网络目标跟踪方法，其特征在于，包括以下步骤：
步骤S10，通过事件相机获取目标高动态场景中的异步事件数据流；
步骤S20，通过异步事件累积将异步事件数据流划分为毫秒级时间分辨率的N张事件帧图像，N为整数；
步骤S30，框选出第1张事件帧图像中的目标，以该目标的图像为模板图像a，以2到N张的事件帧图像作为搜索图像b，输入使用梯度替代算法训练的基于脉冲神经网络的孪生网络，所述孪生网络包括特征提取器以及互相关计算器，经过特征提取器提取特征映射后，再利用互相关计算器计算出特征映射的结果；
步骤S40，使用步骤S30训练好的网络，通过缩小搜索区域方式后，将特征映射的结果进行双三次插值上采样，获得目标在原图中的位置，实现目标跟踪。
2.如权利要求1所述的一种基于事件相机的脉冲神经网络目标跟踪方法，其特征在于，所述异步事件数据流具体为[t,p,x,y]格式，其中t为时间戳，p为事件极性，x,y代表事件在像素坐标系下的坐标。
3.如权利要求2所述的一种基于事件相机的脉冲神经网络目标跟踪方法，其特征在于，所述步骤S20，具体为：
首先根据设置好的时间步大小及数量对异步事件数据流进行划分，然后将每个时间步内的事件进行累积，同一时间步内坐标产生的事件数大于0，则该坐标处像素设置为1，否则像素设置为0，以此生成按时间步划分的事件帧图像，事件帧图像为二值图像。
4.如权利要求1所述的一种基于事件相机的脉冲神经网络目标跟踪方法，其特征在于，所述特征提取器提取特征映射，具体为：将所述特征提取器表示为
Figure DEST_PATH_IMAGE001
，模板图像a和搜索图像b经过特征提取器运算后的输出分别为特征映射
Figure DEST_PATH_IMAGE002
和特征映射
Figure DEST_PATH_IMAGE003
；其中，特征提取器采用脉冲卷积神经网络，其网络结构为96C5-2S-256C3-2S-384C3-384C3-256C3，其中95C5表示kernel_size为5输出通道为95的脉冲卷积层，2S表示下采样2倍的池化层，256C3表示kernel_size为3输出通道为256的脉冲卷积层，384C3表示kernel_size为3输出通道为384的脉冲卷积层，第一层卷积步长为2，其余卷积步长均为1，且所有卷积层后均带有脉冲神经元，所述脉冲神经元是LIF神经元模型，表达式为：
Figure DEST_PATH_IMAGE005
其中，
Figure DEST_PATH_IMAGE006
表示膜时间常数，
Figure DEST_PATH_IMAGE007
表示静息电位，
Figure DEST_PATH_IMAGE008
、
Figure DEST_PATH_IMAGE009
分别表示细胞膜的阻抗与输入电流，
Figure DEST_PATH_IMAGE010
表示膜电位对时间的微分（导数），
Figure DEST_PATH_IMAGE011
表示膜电位。
5.如权利要求4所述的一种基于事件相机的脉冲神经网络目标跟踪方法，其特征在于，所述互相关计算器为卷积层，其计算出特征映射的结果具体采用以下方式：卷积层以特征映射
Figure 482189DEST_PATH_IMAGE002
作为卷积核，以特征映射
Figure 133751DEST_PATH_IMAGE003
作为待卷积的特征图，对二者进行卷积操作，互相关计算器的运算公式为
Figure DEST_PATH_IMAGE012
，其中c为偏置项，经过该卷积层计算后产生的结果为一个代表目标中心点位置预测概率的互相关热力图，其中互相关热力图的最大脉冲发放率的位置即为预测目标中心的位置。
6.如权利要求5所述的一种基于事件相机的脉冲神经网络目标跟踪方法，其特征在于，所述孪生网络采用类脑计算开发框架，采用批次训练方法，首先将模板图像a进行边缘填充0操作，使其尺寸与搜索图像b相等，然后将搜索图像b与填充后的模板图像a顺序放入同一个批次中，使批次大小batchsize变为原来的2倍，新的批次中第奇数个样本为填充后的模板图像a，第偶数个样本为搜索图像b，使得输入层神经元数量一致，共用同一个网络连接，最后经过特征提取器
Figure 975805DEST_PATH_IMAGE001
后，对第奇数个样本提取特征后的输出进行裁剪，删除边缘填充的操作，得到特征映射
Figure 105435DEST_PATH_IMAGE002
，对第偶数个样本提取特征后得到特征映射
Figure 264015DEST_PATH_IMAGE003
。
7.如权利要求5所述的一种基于事件相机的脉冲神经网络目标跟踪方法，其特征在于，所述互相关计算器的损失函数，具体包括：
将互相关热力图上每个像素点的损失函数设置为
Figure DEST_PATH_IMAGE013
，其中，w为真实标签，即原图中有目标的位置为1，无目标的位置为-1，v为互相关计算器输出的热力图，其值为实数值，设互相关热力图为D，则整体的损失函数为
Figure DEST_PATH_IMAGE014
，即热力图D上所有点损失函数的平均值。
8.如权利要求5所述的一种基于事件相机的脉冲神经网络目标跟踪方法，其特征在于，所述步骤S40具体为：
保持模板图像a不变，采用的搜索图像b为从上一事件帧图像中目标位置为中心裁剪出的相当于模板图像倍数大小的图像，使用步骤S30训练好的网络，采用双三次插值将互相关热力图的尺寸上采样还原，确定预测的目标位置，再采用多尺度进行搜索将图像进行缩放，从输出中选择脉冲发放率最高即相似度最高的作为最终结果。
9.一种基于事件相机的脉冲神经网络目标跟踪系统，包括，数据流获取模块、高时间分辨率事件帧生成模块、网络训练模块、网络输出模块；其特征在于，
所述数据流获取模块，配置为通过事件相机获取目标高动态场景中的异步事件数据流；
所述高时间分辨率事件帧生成模块，配置为通过异步事件累积将异步事件流划分为毫秒级时间分辨率的N张事件帧图像，该事件帧图像为与脉冲相似的二值图像；
所述网络训练模块，配置为框选出第1张事件帧图像中的目标，以该目标的图像为模板图像a，以2到N张的事件帧图像作为搜索图像b，输入使用梯度替代算法训练的基于脉冲神经网络的孪生网络，其中所述孪生网络包括权重共享的特征提取器以及计算目标位置的互相关计算器，经过特征提取器提取特征映射后，再利用互相关计算器计算出特征映射的结果；
所述网络输出模块，配置为使用模块训练好的网络，将特征映射的结果进行插值上采样，获得目标在原图中的位置，实现目标跟踪。
CN202210357273.6A 2022-04-07 2022-04-07 一种基于事件相机的脉冲神经网络目标跟踪方法和系统 Active CN114429491B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210357273.6A CN114429491B (zh) 2022-04-07 2022-04-07 一种基于事件相机的脉冲神经网络目标跟踪方法和系统
PCT/CN2023/085815 WO2023193670A1 (zh) 2022-04-07 2023-04-01 基于事件相机的脉冲神经网络目标跟踪方法及系统
US18/240,526 US20230410328A1 (en) 2022-04-07 2023-08-31 Target tracking method and system of spiking neural network based on event camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210357273.6A CN114429491B (zh) 2022-04-07 2022-04-07 一种基于事件相机的脉冲神经网络目标跟踪方法和系统

Publications (2)

Publication Number Publication Date
CN114429491A true CN114429491A (zh) 2022-05-03
CN114429491B CN114429491B (zh) 2022-07-08

Family

ID=81314426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210357273.6A Active CN114429491B (zh) 2022-04-07 2022-04-07 一种基于事件相机的脉冲神经网络目标跟踪方法和系统

Country Status (3)

Country Link
US (1) US20230410328A1 (zh)
CN (1) CN114429491B (zh)
WO (1) WO2023193670A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114861892A (zh) * 2022-07-06 2022-08-05 深圳时识科技有限公司 芯片在环代理训练方法及设备、芯片及电子设备
WO2023193670A1 (zh) * 2022-04-07 2023-10-12 之江实验室 基于事件相机的脉冲神经网络目标跟踪方法及系统
CN116883648A (zh) * 2023-09-06 2023-10-13 南方电网数字电网研究院有限公司 一种异物检测方法、装置、电子设备及存储介质
WO2023212857A1 (zh) * 2022-05-05 2023-11-09 中国科学院深圳先进技术研究院 一种基于类脑智能的脑机接口系统及设备
CN117314972A (zh) * 2023-11-21 2023-12-29 安徽大学 一种基于多类注意力机制的脉冲神经网络的目标跟踪方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117232638B (zh) * 2023-11-15 2024-02-20 常州检验检测标准认证研究院 机器人振动检测方法及系统
CN117291914B (zh) * 2023-11-24 2024-02-09 南昌江铃华翔汽车零部件有限公司 汽车零部件缺陷检测方法、系统、计算机及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191491A (zh) * 2018-08-03 2019-01-11 华中科技大学 基于多层特征融合的全卷积孪生网络的目标跟踪方法及系统
CN110210563A (zh) * 2019-06-04 2019-09-06 北京大学 基于Spike cube SNN的图像脉冲数据时空信息学习及识别方法
CN110555523A (zh) * 2019-07-23 2019-12-10 中建三局智能技术有限公司 一种基于脉冲神经网络的短程跟踪方法及系统
US20200273180A1 (en) * 2017-11-14 2020-08-27 Apple Inc. Deformable object tracking
CN112184752A (zh) * 2020-09-08 2021-01-05 北京工业大学 一种基于金字塔卷积的视频目标跟踪方法
CN112508996A (zh) * 2020-09-05 2021-03-16 常州工学院 无锚点孪生网络角点生成的目标跟踪方法及装置
CN112712170A (zh) * 2021-01-08 2021-04-27 西安交通大学 基于输入加权脉冲神经网络的神经形态视觉目标分类系统
CN113205048A (zh) * 2021-05-06 2021-08-03 浙江大学 一种手势识别方法及识别系统
CN113763415A (zh) * 2020-06-04 2021-12-07 北京达佳互联信息技术有限公司 目标跟踪方法、装置、电子设备及存储介质
CN113762409A (zh) * 2021-09-17 2021-12-07 北京航空航天大学 一种基于事件相机的无人机目标检测方法
CN113988276A (zh) * 2021-12-27 2022-01-28 中科南京智能技术研究院 一种目标识别方法及系统
US20220101006A1 (en) * 2020-09-30 2022-03-31 Commissariat à l'énergie atomique et aux énergies alternatives Device for compensating movement of an event-driven sensor and associated observation system and method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110148159B (zh) * 2019-05-20 2021-03-26 厦门大学 一种基于事件相机的异步目标跟踪方法
US11588987B2 (en) * 2019-10-02 2023-02-21 Sensors Unlimited, Inc. Neuromorphic vision with frame-rate imaging for target detection and tracking
CN111709967B (zh) * 2019-10-28 2023-04-07 脉冲视觉(北京)科技有限公司 一种目标检测方法、目标跟踪方法、装置及可读存储介质
CN112837344B (zh) * 2019-12-18 2024-03-29 沈阳理工大学 一种基于条件对抗生成孪生网络的目标跟踪方法
CN114202564A (zh) * 2021-12-16 2022-03-18 深圳龙岗智能视听研究院 一种基于事件相机的高速目标追踪的方法及系统
CN114429491B (zh) * 2022-04-07 2022-07-08 之江实验室 一种基于事件相机的脉冲神经网络目标跟踪方法和系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200273180A1 (en) * 2017-11-14 2020-08-27 Apple Inc. Deformable object tracking
CN109191491A (zh) * 2018-08-03 2019-01-11 华中科技大学 基于多层特征融合的全卷积孪生网络的目标跟踪方法及系统
CN110210563A (zh) * 2019-06-04 2019-09-06 北京大学 基于Spike cube SNN的图像脉冲数据时空信息学习及识别方法
CN110555523A (zh) * 2019-07-23 2019-12-10 中建三局智能技术有限公司 一种基于脉冲神经网络的短程跟踪方法及系统
CN113763415A (zh) * 2020-06-04 2021-12-07 北京达佳互联信息技术有限公司 目标跟踪方法、装置、电子设备及存储介质
CN112508996A (zh) * 2020-09-05 2021-03-16 常州工学院 无锚点孪生网络角点生成的目标跟踪方法及装置
CN112184752A (zh) * 2020-09-08 2021-01-05 北京工业大学 一种基于金字塔卷积的视频目标跟踪方法
US20220101006A1 (en) * 2020-09-30 2022-03-31 Commissariat à l'énergie atomique et aux énergies alternatives Device for compensating movement of an event-driven sensor and associated observation system and method
CN112712170A (zh) * 2021-01-08 2021-04-27 西安交通大学 基于输入加权脉冲神经网络的神经形态视觉目标分类系统
CN113205048A (zh) * 2021-05-06 2021-08-03 浙江大学 一种手势识别方法及识别系统
CN113762409A (zh) * 2021-09-17 2021-12-07 北京航空航天大学 一种基于事件相机的无人机目标检测方法
CN113988276A (zh) * 2021-12-27 2022-01-28 中科南京智能技术研究院 一种目标识别方法及系统

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
RONG XIAO等: ""An Event-Driven Categorization Model for AER Image Sensors Using Multispike Encoding and Learning"", 《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》 *
SIXIAN CHAN等: ""Events-to-Frame: Bringing Visual Tracking Algorithm to Event Cameras"", 《IFTC 2020, CCIS 1390》 *
YIHAO LUO等: ""Conversion of Siamese networks to spiking neural networks for energy-efficient object tracking"", 《NEURAL COMPUTING AND APPLICATIONS》 *
YOUNGEUN KIM等: ""Optimizing Deeper Spiking Neural Networks for Dynamic Vision Sensing"", 《NEURAL NETWORKS》 *
周义豪: ""基于仿生视觉芯片的多目标识别系统关键技术的研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
周小龙等: ""基于事件相机的视觉跟踪算法综述"", 《小型微型计算机系统》 *
张宇豪等: ""面向动态事件流的神经网络转换方法"", 《HTTPS://KNS.CNKI.NET/KCMS/DETAIL/51.1307.TP.20220307.1739.008.HTML》 *
熊骏等: ""基于脉冲神经网络的单目标视频跟踪研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
黄铁军等: ""多媒体技术研究:2015——类脑计算的研究进展与发展趋势"", 《中国图象图形学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023193670A1 (zh) * 2022-04-07 2023-10-12 之江实验室 基于事件相机的脉冲神经网络目标跟踪方法及系统
WO2023212857A1 (zh) * 2022-05-05 2023-11-09 中国科学院深圳先进技术研究院 一种基于类脑智能的脑机接口系统及设备
CN114861892A (zh) * 2022-07-06 2022-08-05 深圳时识科技有限公司 芯片在环代理训练方法及设备、芯片及电子设备
CN114861892B (zh) * 2022-07-06 2022-10-21 深圳时识科技有限公司 芯片在环代理训练方法及设备、芯片及电子设备
CN116883648A (zh) * 2023-09-06 2023-10-13 南方电网数字电网研究院有限公司 一种异物检测方法、装置、电子设备及存储介质
CN116883648B (zh) * 2023-09-06 2024-02-13 南方电网数字电网研究院股份有限公司 一种异物检测方法、装置、电子设备及存储介质
CN117314972A (zh) * 2023-11-21 2023-12-29 安徽大学 一种基于多类注意力机制的脉冲神经网络的目标跟踪方法
CN117314972B (zh) * 2023-11-21 2024-02-13 安徽大学 一种基于多类注意力机制的脉冲神经网络的目标跟踪方法

Also Published As

Publication number Publication date
US20230410328A1 (en) 2023-12-21
WO2023193670A1 (zh) 2023-10-12
CN114429491B (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
CN114429491B (zh) 一种基于事件相机的脉冲神经网络目标跟踪方法和系统
WO2020238560A1 (zh) 视频目标跟踪方法、装置、计算机设备及存储介质
CN109271933B (zh) 基于视频流进行三维人体姿态估计的方法
CN113052835B (zh) 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统
CN110246181B (zh) 基于锚点的姿态估计模型训练方法、姿态估计方法和系统
CN114255238A (zh) 一种融合图像特征的三维点云场景分割方法及系统
CN112232134B (zh) 一种基于沙漏网络结合注意力机制的人体姿态估计方法
CN109492596B (zh) 一种基于K-means聚类和区域推荐网络的行人检测方法及系统
CN111652081B (zh) 一种基于光流特征融合的视频语义分割方法
CN112836597A (zh) 基于级联并行卷积神经网络的多手姿态关键点估计方法
CN112183675B (zh) 一种基于孪生网络的针对低分辨率目标的跟踪方法
CN111523600A (zh) 神经网络训练、目标检测、及智能设备控制的方法及装置
CN108537109B (zh) 基于OpenPose的单目相机手语识别方法
CN115049945B (zh) 一种基于无人机图像的小麦倒伏面积提取方法和装置
CN113554032A (zh) 基于高度感知的多路并行网络的遥感图像分割方法
CN115147545A (zh) 一种基于bim和深度学习的场景三维智能重建系统及方法
CN104463962B (zh) 基于gps信息视频的三维场景重建方法
CN111462132A (zh) 一种基于深度学习的视频物体分割方法及系统
CN114677560A (zh) 基于深度学习算法的车道线检测方法及计算机系统
CN108875555B (zh) 基于神经网络的视频兴趣区域和显著目标提取与定位系统
CN113902753A (zh) 基于双通道和自注意力机制的图像语义分割方法及系统
WO2021098554A1 (zh) 一种特征提取方法、装置、设备及存储介质
CN110689559B (zh) 一种基于密集卷积网络特征的视觉目标跟踪方法
WO2024082602A1 (zh) 一种端到端视觉里程计方法及装置
CN111274901A (zh) 一种基于深度门控递归单元的手势深度图像连续检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant