CN110399908B - 基于事件型相机的分类方法和装置、存储介质、电子装置 - Google Patents

基于事件型相机的分类方法和装置、存储介质、电子装置 Download PDF

Info

Publication number
CN110399908B
CN110399908B CN201910597705.9A CN201910597705A CN110399908B CN 110399908 B CN110399908 B CN 110399908B CN 201910597705 A CN201910597705 A CN 201910597705A CN 110399908 B CN110399908 B CN 110399908B
Authority
CN
China
Prior art keywords
region
sub
acquisition
event
acquisition region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910597705.9A
Other languages
English (en)
Other versions
CN110399908A (zh
Inventor
高山
周生龑
梁枭杰
陈俊龙
张洵颖
赵晓冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201910597705.9A priority Critical patent/CN110399908B/zh
Publication of CN110399908A publication Critical patent/CN110399908A/zh
Application granted granted Critical
Publication of CN110399908B publication Critical patent/CN110399908B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明公开了一种基于事件型相机的分类方法和装置、存储介质、电子装置。其中，该方法包括：读入事件相机输出的时间序列数据，时间序列数据中包括多个按照采集时间的顺序排列的事件数据；基于时间序列数据计算事件相机的采集区域内位置的尖峰值和确定采集区域内子区域的触发阈值；根据采集区域内位置的尖峰值和采集区域内子区域的触发阈值，计算采集区域内子区域对应的输出值，并更新存储单元的事件数据存储值；根据采集区域内子区域对应的输出值确定目标对象的时空映射特征值；在宽度网络中根据目标对象的时空映射特征值对目标对象进行分类。本发明解决了相关技术中分类的精度较低的技术问题。

Description

基于事件型相机的分类方法和装置、存储介质、电子装置
技术领域
本发明涉及人工智能领域，具体而言，涉及一种基于事件型相机的分类方法和装置、存储介质、电子装置。
背景技术
近年来,在计算机视觉、人工智能和机器人等领域,动态视觉传感器(英文全称Dynamic vision sensor,英文缩写DVS)相机逐渐广为人知。相机具有以下三个特点：
事件异步性，不同于敏感器，相机的成像过程是异步的，其每个像素可以自主地根据场景光照变化强度大小来产生事件。因此，相机对场景变化的响应速度要远快于敏感器，从而在根本上为超实时视觉算法的提出和实现提供了可能性；事件稀疏性，不同于敏感器，相机是一种运动敏感型敏感器，只捕获存在相对运动且光照变化达到一定阂值的物体边界或轮廓事件，因此仅需少量事件就可以描述场景内容，相对敏感器，相机需要处理的内容大大减少，因此能很大程度上节省计算开销，提高计算效率；光照鲁棒性，产生的事件和场景光照变化强度有关，当场景中光照变化大于给定阂值，相应产生对应事件，以描述场景内容变化，因此，相机是一种光照变化鲁棒型的敏感器，不会因为光照强度增加，产出场景纹理弱化或镜面效果，很大程度上减少了光照、纹理等因素的影响。
事件相机是受生物启发的视觉传感器，它输出像素级的亮度变化，而不是RGB值，目前已有成千上万的卷积神经网络用于处理基于帧的图像，但能够充分利用这些事件相机输出的异步、高时间分辨率、高动态范围、无运动模糊数据的网络很少。
事件相机在输出时当面对静止场景时有时只输出场景噪声，而当整个场景都在运动时产生大量有用的信息。面对不稳定的事件型输出，如果仅对基于传统图像处理框架的卷积神经网络模型进行调整来处理这些异步数据，基于事件的对象分类算法的精度仍然远远落后于基于图像框架的分类算法，缺乏有效的事件表示来准确描述基于事件的数据的时空特征是其中的关键制约因素。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种基于事件型相机的分类方法和装置、存储介质、电子装置，以至少解决相关技术中分类的精度较低的技术问题。
根据本发明实施例的一个方面，提供了一种基于事件型相机的分类方法，包括：读入事件相机输出的时间序列数据，时间序列数据中包括多个按照采集时间的顺序排列的事件数据；基于时间序列数据计算事件相机的采集区域内位置的尖峰值和确定采集区域内子区域的触发阈值；根据采集区域内位置的尖峰值和采集区域内子区域的触发阈值，计算采集区域内子区域对应的输出值，并更新存储单元的事件数据存储值；根据采集区域内子区域对应的输出值确定目标对象的时空映射特征值；在宽度网络中根据目标对象的时空映射特征值对目标对象进行分类。
根据本发明实施例的另一方面，还提供了一种基于事件型相机的分类装置，包括：读取单元，用于读入事件相机输出的时间序列数据，其中，时间序列数据中包括多个按照采集时间的顺序排列的事件数据；第一运算单元，用于基于时间序列数据计算事件相机的采集区域内位置的尖峰值和确定采集区域内子区域的触发阈值；第二运算单元，用于根据采集区域内位置的尖峰值和采集区域内子区域的触发阈值，计算采集区域内子区域对应的输出值，并更新存储单元的事件数据存储值；处理单元，用于根据采集区域内子区域对应的输出值确定目标对象的时空映射特征值；分类单元，用于在宽度网络中根据目标对象的时空映射特征值对目标对象进行分类。
根据本发明实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的方法。
根据本发明实施例的另一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器通过计算机程序执行上述的方法。
在本发明实施例中，首先引入了一个尖峰-触发机制来处理异步的时间序列数据，与以前的方法相比，提供了单元结构(即存储单元)来记录事件峰值和内存信息，并在满足阈值条件时输出特征映射结果；其次，提供了一个宽度学习网络来处理上述基于事件的表示，本申请借鉴生物视神经机制，通过获取事件序列(即时间序列数据)，在每个像素单元对于像素进行累加处理，并在单元格区域内完成基于时间衰减的事件叠加，当触发强度达到一定阈值时，进行时空映射的输出，并通过宽度网络进行目标的分类和识别，该方法能够有效的提取目标的轮廓和纹理，能够有效的提高物体分类的准确性，并且可以提高运算的时间效率，进而解决了相关技术中分类的精度较低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的基于事件型相机的分类方法的硬件环境的示意图；
图2是根据本发明实施例的一种可选的基于事件型相机的分类方法的流程图；
图3是根据本发明实施例的一种可选的基于事件型相机的分类方案的示意图；
图4是根据本发明实施例的一种可选的基于事件型相机的分类装置的示意图；以及
图5是根据本发明实施例的一种终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一方面，提供了一种基于事件型相机的分类方法的方法实施例。
可选地，在本实施例中，上述基于事件型相机的分类方法可以应用于如图1所示的由终端101和服务器103所构成的硬件环境中。如图1所示，服务器103通过网络与终端101进行连接，可用于为终端或终端上安装的客户端提供服务(如对象分类服务等)，可在服务器上或独立于服务器设置数据库105，用于为服务器103提供数据存储服务，上述网络包括但不限于：广域网、城域网或局域网，终端101并不限定于PC、手机、平板电脑等。本发明实施例的基于事件型相机的分类方法可以由服务器103来执行，也可以由终端101来执行，还可以是由服务器103和终端101共同执行。其中，终端101执行本发明实施例的基于事件型相机的分类方法也可以是由安装在其上的客户端来执行。
图2是根据本发明实施例的一种可选的基于事件型相机的分类方法的流程图，如图2所示，该方法可以包括以下步骤：
步骤S202，读入事件相机输出的时间序列数据，时间序列数据中包括多个按照采集时间的顺序排列的事件数据；即读入事件相机输出的时间序列事件数据。
步骤S204，基于时间序列数据计算事件相机的采集区域内位置的尖峰值和确定采集区域内子区域(即单元格)的触发阈值；即计算每个坐标位置的尖峰值，划分单元格(即上述子区域)并计算单元格的触发阈值。
可选地，确定采集区域内子区域的触发阈值包括：将事件相机的采集区域划分为多个子区域；根据采集区域的子区域内事件的数量和采集区域的子区域的大小确定采集区域内子区域的触发阈值。
步骤S206，根据采集区域内位置的尖峰值和采集区域内子区域的触发阈值，计算采集区域内子区域对应的输出值，并更新存储单元的事件数据存储值；即结合存储单元格的事件信息存储值(或称事件数据存储值)，计算单元格的输出值，然后以计算出的输出值来更新存储单元格的事件信息存储值。
可选地，根据采集区域内位置的尖峰值和采集区域内子区域的触发阈值，计算采集区域内子区域对应的输出值包括：在采集区域内位置的尖峰值大于所在的子区域的触发阈值的情况下，确定采集区域内位置的尖峰值为有效的尖峰值；根据对有效的尖峰值进行求和得到的数值确定采集区域内子区域对应的输出值。
步骤S208，根据采集区域内子区域对应的输出值确定目标对象的时空映射特征值。
可选地，根据采集区域内子区域对应的输出值确定目标对象的时空映射特征值包括：根据采集区域内子区域在目标时间段对应的多个输出值确定目标对象的时空映射特征值。
步骤S210，宽度网络进行目标分类，在宽度网络中根据目标对象的时空映射特征值对目标对象进行分类。
可选地，在宽度网络中根据目标对象的时空映射特征值对目标对象进行分类包括：根据目标对象的时空映射特征值确定多个随机空间特征，并获取宽度网络的激活函数；利用多个随机空间特征、宽度网络的激活函数以及宽度网络中的权重确定目标对象的分类。
在本申请的技术方案中，首先引入了一个尖峰-触发机制来处理异步的时间序列数据，与以前的方法相比，提供了单元结构(即存储单元)来记录事件峰值和内存信息，并在满足阈值条件时输出特征映射结果；其次，提供了一个宽度学习网络来处理上述基于事件的表示。
本申请借鉴生物视神经机制，通过获取事件序列(即时间序列数据)，在每个像素单元对于像素进行累加处理，并在单元格区域内完成基于时间衰减的事件叠加，当触发强度达到一定阈值时，进行时空映射的输出，并通过宽度网络进行目标的分类和识别，该方法能够有效的提取目标的轮廓和纹理，能够有效的提高物体分类的准确性，并且可以提高运算的时间效率。
本申请提出了一种基于事件相机数据的宽度学习系统，该系统采用一层特征节点和增强节点构成的平面网络结构来学习基于事件相机输出的数据(即输出值)，增量学习策略是为在大范围扩展中快速添加新节点的，但是如果在卷积神经网络中，网络中添加过滤器或层会很困难，需要从头训练新的卷积神经网络，为了避免网络结构的冗余，采用了低秩正交逼近和网络扩展相结合的方法，在实践中，该模型的性能超过了目前的技术水平，同时在训练速度上比CNNs快15倍。
下面结合具体的实施方式详述本申请的技术方案：
(1)读入事件相机输出的时间序列事件数据
将基于事件相机的数据进行可靠而有效的识别，给定一个像素网格大小为M*N的基于事件的传感器输出大小，按序列给出事件流(即时间序列中的事件数据)，ei＝[li,ti,pi]T.其中ei表示一个事件(i表示序列中的序号)，它由坐标信息(li＝[xi,yi]T)，时间(ti)和极性(pi)，pi∈{-1,1}，其中-1和1分别代表OFF和ON事件，事件的极性代表场景的亮度变化：如1表示上升，-1表示下降。当相对相机移动时，物体所对应的像素位置输出异步生成事件，形成表示对象的空间分布和动态行为时空点云。
(2)计算每个坐标位置的尖峰值
受生物视觉机制启发，本申请提供了一种尖峰-触发(Peak-and-fire)机制，如图3所示，用于检测每个事件位置内的活动峰值，并将峰值作为输出，首先，该方法识别和定位事件数据在每个位置的尖峰值为：
Figure BDA0002118185110000071
其中，
Figure BDA0002118185110000072
提供了一个动态的时间序列下如何计算事件活跃程度的方案，通过指数衰减可以计算过去发生的事件对现在的影响；Δt＝tj-ti(j表示现在时间对应的序号，i表示过去发生的事件对应的序号)，表示历史数据ei与现在事件的时间ej差值，参数α为衰减因子；Δincr是一个固定时间间隔，他可以有三种方式定义，第一，一段固定的时间间隔，第二，固定的事件总数量，第三，一个固定的事件总数阈值。考虑到每个事件的极性，由于相同极性的事件在场景中往往具有相同运动模式，对具有相同极性的事件进行聚类，这里只对相同极性的事件求和。
(3)划分单元格并计算单元格的触发阈值，计算单元格的输出；
由于事件点云的结构包含了关于物体及其运动的信息，引入了存储单元ck(c表示存储单元，ck表示第k个单元格)来跟踪时间ti之前空间位置li周围的活动，单元格ck将传入事件ei定义为以
Figure BDA0002118185110000081
为中心的符号
Figure BDA0002118185110000082
邻域内的像素点在ti处的最近事件次数的数组，定义ut＝sum(ck)/size(ck)，sum(ck)为单元格ck中事件的和，size(ck)为单元格ck的大小。
设μt为触发阈值，当
Figure BDA0002118185110000083
值大于区间Δincr的μt时，Nc＞μt，认为单元格中的峰值是有效的，将单元格ck中事件峰值的分量求和为：
Figure BDA0002118185110000084
其中
Figure BDA0002118185110000085
sum(ei)为第k个单元格的每个位置li的活动值之和，
Figure BDA0002118185110000086
表示以R为半径划分单元格后，对相同极性的时间进行式子中的峰值计算。
(4)结合存储单元格的事件信息存储值(或称事件数据存储值)，计算单元格的输出值；更新存储单元格的事件信息存储值
当在将来的时间间隔内Δincr使用尖峰触发机制时，每一个将来的事件都需要迭代一个单元格的完整事件序列信息是非常耗时和低效的，故为每个单元格ck设计一个共享内存单元Mc，大小相同，如图3所示，存储与ck关的过去事件值，ck的输出定义为：
Figure BDA0002118185110000091
Figure BDA0002118185110000092
表示第i个共享内存单元,
Figure BDA0002118185110000093
表示内存单元ck从t时刻经过Δincr间隔后的输出值，
Figure BDA0002118185110000094
表示t时刻对相同极性的时间进行式子中的峰值计算。
(5)输出目标物的时空映射特征值
当一个新的事件到达ck时，只通过
Figure BDA0002118185110000095
循环来更新上述公式，
Figure BDA0002118185110000096
只包含相关的过去事件来计算峰值内存单元，每隔一段时间，输出
Figure BDA0002118185110000097
因此，可以在不显著增加内存需求的情况下得到稳定的特征。
(6)宽度网络进行目标分类
本申请的技术方案中使用宽度网络作为分类的基础网络，提供有效和高效的分类和回归问题的学习框架，给出训练C类数据集(x，y)x∈n*k，y∈n*c，这里的x是前面事件数据输出X的集合，y表示每一个样本X的类别，其中有n个样本，样本的维度是k，类别数为c。
在宽度网络中，样本是第一个特征映射φi转化为n个随机特征空间，
Figure BDA0002118185110000098
其中权重
Figure BDA0002118185110000099
和偏置项
Figure BDA00021181851100000910
是随机生成的，然后定义特征训练样本空间特征节点的集合Zn＝[Z1,Z2,...,Zn]，第j组增强节点的输出定义如下：
Figure BDA0002118185110000101
式中ξi为非线性激活函数，其中权重
Figure BDA0002118185110000102
和偏置项
Figure BDA0002118185110000103
是随机生成的，表示从特征点Z到增强点H的权重和偏置项。
用Hm＝[H1,H2,...,Hm]表示增强层的输出，Hm为增强层的输出集合。
因此，宽度网络的输出为以下形式:
Figure BDA0002118185110000104
其中A＝[Zn,Hm]表示转换特征，W是连接特征节点和增强节点到输出节点的输出权重。应通过解决以下最小化问题来优化W：
Figure BDA0002118185110000105
其中，λ是一个小的权衡正则化参数，第一项表示训练误差，第二项控制网络结构的复杂性，提高了通用性，然后通过推导，得到输出权重的解为W＝(ATA+λI)-1ATY.W则为宽度网络的训练权值。
为了验证上述方案的可行性和效果，本申请在5个不同的数据集上验证了该技术方案：将标准的基于框架的数据集转换为事件相机数据(即N-MNIST,N-Caltech101,MNIST-DVS and CIFAR10-DVS datasets数据集)和从真实场景中记录的另一个数据集(N-CARS数据集)生成的4个数据集，N-CARS数据集，N-MNIST,NCaltech101,MNIST-DVS,以及CIFAR10-DVS是通过将流行的基于框架的MNIST、NCaltech101和CIFAR10转换为基于事件的表示创建的四个公开可用数据集。通过在液晶显示器上显示每个样本图像，同时在其前面移动一个ATIS传感器，得到N-MNIST和N-Caltech101；类似地，MNIST-DVS和CIFAR10-DVS数据集是通过在监视器上显示移动图像创建的，并用ATIS像机记录，将NCars数据集分为7940个car和7482个背景训练样本，4396个car和4211个背景测试样本。每个样本持续时间为100ms。MNIST-DVS包含10000个样本，以三种不同的分辨率(scale4、scale8和scale16)生成，将90％的样本用于训练，10％用于测试如表1，演示的持续时间约为2.3秒，N-Caltech101由100个不同的对象类和一个背景类组成，每个类别有31到800张图片，持续时间约为300毫秒。在本申请的实验中，使用每个类别三分之二的样本进行训练，其余的用于测试，发现样本持续时间是不一样的，但在实验中对所有样本使用Δincr＝100ms。
表1
Figure BDA0002118185110000111
事件相机在输出时当面对静止场景时有时只输出场景噪声，而当整个场景都在运动时产生大量有用的信息。面对不稳定的事件型输出，如果仅对基于传统图像处理框架的卷积神经网络模型进行调整，来处理这些异步数据，基于事件的对象分类算法的精度仍然远远落后于基于图像框架的分类算法。但是这对于任何在真实环境中工作的可靠系统都是至关重要的。缺乏有效的事件表示来准确描述基于事件的数据的时空特征是其中的关键制约因素。
在本申请中解决了这两个问题，首先，通过引入了一个尖峰-触发机制来处理异步的时间序列数据。与以前的方法相比，设计了单元结构来记录事件峰值和内存信息，并在满足火条件时输出映射结果。其次，设计了一个宽度学习网络来处理上述基于事件的表示。
事件相机是受生物启发的视觉传感器，它输出像素级的亮度变化，而不是RGB值。目前已有成千上万的卷积神经网络用于处理基于帧的图像，但能够充分利用这些事件相机输出的异步、高时间分辨率、高动态范围、无运动模糊数据的网络很少。本文提出了一种基于事件相机数据的宽度学习系统，该系统采用一层特征节点和增强节点构成的平面网络结构来学习基于事件相机输出的数据。增量学习策略是为在大范围扩展中快速添加新节点而开发的，但是如果不从一开始就进行再训练，那么很难在CNNs中添加过滤器或层。为了避免网络结构的冗余，采用了低秩正交逼近和网络扩展相结合的方法。在实验中，本申请的模型的性能超过了目前的技术水平，同时在训练方面比CNNs快15倍。这使得基于事件像机的网络更容易近乎实时训练和预测。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
根据本发明实施例的另一个方面，还提供了一种用于实施上述基于事件型相机的分类方法的基于事件型相机的分类装置。图4是根据本发明实施例的一种可选的基于事件型相机的分类装置的示意图，如图4所示，该装置可以包括：
读取单元401，用于读入事件相机输出的时间序列数据，其中，时间序列数据中包括多个按照采集时间的顺序排列的事件数据；
第一运算单元403，用于基于时间序列数据计算事件相机的采集区域内位置的尖峰值和确定采集区域内子区域的触发阈值；
第二运算单元405，用于根据采集区域内位置的尖峰值和采集区域内子区域的触发阈值，计算采集区域内子区域对应的输出值，并更新存储单元的事件数据存储值；
处理单元407，用于根据采集区域内子区域对应的输出值确定目标对象的时空映射特征值；
分类单元409，用于在宽度网络中根据目标对象的时空映射特征值对目标对象进行分类。
需要说明的是，该实施例中的读取单元401可以用于执行本申请实施例中的步骤S202，该实施例中的第一运算单元403可以用于执行本申请实施例中的步骤S204，该实施例中的第二运算单元405可以用于执行本申请实施例中的步骤S206，该实施例中的处理单元407可以用于执行本申请实施例中的步骤S208，该实施例中的分类单元409可以用于执行本申请实施例中的步骤S210。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现。
通过上述模块，可以解决了相关技术中分类的精度较低的技术问题。
可选地，第一运算单元还用于：将事件相机的采集区域划分为多个子区域；根据采集区域的子区域内事件的数量和采集区域的子区域的大小确定采集区域内子区域的触发阈值。
可选地，第二运算单元还用于：在采集区域内位置的尖峰值大于所在的子区域的触发阈值的情况下，确定采集区域内位置的尖峰值为有效的尖峰值；根据对有效的尖峰值进行求和得到的数值确定采集区域内子区域对应的输出值。
可选地，处理单元还用于：根据采集区域内子区域在目标时间段对应的多个输出值确定目标对象的时空映射特征值。
可选地，分类单元还可用于：根据目标对象的时空映射特征值确定多个随机空间特征，并获取宽度网络的激活函数；利用多个随机空间特征、宽度网络的激活函数以及宽度网络中的权重确定目标对象的分类。
事件相机在输出时当面对静止场景时有时只输出场景噪声，而当整个场景都在运动时产生大量有用的信息。面对不稳定的事件型输出，如果仅对基于传统图像处理框架的卷积神经网络模型进行调整，来处理这些异步数据，基于事件的对象分类算法的精度仍然远远落后于基于图像框架的分类算法。但是这对于任何在真实环境中工作的可靠系统都是至关重要的。缺乏有效的事件表示来准确描述基于事件的数据的时空特征是其中的关键制约因素。
在本申请中解决了这两个问题，首先，通过引入了一个尖峰-触发机制来处理异步的时间序列数据。与以前的方法相比，设计了单元结构来记录事件峰值和内存信息，并在满足火条件时输出映射结果。其次，设计了一个宽度学习网络来处理上述基于事件的表示。
事件相机是受生物启发的视觉传感器，它输出像素级的亮度变化，而不是RGB值。目前已有成千上万的卷积神经网络用于处理基于帧的图像，但能够充分利用这些事件相机输出的异步、高时间分辨率、高动态范围、无运动模糊数据的网络很少。本文提出了一种基于事件相机数据的宽度学习系统，该系统采用一层特征节点和增强节点构成的平面网络结构来学习基于事件相机输出的数据。增量学习策略是为在大范围扩展中快速添加新节点而开发的，但是如果不从一开始就进行再训练，那么很难在CNNs中添加过滤器或层。为了避免网络结构的冗余，采用了低秩正交逼近和网络扩展相结合的方法。在实验中，本申请的模型的性能超过了目前的技术水平，同时在训练方面比CNNs快15倍。这使得基于事件像机的网络更容易近乎实时训练和预测。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。
根据本发明实施例的另一个方面，还提供了一种用于实施上述基于事件型相机的分类方法的服务器或终端。
图5是根据本发明实施例的一种终端的结构框图，如图5所示，该终端可以包括：一个或多个(图5中仅示出一个)处理器501、存储器503、以及传输装置505，如图5所示，该终端还可以包括输入输出设备507。
其中，存储器503可用于存储软件程序以及模块，如本发明实施例中的基于事件型相机的分类方法和装置对应的程序指令/模块，处理器501通过运行存储在存储器503内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的基于事件型相机的分类方法。存储器503可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器503可进一步包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的传输装置505用于经由一个网络接收或者发送数据，还可以用于处理器与存储器之间的数据传输。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置505包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置505为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
其中，具体地，存储器503用于存储应用程序。
处理器501可以通过传输装置505调用存储器503存储的应用程序，以执行下述步骤：
读入事件相机输出的时间序列数据，其中，时间序列数据中包括多个按照采集时间的顺序排列的事件数据；
基于时间序列数据计算事件相机的采集区域内位置的尖峰值和确定采集区域内子区域的触发阈值；
根据采集区域内位置的尖峰值和采集区域内子区域的触发阈值，计算采集区域内子区域对应的输出值，并更新存储单元的事件数据存储值；
根据采集区域内子区域对应的输出值确定目标对象的时空映射特征值；
在宽度网络中根据目标对象的时空映射特征值对目标对象进行分类。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
本领域普通技术人员可以理解，图5所示的结构仅为示意，终端可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile InternetDevices，MID)、PAD等终端设备。图5其并不对上述电子装置的结构造成限定。例如，终端还可包括比图5中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图5所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于执行基于事件型相机的分类方法的程序代码。
可选地，在本实施例中，上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：
读入事件相机输出的时间序列数据，其中，时间序列数据中包括多个按照采集时间的顺序排列的事件数据；
基于时间序列数据计算事件相机的采集区域内位置的尖峰值和确定采集区域内子区域的触发阈值；
根据采集区域内位置的尖峰值和采集区域内子区域的触发阈值，计算采集区域内子区域对应的输出值，并更新存储单元的事件数据存储值；
根据采集区域内子区域对应的输出值确定目标对象的时空映射特征值；
在宽度网络中根据目标对象的时空映射特征值对目标对象进行分类。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种基于事件型相机的分类方法，其特征在于，包括：
读入事件相机输出的时间序列数据，其中，所述时间序列数据中包括多个按照采集时间的顺序排列的事件数据；
基于所述时间序列数据计算所述事件相机的采集区域内所有坐标位置的尖峰值；
确定所述采集区域内子区域的触发阈值；
根据所述采集区域内位置的尖峰值和所述采集区域内子区域的触发阈值，计算所述采集区域内子区域对应的输出值，并更新存储单元的事件数据存储值；
根据所述采集区域内子区域对应的输出值确定目标对象的时空映射特征值；
在宽度网络中根据所述目标对象的时空映射特征值对所述目标对象进行分类；
确定所述采集区域内子区域的触发阈值包括：
将所述事件相机的采集区域划分为多个子区域；
根据所述采集区域的子区域内事件的数量和所述采集区域的子区域的大小确定所述采集区域内子区域的触发阈值。
2.根据权利要求1所述的方法，其特征在于，根据所述采集区域内位置的尖峰值和所述采集区域内子区域的触发阈值，计算所述采集区域内子区域对应的输出值包括：
在所述采集区域内位置的尖峰值大于所在的子区域的触发阈值的情况下，确定所述采集区域内位置的尖峰值为有效的尖峰值；
根据对有效的尖峰值进行求和得到的数值确定所述采集区域内子区域对应的输出值。
3.根据权利要求1所述的方法，其特征在于，根据所述采集区域内子区域对应的输出值确定目标对象的时空映射特征值包括：
根据所述采集区域内子区域在目标时间段对应的多个输出值确定所述目标对象的时空映射特征值。
4.根据权利要求1所述的方法，其特征在于，在宽度网络中根据所述目标对象的时空映射特征值对所述目标对象进行分类包括：
根据所述目标对象的时空映射特征值确定多个随机空间特征，并获取所述宽度网络的激活函数；
利用所述多个随机空间特征、所述宽度网络的激活函数以及所述宽度网络中的权重确定所述目标对象的分类。
5.一种基于事件型相机的分类装置，其特征在于，包括：
读取单元，用于读入事件相机输出的时间序列数据，其中，所述时间序列数据中包括多个按照采集时间的顺序排列的事件数据；
第一运算单元，用于基于所述时间序列数据计算所述事件相机的采集区域内所有坐标位置的尖峰值；
第一运算单元，用于确定所述采集区域内子区域的触发阈值；
第二运算单元，用于根据所述采集区域内位置的尖峰值和所述采集区域内子区域的触发阈值，计算所述采集区域内子区域对应的输出值，并更新存储单元的事件数据存储值；
处理单元，用于根据所述采集区域内子区域对应的输出值确定目标对象的时空映射特征值；
分类单元，用于在宽度网络中根据所述目标对象的时空映射特征值对所述目标对象进行分类；
所述第一运算单元还用于：
将所述事件相机的采集区域划分为多个子区域；
根据所述采集区域的子区域内事件的数量和所述采集区域的子区域的大小确定所述采集区域内子区域的触发阈值。
6.根据权利要求5所述的装置，其特征在于，所述第二运算单元还用于：
在所述采集区域内位置的尖峰值大于所在的子区域的触发阈值的情况下，确定所述采集区域内位置的尖峰值为有效的尖峰值；
根据对有效的尖峰值进行求和得到的数值确定所述采集区域内子区域对应的输出值。
7.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至4任一项中所述的方法。
8.一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器通过所述计算机程序执行上述权利要求1至4任一项中所述的方法。
CN201910597705.9A 2019-07-04 2019-07-04 基于事件型相机的分类方法和装置、存储介质、电子装置 Active CN110399908B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910597705.9A CN110399908B (zh) 2019-07-04 2019-07-04 基于事件型相机的分类方法和装置、存储介质、电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910597705.9A CN110399908B (zh) 2019-07-04 2019-07-04 基于事件型相机的分类方法和装置、存储介质、电子装置

Publications (2)

Publication Number Publication Date
CN110399908A CN110399908A (zh) 2019-11-01
CN110399908B true CN110399908B (zh) 2021-06-08

Family

ID=68323728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910597705.9A Active CN110399908B (zh) 2019-07-04 2019-07-04 基于事件型相机的分类方法和装置、存储介质、电子装置

Country Status (1)

Country Link
CN (1) CN110399908B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582300A (zh) * 2020-03-20 2020-08-25 北京航空航天大学 一种基于事件相机的高动态目标检测方法
CN114519017B (zh) * 2020-11-18 2024-03-29 舜宇光学（浙江）研究院有限公司 用于事件相机的数据传输方法及其系统和电子设备
CN113128392A (zh) * 2021-04-15 2021-07-16 中国科学院上海高等研究院 基于仿生图像传感器的异步目标检测方法、系统、终端及介质
CN113627460B (zh) * 2021-06-18 2023-08-18 中国人民解放军军事科学院国防科技创新研究院 一种基于时间切片卷积神经网络的目标识别系统与方法
CN113810611B (zh) * 2021-09-17 2022-06-07 北京航空航天大学 一种事件相机的数据模拟方法和装置
CN113572998B (zh) * 2021-09-22 2021-12-28 中科南京智能技术研究院 一种基于事件相机的数据集采集方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403154A (zh) * 2017-07-20 2017-11-28 四川大学 一种基于动态视觉传感器的步态识别方法
CN108182670A (zh) * 2018-01-15 2018-06-19 清华大学 一种事件图像的分辨率增强方法及系统
CN108734301A (zh) * 2017-06-29 2018-11-02 澳门大学 一种机器学习方法和机器学习装置
CN108960339A (zh) * 2018-07-20 2018-12-07 吉林大学珠海学院 一种基于宽度学习的电动汽车感应电动机故障诊断方法
CN109492766A (zh) * 2018-11-07 2019-03-19 西安交通大学 一种基于最小p范数的宽度学习方法
CN109509213A (zh) * 2018-10-25 2019-03-22 天津师范大学 一种应用于异步时域视觉传感器的Harris角点检测方法
CN109685071A (zh) * 2018-11-30 2019-04-26 杭州电子科技大学 基于共同空间模式特征宽度学习的脑电分类方法
CN109697726A (zh) * 2019-01-09 2019-04-30 厦门大学 一种基于事件相机的端对端目标运动估计方法
WO2019099337A1 (en) * 2017-11-14 2019-05-23 Kaban Technologies Llc Event camera-based deformable object tracking
CN109801314A (zh) * 2019-01-17 2019-05-24 同济大学 一种基于深度学习的双目动态视觉传感器立体匹配方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109426782B (zh) * 2017-08-29 2023-09-19 北京三星通信技术研究有限公司 对象检测方法和用于对象检测的神经网络系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734301A (zh) * 2017-06-29 2018-11-02 澳门大学 一种机器学习方法和机器学习装置
CN107403154A (zh) * 2017-07-20 2017-11-28 四川大学 一种基于动态视觉传感器的步态识别方法
WO2019099337A1 (en) * 2017-11-14 2019-05-23 Kaban Technologies Llc Event camera-based deformable object tracking
CN108182670A (zh) * 2018-01-15 2018-06-19 清华大学 一种事件图像的分辨率增强方法及系统
CN108960339A (zh) * 2018-07-20 2018-12-07 吉林大学珠海学院 一种基于宽度学习的电动汽车感应电动机故障诊断方法
CN109509213A (zh) * 2018-10-25 2019-03-22 天津师范大学 一种应用于异步时域视觉传感器的Harris角点检测方法
CN109492766A (zh) * 2018-11-07 2019-03-19 西安交通大学 一种基于最小p范数的宽度学习方法
CN109685071A (zh) * 2018-11-30 2019-04-26 杭州电子科技大学 基于共同空间模式特征宽度学习的脑电分类方法
CN109697726A (zh) * 2019-01-09 2019-04-30 厦门大学 一种基于事件相机的端对端目标运动估计方法
CN109801314A (zh) * 2019-01-17 2019-05-24 同济大学 一种基于深度学习的双目动态视觉传感器立体匹配方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
Broad learning system: A new learning paradigm and system without going deep;C. L. Philip Chen;《2017 32nd Youth Academic Annual Conference of Chinese Association of Automation (YAC)》;20170703;1271-1276 *
Broad Learning System: An Effective and Efficient Incremental Learning System Without the Need for Deep Architecture;C. L. Philip Chen;《IEEE Transactions on Neural Networks and Learning Systems》;20180131;第29卷(第1期);10-24 *
Optimization of sampling intervals for tracking control of nonlinear systems: A game theoretic approach;Avimanyu Sahoo;《Neural Networks》;20190630;78-90 *
Real-Time 3D Reconstruction and 6-DoF Tracking with an Event Camera;Hanme Kim;《Computer Vision–ECCV 2016》;20160917;349-364 *
基于宽度学习方法的多模态信息融合;贾晨;《万方数据知识服务平台》;20190308;150-157 *
基于视觉的同时定位与地图构建的研究进展;陈常;《万方数据知识服务平台》;20180507;641-647 *
基于计算机视觉和深度学习的自动驾驶方法研究;白辰甲;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20180215;C035-129 *

Also Published As

Publication number Publication date
CN110399908A (zh) 2019-11-01

Similar Documents

Publication Publication Date Title
CN110399908B (zh) 基于事件型相机的分类方法和装置、存储介质、电子装置
US10943126B2 (en) Method and apparatus for processing video stream
JP7335274B2 (ja) ジオロケーションの予測のためのシステムおよび方法
CN107392865B (zh) 一种人脸图像的复原方法
CN114842028A (zh) 一种跨视频目标跟踪方法、系统、电子设备以及存储介质
CN112036381B (zh) 视觉跟踪方法、视频监控方法及终端设备
CN111666922A (zh) 视频匹配方法、装置、计算机设备和存储介质
CN113554726B (zh) 基于脉冲阵列的图像重构方法、装置、存储介质及终端
CN114359289A (zh) 一种图像处理方法及相关装置
CN114241012B (zh) 一种高空抛物的判定方法及装置
CN110426560B (zh) 一种脉冲阵列信号时空上采样器生成方法
CN116977674A (zh) 图像匹配方法、相关设备、存储介质及程序产品
CN110942097A (zh) 基于单像素探测器的免成像分类方法和系统
CN111488887B (zh) 基于人工智能的图像处理方法、装置
CN112115900A (zh) 图像处理方法、装置、设备及存储介质
CN111797986A (zh) 数据处理方法、装置、存储介质及电子设备
CN115131407A (zh) 面向数字仿真环境的机器人目标跟踪方法、装置和设备
CN113780215A (zh) 一种信息处理方法、装置、计算机设备及存储介质
CN114640785A (zh) 站点模型更新方法及系统
CN113256556A (zh) 一种图像选择方法及装置
Álvarez-Meza et al. Video analysis based on multi-kernel representation with automatic parameter choice
Manolova et al. Human activity recognition with semantically guided graph-convolutional network
Wei et al. Pedestrian anomaly detection method using autoencoder
CN113052827B (zh) 基于多分支扩张卷积神经网络的人群计数方法及系统
Singh et al. Moving object detection scheme for automated video surveillance systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant