CN111709967B - 一种目标检测方法、目标跟踪方法、装置及可读存储介质 - Google Patents
一种目标检测方法、目标跟踪方法、装置及可读存储介质 Download PDFInfo
- Publication number
- CN111709967B CN111709967B CN202010373510.9A CN202010373510A CN111709967B CN 111709967 B CN111709967 B CN 111709967B CN 202010373510 A CN202010373510 A CN 202010373510A CN 111709967 B CN111709967 B CN 111709967B
- Authority
- CN
- China
- Prior art keywords
- pulse
- pulse array
- target
- array
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种目标检测方法、目标跟踪方法、装置及可读存储介质。目标检测方法包括:生成被监测区域的第一脉冲阵列,将第一脉冲阵列送入输入层,输出层的每个神经元接受输入层的多个神经元的输入,当收到的脉冲累积达到预设条件时产生输出脉冲,以生成第二脉冲阵列,利用第二脉冲阵列进行目标检测;目标跟踪方法包括确定在不同时刻的同一运动目标的步骤;目标检测装置包括脉冲阵列生成模块、脉冲阵列输入模块、脉冲阵列输出模块及目标信息检测模块;目标跟踪装置包括目标检测装置和目标跟踪模块;可读存储介质在被处理器执行时用于实现上述的方法或装置。本发明能够实现对高速目标的检测与跟踪,实时性好且成本低。
Description
技术领域
本发明涉及目标检测与跟踪技术领域,更为具体来说,本发明为一种目标检测方法、目标跟踪方法、装置及可读存储介质。
背景技术
传统的目标检测跟踪方法一般使用以帧为单位的视频。但是这种基于各帧视频的方案丢失了帧间精细的时域信息,效果往往不好。如果为提高检测跟踪效果而简单地提高帧率,则会导致数据量和计算量的线性增长,导致难以实现高速目标的检测与跟踪等目的,而且还存在实时性差、硬件成本高等问题。
因此,如何能够有效地实现对高速目标的检测、跟踪,成为了本领域技术人员亟待解决的技术问题和始终研究的重点。
发明内容
为解决现有目标检测跟踪方法难以实现对高速目标进行检测与跟踪等问题,本发明创新地提供了一种目标检测方法、目标跟踪方法、装置及可读存储介质,能够基于时空脉冲阵列信号对高速运动物体进行有效检测与跟踪,而且能够达到检测与跟踪速度较快、实时性较好、有效降低硬件成本等目的。
为实现上述的技术目的,本发明公开了一种目标检测方法,该检测方法包括:生成被监测区域的第一脉冲阵列;将所述第一脉冲阵列送入脉冲神经网络中的输入层,所述脉冲神经网络包括相连接的输入层和输出层,所述输入层的每个神经元分别与输出层中对应位置及其周边设定邻域范围内的神经元相连接;输出层的每个神经元接受输入层的多个神经元的输入,当收到的脉冲累积达到预设条件时产生输出脉冲,以生成第二脉冲阵列;利用所述第二脉冲阵列进行目标检测。
进一步地,所述输入层的神经元和所述输出层的神经元均为脉冲神经元。
进一步地,所述当收到的脉冲累积达到预设条件时产生输出脉冲、以生成第二脉冲阵列步骤包括:在输出层中对与所述第一脉冲阵列中的各电位对应的输出层的神经元的电位进行衰减处理;对与所述第一脉冲阵列中的兴奋型动作电位对应的输出层的神经元的电位进行增加处理;当输出层的神经元的电位达到预设电位值时产生输出脉冲,以生成第二脉冲阵列。
进一步地,在对输出层神经元的电位进行衰减处理后,还包括:在当前所述电位小于或等于下限值时,将当前所述电位设置为下限值。
进一步地,生成被监测区域的第一脉冲阵列的步骤包括:采集被监测区域内的各个局部空间位置的光信号,按照时间顺序分别对各个局部空间位置的光信号强度进行累积,以得到各个局部空间位置的信号累积强度值;在任一局部空间位置的信号累积强度值达到阈值时,输出该局部空间位置的一个脉冲信号;然后将各个局部空间位置对应的脉冲信号按照时间顺序排列成二值序列;利用所有局部空间位置对应的二值序列按照空间位置相互关系形成所述原始脉冲阵列;去除所述原始脉冲阵列中的噪声,以生成所述第一脉冲阵列。
进一步地,生成被监测区域的第一脉冲阵列的步骤包括:
通过动态视觉传感器获取所述被监测区域的地址事件表示信号,然后将所述地址事件表示信号转化为所述第一脉冲阵列。
为实现上述技术目的,本发明公开了一种目标跟踪方法,该跟踪方法包括本发明任一实施例所述的目标检测方法;该跟踪方法还包括:在检测出目标后,将当前时刻检测出的所有目标与上一时刻检测出的所有目标进行二分匹配,以将匹配度最高且处于不同时刻的两个目标作为被跟踪的同一运动目标。
为实现上述技术目的,本发明公开了一种目标检测装置,该检测装置包括:脉冲阵列生成模块,用于生成被监测区域的第一脉冲阵列;脉冲阵列输入模块,用于将所述第一脉冲阵列送入脉冲神经网络中的输入层,所述脉冲神经网络包括相连接的输入层和输出层,所述输入层的每个神经元分别与输出层中对应位置及其周边设定邻域范围内的神经元相连接;脉冲阵列输出模块,用于在输出层的每个神经元接受输入层的多个神经元的输入后、当收到的脉冲累积达到预设条件时产生输出脉冲,以生成第二脉冲阵列;目标信息检测模块,用于利用所述第二脉冲阵列进行目标检测。
为实现上述技术目的,本发明公开了一种目标跟踪装置,该跟踪装置包括本发明任一实施例所述的目标检测装置;该目标跟踪装置还包括运动目标跟踪模块。运动目标跟踪模块,用于在检测出目标后将当前时刻检测出的所有目标与上一时刻检测出的所有目标进行二分匹配,以及用于将匹配度最高且处于不同时刻的两个目标作为被跟踪的同一运动目标。
为实现上述技术目的,本发明公开了一种可读存储介质,其上存储有计算机程序,所述计算机程序可被处理器执行,以实现本发明任一实施例所述的目标检测方法,或实现本发明任一实施例所述的目标跟踪方法,或实现本发明任一实施例所述的目标检测装置,或实现本发明任一实施例所述的目标跟踪装置。
本发明的有益效果为:与现有目标检测追踪方法相比,本发明创新地以能够表征物体时空信息的脉冲阵列作为目标检测基础,从而能够准确、快速地实现对高速目标进行检测与跟踪,有效地提升了检测与跟踪的实时性、极大地降低了硬件投入成本,所以本发明能够彻底解决现有技术存在的至少一个问题。本发明能够基于脉冲神经网络精细地刻画高速运动物体的脉冲阵列详细的变化过程,提供了一种兼具时间信息和空间信息的高速运动目标的在线检测与跟踪方法,所以本发明具有准确性高、适用范围广等突出优点。
附图说明
图1为本发明实施例的目标检测方法的工作原理示意图。
图2为本发明实施例的目标检测与跟踪装置的组成示意图。
图3为本发明实施例的输入层与输出层的局部连接示意图。
具体实施方式
下面结合说明书附图对本发明各实施例所提供的一种目标检测方法、目标跟踪方法、装置及可读存储介质进行详细的解释和说明。
实施例一:
如图1所示,本实施例提供了一种目标检测方法,该方法是一种高速视觉对象检测方法,可对高速运动目标进行有效地检测。该检测方法包括但不限于下述的步骤。
首先,本实施例创新地通过脉冲阵列表示视觉可见图像,实现方式为生成被监测区域的第一脉冲阵列。本实施例至少可以采用下述两种方式中的一种得到第一脉冲阵列。
方式一:可以通过仿视网膜芯片产生多个原始脉冲阵列,利用具有仿视网膜芯片的高频率视网膜相机获得具有时空特性的原始脉冲阵列。生成被监测区域的原始脉冲阵列的步骤包括但不限于如下的步骤:采集被监测区域内的各个局部空间位置的光信号,光信号用于表示被监测区域的时空信息,按照时间顺序分别对各个局部空间位置的光信号强度进行累积,以得到各个局部空间位置的信号累积强度值;并在任一局部空间位置的信号累积强度值达到设定阈值时,输出该局部空间位置的一个脉冲信号,然后重新进行光信号强度累积;本实施例具体应用时可通过滤波器对信号累积强度值进行变换,并判断变换后的结果是否达到其对应的设定阈值,一旦某个局部空间位置的信号累积强度值达到或超过预设的发放阈值时输出一个脉冲信号;然后可将各个局部空间位置对应的脉冲信号按照时间顺序排列成二值序列,得到表达局部空间位置信号及其变化过程的脉冲序列,使本发明能够最大程度地利用时序信息;再利用所有局部空间位置对应的二值序列按照空间位置相互关系形成原始脉冲阵列,从而使本发明还能够利用空间信息,即本发明实现了将所有局部空间位置的脉冲序列按照空间位置相互关系排列成三维时空脉冲序列阵列(可简称脉冲阵列),作为对被监控区域的动态时空信号表达。由于脉冲阵列中的脉冲是通过光强累计产生的原理,除了运动物体(目标)外的背景也会按照一定频率产生脉冲,为了解决这个问题,本实施例在输入层中去除原始脉冲阵列中的背景噪声,以得到无背景产生的脉冲的第一脉冲阵列,本实施例可以通过设置于输入层中的时域滤波器将背景中的冗余的噪声去除,保留运动区域的脉冲阵列并输出。因此,本实施例能够通过去除原始脉冲阵列中的噪声的方式生成第一脉冲阵列。
一个二维原始脉冲阵列示例如下。其中,“1”表示该时刻在对应位置有运动目标产生的脉冲信号,“0”表示该时刻在对应位置无脉冲信号,而倾斜状“1”可表示静止/背景区域产生的脉冲信号。
对上述示例的二维原始脉冲阵列经背景噪声去除后输出的第一脉冲阵列示意如下。
方式二:生成被监测区域的第一脉冲阵列的步骤包括:通过动态视觉传感器(DVS,Dynamic Vision Sensor)获取被监测区域的地址事件表示(AER,Address EventRepresentation)信号,然后再将地址事件表示信号转化为第一脉冲阵列。动态视觉传感器是模仿视网膜外周细胞对亮度变化敏感机理的视觉传感器,以通过判断亮度变化是否超过一定阈值产生On事件或者Off事件,其中,On事件表示阈值变化超过一定正值,Off事件表示低于一定的负值。DVS产生的脉冲以(x,y,t,p)四元组的地址事件表示形式,其中,(x,y)是脉冲发放的二维空间位置,t可为此脉冲事件产生的时间戳,p表示事件极性(On或者OFF,分别用“1”和“-1”表示)。在使用DVS产生的脉冲事件时,本实施例可将地址表示事件按照固定时间间隔或固定事件长度或脉冲事件存活时长的方式转换为脉冲阵列平面,再按照后续的步骤进行运动物体的检测与跟踪。
其次,将第一脉冲阵列送入脉冲神经网络中的输入层,脉冲神经网络包括相连接的输入层和输出层,如图3所示,本发明一些较佳的实施例中,输入层与输出层之间采用局部连接的方式,即输入层的每个神经元分别与输出层中对应位置及其周边设定邻域范围内(比如8邻域)的神经元相连接,本实施例中的输入层的神经元和输出层的神经元均优选为脉冲神经元。
再次,输出层的每个神经元接受输入层的多个神经元的输入,当收到的脉冲累积达到预设条件时产生输出脉冲,以生成第二脉冲阵列。具体在本实施例中,可通过如下的方式实现:在输出层中对与第一脉冲阵列中的各电位对应的输出层的神经元的电位进行衰减处理,本实施例中的输出层采用漏电积分发放(LIF,Leaky Integrate-and-Fire)脉冲神经元产生脉冲,LIF脉冲神经元可在每个时间步做一个漏电衰减的处理,实现对第一脉冲阵列中的各电位对应的输出层神经元的电位进行衰减,本实施例在对输出层神经元的电位进行衰减处理后,还包括:在当前电位小于或等于下限值时,将当前电位设置为下限值,作为一种进一步改进的方案,本发明能够防止无发放脉冲对应区域衰减到很小的值,以能够避免运动物体移动到该区域时很难使其达到阈值而无法产生脉冲的问题,具体下限值可根据实际需要进行设定,例如下限值为-3;然后对与第一脉冲阵列中的兴奋型动作电位对应的输出层的神经元的电位进行增加处理,本实施例能够将输入的兴奋型动作电位累加至后突触动作电位值(PSP,postsynaptic potential),以通过该方式实现对输出层神经元的电位增加;当输出层的神经元的电位达到预设电位值时产生输出脉冲,以生成第二脉冲阵列。本发明实施例中,预设电位值可以为2,换言之,在PSP值大于等于2时令输出层产生脉冲信号,即输出第二脉冲阵列,以及在输出第二脉冲阵列后令输出层产生有第二脉冲阵列中脉冲信号的各神经元的电位复位,从而继续接收输入层的多个神经元的输入而使相应的电位增加,本实施例可将输出层各神经元的电位复位至0。
如果输出层各神经元会在每个时间步衰减“1”,输入层输出的兴奋型动作电位会给对应的输出层神经元的电位增加“1”,则上述第一脉冲阵列对应的输出层上的后突触动作电位PSP示意如下。
如果后突触动作电位值达到设定的阈值2,则根据上述PSP计算结果,大于等于阈值2的部分可输出,则输出层输出的第二脉冲阵列如下所示。
最后,利用第二脉冲阵列进行目标检测。如图1所示,本实施例创新在t时刻确定值为1的脉冲,在t+1时刻利用第二脉冲阵列中多个脉冲相连通的区域检测出目标P。如上示出的第二脉冲阵列,输出层输出的第二脉冲阵列中运动物体对应的区域对应着脉冲发放区域。在第二脉冲阵列中,本发明实施例能够通过脉冲发放位置8邻域联通方式判断阵列中有多少个连通区域,并且以连通区域的位置信息表示运动物体的位置信息,位置信息通过四元组表示,即(x,y,w,h),(x,y)表示运动物体的左下角坐标,以矩阵左下角为原点坐标(0,0),w表示物体所在区域的宽,h表示物体所在区域的高;则在上述示意的第二脉冲阵列的位置信息为(0,0,5,5),宽和高均为5。在对目标的其他信息作进一步识别时,本发明包括但不限于使用深度卷积网络、传统机器学习方法支持向量机等对物体进行模式识别。
实施例二:
在实施例一的基础上,本实施例能够在利用第二脉冲阵列中多个脉冲相连通的区域检测出目标后,可以对高速运动目标进行跟踪。具体地,本实施例的一种目标跟踪方法包括实施例一中的目标检测方法,检测方案的具体过程如实施例一所示、本实施例不再赘述;在目标为高速运动目标时,本实施例可以对其进行跟踪。在遇到同时有多个运动物体时,本发明能够区分这些不同物体的运动轨迹,具体可通过如下方式实现,本实施例中的跟踪方法还包括:在检测出目标后,将当前时刻检测出的所有目标与上一时刻检测出的所有目标进行二分匹配,以将匹配度最高且处于不同时刻的两个目标(运动物体)作为被跟踪的同一运动目标。所以本发明能够提供一种高速视觉对象追踪方法。在使用二分匹配确定最大匹配度的过程中,可包括但不限于使用贪心算法、匈牙利算法等;而在确定物体位置距离的方式包括但不限于使用曼哈顿距离、欧几里得距离等。
实施例三:
如图2所示,与实施例一基于相同的发明构思,本实施例具体提供了一种目标检测装置,该检测装置与实施例一的检测方法对应、是一种高速视觉对象检测装置,可对高速运动目标进行有效地检测;该检测装置包括但不限于脉冲阵列生成模块、脉冲阵列输入模块、脉冲阵列输出模块以及目标信息检测模块。
脉冲阵列生成模块,能够用于生成被监测区域的第一脉冲阵列。脉冲阵列生成模块可以集成在仿视网膜芯片上。更为具体来说,脉冲阵列生成模块可包括局部信号累积子模块、脉冲信号输出子模块及脉冲阵列形成子模块。局部信号累积子模块用于在采集被监测区域内的各个局部空间位置的光信号之后按照时间顺序分别对各个局部空间位置的光信号强度进行累积,以得到各个局部空间位置的信号累积强度值;脉冲信号输出子模块用于在任一局部空间位置的信号累积强度值达到阈值时输出该局部空间位置的一个脉冲信号;脉冲阵列形成子模块用于将各个局部空间位置对应的脉冲信号按照时间顺序排列成二值序列,并用于利用所有局部空间位置对应的二值序列按照空间位置相互关系形成原始脉冲阵列。作为一种较佳的技术方案,本实施例通过背景噪声去除模块去掉原始脉冲阵列中的背景噪声以得到无背景噪声产生的脉冲的第一脉冲阵列。
脉冲阵列输入模块,用于将第一脉冲阵列送入脉冲神经网络中的输入层,如图3所示,脉冲神经网络包括相连接的输入层和输出层,输入层的每个神经元分别与输出层中对应位置及其周边设定邻域范围内的神经元相连接,即输入层与输出层之间优选局部连接方式,具体实现时可在输入层与输出层之间设置有局部连接层。
脉冲阵列输出模块,用于在输出层的每个神经元接受输入层的多个神经元的输入后、当收到的脉冲累积达到预设条件时产生输出脉冲,以生成第二脉冲阵列。本发明实施例的脉冲阵列输出模块,该模块可用于:在输出层中对与第一脉冲阵列中的各电位对应的输出层的神经元的电位进行衰减处理,对与第一脉冲阵列中的兴奋型动作电位对应的输出层的神经元的电位进行增加处理,当输出层的神经元的电位达到预设电位值时产生输出脉冲,以生成第二脉冲阵列;以及用于在输出第二脉冲阵列后令输出层输出有第二脉冲阵列中的脉冲的神经元复位。脉冲阵列输出模块可包括电位下限设置子模块,电位下限设置子模块用于在被衰减处理后的输出层神经元的电位小于或等于下限值时将该电位设置为预设的下限值,
目标信息检测模块,用于利用得到的第二脉冲阵列进行目标检测,可通过在神经元模型中设置物体检测层实现。本发明在具体应用时,用于目标检测的物体检测层中采用的脉冲神经元包括但不限于LIF(Leaky Integrate-and-Fire)脉冲神经元模型以及脉冲响应模型(Spike Response Model)等。
实施例四:
本实施例与实施例二基于相同的发明构思,在实施例三的基础上,本实施例能够在目标信息检测模块检测出目标后对目标进行跟踪。具体地,本实施例的一种目标跟踪装置,包括实施例三中的目标检测装置。特别在目标为高速运动目标时,本实施例能够对高速运动目标进行跟踪,该目标跟踪装置还包括运动目标跟踪模块。运动目标跟踪模块,可通过在神经元模型中设置物体跟踪层实现。且运动目标跟踪模块用于在检测出目标后将当前时刻检测出的所有目标与上一时刻检测出的所有目标进行二分匹配,并用于将匹配度最高且处于不同时刻的两个目标作为被跟踪的同一运动目标(物体),本实施例还能够在物体关联完成后对每个目标跟踪模块(即跟踪器)进行更新,并可对每个目标跟踪模块跟踪的物体进行后续的识别。所以本实施例能够提供一种高速视觉对象追踪装置。
实施例五:
本实施例能够提供一种计算机可读存储介质,可读存储介质上存储有计算机程序,计算机程序能够被处理器执行,以实现如本发明实施例一中的目标检测方法,或实现如本发明实施例二中的目标跟踪方法,或实现如本发明实施例三中的目标检测装置,或实现本发明实施例四中的目标跟踪装置。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读存储介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读存储介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读存储介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM,RandomAccess Memory),只读存储器(ROM,Read-Only Memory),可擦除可编辑只读存储器(EPROM,Erasable Programmable Read-Only Memory,或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM,Compact Disc Read-Only Memory)。另外,计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA,Programmable Gate Array),现场可编程门阵列(FPGA,Field Programmable Gate Array)等。
在本说明书的描述中,参考术语“本实施例”、“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明实质内容上所作的任何修改、等同替换和简单改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种目标检测方法,其特征在于,该检测方法包括:
采集被监测区域内的光信号,并基于采集到的光信号生成所述被监测区域的第一脉冲阵列;
将所述第一脉冲阵列送入脉冲神经网络中的输入层,所述脉冲神经网络包括相连接的输入层和输出层,所述输入层的每个神经元分别与输出层中对应位置及其周边设定邻域范围内的神经元相连接;
输出层的每个神经元接受输入层的多个神经元的输入,当收到的脉冲累积达到预设条件时产生输出脉冲,以生成第二脉冲阵列;
在t+1时刻利用所述第二脉冲阵列中的多个脉冲相连通的区域进行目标检测,其中,所述第二脉冲阵列中的多个脉冲为t时刻确定的。
2.根据权利要求1所述的目标检测方法,其特征在于,所述输入层的神经元和所述输出层的神经元均为脉冲神经元。
3.根据权利要求1或2所述的目标检测方法,其特征在于,所述当收到的脉冲累积达到预设条件时产生输出脉冲、以生成第二脉冲阵列步骤包括:
在输出层中对与所述第一脉冲阵列中的各电位对应的输出层的神经元的电位进行衰减处理;
对与所述第一脉冲阵列中的兴奋型动作电位对应的输出层的神经元的电位进行增加处理;
当输出层的神经元的电位达到预设电位值时产生输出脉冲,以生成第二脉冲阵列。
4.根据权利要求3所述的目标检测方法,其特征在于,在对输出层神经元的电位进行衰减处理后,还包括:
在当前所述电位小于或等于下限值时,将当前所述电位设置为下限值。
5.根据权利要求1或2所述的目标检测方法,其特征在于,生成被监测区域的第一脉冲阵列的步骤包括:
采集被监测区域内的各个局部空间位置的光信号,按照时间顺序分别对各个局部空间位置的光信号强度进行累积,以得到各个局部空间位置的信号累积强度值;
在任一局部空间位置的信号累积强度值达到阈值时,输出该局部空间位置的一个脉冲信号;
然后将各个局部空间位置对应的脉冲信号按照时间顺序排列成二值序列;利用所有局部空间位置对应的二值序列按照空间位置相互关系形成原始脉冲阵列;
去除所述原始脉冲阵列中的噪声,以生成所述第一脉冲阵列。
6.根据权利要求1或2所述的目标检测方法,其特征在于,生成被监测区域的第一脉冲阵列的步骤包括:
通过动态视觉传感器获取所述被监测区域的地址事件表示信号,然后将所述地址事件表示信号转化为所述第一脉冲阵列。
7.一种目标跟踪方法,其特征在于,包括权利要求1-6中任一权利要求所述的目标检测方法;
该跟踪方法还包括:在检测出目标后,将当前时刻检测出的所有目标与上一时刻检测出的所有目标进行二分匹配,以将匹配度最高且处于不同时刻的两个目标作为被跟踪的同一运动目标。
8.一种目标检测装置,其特征在于,该检测装置包括:
脉冲阵列生成模块,用于采集被监测区域内的光信号,并基于采集到的光信号生成所述被监测区域的第一脉冲阵列;
脉冲阵列输入模块,用于将所述第一脉冲阵列送入脉冲神经网络中的输入层,所述脉冲神经网络包括相连接的输入层和输出层,所述输入层的每个神经元分别与输出层中对应位置及其周边设定邻域范围内的神经元相连接;
脉冲阵列输出模块,用于在输出层的每个神经元接受输入层的多个神经元的输入后、当收到的脉冲累积达到预设条件时产生输出脉冲,以生成第二脉冲阵列;
目标信息检测模块,用于在t+1时刻利用所述第二脉冲阵列中的多个脉冲相连通的区域进行目标检测,其中,所述第二脉冲阵列中的多个脉冲为t时刻确定的。
9.一种目标跟踪装置,其特征在于,该跟踪装置包括权利要求8中所述的目标检测装置;该目标跟踪装置还包括:
运动目标跟踪模块,用于在检测出目标后将当前时刻检测出的所有目标与上一时刻检测出的所有目标进行二分匹配,以及用于将匹配度最高且处于不同时刻的两个目标作为被跟踪的同一运动目标。
10.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行,以实现如权利要求1-6中任一权利要求所述的目标检测方法,或者实现如权利要求7所述的目标跟踪方法,或者实现如权利要求8所述的目标检测装置,或者实现如权利要求9所述的目标跟踪装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911028303 | 2019-10-28 | ||
CN2019110283033 | 2019-10-28 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111709967A CN111709967A (zh) | 2020-09-25 |
CN111709967B true CN111709967B (zh) | 2023-04-07 |
Family
ID=72536723
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010373510.9A Active CN111709967B (zh) | 2019-10-28 | 2020-05-06 | 一种目标检测方法、目标跟踪方法、装置及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111709967B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112364774A (zh) * | 2020-11-12 | 2021-02-12 | 天津大学 | 一种基于脉冲神经网络的无人车类脑自主避障方法及系统 |
CN113034542B (zh) * | 2021-03-09 | 2023-10-10 | 北京大学 | 一种运动目标检测跟踪方法 |
CN113313919B (zh) * | 2021-05-26 | 2022-12-06 | 中国工商银行股份有限公司 | 使用多层前馈网络模型的报警方法、装置及电子设备 |
CN113554726B (zh) * | 2021-06-04 | 2023-10-20 | 北京大学 | 基于脉冲阵列的图像重构方法、装置、存储介质及终端 |
CN114429491B (zh) * | 2022-04-07 | 2022-07-08 | 之江实验室 | 一种基于事件相机的脉冲神经网络目标跟踪方法和系统 |
CN115048954B (zh) * | 2022-05-23 | 2024-07-23 | 北京大学 | 一种仿视网膜的目标检测方法、装置、存储介质及终端 |
CN115497028B (zh) * | 2022-10-10 | 2023-11-07 | 中国电子科技集团公司信息科学研究院 | 基于事件驱动的动态隐匿目标检测与识别方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105681787A (zh) * | 2016-01-22 | 2016-06-15 | 北京大学 | 对时空信号进行编码的方法和装置 |
CN107861123A (zh) * | 2017-10-24 | 2018-03-30 | 武汉大学 | 一种穿墙雷达在复杂环境下对多运动目标实时跟踪的方法 |
CN108846408A (zh) * | 2018-04-25 | 2018-11-20 | 中国人民解放军军事科学院军事医学研究院 | 基于脉冲神经网络的图像分类方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10671912B2 (en) * | 2016-09-13 | 2020-06-02 | Sap Se | Spatio-temporal spiking neural networks in neuromorphic hardware systems |
-
2020
- 2020-05-06 CN CN202010373510.9A patent/CN111709967B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105681787A (zh) * | 2016-01-22 | 2016-06-15 | 北京大学 | 对时空信号进行编码的方法和装置 |
CN107861123A (zh) * | 2017-10-24 | 2018-03-30 | 武汉大学 | 一种穿墙雷达在复杂环境下对多运动目标实时跟踪的方法 |
CN108846408A (zh) * | 2018-04-25 | 2018-11-20 | 中国人民解放军军事科学院军事医学研究院 | 基于脉冲神经网络的图像分类方法及装置 |
Non-Patent Citations (4)
Title |
---|
DashNet: A Hybrid Artificial and Spiking Neural Network for High-speed Object Tracking;Zheyu Yang etc.;《arXiv:1909.12942v1》;20190915;第3.1、3.4节 * |
Sparse Temporal Encoding of Visual Features for Robust Object Recognition by Spiking Neurons;Yajing Zheng etc.;《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》;20181230;第2-3节、图1 * |
脉冲神经网络:模型、学习算法与应用;程龙等;《控制与决策》;20180102(第05期);全文 * |
脉冲神经网络在运动目标检测中的应用;林梅燕等;《现代电子技术》;20100415(第08期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111709967A (zh) | 2020-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111709967B (zh) | 一种目标检测方法、目标跟踪方法、装置及可读存储介质 | |
St-Charles et al. | Flexible background subtraction with self-balanced local sensitivity | |
Nguyen | Improving Faster R‐CNN Framework for Fast Vehicle Detection | |
Poli | Genetic programming for image analysis | |
JP2017521746A (ja) | 非同期光センサーによって観測されたシーン内の形状を追跡する方法 | |
EP1995691A2 (en) | Method and apparatus for segmenting a motion area | |
CN104205169A (zh) | 基于异步光传感器估计光流的方法 | |
Li et al. | Robust event-based object tracking combining correlation filter and CNN representation | |
KR20210129043A (ko) | 이벤트 기반 센서로부터의 정보를 처리하는 방법 | |
CN110572636B (zh) | 摄像头脏污检测方法、装置、存储介质及电子设备 | |
CN113034634A (zh) | 基于脉冲信号的自适应成像方法、系统及计算机介质 | |
CN109101884B (zh) | 一种脉冲阵列预测方法 | |
CN114078100A (zh) | 聚类降噪装置、方法、芯片、事件成像装置及电子设备 | |
CN113763424A (zh) | 基于嵌入式平台的实时智能目标检测方法及系统 | |
CN115393597A (zh) | 基于脉冲神经网络与激光雷达点云的语义分割方法及装置 | |
CN116109695A (zh) | 质心定位方法及相关设备 | |
Gruel et al. | Neuromorphic event-based spatio-temporal attention using adaptive mechanisms | |
JP2020109644A (ja) | 転倒検出方法、転倒検出装置及び電子機器 | |
Schneider et al. | Unsupervised anomaly detection from time-of-flight depth images | |
CN112215912B (zh) | 基于动态视觉传感器的显著性图生成系统、方法和装置 | |
Tsai et al. | Joint detection, re-identification, and LSTM in multi-object tracking | |
WO2021103341A1 (zh) | 一种像素采集电路及图像传感器 | |
CN112699800A (zh) | 一种车辆查找方法、装置、存储介质及终端 | |
US11961308B2 (en) | Camera blockage detection for autonomous driving systems | |
CN114639159A (zh) | 移动行人检测方法、电子设备及机器人 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220127 Address after: 100084 b501b-2, 5th floor, building 8, yard 1, Zhongguancun East Road, Haidian District, Beijing Applicant after: Pulse vision (Beijing) Technology Co.,Ltd. Address before: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District Applicant before: Peking University |
|
GR01 | Patent grant | ||
GR01 | Patent grant |