CN113269264A - 目标识别方法、电子设备和计算机可读介质 - Google Patents
目标识别方法、电子设备和计算机可读介质 Download PDFInfo
- Publication number
- CN113269264A CN113269264A CN202110625880.1A CN202110625880A CN113269264A CN 113269264 A CN113269264 A CN 113269264A CN 202110625880 A CN202110625880 A CN 202110625880A CN 113269264 A CN113269264 A CN 113269264A
- Authority
- CN
- China
- Prior art keywords
- neural network
- pulse
- image
- target
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013528 artificial neural network Methods 0.000 claims abstract description 56
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 claims abstract description 18
- 239000012528 membrane Substances 0.000 claims description 39
- 210000002569 neuron Anatomy 0.000 claims description 27
- 210000000225 synapse Anatomy 0.000 claims description 27
- 230000015654 memory Effects 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 23
- 230000000946 synaptic effect Effects 0.000 claims description 20
- 238000012421 spiking Methods 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 13
- 230000003956 synaptic plasticity Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 6
- 230000003518 presynaptic effect Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 17
- 230000007774 longterm Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000010354 integration Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000036278 prepulse Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 239000000654 additive Substances 0.000 description 3
- 230000000996 additive effect Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000003623 enhancer Substances 0.000 description 2
- 238000010304 firing Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000001242 postsynaptic effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 240000002627 Cordeauxia edulis Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 210000005215 presynaptic neuron Anatomy 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Neurology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种目标识别方法，包括：获取包括目标对象的至少一个待识别图像；对该至少一个待识别图像进行脉冲编码，生成图像脉冲序列；将图像脉冲序列输入至脉冲神经网络中，并利用脉冲神经网络针对该至少一个待识别图像进行目标识别。本公开还提供了一种电子设备和计算机可读介质。
Description
技术领域
本公开涉及计算机技术领域，特别涉及一种目标识别方法、电子设备和计算机可读介质。
背景技术
随着计算机技术和神经网络技术的发展，图像的目标识别算法在各领域得到广泛应用，相应地，面对多样化的目标识别任务需求，目标识别所使用的网络模型也愈加多样和复杂。在日常应用中，由于拍摄对象是高速运动物体，或者拍摄时硬件条件和环境条件的限制，或者传输过程中引入了噪声等，图像信息量降低，会出现图像模糊等现象，现阶段在面对这类复杂任务时，多采用目标识别与图像增强相结合的方式进行。
发明内容
本公开提供一种目标识别方法、电子设备和计算机可读介质。
第一方面，本公开提供了一种目标识别方法，包括：
获取包括目标对象的至少一个待识别图像；
对所述至少一个待识别图像进行脉冲编码，生成图像脉冲序列；
将所述图像脉冲序列输入至脉冲神经网络中，并利用所述脉冲神经网络针对所述至少一个待识别图像进行目标识别，其中，所述脉冲神经网络为预先基于预定算法对关键点脉冲序列样本进行训练得到。
第二方面，本公开提供了一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的目标识别方法。
第三方面，本公开提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序在被处理器执行时实现上述的目标识别方法中的步骤。
本公开所提供的目标识别方法、电子设备和计算机可读介质，该方法通过获取待识别图像，对待识别图像进行脉冲编码，并将脉冲编码结果输入至预先训练好的脉冲神经网络中，实现快速目标识别，提升识别速度，并且保证识别准确率。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用来提供对本公开的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其他特征和优点对本领域技术人员将变得更加显而易见，在附图中：
图1为本公开实施例提供的一种脉冲神经网络训练方法的流程图；
图2为本公开实施例中步骤S02的一种具体实施方法流程图；
图3为本公开实施例提供的一种目标识别方法的流程图；
图4为本公开实施例中步骤S3的一种具体实施方法流程图；
图5为本公开实施例提供的一种电子设备的组成框图；
图6为本公开实施例提供的另一种电子设备的组成框图；
图7为本公开实施例提供的一种计算机可读介质的组成框图。
具体实施方式
为使本领域的技术人员更好地理解本公开的技术方案，以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。
如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
图1为本公开实施例提供的一种脉冲神经网络训练方法的流程图。如图1所示，该方法包括：
步骤S01、将图像脉冲序列样本输入至待训练的脉冲神经网络中。
其中，该图像脉冲序列样本即训练样本。
在一些实施例中，在将脉冲信号输入至待训练的脉冲神经网络中的步骤之前，还包括：将脉冲神经网络的各项参数进行初始化，包括突触权重、激活阈值等。
在一些实施例中，该脉冲神经网络的神经元模型采用LIF(Leaky Integrate-and-Fire)模型。
步骤S02、基于反向传播规则(Back Propagation，简称BP)和突触可塑性规则对待训练的脉冲神经网络的突触权重进行学习，以完成脉冲神经网络的训练。
其中，基于反向传播规则进行训练时训练效果较好，但训练计算量大，需要大量有标记样本；突触可塑性规则可采用脉冲时序依赖可塑性(Spike Timing DependentPlasticity，简称STDP)规则和赫布(Hebb)学习规则等仿生训练规则；在一些实施例中，脉冲时序依赖可塑性规则包括长期可塑性(Long Term Plasticity,简称LT)子规则、短期可塑性(Short Term Plasticity,简称STP)子规则和动态平衡(Homeostasis)子规则等；突触可塑性规则属于无监督学习方法，采用局部更新机制，训练量较小，不需要有标记样本，但训练效果有限。
图2为本公开实施例中步骤S02的一种具体实施方法流程图。如图2所示，具体地，步骤S02中，基于反向传播规则和突触可塑性规则对待训练的脉冲神经网络的突触权重进行学习的步骤，包括：
步骤S021、根据有标记的图像脉冲序列样本，利用反向传播规则对待训练的脉冲神经网络中的目标突触权重进行学习，得出第一支路权重。
在步骤S021中，针对目标突触权重利用反向传播规则进行更新，第一支路权重即反向传播规则对应的更新结果。
在一些实施例中，步骤S021，根据有标记的关键点脉冲序列样本，利用反向传播规则对待训练的脉冲神经网络中的目标突触权重进行学习，得出第一支路权重的步骤包括：根据前向输出结果和反向误差得到第一支路权重，其中，在该学习过程中，以单个神经元节点为例，在该神经元节点中，首先，采用如下公式：
It＝Xl,t*W
进行突触整合，得出整合附加值It。其中，l表示层标识；t为当前时间步长；Xl,t表示时间步长为t时处于l层的神经元节点对应的激活值；W表示对应的突触权重；该突触整合过程可通过卷积或全连接等形式实现。
以及，采用如下公式：
计算得出该神经元节点当前对应的膜电位
其中，
表示前一个时间步长对应的膜电位，即相对的静息电位。
在一些实施例中，针对输出数据，通过模拟激活函数f()以及输出时对应的激活值Xl,t+1计算得出。在一些实施例中，该模拟激活函数f()对应如下公式：f(x)＝S(x-Vth)，其中，S()为阶跃函数，或称赫维赛德(Heaviside)函数。
再者，针对节点内部，该神经元节点对应的节点函数NF()可通过如下定义式进行描述：
其中，
表示该神经元节点在响应脉冲发射后对应的膜电位。
以及，在脉冲发射后对应的膜电位
与该神经元节点当前对应的膜电位
之间的关系函数τ()可通过如下定义式进行描述：
其中，Vth表示重置阈值，Vreset表示复位电位，若当前膜电位大于或等于重置阈值时，该神经元节点发射脉冲，并将膜电位重置至复位电位；α为乘性衰减系数，β为加性衰减系数。
另外，针对反向传播规则，由上式可得，在根据基于时间的反向传播规则进行突触权重计算时，根据链式法则，对于所涉及到的关系函数τ()，在
对
求偏导时有：
其中，δ()为狄拉克δ函数，该函数在除了零点以外的点函数值都等于零，其在整个定义域上的积分等于1。由于该函数在反向传播时不友好，因此为其引入了一个矩形窗口，以函数δ(x)为例，其矩形窗口
为：
其中，μ为正数。
需要说明的是，上述对根据前向输出结果和反向误差得到第一支路权重步骤以及相应脉冲神经网络模型、神经元节点的描述，仅为本公开实施例提供的一种具体实施方式，其不会对本公开的技术方案产生限制，其他根据相应参数计算得出第一支路权重的计算方式以及相应的神经网络模型同样适用于本公开的技术方案。
步骤S022、根据无标记的图像脉冲序列样本，利用突触可塑性规则对目标突触权重进行学习，得出第二支路权重。
在步骤S022中，针对目标突触权重利用突触可塑性规则进行更新，第二支路权重即突触可塑性规则对应的更新结果。
在一些实施例中，步骤S022，根据无标记的图像脉冲序列样本，利用突触可塑性规则对目标突触权重进行学习，得出第二支路权重的步骤，包括：利用突触可塑性规则下的长期可塑性(LongTermPlasticity,简称LT)子规则对目标突触权重进行学习，得出第二支路权重。
在一些实施例中，长期可塑性子规则包括长期抑制(Long Term Depression,简称LTD)子规则和长期增强(Long-Term Potentiation,简称LTP)子规则，由此利用突触可塑性规则下的长期可塑性子规则对目标突触权重进行学习的过程，包括：
首先，根据目标突触权重对应的前脉冲信息和后脉冲信息得到第一权重参数。其中，考虑到突触前后神经元的相互作用，通过前脉冲信息和后脉冲信息计算得到第一权重参数。
具体地，在一些实施例中，基于赫布(Hebbian，简称HB)理论，通过局部变量trace跟踪单个神经元节点的先前活动和先前值，其中，先前活动体现为在上一个时间步长该神经元节点的膜电位变化情况以及脉冲发放情况，先前值体现为上一个时间步长的trace的值，使用xi(t)表示突触前神经元i相关的trace，使用yj(t)表示突触后神经元j相关的trace。由此，采用如下公式：
计算得出第一权重参数HB±(t)。其中，t为时间变量；si(t)和sj(t)分别表示前脉冲信息和后脉冲信息。
之后，根据学习率和目标突触权重的当前值得到第二权重参数。其中，考虑到目标突触权重自身进行迭代更新，通过学习率和目标突触权重的当前值计算得到第二权重参数。
具体地，在一些实施例中，基于加性(additive)理论，采用如下公式：
WB±(t)＝λ-λη
计算得到第二权重参数WB±(t)，其中，λ为学习率，η表示长期抑制子规则和长期增强子规则之间的比例系数。
此后，根据第一权重参数和第二权重参数确定与长期增强子规则对应的第三权重参数，并根据第一权重参数和第二权重参数确定与长期抑制子规则对应的第四权重参数。其中，通过基于前脉冲信息和后脉冲信息得到的第一权重参数，以及基于学习率和目标突触权重的当前值得到的第二权重参数，得出长期增强子规则对应的第三权重参数和长期抑制子规则对应的第四权重参数。
具体地，在一些实施例中，采用如下公式：
w'(t)＝HB+(t)*WB+(t)
计算得出第三权重参数w'(t)。以及，采用如下公式：
w″(t)＝HB-(t)*WB-(t)
计算得出第四权重参数w″(t)。
最后，根据第三权重参数和第四权重参数得出第二支路权重。其中，基于长期增强子规则对应的第三权重参数和长期抑制子规则对应的第四权重参数计算得出第二支路权重。
具体地，在一些实施例中，采用如下公式：
w(t)＝w(t-Δt)+w'(t)+w″(t)
计算得出第二支路权重w(t)。其中，Δt表示时间步长。
需要说明的是，上述对利用具体公式计算得出相应权重参数和权重的描述，仅为本公开实施例提供的一种具体实施方式，其不会对本公开的技术方案产生限制，其他根据相应参数计算得出权重和权重参数的计算方式同样适用于本公开的技术方案。
在一些实施例中，步骤S021中利用反向传播规则进行学习的步骤和步骤S022中利用突触可塑性规则进行学习的步骤可先后执行或并行执行。
步骤S023、根据第一支路权重和第二支路权重更新目标突触权重。
在一些实施例中，通过验证样本对各支路权重进行验证评价，以从中确定目标突触权重的更新值；或者，在一些实施例中，通过将第一支路权重和第二支路权重输入预设的融合更新公式计算以得到目标突触权重的更新值，该融合更新公式可基于求平均、求和、加权平均和加权求和等多种整合方式进行设计。
在一些实施例中，步骤S023，根据第一支路权重和第二支路权重更新目标突触权重的步骤，包括：对第一支路权重和第二支路权重进行加权求和，并根据加权求和结果更新目标突触权重。
由此，基于上述训练流程，利用反向传播规则训练获得第一支路权重，利用突触可塑性规则训练获得第二支路权重，根据第一支路权重和第二支路权重更新目标突触权重，分别利用反向传播规则和突触可塑性规则的优势训练目标突触权重，实现在保证权重训练结果的有效性的同时，快速且资源占用较少地进行突触权重的训练更新，提高脉冲神经网络训练效率。
图3为本公开实施例提供的一种目标识别方法的流程图。如图3所示，该方法包括：
步骤S1、获取包括目标对象的至少一个待识别图像。
在步骤S1中，获取至少一个待识别图像，该至少一个待识别图像包括待识别的目标对象。
步骤S2、对该至少一个待识别图像进行脉冲编码，生成图像脉冲序列。
在一些实施例中，可通过构建脉冲序列的触发率和图像像素强度之间的关系进行脉冲编码；或者，可通过基于原始彩色图像或灰度化图像生成矩阵，特别地，掩膜矩阵等方式实现脉冲编码；或者，可分别对图像灰度信息、色彩信息、纹理信息和其他特征信息等进行脉冲编码。在一些实施例中，该图像脉冲序列服从泊松分布。
步骤S3、将图像脉冲序列输入至脉冲神经网络中，并利用脉冲神经网络针对该至少一个待识别图像进行目标识别。
其中，该脉冲神经网络基于上述实施例中任一的脉冲神经网络训练方法训练得到；利用脉冲神经网络针对至少一个待识别图像进行目标识别包括识别目标对象的类别，或者判断目标对象是否属于特定类别，或者识别目标对象的数量等。
本公开实施例提供了一种目标识别方法，该方法可用于通过获取待识别图像，对待识别图像进行脉冲编码，并将脉冲编码结果输入至预先训练好的脉冲神经网络中，实现快速目标识别，提升识别速度，并且保证识别准确率。
图4为本公开实施例中步骤S3的一种具体实施方法流程图。如图4所示，具体地，该脉冲神经网络的神经元模型采用LIF模型；步骤S3，所利用脉冲神经网络针对该至少一个待识别图像进行目标识别的步骤，包括：步骤S301至步骤S303。具体地，步骤S301和步骤S302对应脉冲神经网络的单个神经元节点的脉冲发放过程，即步骤S301和步骤S302在脉冲神经网络的单个神经元节点中执行。
步骤S301、根据对应的突触权重、突触前激活值和原膜电位确定当前膜电位。
其中，在脉冲神经网络的单个神经元节点中，根据对应的突触权重、突触前激活阈值和原膜电位确定当前膜电位。具体地，通过突触权重和突触前激活阈值对应的空间信息和原膜电位对应的时间信息结合确定当前膜电位。
具体地，在一些实施例中，类似于步骤S021中所描述的学习过程，在模型应用过程中，针对脉冲神经网络的单个神经元节点，采用如下公式：
It＝Xl,t*W
进行突触整合，得出整合附加值It。其中，l表示层标识；t为当前时间步长；W表示对应的突触权重；Xl,t表示时间步长为t时处于l层的神经元节点对应的激活值，即突触前激活值；该突触整合过程可通过卷积或全连接等形式实现。
以及，采用如下公式：
计算得出当前膜电位
其中，
表示原膜电位，即前一个时间步长对应的膜电位，也为相对的静息电位。
步骤S302、响应于当前膜电位大于等于预设的膜电位阈值的情况，发放脉冲信号。
具体地，在一些实施例中，存在关系式：
其中，Ft表示发放的脉冲信号；Vth表示膜电位阈值，即若当前膜电位大于或等于膜电位阈值时，该神经元节点发放脉冲信号。
在一些实施例中，在发放脉冲信号的同时，还包括：重置膜电势以及进行膜电位的泄露。
具体地，在一些实施例中，采用如下公式：
计算膜电势
其中，Vreset表示复位电位。
以及，采用如下公式：
进行膜电位的泄露。其中，
表示该神经元节点在响应脉冲发放后对应的膜电位，即泄露后的膜电位，也作为下一时间步长对应的原膜电位；α为乘性衰减系数，β为加性衰减系数。
在一些实施例中，采用如下公式：
确定神经元节点的实际输出Yt。其中，实际输出通过模拟激活函数f()以及当前膜电位计算得出；该模拟激活函数可与膜电位阈值相关或无关，其分别对应阈值相关模式和阈值不相关模式。
步骤S303、根据脉冲神经网络的脉冲发放信息确定该至少一个待识别图像中对应的目标对象的类型。
其中，该脉冲发放信息由脉冲神经网络的输出层发放的脉冲信号得到。
在一些实施例中，可根据脉冲发放信息确定各神经元节点的响应或触发情况，从而确定出该目标对象最接近的类别。
在一些实施例中，根据脉冲发放信息累计置信度，响应于置信度大于或等于预设的置信度阈值的情况，确定该目标对象的类型为该脉冲神经网络对应的预设类型。
在一些实施例中，存在多个待识别图像，其构成待识别图像序列。在此基础上，具体地，相较于传统的时序神经网络模型，例如循环神经网络(Recurrent Neural Network，简称RNN)、基于的门控循环单元(Gated Recurrent Unit，简称GRU)的神经网络、长短期记忆网络(Long Short Term Memory，简称LSTM)等，本公开所提供过的基于LIF模型的脉冲神经网络具有参数量少，计算量低的特点，在实际应用中表现更好，并且，在对模糊目标、运动目标、面积较小的目标以及所处场景能见度较低的目标等进行识别时，基于该待识别图像序列，在对不同时间步长的目标信息的捕捉、碎片信息的整合和筛选等方面表现更优，识别准确率较前者也高出许多。
其中，针对存在多个待识别图像的情况，经步骤S301至步骤S303的处理，当识别带噪的目标时，通过神经元节点的膜电位积累该目标在多个时间拍对应的信息，当膜电位积累至膜电位阈值时发放的方式，达到对模糊目标进行识别的效果，该方式虽然在积累信息时每一拍均有噪声，单次判别不稳定，但是多时间拍信息综合积累即可获得稳定的判别结果。
需要说明的是，上述对脉冲发放过程以及模糊目标识别过程、相应脉冲神经网络模型、神经元节点的描述，仅为本公开实施例提供的一种具体实施方式，其不会对本公开的技术方案产生限制，其他模型构造运行方式同样适用于本公开的技术方案。
本公开实施例提供了一种目标识别方法，可用于通过获取待识别图像，对待识别图像进行脉冲编码，并将脉冲编码结果输入至预先训练好的脉冲神经网络中，实现快速目标识别，提升识别速度，保证识别准确率；并且，基于特定的神经网络模型和神经元模型，相较于传统神经网络，在对高速目标和模糊目标等的识别上表现出更快的识别速度和更高的准确率。
图5为本公开实施例提供的一种电子设备的组成框图。如图5所示，该电子设备包括：
一个或多个处理器101；
存储器102，其上存储有一个或多个程序，当该一个或多个程序被该一个或多个处理器执行，使得该一个或多个处理器101实现如上述实施例中任一的脉冲神经网络训练方法；
一个或多个I/O接口103，连接在处理器与存储器之间，配置为实现处理器与存储器的信息交互。
其中，处理器101为具有数据处理能力的器件，其包括但不限于中央处理器(CPU)等；存储器102为具有数据存储能力的器件，其包括但不限于随机存取存储器(RAM，更具体如SDRAM、DDR等)、只读存储器(ROM)、带电可擦可编程只读存储器(EEPROM)、闪存(FLASH)；I/O接口(读写接口)103连接在处理器101与存储器102间，能实现处理器101与存储器102的信息交互，其包括但不限于数据总线(Bus)等。
在一些实施例中，处理器101、存储器102和I/O接口103通过总线104相互连接，进而与计算设备的其它组件连接。
在一些实施例中，多个处理器101包括多个图形处理器(GPU)，其组合设置构成图形处理器阵列。
图6为本公开实施例提供的另一种电子设备的组成框图。如图6所示，该电子设备包括：
一个或多个处理器201；
存储器202，其上存储有一个或多个程序，当该一个或多个程序被该一个或多个处理器执行，使得该一个或多个处理器201实现如上述实施例中任一的目标识别方法；
一个或多个I/O接口203，连接在处理器与存储器之间，配置为实现处理器与存储器的信息交互。
其中，处理器201为具有数据处理能力的器件，其包括但不限于中央处理器(CPU)等；存储器202为具有数据存储能力的器件，其包括但不限于随机存取存储器(RAM，更具体如SDRAM、DDR等)、只读存储器(ROM)、带电可擦可编程只读存储器(EEPROM)、闪存(FLASH)；I/O接口(读写接口)203连接在处理器201与存储器202间，能实现处理器201与存储器202的信息交互，其包括但不限于数据总线(Bus)等。
在一些实施例中，处理器201、存储器202和I/O接口203通过总线204相互连接，进而与计算设备的其它组件连接。
在一些实施例中，多个处理器201包括多个图形处理器(GPU)，其组合设置构成图形处理器阵列。
图7为本公开实施例提供的一种计算机可读介质的组成框图。该计算机可读介质上存储有计算机程序，其中，该计算机程序在被处理器执行时实现如上述实施例中任一的目标识别方法中的步骤，和/或，在一些实施例中，该计算机程序在被处理器执行时实现如上述实施例中任一的脉冲神经网络训练方法中的步骤。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。
Claims (9)
1.一种目标识别方法，其中，包括：
获取包括目标对象的至少一个待识别图像；
对所述至少一个待识别图像进行脉冲编码，生成图像脉冲序列；
将所述图像脉冲序列输入至预设的脉冲神经网络中，并利用所述脉冲神经网络针对所述至少一个待识别图像进行目标识别，其中，所述脉冲神经网络为预先基于预定算法对图像脉冲序列样本进行训练得到。
2.根据权利要求1所述的目标识别方法，其中，所述脉冲神经网络的神经元模型采用LIF模型。
3.根据权利要求1所述的目标识别方法，其中，所述利用所述脉冲神经网络针对所述至少一个待识别图像进行目标识别的步骤，包括：
在所述脉冲神经网络的单个神经元节点中，根据对应的突触权重、突触前激活值和原膜电位确定当前膜电位；响应于所述当前膜电位大于或等于预设的膜电位阈值的情况，发放脉冲信号；
根据所述脉冲神经网络的脉冲发放信息确定所述至少一个待识别图像中对应的所述目标对象的类型，其中，所述脉冲发放信息由所述脉冲神经网络的输出层发放的脉冲信号得到。
4.根据权利要求3所述的目标识别方法，其中，所述根据所述脉冲神经网络的脉冲发放信息确定所述至少一个待识别图像中对应的所述目标对象的类别的步骤，包括：
根据所述脉冲发放信息累计置信度，响应于所述置信度大于或等于预设的置信度阈值的情况，确定所述目标对象的类型为预设类型。
5.根据权利要求1所述的目标识别方法，其中，所述脉冲神经网络通过如下步骤训练得到：
将所述图像脉冲序列样本输入至待训练的所述脉冲神经网络中；
基于反向传播规则和突触可塑性规则对待训练的所述脉冲神经网络的突触权重进行学习，以完成所述脉冲神经网络的训练。
6.根据权利要求5所述的目标识别方法，其中，所述基于反向传播规则和突触可塑性规则对待训练的所述脉冲神经网络的突触权重进行学习的步骤，包括：
根据有标记的所述图像脉冲序列样本，利用反向传播规则对待训练的所述脉冲神经网络中的目标突触权重进行学习，得出第一支路权重；以及，根据无标记的所述图像脉冲序列样本，利用突触可塑性规则对所述目标突触权重进行学习，得出第二支路权重；
根据所述第一支路权重和所述第二支路权重更新所述目标突触权重。
7.根据权利要求6所述的目标识别方法，其中，所述根据所述第一支路权重和所述第二支路权重更新所述目标突触权重的步骤，包括：
对所述第一支路权重和所述第二支路权重进行加权求和，并根据加权求和结果更新所述目标突触权重。
8.一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的目标识别方法。
9.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序在被处理器执行时实现如权利要求1-7中任一所述的目标识别方法中的步骤。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110625880.1A CN113269264A (zh) | 2021-06-04 | 2021-06-04 | 目标识别方法、电子设备和计算机可读介质 |
| US18/265,715 US11954579B2 (en) | 2021-06-04 | 2022-05-31 | Synaptic weight training method, target identification method, electronic device and medium |
| PCT/CN2022/096281 WO2022253229A1 (zh) | 2021-06-04 | 2022-05-31 | 突触权重训练方法、目标识别方法及电子设备、介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110625880.1A CN113269264A (zh) | 2021-06-04 | 2021-06-04 | 目标识别方法、电子设备和计算机可读介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113269264A true CN113269264A (zh) | 2021-08-17 |
Family
ID=77234318
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110625880.1A Pending CN113269264A (zh) | 2021-06-04 | 2021-06-04 | 目标识别方法、电子设备和计算机可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113269264A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114997233A (zh) * | 2022-06-08 | 2022-09-02 | 北京航空航天大学 | 信号处理方法、装置和电子设备 |
| WO2022253229A1 (zh) * | 2021-06-04 | 2022-12-08 | 北京灵汐科技有限公司 | 突触权重训练方法、目标识别方法及电子设备、介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102831476A (zh) * | 2012-08-22 | 2012-12-19 | 中国科学院上海光学精密机械研究所 | 脉冲神经网络模式探测装置和模式探测方法 |
| CN110210563A (zh) * | 2019-06-04 | 2019-09-06 | 北京大学 | 基于Spike cube SNN的图像脉冲数据时空信息学习及识别方法 |
| CN110826602A (zh) * | 2019-10-23 | 2020-02-21 | 中国科学院自动化研究所 | 基于膜电位调控脉冲神经网络的图像分类方法、系统 |
| CN112464807A (zh) * | 2020-11-26 | 2021-03-09 | 北京灵汐科技有限公司 | 视频动作识别方法、装置、电子设备和存储介质 |
-
2021
- 2021-06-04 CN CN202110625880.1A patent/CN113269264A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102831476A (zh) * | 2012-08-22 | 2012-12-19 | 中国科学院上海光学精密机械研究所 | 脉冲神经网络模式探测装置和模式探测方法 |
| CN110210563A (zh) * | 2019-06-04 | 2019-09-06 | 北京大学 | 基于Spike cube SNN的图像脉冲数据时空信息学习及识别方法 |
| CN110826602A (zh) * | 2019-10-23 | 2020-02-21 | 中国科学院自动化研究所 | 基于膜电位调控脉冲神经网络的图像分类方法、系统 |
| CN112464807A (zh) * | 2020-11-26 | 2021-03-09 | 北京灵汐科技有限公司 | 视频动作识别方法、装置、电子设备和存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022253229A1 (zh) * | 2021-06-04 | 2022-12-08 | 北京灵汐科技有限公司 | 突触权重训练方法、目标识别方法及电子设备、介质 |
| US11954579B2 (en) | 2021-06-04 | 2024-04-09 | Lynxi Technologies Co., Ltd. | Synaptic weight training method, target identification method, electronic device and medium |
| CN114997233A (zh) * | 2022-06-08 | 2022-09-02 | 北京航空航天大学 | 信号处理方法、装置和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110210563B (zh) | 基于Spike cube SNN的图像脉冲数据时空信息学习及识别方法 | |
| Baldwin et al. | Time-ordered recent event (TORE) volumes for event cameras | |
| US11954579B2 (en) | Synaptic weight training method, target identification method, electronic device and medium | |
| CN112639828A (zh) | 数据处理的方法、训练神经网络模型的方法及设备 | |
| CN111126134B (zh) | 基于非指纹信号消除器的雷达辐射源深度学习识别方法 | |
| CN113269264A (zh) | 目标识别方法、电子设备和计算机可读介质 | |
| CN112784976A (zh) | 一种基于脉冲神经网络的图像识别系统及方法 | |
| CN113269113B (zh) | 人体行为识别方法、电子设备和计算机可读介质 | |
| CN112116010B (zh) | 基于膜电势预处理的ann-snn转换的分类方法 | |
| CN112734012A (zh) | 脉冲神经网络训练方法、数据处理方法、电子设备和介质 | |
| CN113537455B (zh) | 突触权重训练方法、电子设备和计算机可读介质 | |
| US20180137408A1 (en) | Method and system for event-based neural networks | |
| US11556343B2 (en) | Computational method for temporal pooling and correlation | |
| CN113935475A (zh) | 具有脉冲时刻偏移量的脉冲神经网络的仿真与训练方法 | |
| CN117372843A (zh) | 基于首脉冲编码的图片分类模型训练方法、图片分类方法 | |
| CN111079930B (zh) | 数据集质量参数的确定方法、装置及电子设备 | |
| CN113269313A (zh) | 突触权重训练方法、电子设备和计算机可读介质 | |
| CN110889316B (zh) | 一种目标对象识别方法、装置及存储介质 | |
| CN111582462B (zh) | 权值原位更新方法、装置、终端设备和可读存储介质 | |
| CN111582461A (zh) | 神经网络训练方法、装置、终端设备和可读存储介质 | |
| US20200193276A1 (en) | Neuromorphic Neuron Apparatus For Artificial Neural Networks | |
| CN111860053A (zh) | 一种多媒体数据识别方法及装置 | |
| US20220121910A1 (en) | Neural apparatus for a neural network system | |
| KR102637568B1 (ko) | 스파이킹 뉴럴 네트워크를 최적화하는 방법 및 장치 | |
| CN117009866A (zh) | 一种脉冲数据分类模型构建方法及脉冲数据分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |