CN113269113A - 人体行为识别方法、电子设备和计算机可读介质 - Google Patents
人体行为识别方法、电子设备和计算机可读介质 Download PDFInfo
- Publication number
- CN113269113A CN113269113A CN202110624089.9A CN202110624089A CN113269113A CN 113269113 A CN113269113 A CN 113269113A CN 202110624089 A CN202110624089 A CN 202110624089A CN 113269113 A CN113269113 A CN 113269113A
- Authority
- CN
- China
- Prior art keywords
- key point
- neural network
- pulse
- behavior recognition
- human
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000013528 artificial neural network Methods 0.000 claims abstract description 75
- 230000006399 behavior Effects 0.000 claims abstract description 68
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 claims abstract description 54
- 239000012528 membrane Substances 0.000 claims description 36
- 210000002569 neuron Anatomy 0.000 claims description 35
- 210000000225 synapse Anatomy 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 22
- 238000012421 spiking Methods 0.000 claims description 21
- 230000000946 synaptic effect Effects 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 13
- 230000003956 synaptic plasticity Effects 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 230000003518 presynaptic effect Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 description 17
- 230000007774 longterm Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000002401 inhibitory effect Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000003993 interaction Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000010354 integration Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000010304 firing Methods 0.000 description 4
- 230000036278 prepulse Effects 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 239000000654 additive Substances 0.000 description 3
- 230000000996 additive effect Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 239000003623 enhancer Substances 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000001242 postsynaptic effect Effects 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 240000002627 Cordeauxia edulis Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 210000005215 presynaptic neuron Anatomy 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种人体行为识别方法，包括：获取待识别图像序列上的关键点信息；对关键点信息进行编码，生成关键点脉冲序列；将关键点脉冲序列输入至脉冲神经网络中，并利用脉冲神经网络针对该待识别图像序列进行人体行为识别。本公开还提供了一种电子设备和计算机可读介质。
Description
技术领域
本公开涉及计算机技术领域，特别涉及一种人体行为识别方法、电子设备和计算机可读介质。
背景技术
人体行为识别是可应用于智能监控、人机交互和智能机器人等诸多领域的一项基础技术。系统通过实时检测和分析目标的行动，判断人体行为是否符合预先设定的动作描述，从而及时给予提醒，以形成预判和预防。
相关技术中，运用传统的神经网络进行的人体行为识别计算量较大，处理响应不及时。
发明内容
本公开提供一种人体行为识别方法、电子设备和计算机可读介质。
第一方面，本公开提供了一种人体行为识别方法，包括：
获取待识别图像序列对应的关键点信息，其中，所述待识别图像序列中的单个待识别图像对应多个关键点，所述多个关键点用于表征该待识别图像中的人体的骨架特征，所述关键点信息包括获取到的全部关键点；
对所述关键点信息进行脉冲编码，生成关键点脉冲序列；
将所述关键点脉冲序列输入至预设的脉冲神经网络中，并利用所述脉冲神经网络针对所述待识别图像序列进行人体行为识别，其中，所述脉冲神经网络为预先基于预定算法对关键点脉冲序列样本进行训练得到。
第二方面，本公开提供了一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的人体行为识别方法。
第三方面，本公开提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序在被处理器执行时实现上述的人体行为识别方法中的步骤。
本公开所提供的人体行为识别方法、电子设备和计算机可读介质，该方法通过获取待识别图像对应的用于表征人体的骨架特征的多个关键点，对多个关键点进行编码，并将编码结果输入至预先训练好的脉冲神经网络中，实现快速人体行为识别，提升识别速度，并且保证识别准确率。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用来提供对本公开的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其他特征和优点对本领域技术人员将变得更加显而易见，在附图中：
图1为本公开实施例提供的一种脉冲神经网络训练方法的流程图；
图2为本公开实施例中步骤S02的一种具体实施方法流程图；
图3为本公开实施例提供的一种人体行为识别方法的流程图；
图4为本公开实施例提供的一种脉冲神经网络的结构示意图；
图5为本公开实施例中步骤S3的一种具体实施方法流程图；
图6为本公开实施例中步骤S2的一种具体实施方法流程图；
图7为本公开实施例中步骤S3的另一种具体实施方法流程图；
图8为本公开实施例中步骤S2的另一种具体实施方法流程图；
图9为本公开实施例提供的一种电子设备的组成框图；
图10为本公开实施例提供的另一种电子设备的组成框图；
图11为本公开实施例提供的一种计算机可读介质的组成框图。
具体实施方式
为使本领域的技术人员更好地理解本公开的技术方案，以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。
如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
图1为本公开实施例提供的一种脉冲神经网络训练方法的流程图。如图1所示，该方法包括：
步骤S01、将关键点脉冲序列样本输入至待训练的脉冲神经网络中。
其中，该关键点脉冲序列样本即训练样本。
在一些实施例中，在将脉冲信号输入至待训练的脉冲神经网络中的步骤之前，还包括：将脉冲神经网络的各项参数进行初始化，包括突触权重、激活阈值等。
在一些实施例中，该脉冲神经网络的神经元模型采用LIF(Leaky Integrate-and-Fire)模型。
步骤S02、基于反向传播规则(Back Propagation，简称BP)和突触可塑性规则对待训练的脉冲神经网络的突触权重进行学习，以完成脉冲神经网络的训练。
其中，基于反向传播规则进行训练时训练效果较好，但训练计算量大，需要大量有标记样本；突触可塑性规则可采用脉冲时序依赖可塑性(Spike Timing DependentPlasticity，简称STDP)规则和赫布(Hebb)学习规则等仿生训练规则；在一些实施例中，脉冲时序依赖可塑性规则包括长期可塑性(Long Term Plasticity,简称LT)子规则、短期可塑性(Short Term Plasticity,简称STP)子规则和动态平衡(Homeostasis)子规则等；突触可塑性规则属于无监督学习方法，采用局部更新机制，训练量较小，不需要有标记样本，但训练效果有限。
图2为本公开实施例中步骤S02的一种具体实施方法流程图。如图2所示，具体地，步骤S02中，基于反向传播规则和突触可塑性规则对待训练的脉冲神经网络的突触权重进行学习的步骤，包括：
步骤S021、根据有标记的关键点脉冲序列样本，利用反向传播规则对待训练的脉冲神经网络中的目标突触权重进行学习，得出第一支路权重。
在步骤S021中，针对目标突触权重利用反向传播规则进行更新，第一支路权重即反向传播规则对应的更新结果。
在一些实施例中，步骤S021，根据有标记的关键点脉冲序列样本，利用反向传播规则对待训练的脉冲神经网络中的目标突触权重进行学习，得出第一支路权重的步骤包括：根据前向输出结果和反向误差得到第一支路权重，其中，在该学习过程中，以单个神经元节点为例，在该神经元节点中，首先，采用如下公式：
It＝Xl,t*W
进行突触整合，得出整合附加值It。其中，l表示层标识；t为当前时间步长；Xl,t表示时间步长为t时处于l层的神经元节点对应的激活值；W表示对应的突触权重；该突触整合过程可通过卷积或全连接等形式实现。
以及，采用如下公式：
计算得出该神经元节点当前对应的膜电位
其中，
表示前一个时间步长对应的膜电位，即相对的静息电位。
在一些实施例中，针对输出数据，通过模拟激活函数f()以及输出时对应的激活值Xl,t+1计算得出。在一些实施例中，该模拟激活函数f()对应如下公式：f(x)＝S(x-Vth)，其中，S()为阶跃函数，或称赫维赛德(Heaviside)函数。
再者，针对节点内部，该神经元节点对应的节点函数NF()可通过如下定义式进行描述：
其中，
表示该神经元节点在响应脉冲发射后对应的膜电位。
以及，在脉冲发射后对应的膜电位
与该神经元节点当前对应的膜电位
之间的关系函数τ()可通过如下定义式进行描述：
其中，Vth表示重置阈值，Vreset表示复位电位，若当前膜电位大于或等于重置阈值时，该神经元节点发射脉冲，并将膜电位重置至复位电位；α为乘性衰减系数，β为加性衰减系数。
另外，针对反向传播规则，由上式可得，在根据基于时间的反向传播规则进行突触权重计算时，根据链式法则，对于所涉及到的关系函数τ()，在
对
求偏导时有：
其中，δ()为狄拉克δ函数，该函数在除了零点以外的点函数值都等于零，其在整个定义域上的积分等于1。由于该函数在反向传播时不友好，因此为其引入了一个矩形窗口，以函数δ(x)为例，其矩形窗口
为：
其中，μ为正数。
需要说明的是，上述对根据前向输出结果和反向误差得到第一支路权重步骤以及相应脉冲神经网络模型、神经元节点的描述，仅为本公开实施例提供的一种具体实施方式，其不会对本公开的技术方案产生限制，其他根据相应参数计算得出第一支路权重的计算方式以及相应的神经网络模型同样适用于本公开的技术方案。
步骤S022、根据无标记的关键点脉冲序列样本，利用突触可塑性规则对目标突触权重进行学习，得出第二支路权重。
在步骤S022中，针对目标突触权重利用突触可塑性规则进行更新，第二支路权重即突触可塑性规则对应的更新结果。
在一些实施例中，步骤S022，根据无标记的图像脉冲序列样本，利用突触可塑性规则对目标突触权重进行学习，得出第二支路权重的步骤，包括：利用突触可塑性规则下的长期可塑性子规则对目标突触权重进行学习，得出第二支路权重。
在一些实施例中，长期可塑性子规则包括长期抑制子规则和长期增强子规则，由此利用突触可塑性规则下的长期可塑性子规则对目标突触权重进行学习的过程，包括：
首先，根据目标突触权重对应的前脉冲信息和后脉冲信息得到第一权重参数。其中，考虑到突触前后神经元的相互作用，通过前脉冲信息和后脉冲信息计算得到第一权重参数。
具体地，在一些实施例中，基于赫布理论，通过局部变量trace跟踪单个神经元节点的先前活动和先前值，其中，先前活动体现为在上一个时间步长该神经元节点的膜电位变化情况以及脉冲发放情况，先前值体现为上一个时间步长的trace的值，使用xi(t)表示突触前神经元i相关的trace，使用yj(t)表示突触后神经元j相关的trace。由此，采用如下公式：
计算得出第一权重参数HB±(t)。其中，t为时间变量；si(t)和sj(t)分别表示前脉冲信息和后脉冲信息。
之后，根据学习率和目标突触权重的当前值得到第二权重参数。其中，考虑到目标突触权重自身进行迭代更新，通过学习率和目标突触权重的当前值计算得到第二权重参数。
具体地，在一些实施例中，基于加性(additive)理论，采用如下公式：
WB±(t)＝λ-λη
计算得到第二权重参数WB±(t)，其中，λ为学习率，η表示长期抑制子规则和长期增强子规则之间的比例系数。
此后，根据第一权重参数和第二权重参数确定与长期增强子规则对应的第三权重参数，并根据第一权重参数和第二权重参数确定与长期抑制子规则对应的第四权重参数。其中，通过基于前脉冲信息和后脉冲信息得到的第一权重参数，以及基于学习率和目标突触权重的当前值得到的第二权重参数，得出长期增强子规则对应的第三权重参数和长期抑制子规则对应的第四权重参数。
具体地，在一些实施例中，采用如下公式：
w'(t)＝HB+(t)*WB+(t)
计算得出第三权重参数w'(t)。以及，采用如下公式：
w″(t)＝HB-(t)*WB-(t)
计算得出第四权重参数w″(t)。
最后，根据第三权重参数和第四权重参数得出第二支路权重。其中，基于长期增强子规则对应的第三权重参数和长期抑制子规则对应的第四权重参数计算得出第二支路权重。
具体地，在一些实施例中，采用如下公式：
w(t)＝w(t-Δt)+w'(t)+w″(t)
计算得出第二支路权重w(t)。其中，Δt表示时间步长。
需要说明的是，上述对利用具体公式计算得出相应权重参数和权重的描述，仅为本公开实施例提供的一种具体实施方式，其不会对本公开的技术方案产生限制，其他根据相应参数计算得出权重和权重参数的计算方式同样适用于本公开的技术方案。
在一些实施例中，步骤S021中利用反向传播规则进行学习的步骤和步骤S022中利用突触可塑性规则进行学习的步骤可先后执行或并行执行。
步骤S023、根据第一支路权重和第二支路权重更新目标突触权重。
在一些实施例中，通过验证样本对各支路权重进行验证评价，以从中确定目标突触权重的更新值；或者，在一些实施例中，通过将第一支路权重和第二支路权重输入预设的融合更新公式计算以得到目标突触权重的更新值，该融合更新公式可基于求平均、求和、加权平均和加权求和等多种整合方式进行设计。
由此，利用反向传播规则训练获得第一支路权重，利用突触可塑性规则训练获得第二支路权重，根据第一支路权重和第二支路权重更新目标突触权重，分别利用反向传播规则和突触可塑性规则的优势训练目标突触权重，实现在保证权重训练结果的有效性的同时，快速且资源占用较少地进行突触权重的训练更新，提高脉冲神经网络训练效率。
图3为本公开实施例提供的一种人体行为识别方法的流程图。如图3所示，该方法包括：
步骤S1、获取待识别图像序列上的关键点信息。
其中，待识别图像序列中的单个待识别图像对应多个关键点，该多个关键点用于表征该待识别图像中的人体的骨架特征即骨架特征对应的特征点；关键点信息包括获取到的全部关键点。在一些实施例中，根据人体所占图像面积以及图像清晰度等，针对各待识别图像中的同一人体分别获取相同数量或不同数量的多个关键点。
在一些实施例中，基于预设的特征点检测算法确定该多个关键点；在一些实施例中，基于提前训练的卷积神经网络确定该多个关键点。
步骤S2、对关键点信息进行脉冲编码，生成关键点脉冲序列。
其中，可通过构建脉冲序列的触发率和关键点像素强度之间的关系进行脉冲编码；或者，在一些实施例中，关键点可以为坐标形式，可通过直接对关键点坐标值进行二进制转换，或者基于关键点坐标和待识别图像生成掩膜矩阵等方式实现编码；或者，在一些实施例中，通过群编码方式生成关键点脉冲序列，该关键点脉冲序列为空间脉冲序列，各待识别图像对应的关键点信息分别对应一个时间步长，关键点脉冲序列在时间轴上表征关键点随时间变换的情况。在一些实施例中，该关键点脉冲序列服从泊松分布。
步骤S3、将关键点脉冲序列输入至脉冲神经网络中，并利用脉冲神经网络针对待识别图像序列进行人体行为识别。
其中，该脉冲神经网络为预先基于预定算法对关键点脉冲序列样本进行训练得到；在一些实施例中，该脉冲神经网络基于上述实施例中任一的脉冲神经网络训练方法训练得到；利用脉冲神经网络针对待识别图像序列进行人体行为识别包括识别人体行为的类别，或者判断人体行为是否属于特定类别，或者识别不同人体行为的数量等；在一些实施例中，构造该脉冲神经网络还基于注意力(Attention)机制，包括空间注意力(SpatialAttention)和时间注意力(Temporal Attention)。
图4为本公开实施例提供的一种脉冲神经网络的结构示意图。如图4所示，图中的实线箭头表示数据传输方向，圆圈表示赢者通吃(Winner Takes All，简称WTA)模块对应的抑制性神经元，虚线箭头表示抑制性神经元之间抑制性连接的关系；该脉冲神经网络的神经元模型采用LIF模型；具体地，将完整的关键点脉冲序列输入至脉冲神经网络中后，经一个或多个神经元节点(图中未示出)的处理，得到的N路脉冲序列输入至赢者通吃模块，图中示出了N＝3的情况，其中，该模块的作用为将N路输入的脉冲序列输入至对应的N个抑制性神经元，单个抑制性神经元的频繁发放会抑制其它发放频率较低的抑制性神经元，从而使得模块整体输出通常只包含零至一路频繁发放的脉冲序列。
需要说明的是，上述对脉冲神经网络结构的描述，仅为本公开实施例提供的一种具体实施方式，其不会对本公开的技术方案产生限制，其他神经网络结构同样适用于本公开的技术方案。
本公开实施例提供了一种人体行为识别方法，该方法可用于通过获取待识别图像对应的用于表征人体的骨架特征的多个关键点，对多个关键点进行编码，并将编码结果输入至预先训练好的脉冲神经网络中，实现快速人体行为识别，提升识别速度，并且保证识别准确率。
图5为本公开实施例中步骤S3的一种具体实施方法流程图。如图5所示，具体地，该脉冲神经网络的神经元模型采用LIF模型；步骤S3中，利用脉冲神经网络针对待识别图像序列进行人体行为识别的步骤，包括：步骤S301至步骤S303。具体地，步骤S301和步骤S302对应脉冲神经网络的单个神经元节点的脉冲发放过程，即步骤S301和步骤S302在脉冲神经网络的单个神经元节点中执行。
步骤S301、根据对应的突触权重、突触前激活值和原膜电位确定当前膜电位。
其中，在脉冲神经网络的单个神经元节点中，根据对应的突触权重、突触前激活阈值和原膜电位确定当前膜电位。具体地，通过突触权重和突触前激活阈值对应的空间信息和原膜电位对应的时间信息结合确定当前膜电位。
具体地，在一些实施例中，类似于步骤S021中所描述的学习过程，在模型应用过程中，针对脉冲神经网络的单个神经元节点，采用如下公式：
It＝Xl,t*W
进行突触整合，得出整合附加值It。其中，l表示层标识；t为当前时间步长；W表示对应的突触权重；Xl,t表示时间步长为t时处于l层的神经元节点对应的激活值，即突触前激活值；该突触整合过程可通过卷积或全连接等形式实现。
以及，采用如下公式：
计算得出当前膜电位
其中，
表示原膜电位，即前一个时间步长对应的膜电位，也为相对的静息电位。
步骤S302、响应于当前膜电位大于等于预设的膜电位阈值的情况，发放脉冲信号。
具体地，在一些实施例中，存在关系式：
其中，Ft表示发放的脉冲信号；Vth表示膜电位阈值，即若当前膜电位大于或等于膜电位阈值时，该神经元节点发放脉冲信号。
在一些实施例中，在发放脉冲信号的同时，还包括：重置膜电势以及进行膜电位的泄露。
具体地，在一些实施例中，采用如下公式：
计算膜电势
其中，Vreset表示复位电位。
以及，采用如下公式：
进行膜电位的泄露。其中，
表示该神经元节点在响应脉冲发放后对应的膜电位，即泄露后的膜电位，也作为下一时间步长对应的原膜电位；α为乘性衰减系数，β为加性衰减系数。
在一些实施例中，采用如下公式：
确定神经元节点的实际输出Yt。其中，不同于传统LIF模型的实际输出为发放的脉冲信号，该模型的实际输出通过模拟激活函数f()以及当前膜电位计算得出；该模拟激活函数可与膜电位阈值相关或无关，其分别对应阈值相关模式和阈值不相关模式。
步骤S303、根据脉冲神经网络的脉冲发放信息识别待识别图像序列中对应的人体行为。
其中，脉冲发放信息由脉冲神经网络的输出层发放的脉冲信号得到。在一些实施例中，可根据脉冲发放信息确定输出层中各神经元节点的响应或触发情况，从而确定出该人体行为最接近的类别；或者，在一些实施例中，根据脉冲发放信息累计置信度，响应于置信度大于或等于预设的置信度阈值的情况，确定该人体行为的类型为该脉冲神经网络对应的预设类型。
在一些实施例中，脉冲发放信息为编码后生成的空间脉冲序列，其利用多个神经元节点的输出表示该空间脉冲序列中的一帧，各神经元节点的触发情况分别对应0和1。
需要说明的是，上述对脉冲发放过程以及人体行为识别过程、相应脉冲神经网络模型、神经元节点的描述，仅为本公开实施例提供的一种具体实施方式，其不会对本公开的技术方案产生限制，其他模型构造运行方式同样适用于本公开的技术方案。
图6为本公开实施例中步骤S2的一种具体实施方法流程图。如图6所示，具体地，待识别图像序列中存在多个人体；步骤S2，对关键点信息进行编码，生成关键点脉冲序列的步骤，包括：
步骤S201、确定关键点信息中全部关键点各自所属的人体。
在步骤S201中，对关键点所属的人体进行确定和识别。
步骤S202、对全部关键点依据对应的人体分别进行编码，生成多个关键点脉冲序列。
在步骤S202中，针对多个人体各自对应的多个关键点，将其分别进行编码，该过程生成的多个关键点脉冲序列，分别对应多个人体各自的骨架特征。
图7为本公开实施例中步骤S3的另一种具体实施方法流程图。如图7所示，具体地，在步骤S201得以实施的前提下，步骤S3，将关键点脉冲序列输入至预先配置的脉冲神经网络中，利用脉冲神经网络针对待识别图像序列进行人体行为识别的步骤，包括：
步骤S3a、将多个关键点脉冲序列输入至脉冲神经网络中，利用脉冲神经网络基于各关键点脉冲序列分别进行人体行为识别，以识别出多个人体行为。
在步骤S3a中，将多个关键点脉冲序列输入至脉冲神经网络中，由此基于各关键点脉冲序列分别进行人体行为识别，输出针对各人体的人体行为识别结果。
在一些实施例中，步骤S3，将关键点脉冲序列输入至预先配置的脉冲神经网络中，利用脉冲神经网络针对待识别图像序列进行人体行为识别的步骤，包括：
步骤S3b、将多个关键点脉冲序列输入至脉冲神经网络中，利用脉冲神经网络基于全部关键点脉冲序列进行组合行为识别，以识别出至少一个组合行为。
其中，单个组合行为对应多个人体。在步骤S3b中，基于各关键点脉冲序列综合进行人体行为识别，即组合行为识别，输出针对多个人体整体的一个或多个组合行为识别结果。
需要说明的是，步骤S3a和步骤S3b可根据实际识别任务需求同时实施也可分离实施。
本公开实施例提供了一种人体行为识别方法，该方法可用于通过对多个关键点脉冲序列的人体行为识别，输出多个人体各自的识别结果或者输出多个人体的综合识别结果。
图8为本公开实施例中步骤S2的另一种具体实施方法流程图。如图8所示，具体地，步骤S2，对关键点信息进行编码，生成关键点脉冲序列的步骤，包括：
步骤S203、根据待识别图像序列和关键点信息确定关键点轨迹信息。
在一些实施例中，基于相应算法，根据待识别图像序列对应的时间信息，和各关键点在不同帧中对应的空间信息，生成关键点轨迹信息。
步骤S204、对关键点信息和关键点轨迹信息进行编码，生成关键点脉冲序列。
在一些实施例中，该人体行为识别方法还包括：
响应于待识别图像序列中的一帧的目标关键点缺失的情况，根据该帧的前帧和/或后帧中对应的关键点恢复该目标关键点。其中，可根据特征点检测算法，或者关键点轨迹信息，或者前帧和/或后帧对应的关键点数量确定该帧是否存在关键点缺失。
本公开实施例提供了一种人体行为识别方法，该方法可用于基于关键点信息和关键点轨迹信息针对待识别图像序列进行人体行为识别，降低计算量的同时提升人体行为识别的准确率。
图9为本公开实施例提供的一种电子设备的组成框图。如图9所示，该电子设备包括：
一个或多个处理器101；
存储器102，其上存储有一个或多个程序，当该一个或多个程序被该一个或多个处理器执行，使得该一个或多个处理器101实现如上述实施例中任一的脉冲神经网络训练方法；
一个或多个I/O接口103，连接在处理器与存储器之间，配置为实现处理器与存储器的信息交互。
其中，处理器101为具有数据处理能力的器件，其包括但不限于中央处理器(CPU)等；存储器102为具有数据存储能力的器件，其包括但不限于随机存取存储器(RAM，更具体如SDRAM、DDR等)、只读存储器(ROM)、带电可擦可编程只读存储器(EEPROM)、闪存(FLASH)；I/O接口(读写接口)103连接在处理器101与存储器102间，能实现处理器101与存储器102的信息交互，其包括但不限于数据总线(Bus)等。
在一些实施例中，处理器101、存储器102和I/O接口103通过总线104相互连接，进而与计算设备的其它组件连接。
在一些实施例中，多个处理器101包括多个图形处理器(GPU)，其组合设置构成图形处理器阵列。
图10为本公开实施例提供的另一种电子设备的组成框图。如图10所示，该电子设备包括：
一个或多个处理器201；
存储器202，其上存储有一个或多个程序，当该一个或多个程序被该一个或多个处理器执行，使得该一个或多个处理器201实现如上述实施例中任一的人体行为识别方法；
一个或多个I/O接口203，连接在处理器与存储器之间，配置为实现处理器与存储器的信息交互。
其中，处理器201为具有数据处理能力的器件，其包括但不限于中央处理器(CPU)等；存储器202为具有数据存储能力的器件，其包括但不限于随机存取存储器(RAM，更具体如SDRAM、DDR等)、只读存储器(ROM)、带电可擦可编程只读存储器(EEPROM)、闪存(FLASH)；I/O接口(读写接口)203连接在处理器201与存储器202间，能实现处理器201与存储器202的信息交互，其包括但不限于数据总线(Bus)等。
在一些实施例中，处理器201、存储器202和I/O接口203通过总线204相互连接，进而与计算设备的其它组件连接。
在一些实施例中，多个处理器201包括多个图形处理器(GPU)，其组合设置构成图形处理器阵列。
图11为本公开实施例提供的一种计算机可读介质的组成框图。该计算机可读介质上存储有计算机程序，其中，该计算机程序在被处理器执行时实现如上述实施例中任一的人体行为识别方法中的步骤，和/或，在一些实施例中，该计算机程序在被处理器执行时实现如上述实施例中任一的脉冲神经网络训练方法中的步骤。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。
Claims (11)
1.一种人体行为识别方法，其中，包括：
获取待识别图像序列对应的关键点信息，其中，所述待识别图像序列中的单个待识别图像对应多个关键点，所述多个关键点用于表征该待识别图像中的人体的骨架特征，所述关键点信息包括获取到的全部关键点；
对所述关键点信息进行脉冲编码，生成关键点脉冲序列；
将所述关键点脉冲序列输入至预设的脉冲神经网络中，并利用所述脉冲神经网络针对所述待识别图像序列进行人体行为识别，其中，所述脉冲神经网络为预先基于预定算法对关键点脉冲序列样本进行训练得到。
2.根据权利要求1所述的人体行为识别方法，其中，所述脉冲神经网络的神经元模型采用LIF模型；
所述利用所述脉冲神经网络针对所述待识别图像序列进行人体行为识别的步骤，包括：
在所述脉冲神经网络的单个神经元节点中，根据对应的突触权重、突触前激活值和原膜电位确定当前膜电位；响应于所述当前膜电位大于等于预设的膜电位阈值的情况，发放脉冲信号；
根据所述脉冲神经网络的脉冲发放信息识别所述待识别图像序列对应的人体行为，其中，所述脉冲发放信息由所述脉冲神经网络的输出层发放的脉冲信号得到。
3.根据权利要求1所述的人体行为识别方法，其中，所述待识别图像序列中存在多个人体；
所述对所述关键点信息进行编码，生成关键点脉冲序列的步骤，包括：
确定所述关键点信息中全部关键点各自所属的人体；
对全部关键点依据对应的人体分别进行编码，生成多个所述关键点脉冲序列。
4.根据权利要求3所述的人体行为识别方法，其中，所述将所述关键点脉冲序列输入至预先配置的脉冲神经网络中，利用所述脉冲神经网络针对所述待识别图像序列进行人体行为识别的步骤，包括：
将多个所述关键点脉冲序列输入至所述脉冲神经网络中，利用所述脉冲神经网络基于各所述关键点脉冲序列分别进行人体行为识别，以识别出多个人体行为。
5.根据权利要求3所述的人体行为识别方法，其中，所述将所述关键点脉冲序列输入至预先配置的脉冲神经网络中，利用所述脉冲神经网络针对所述待识别图像序列进行人体行为识别的步骤，包括：
将多个所述关键点脉冲序列输入至所述脉冲神经网络中，利用所述脉冲神经网络基于全部所述关键点脉冲序列进行组合行为识别，以识别出至少一个组合行为，其中，单个组合行为对应多个人体。
6.根据权利要求1所述的人体行为识别方法，其中，所述对所述关键点信息进行编码，生成关键点脉冲序列的步骤，包括：
根据所述待识别图像序列和所述关键点信息确定关键点轨迹信息；
对所述关键点信息和所述关键点轨迹信息进行编码，生成所述关键点脉冲序列。
7.根据权利要求1所述的人体行为识别方法，其中，还包括：
响应于所述待识别图像序列中的一帧的目标关键点缺失的情况，根据该帧的前帧和/或后帧中对应的关键点恢复所述目标关键点。
8.根据权利要求1所述的人体行为识别方法，其中，所述脉冲神经网络通过如下步骤训练得到：
将所述关键点脉冲序列样本输入至待训练的所述脉冲神经网络中；
基于反向传播规则和突触可塑性规则对待训练的所述脉冲神经网络的突触权重进行学习，以完成所述脉冲神经网络的训练。
9.根据权利要求8所述的人体行为识别方法，其中，所述基于反向传播规则和突触可塑性规则对待训练的所述脉冲神经网络的突触权重进行学习的步骤，包括：
根据有标记的所述关键点脉冲序列样本，利用反向传播规则对待训练的所述脉冲神经网络中的目标突触权重进行学习，得出第一支路权重；以及，根据无标记的所述关键点脉冲序列样本，利用突触可塑性规则对所述目标突触权重进行学习，得出第二支路权重；
根据所述第一支路权重和所述第二支路权重更新所述目标突触权重。
10.一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的人体行为识别方法。
11.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序在被处理器执行时实现如权利要求1-9中任一所述的人体行为识别方法中的步骤。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110624089.9A CN113269113B (zh) | 2021-06-04 | 2021-06-04 | 人体行为识别方法、电子设备和计算机可读介质 |
| US18/265,715 US11954579B2 (en) | 2021-06-04 | 2022-05-31 | Synaptic weight training method, target identification method, electronic device and medium |
| PCT/CN2022/096281 WO2022253229A1 (zh) | 2021-06-04 | 2022-05-31 | 突触权重训练方法、目标识别方法及电子设备、介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110624089.9A CN113269113B (zh) | 2021-06-04 | 2021-06-04 | 人体行为识别方法、电子设备和计算机可读介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113269113A true CN113269113A (zh) | 2021-08-17 |
| CN113269113B CN113269113B (zh) | 2024-04-30 |
Family
ID=77234254
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110624089.9A Active CN113269113B (zh) | 2021-06-04 | 2021-06-04 | 人体行为识别方法、电子设备和计算机可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113269113B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022253229A1 (zh) * | 2021-06-04 | 2022-12-08 | 北京灵汐科技有限公司 | 突触权重训练方法、目标识别方法及电子设备、介质 |
| CN117037287A (zh) * | 2023-10-08 | 2023-11-10 | 武汉理工大学 | 一种基于3d脉冲神经网络的行为识别方法、系统及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109829422A (zh) * | 2019-01-28 | 2019-05-31 | 哈尔滨工业大学 | 一种基于脉冲神经网络人体摔倒动作的视频识别方法 |
| CN110210563A (zh) * | 2019-06-04 | 2019-09-06 | 北京大学 | 基于Spike cube SNN的图像脉冲数据时空信息学习及识别方法 |
| CN112085198A (zh) * | 2020-09-21 | 2020-12-15 | 中国科学院自动化研究所 | 基于全局反馈以及局部突触可塑的脉冲神经网络优化方法 |
| CN112529176A (zh) * | 2020-12-03 | 2021-03-19 | 鹏城实验室 | 一种加速脉冲神经网络的训练方法、终端及存储介质 |
-
2021
- 2021-06-04 CN CN202110624089.9A patent/CN113269113B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109829422A (zh) * | 2019-01-28 | 2019-05-31 | 哈尔滨工业大学 | 一种基于脉冲神经网络人体摔倒动作的视频识别方法 |
| CN110210563A (zh) * | 2019-06-04 | 2019-09-06 | 北京大学 | 基于Spike cube SNN的图像脉冲数据时空信息学习及识别方法 |
| CN112085198A (zh) * | 2020-09-21 | 2020-12-15 | 中国科学院自动化研究所 | 基于全局反馈以及局部突触可塑的脉冲神经网络优化方法 |
| CN112529176A (zh) * | 2020-12-03 | 2021-03-19 | 鹏城实验室 | 一种加速脉冲神经网络的训练方法、终端及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| KOTARO FURUYA等: "Semi-supervised learning combining backpropagation and STDP: STDP enhances learning by backpropagation with a small amount of labeled data in a spiking neural network", ARXIV, 21 February 2021 (2021-02-21) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022253229A1 (zh) * | 2021-06-04 | 2022-12-08 | 北京灵汐科技有限公司 | 突触权重训练方法、目标识别方法及电子设备、介质 |
| US11954579B2 (en) | 2021-06-04 | 2024-04-09 | Lynxi Technologies Co., Ltd. | Synaptic weight training method, target identification method, electronic device and medium |
| CN117037287A (zh) * | 2023-10-08 | 2023-11-10 | 武汉理工大学 | 一种基于3d脉冲神经网络的行为识别方法、系统及装置 |
| CN117037287B (zh) * | 2023-10-08 | 2023-12-29 | 武汉理工大学 | 一种基于3d脉冲神经网络的行为识别方法、系统及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113269113B (zh) | 2024-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11373092B2 (en) | Training of artificial neural networks | |
| US8892485B2 (en) | Methods and systems for neural processor training by encouragement of correct output | |
| WO2022253229A1 (zh) | 突触权重训练方法、目标识别方法及电子设备、介质 | |
| CN112784976A (zh) | 一种基于脉冲神经网络的图像识别系统及方法 | |
| CN113269113B (zh) | 人体行为识别方法、电子设备和计算机可读介质 | |
| US20150278641A1 (en) | Invariant object representation of images using spiking neural networks | |
| CN112116010B (zh) | 基于膜电势预处理的ann-snn转换的分类方法 | |
| US10552734B2 (en) | Dynamic spatial target selection | |
| KR20160084401A (ko) | 스파이킹 뉴럴 네트워크들에서 리플레이를 사용한 시냅스 학습의 구현 | |
| US20150278685A1 (en) | Probabilistic representation of large sequences using spiking neural network | |
| CN110991610B (zh) | 一种非确定性问题的概率确定方法 | |
| CN113269264A (zh) | 目标识别方法、电子设备和计算机可读介质 | |
| JP7104481B2 (ja) | 人工ニューラル・ネットワークにおける時間プーリングおよび相関 | |
| US20180137408A1 (en) | Method and system for event-based neural networks | |
| CN113537455B (zh) | 突触权重训练方法、电子设备和计算机可读介质 | |
| US9542645B2 (en) | Plastic synapse management | |
| Allred et al. | Unsupervised incremental stdp learning using forced firing of dormant or idle neurons | |
| CA2926034A1 (en) | Dynamically assigning and examining synaptic delay | |
| CN113269313B (zh) | 突触权重训练方法、电子设备和计算机可读介质 | |
| CN111582462B (zh) | 权值原位更新方法、装置、终端设备和可读存储介质 | |
| CN111582461A (zh) | 神经网络训练方法、装置、终端设备和可读存储介质 | |
| CN112668797A (zh) | 一种长短期交通预测方法 | |
| CN113011572B (zh) | 一种轴突变化量确定方法和装置、权重处理方法和装置 | |
| Xie et al. | Unsupervised STDP-based Radioisotope Identification Using Spiking Neural Networks Implemented on SpiNNaker | |
| KR20240078124A (ko) | 스파이킹 뉴럴 네트워크 기반 와이파이 프레임 탐지 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |