CN109829422A - 一种基于脉冲神经网络人体摔倒动作的视频识别方法 - Google Patents

Abstract

本发明提供一种基于脉冲神经网络人体摔倒动作的视频识别方法，属于视频识别技术领域。本发明首先将需要识别的视频中基于时间的人体骨骼节点转换为二维彩色图像，并将其转化为二维灰度图像；然后建立人体摔倒动作识别的脉冲神经网络模型；收集人体摔倒动作和未摔倒动作样本，建立人体摔倒动作数据集；并在该人体摔倒动作数据集的基础上，采用STDP算法对所述脉冲神经网络模型进行训练；最后将二维灰度图像作为训练好的脉冲神经网络模型的输入，输出得到识别结果。本发明解决了现有人体摔倒动作的视频识别技术需要进行人工特征提取，导致效率较低的问题。本发明可用于人体摔倒动作的视频识别。

Description

一种基于脉冲神经网络人体摔倒动作的视频识别方法

技术领域

本发明涉及一种人体摔倒动作的视频识别方法，属于视频识别技术领域。

背景技术

动作识别目前广泛应用于视频监控、机器人、游戏控制等各个领域[Y.Du,W.Wang,and L.Wang,Hierarchical recurrent neural；network for skeleton based actionrecognition,IEEE Conference on Computer Vision and Pattern Recognition,1110-1118,2015.]。视频监控更是在很多场合都有使用，其中对老年人的安全监控十分重要，若老年人独自在家摔倒，救援不及时，很有可能会有生命危险。一般来说，人体可以被看作是一个由刚性骨架和关节铰链组成的系统，而人体动作则可以被表示为人体骨骼的运动[R.Vemulapalli,F.Arrate,and R.Chellappa,Human action；recognition byrepresenting 3d skeletons as points in a lie group,IEEE Conference onComputer Vision and Pattern；Recognition,588-595,2014.]。

目前，深度传感器结合实时骨架估计算法已经可以提供可靠的关节节点坐标。现阶段很多动作识别方法都是基于这样的骨架节点坐标([C.Jia,G.Zhang,Y.Fu,Low-ranktensor learning with；discriminant analysis for action classification andimage recovery,AAAI Conference on Artificial Intelligence,1228–1234,2014.]、[X.Zhao,Y.Liu,Y.Fu,Exploring discriminative pose；sub-patterns for effectiveaction classification,ACM International Conference on Multimedia,273–282,2013.])。但是大多数基于骨架的人类行为识别方法都需要进行训练样本的人工特征提取；人工对训练样本进行特征提取，并提供分类标签，不仅耗费人力物力，关键是会降低效率。

到目前为止，机器学习中最流行的模型是受生物学特性启发的人工神经网络(ANN)[Hinton,G.E.,and Salakhutdinov,Reducing the dimensionality of data withneural networks,Science 313,504–507,2006.]。事实上，尽管ANN是在生物学中获得的灵感，但这些模型与实际发生的生物学现象基本上不同。在神经网络单元之间发送的是32或64位信息，而在生物神经元中，新皮质使用的峰值信息可以作为1位信息进行处理。在ANN(Artificial Neural Network人工神经网络)中，一般的训练方式是反向传播，但是生物学过程中它更倾向于无监督学习方法，如STDP(Spike Timing Dependent Plasticity，脉冲时间依赖可塑性机制)规则，STDP规则是通过一个全局信号进行调节的[Bi,G.-Q.,andPoo,Activity-induced synaptic modifications in hippocampal culture:dependenceon spike timing,synaptic strength and cell type,Neuroscience 18,464-472,1998.]。模型的生物学合理性可以帮助我们更好的了解真实在生物学中发生的运算过程。

发明内容

本发明为解决现有人体摔倒动作的视频识别技术需要进行人工特征提取，导致效率较低的问题，提供了一种基于脉冲神经网络人体摔倒动作的视频识别方法。

本发明所述一种基于脉冲神经网络人体摔倒动作的视频识别方法，通过以下技术方案实现：

步骤一、将需要识别的视频各帧图像中的人体骨骼节点在三个正交平面上的投影坐标表示为二维彩色图像的RGB值，从而将视频中基于时间的人体骨骼节点转换为二维彩色图像；然后将所述二维彩色图像转化为二维灰度图像；

步骤二、建立人体摔倒动作识别的脉冲神经网络模型；

步骤三、收集人体摔倒动作和未摔倒动作样本，建立人体摔倒动作数据集；并在该人体摔倒动作数据集的基础上，采用STDP算法对所述脉冲神经网络模型进行训练，当神经元突触的权重变化达到阈值时停止训练，得到训练好的脉冲神经网络模型；

步骤四、将步骤一中得到的二维灰度图像作为训练好的脉冲神经网络模型的输入，输出得到识别结果。

本发明最为突出的特点和显著的有益效果是：

本发明所涉及的一种基于脉冲神经网络人体摔倒动作的视频识别方法，将时间序列中的人体摔倒动作转换为二维图像，并采用了无监督脉冲神经网络结合STDP算法对人体摔倒动作进行识别；本发明方法的脉冲神经网络使用了LIF(leaky-integrate-and-fire)神经元模型、STDP算法、侧抑制和固有塑性机制，兼顾了所用模型的生物学合理性和表现的可靠性，且建模与计算过程比较简便，不需要进行人工特征提取或向网络提供任何标签，相比现有技术，识别效率提高约30％；并且本发明摔倒动作的识别准确率也比较高，仿真实验中脉冲神经网络平均可以达到80％以上的准确率。

附图说明

图1为本发明流程图；

图2为本发明中将视频中基于时间的人体骨骼节点转换为二维彩色图像示意图；

图3为本发明未摔倒动作和摔倒动作转换为二维彩色图片后的对比图；

图4为本发明脉冲神经网络模型工作原理示意图；

图5为实施例中兴奋性神经元突触的权重的重新排列输入图；

图6为实施例中脉冲神经网络识别准确率的曲线图；

1.输入层，2.处理层，3.抑制层。

具体实施方式

具体实施方式一：结合图1对本实施方式进行说明，本实施方式给出的一种基于脉冲神经网络人体摔倒动作的视频识别方法，具体包括以下步骤：

步骤一、将需要识别的视频各帧图像中的人体骨骼节点在三个正交平面上的投影坐标表示为二维彩色图像的RGB值，从而将视频中基于时间的人体骨骼节点转换为二维彩色图像；然后将所述二维彩色图像转化为二维灰度图像；

步骤二、建立人体摔倒动作识别的脉冲神经网络模型，所述脉冲神经网络模型包括输入层1、处理层2、抑制层3；

步骤三、通过Kinect(微软在2010年6月14日发布的XBOX360体感周边外设)的SDK(Software Development Kit软件开发工具包)[Webb J,Ashley J,Beginning Kinectprogramming with the Microsoft Kinect SDK,Apress,2012.]收集人体摔倒动作和未摔倒动作样本，Kinect可以按时间序列提取人体骨骼关节节点的位置信息；并采用与步骤一相同的方法将其转换为二维灰度图像，进而建立人体摔倒动作数据集；并在该人体摔倒动作数据集的基础上，采用STDP(脉冲时间依赖可塑性机制)算法对所述脉冲神经网络模型进行训练，这充分考虑到了生物学合理性和准确性；当神经元突触的权重变化达到阈值时停止训练，得到训练好的脉冲神经网络模型；

输入以泊松分布的脉冲序列的形式以350ms的间隔呈现给网络，其中激发速率与输入图像的像素强度成比例。此外，还有一个150ms没有任何输入的空白阶段。这个阶段可以让所有神经元参数在给出新图像之前衰减到静止值。训练前不需要对收集的样本进行分类添加标签，而是分析数据集的本身，如果发现数据集呈现某种聚集性，则可按自然的聚集性分类，但不予以某种预先分类标签对上号为目的；训练结束后，我们根据对摔倒或未摔倒标签的最高响应为每个神经元分配一个类别。这也是唯一使用标签的步骤。最终通过神经元的响应来测量网络的分类准确率。

步骤四、将步骤一中得到的二维灰度图像作为训练好的脉冲神经网络模型的输入，输出得到识别结果。

具体实施方式二：本实施方式与具体实施方式一不同的是，所述步骤一的具体过程包括：

步骤一一、将视频各帧图像中人体骨骼节点在三个正交平面上投影，其中，第i帧视频图像中第j个骨骼节点在所述三个正交平面上的投影坐标分别为x_ij、y_ij、z_ij；i表示视频帧序号，j＝1,…,N；N表示每帧视频图像中的骨骼节点总数；

所有人体结构都可分为五个主要部分[Dan G,Brette R,Brian:a simulator forspiking neural networks in python,Bmc Neuroscience,1-2,2008.]，即两条手臂、两条腿和一个躯干。由于所有人类行为都可以通过这五个部分来表示，所以每一帧中的人体骨骼节点位置相连就可以代表这一帧的人体动作。因此可以将人体骨骼节点的三个正交平面上的投影分别表示为彩色图像的三个RGB部分；一段时间内的人体动作可以看成是一个时序问题，骨架关节坐标可以代表人体动作，人体在摔倒过程中人体的关节节点位置发生了剧烈的变化，因此采用字典学习模型来表示整个骨架关节节点序列；也就是说，R_i＝[x_i1,x_i2,...,x_iN]，G_i＝[y_i1,y_i2,...,y_iN]，B_i＝[z_i1,z_i2,...,z_iN]，如图2所示。这种方法可以将空间中的人体运动表示的非常清楚。尤其是在涉及人体摔倒动作时，骨骼节点的位置变化极为明显。如图3中左边部分是未摔倒动作转化为的图片，右边部分是摔倒动作转化为的图片；从图中可以看出，左边部分人体骨骼节点位置变化缓和，而右边部分中人体骨骼节点位置变化非常明显。

步骤一二、将所述投影坐标转换为二维彩色图像的R、G、B颜色分量：

其中，P_R、P_G、P_B分别为像素值的R、G、B颜色分量；floor(·)函数表示向下舍入；x_max和x_min分别表示样本中所有骨骼节点投影x_ij坐标中的最大值和最小值；y_max和y_min分别表示样本中所有骨骼节点投影y_ij坐标中的最大值和最小值；z_max和z_min分别表示样本中所有骨骼节点投影z_ij坐标中的最大值和最小值。上面三个公式是以下归一化公式(让转化为的像素值在0～255范围内)的三个分量的具体表示：

其中，p表示像素值，c_max和c_min分别表示样本中所有关节坐标的最大值和最小值；

步骤一三、将转换后得到的二维彩色图像调整为统一尺寸的二维灰度图像。

鉴于从骨骼关节转换的二维彩色图像的整体颜色变化可以代表人类动作，该二维彩色图像色调与尺寸的合理调整几乎不会影响所其包含的消息。

其他步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式二不同的是，步骤一三中所述统一尺寸为28×28像素。为了减少运行时间，我们将输入图像调整为28×28像素。

其他步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式二不同的是，步骤二所述建立人体摔倒动作识别的脉冲神经网络模型的具体过程包括：

步骤二一、利用数量与所述二维灰度图像的像素值相等的接收神经元建立脉冲神经网络模型的输入层，所述接收神经元能将步骤一中所述二维灰度图像的像素值转化为对应强度的泊松脉冲；对于每个输入图像像素，都有一个对应的神经元负责接收信息；输入的图像能够以泊松分布脉冲序列的形式以350ms的间隔传递至脉冲神经网络模型。如图4所示。

步骤二二、通过兴奋神经元建立脉冲神经网络模型的处理层；所述处理层的兴奋神经元能对所述输入层传递的泊松脉冲进行处理，每个兴奋性神经元的速率与输入图像相应像素的强度成正比，当该泊松脉冲超过兴奋神经元的阈值，兴奋神经元兴奋；

步骤二三、通过与处理层的兴奋神经元相排布位置一一对应的抑制神经元构成神经网络模型的抑制层，每一个抑制神经元都与处理层所有的兴奋神经元相连，当某个兴奋神经元兴奋时，与之对应的抑制神经元就会抑制其他所有兴奋神经元的兴奋，起到侧抑制的作用；从而导致兴奋神经元之间的竞争。一旦某一神经元竞争胜利，就会阻止其他神经元激发。

其他步骤及参数与具体实施方式一、二或三相同。

具体实施方式五：本实施方式与具体实施方式二不同的是，步骤二二中所述兴奋神经元采用漏积分-激发神经动力学模型建立[Indiveri G,Chicca E,Douglas R J,AVLSI array of low-power spiking neurons and bistable synapses with spike-timing dependent plasticity,IEEE Trans Neural Netw,211-21,2006.]，具体包括膜电压动力学模型与电导动力学模型：

膜电压动力学模型由下面公式描述：

其中，V是膜电压；E_rest是静息膜电位；E_exc是兴奋性突触的平衡电位，E_inh是抑制性突触的平衡电位；ge是兴奋性突触的电导，gi是抑制性突触的电导；C表示膜电容；τ是一个时间常数，其值对于兴奋性突触而言要大于抑制性突触。当神经元膜电位超过其膜阈值时神经元激发，其膜电位重新回到V_reset。在膜电位重置后的几毫秒时间内，神经元处于不应期，不会再激发。我们用电导变化来建模突触，即当突触前尖峰到达突触时，突触的电导随突触的权重w的增加而瞬间升高，否则电导会呈指数衰减。

如果突触前神经元是兴奋性的，则电导的动力学模型如下：

如果突触前神经元是抑制性的，则电导的动力学模型如下：

其中，是兴奋性突触后电位的时间常数；是抑制性突触后电位的时间常数。

其他步骤及参数与具体实施方式一至四相同。

具体实施方式六：本实施方式与具体实施方式五不同的是，所述兴奋性突触后电位的时间常数电导的动力学模型中几乎所有参数都考虑了生物学合理性，只有兴奋性神经元的膜电压除外。将兴奋性神经元膜电位的时间常数增加到100ms可以大大提高分类的准确性。其原因是，当用速率编码来表示输入时，更大的膜电位时间常数可以更好地估计输入脉冲速率。

其他步骤及参数与具体实施方式一至五相同。

具体实施方式七：本实施方式与具体实施方式一至六不同的是，步骤三中所述神经元突触的权重变化的具体计算式为：

Δw＝η(x_pre-x_tar)(w_max-w)^μ

其中，w为突触的权重，Δw为权重变化，η是学习率，w_max是最大权重，μ表示每次更新对前一次权重的依赖性；x_tar是突触前轨迹在突触后脉冲到来时的目标值，x_pre为突触前轨迹。使用突触历史[Morrison A,Aertsen A,Diesmann M,Spike-timing-dependentplasticity in balanced random networks.Neural Comput,1437–1467,2007.]计算权重变化，能够显著提高速度。除了突触的权重外，每个突触还跟踪另一个值，即突触前轨迹x_pre，它体现了最近的突触历史；每当突触前脉冲到达突触，x_pre就会增加1，否则x_pre呈指数衰减。上述公式使得那些很少导致突触后神经元激发的突触前神经元的连接趋向于断开，这在突触后神经元很少处于活跃状态时尤其有用。

其他步骤及参数与具体实施方式一至六相同。

实施例

采用以下实施例验证本发明的有益效果：

为了对脉冲神经网络模型进行仿真，采用Python语言以及BRIAN仿真器[Dan G,Brette R,Brian:a simulator for spiking neural networks in python,BmcNeuroscience,1-2,2008.]建立模型。

通过Kinect的SDK收集人类摔倒和未摔倒动作样本，然后将关节的位置序列转换为28×28像素大小的图片，建立的人体摔倒动作数据集包含了3800个训练图片和660个测试图片，其中包括了使用泊松波动从基本数据衍生出的衍生数据。

在人体摔倒动作数据集上训练了含400个兴奋神经元的SNN(Spiking NeuronNetworks脉冲神经网络)。对兴奋性神经元突触的权重的重新排列输入如图5所示，对于每个神经元，将784维输入向量重新排列成28×28的矩阵，以显示神经元学习原型输入。

如图6所示，准确率曲线先急剧上升，随后略有下降。缓慢下降的原因可能是网络开始过拟合。考虑到过度拟合的问题，将网络在过拟合之前的权重作为评估权重。最后的准确率可以达到78.85％。

除了含有400个兴奋神经元的网络，还训练和测试了具有900、1600、2500个兴奋神经元的网络，含有400、900、1600、2500个兴奋神经元的网络在无监督STDP规则下分别获得了78.85％，80％和85％和80.25％的最高分类准确率，如表1所示。对于所有的训练和测试，都使用了相同的神经元，突触和STDP参数。

表1.实验结果

随着兴奋神经元数量的增加，网络的识别准确率也不断提高，但当神经元的数量超过1600时，网络的识别准确率不会继续提高。其中使用1600个兴奋性神经元的脉冲神经网络可以达到85％的准确率。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (7)

1.一种基于脉冲神经网络人体摔倒动作的视频识别方法，其特征在于，具体包括以下步骤：

步骤一、将需要识别的视频各帧图像中的人体骨骼节点在三个正交平面上的投影坐标表示为二维彩色图像的RGB值，从而将视频中基于时间的人体骨骼节点转换为二维彩色图像；然后将所述二维彩色图像转化为二维灰度图像；

步骤二、建立人体摔倒动作识别的脉冲神经网络模型；

步骤三、收集人体摔倒动作和未摔倒动作样本，建立人体摔倒动作数据集；并在该人体摔倒动作数据集的基础上，采用STDP算法对所述脉冲神经网络模型进行训练，当神经元突触的权重变化达到阈值时停止训练，得到训练好的脉冲神经网络模型；

步骤四、将步骤一中得到的二维灰度图像作为训练好的脉冲神经网络模型的输入，输出得到识别结果。

2.根据权利要求1所述一种基于脉冲神经网络人体摔倒动作的视频识别方法，其特征在于，所述步骤一的具体过程包括：

步骤一一、将视频各帧图像中人体骨骼节点在三个正交平面上投影，其中，第i帧视频图像中第j个骨骼节点在所述三个正交平面上的投影坐标分别为x_ij、y_ij、z_ij；i表示视频帧序号；

步骤一二、将所述投影坐标转换为二维彩色图像的R、G、B颜色分量：

其中，P_R、P_G、P_B分别为像素值的R、G、B颜色分量；floor(·)函数表示向下舍入；x_max和x_min分别表示样本中所有骨骼节点投影x_ij坐标中的最大值和最小值；y_max和y_min分别表示样本中所有骨骼节点投影y_ij坐标中的最大值和最小值；z_max和z_min分别表示样本中所有骨骼节点投影z_ij坐标中的最大值和最小值；

步骤一三、将转换后得到的二维彩色图像调整为统一尺寸的二维灰度图像。

3.根据权利要求2所述一种基于脉冲神经网络人体摔倒动作的视频识别方法，其特征在于，步骤一三中所述统一尺寸为28×28像素。

4.根据权利要求2所述一种基于脉冲神经网络人体摔倒动作的视频识别方法，其特征在于，步骤二所述建立人体摔倒动作识别的脉冲神经网络模型的具体过程包括：

步骤二一、利用数量与所述二维灰度图像的像素值相等的接收神经元建立脉冲神经网络模型的输入层，所述接收神经元能将步骤一中所述二维灰度图像的像素值转化为对应强度的泊松脉冲；

步骤二二、通过兴奋神经元建立脉冲神经网络模型的处理层；所述处理层的兴奋神经元能对所述输入层传递的泊松脉冲进行处理，当该泊松脉冲超过兴奋神经元的阈值，兴奋神经元兴奋；

步骤二三、通过与处理层的兴奋神经元排布位置一一对应的抑制神经元构成神经网络模型的抑制层，每一个抑制神经元都与处理层所有的兴奋神经元相连，当某个兴奋神经元兴奋时，与之对应的抑制神经元就会抑制其他所有兴奋神经元的兴奋。

5.根据权利要求2所述一种基于脉冲神经网络人体摔倒动作的视频识别方法，其特征在于，步骤二二中所述兴奋神经元采用漏积分-激发神经动力学模型建立，具体包括膜电压动力学模型与电导动力学模型：

膜电压动力学模型由下面公式描述：

其中，V是膜电压；E_rest是静息膜电位；E_exc是兴奋性突触的平衡电位，E_inh是抑制性突触的平衡电位；g_e是兴奋性突触的电导，g_i是抑制性突触的电导；τ是一个时间常数；C表示膜电容；

如果突触前神经元是兴奋性的，则电导的动力学模型如下：

如果突触前神经元是抑制性的，则电导的动力学模型如下：

其中，是兴奋性突触后电位的时间常数；是抑制性突触后电位的时间常数。

6.根据权利要求5所述一种基于脉冲神经网络人体摔倒动作的视频识别方法，其特征在于，所述兴奋性突触后电位的时间常数

7.根据权利要求1～6任意一项所述一种基于脉冲神经网络人体摔倒动作的视频识别方法，其特征在于，步骤三中所述神经元突触的权重变化的具体计算式为：

Δw＝η(x_pre-x_tar)(w_max-w)^μ

其中，w为突触的权重，Δw为权重变化，η是学习率，w_max是最大权重，μ表示每次更新对前一次权重的依赖性；x_tar是突触前轨迹在突触后脉冲到来时的目标值，x_pre为突触前轨迹。