CN107403154A

CN107403154A - 一种基于动态视觉传感器的步态识别方法

Info

Publication number: CN107403154A
Application number: CN201710596920.8A
Authority: CN
Inventors: 齐盼攀; 李洪莹; 唐华锦; 燕锐; 陈盈科; 高绍兵
Original assignee: Sichuan University
Current assignee: Sichuan University
Priority date: 2017-07-20
Filing date: 2017-07-20
Publication date: 2017-11-28
Anticipated expiration: 2037-07-20
Also published as: CN107403154B

Abstract

本发明涉及步态识别技术领域，公开了一种基于动态视觉传感器的步态识别方法。本发明创造提供了一种基于动态视觉传感器的时空模式分析方法，并通过基于Tempotron算法的脉冲神经网络模型，可实现对由动态视觉传感器录制的步态数据进行训练和识别，使最终得到的步态识别有极高的生物真实性，从而不但可以对多个对象进行步态识别，解决复杂背景中步态检测的高难度问题，还可以确保步态识别的高准确率。同时还提供了两种编码方式，可以在训练过程中能快速收敛且取得了较好的识别正确率，尤其是通过结合周期固定的移动窗口的数据段样本分割方式，可使步态识别的正确率达到85％以上，具有极高的实用价值，便于实际推广和应用。

Description

一种基于动态视觉传感器的步态识别方法

技术领域

本发明涉及步态识别技术领域，具体地，涉及一种基于动态视觉传感器的步态识别方法。

背景技术

当前大量的监控摄像头已经被安装于银行、商场、机场、地铁站等大空间建筑类人群密集型场所，但人工的监控手段并不能完全满足当前的安全需要，因为这不仅耗费大量的人力和财力，而且监控人员的生理视觉疲劳使得安全预警的目的很难达到。因此，这些安全敏感的公众场合迫切需要一种智能化的预警手段。理想的智能监控系统应该能够自动分析摄像机采集到的图像数据，在恶性事件发生前进行预警，从而最大限度地减少人员伤害和经济损失。这就要求监控系统不仅能判断人的数量、位置和行为，还需要分析人的身份等信息。

步态，即人行走时的姿态，是一种可以从远距离获取的难以隐藏和伪装的生物特征，而且步态可以采取非接触的方式进行隐蔽采集。对于监控环境中的行人，步态特征是一种极具潜质的生物特征。在一定的距离下，当其他的生物特征，如面部、虹膜、指纹、掌纹等，由于分辨率过低或者故意被隐藏时，步态却可能发挥作用。

步态识别，也称为基于步态的身份识别，在计算机控制和生物识别技术方面，是一个相对较新的同时也备受瞩目的研究方向，它旨在基于人的独特行走模式来进行身份识别，即通过人们走路的方式来区分个人。

动态视觉传感器是一种新型的类视网膜的视觉传感器。在动态视觉传感器中，每个像素点通过产生异步的事件独立地对亮度变化进行响应和编码，其产生的事件流消除了传统摄像机输出的连续重复图像中的冗余，所以它的带宽远远低于标准视频的带宽；而且它具有极高的时间分辨率，可以捕获到超快速运动；另外，它具有非常高的动态范围，即在白天和黑夜都可以很好地工作。所以，动态视觉传感器适合被应用在监控系统中。

脉冲神经网络是第三代神经网络，由脉冲神经元模型为基本单元构成。通过使用特定时间的单个脉冲，将空间信息、时间信息、频率信息、相位信息等融入通信和计算中，具有更高的生物真实性。而动态视觉传感器的输出为事件流，这在一定程度上反映了动态视觉传感器和脉冲神经网络之间可能存在的关联性。

由于步态识别技术在目前还处于起步阶段，主要存在如下几个难点：(1) 在传统的步态识别研究中，通过定义人类步态的运动学参数可以形成识别的基础，但是在步态数据的获取过程中存在明显的局限性，使得难以准确识别和记录影响步态的所有参数(即使测量某些步态参数的准确性有所改善，仍然不知道获取到的这些参数是否提供了足够的辨别力，能够满足步态识别的要求)；(2)传统摄像机捕获到的步态特征容易被影响或改变，即步态作为一个生物特征，容易被多种因素影响和改变，如服饰，鞋，步行面，步行速度、情绪状况、身体状况等，而真正有效的特征应该尽量和这些因素无关或者不受这些因素影响；(3)复杂背景中步态检测的难度大，当前大多数的步态识别算法对于数据采集环境的假设为，摄像机静止不动，视野中只有被观察者运动，背景通常静止且不复杂，而在实际应用中，背景通常是复杂的，且视野内的行人往往不止一个。

发明内容

针对前述现有步态识别技术所存在的难点问题，本发明提供了一种基于动态视觉传感器的步态识别方法。

本发明采用的技术方案,提供了一种基于动态视觉传感器的步态识别方法，包括如下：

(1)按照如下步骤对基于Tempotron算法的脉冲神经网络模型进行训练：

S101.应用动态视觉传感器对行人的步态场景进行录制，得到包含多个步态周期的事件流，其中，所述事件流由若干组依次连续的文件头字段、行事件字段、列事件字段和时间片分隔事件字段组成；

S102.将所述事件流分割成多个数据段样本，其中，每个数据段样本均包含处于一个完整步态周期内的所有数据；

S103.将所述数据段样本编码为脉冲序列；

S104.将所述脉冲序列作为输入，将与行人对应的二进制标签作为输出，对所述脉冲神经网络模型进行训练，其中，所述二进制标签的二进制位数与所述脉冲神经网络模型的神经元数目相同；

(2)按照如下步骤应用已训练的所述脉冲神经网络模型对待识别行人进行步态识别：

S201.执行步骤S101～S103，获取待识别行人的数据段样本及对应的脉冲序列；

S202.将待识别行人的脉冲序列作为已训练的所述脉冲神经网络模型的输入，获取各个神经元的输出；

S203.根据各个神经元的输出，获取二进制标签，最后根据该二进制标签识别出待识别行人。

具体的，在所述步骤S104中，对所述脉冲神经网络模型进行训练的步骤包括如下：

S301.对于每个神经元，在向各个传入突触输入一批脉冲序列后，按照如下公式计算亚阈值膜电压V_i(t)：

式中，i和a分别为自然数，为第i个数据段样本内的第a个脉冲序列，ω_a为第a个传入突触的权重，V_rest为静息电位，为归一化的突触后电位，计算公式如下：

式中，V₀是使PSP核归一化的因子，τ_m为膜积分的衰减时间常数，τ_s为突触电流的衰减时间常数；

S302.当所述亚阈值膜电压V_i(t)达到阈值电位V_thr时，触发神经元发放脉冲，然后使所述亚阈值膜电压V_i(t)平缓下降至静息电位；

S303.比较神经元的实际输出与目标输出是否一致，若不一致，对突触权重ω_a采用以下规则修正：

(a)若实际输出为发放脉冲，而目标输出为不发放脉冲，则对每一个ω_a的修正值Δω_a计算如下：

(b)若实际输出为未发放脉冲，而目标输出为发放脉冲，则对每一个ω_a的修正值Δω_a计算如下：

式中，常数λ为每一个输入脉冲所带来的传入突触的权重改变的最大值，其值大于0，t_max为亚阈值膜电压达到最大值的时间；

S304.根据所述校正值Δω_a对传入突触的权重ω_a进行修正，然后执行步骤 S301，进行下一次训练。

进一步优化的，在所述步骤S304之前，按照如下公式计算所述校正值Δω_a：

式中，为前一次训练时的修正值，μ为动量启发式学习参数，其值介于0～1之间。

优化的，在所述步骤S102中，按照移动窗口方式对所述事件流进行分割，其中，移动窗口的时长大于或等于平均步态周期T，移动窗口的步长小于平均步态周期T。

优化的，在所述步骤S103之前，还包括如下步骤：基于相邻像素点的事件时间差和/或基于同时发生事件的数目对所述数据段样本进行去噪声处理。进一步优化的，在基于相邻像素点的事件时间差对所述数据段样本进行去噪声处理时，设定最大时间差值长度为0.001～0.01个时间片时长。

优化的，在所述步骤S103中，采用如下方式将所述数据段样本编码为脉冲序列：

以动态视觉传感器视野中的每一行对应一个传入突触，得到如下形式的第i 个数据段样本内的第a个脉冲序列

式中，N_I为传入突触的总数，为脉冲序列的脉冲时间：

式中，为在第a行上发生的行事件个数，max{c}为在所有行上发生的行事件个数的最大值。

以动态视觉传感器视野中的每一行对应一个传入突触，以行地址对所有行事件的激活时间进行分类，得到如下形式的第i个数据段样本内的第a个脉冲序列

式中，N_I为传入突触的总数，N_S为脉冲序列的脉冲总数。

综上，采用本发明所提供的一种基于动态视觉传感器的步态识别方法，具有如下有益效果：(1)本发明创造提供了一种基于动态视觉传感器的时空模式分析方法，并通过基于Tempotron算法的脉冲神经网络模型，可实现对由动态视觉传感器录制的步态数据进行训练和识别，使最终得到的步态识别有极高的生物真实性，从而不但可以对多个对象进行步态识别，解决复杂背景中步态检测的高难度问题，还可以确保步态识别的高准确率；(2)在模型训练过程中，通过引入前一次的突触权重增量，可以实现基于动量启发学习规则，加快学习速度，快速完成训练；(3)本发明创造提供了两种由动态视觉传感器产生的数据流转化为脉冲序列(以作为脉冲神经网络模型的输入)的编码方式，可以在训练过程中能快速收敛且取得了较好的识别正确率，尤其是通过结合周期固定的移动窗口的数据段样本分割方式，可使步态识别的正确率达到85％以上，具有极高的实用价值，便于实际推广和应用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的基于动态视觉传感器的步态识别方法在训练阶段的流程示意图。

图2是本发明提供的基于动态视觉传感器的步态识别方法在识别阶段的流程示意图。

图3是本发明提供的由动态视觉传感器输出的事件流的数据格式示意图。

图4是本发明提供的使用周期固定移动窗口划分事件流的示意图。

图5是本发明提供的在脉冲神经网络模型中LI F神经元模型的结构示意图。

具体实施方式

以下将参照附图，通过实施例方式详细地描述本发明提供的基于动态视觉传感器的步态识别方法。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况，本文中术语“/和”是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况，另外，本文中字符“/”，一般表示前后关联对象是一种“或”关系。

实施例一

图1示出了本发明提供的基于动态视觉传感器的步态识别方法在训练阶段的流程示意图，图2示出了本发明提供的基于动态视觉传感器的步态识别方法在识别阶段的流程示意图，图3示出了本发明提供的由动态视觉传感器输出的事件流的数据格式示意图，图4示出了本发明提供的使用周期固定移动窗口划分事件流的示意图，图5示出了本发明提供的在脉冲神经网络模型中LI F神经元模型的结构示意图。本实施例提供的所述基于动态视觉传感器的步态识别方法，包括如下。

(1)按照如下步骤对基于Tempotron算法的脉冲神经网络模型进行训练。

S101.应用动态视觉传感器对行人的步态场景进行录制，得到包含多个步态周期的事件流，其中，所述事件流由若干组依次连续的文件头字段、行事件字段、列事件字段和时间片分隔事件字段组成。

在所述步骤S101中，动态视觉传感器(Dynamic Vision Sensor,DVS)是一种在受到生物视网膜中神经元对视觉信息的处理机制的启发后，通过模拟人视网膜的一些性质，而建立了新的视觉传感器。与传统的摄像机不同，DVS不输出视频帧序列，而是输出异步的事件流。在DVS中，每个像素点通过产生异步的事件独立地响应亮度强度的离散变化，使得产生的每一个事件都具有像素位置、亮度值和纳秒级的精确的时间信息，该时间信息用以表明各个像素何时记录亮度强度变化。通过仅对图像的变化进行编码，DVS产生的事件流消除了连续重复图像中的冗余，所以它具有以大幅降低的比特率进行标准视频传输信息的潜力，即 DVS的带宽远远低于标准视频的带宽，并且DVS具有非常高的动态范围和极高的时间分辨率。在本实施例中所采用的是型号为CeleX的第二代动态视觉传感器，其由南洋理工大学的科学家设计制造，具有320×384的分辨率，超过120dB的动态范围和纳秒级的响应时间，并可使用USB 2.0与主机通信。

由动态视觉传感器获得的事件流的格式如图3所示。在输出的事件流中，事件有三种类型，行事件、列事件和时间片分隔事件，其中，行事件包含的信息有Y(行地址值，范围是[0,319])和T(像素点激活的时间值，即激活时间，范围是[0,2^19-1])；列事件包含的信息有X(列地址值，范围是[0,383])和 A(像素点亮度值，范围是[0,511])，一个行事件对应着多个列事件，列事件和其对应的行事件可组合成一个完整的事件[X,Y,T,A]；时间片分隔事件用于对事件流以时间片的单位进行划分，时间轴被分为多个时间片，一个时间片分隔事件标志着上一个时间片的终止和下一个时间片的开始，T的值在每一个时间片的开头归零并重新计时，防止溢出。对事件类型的详细说明可参见如下表1。

表1事件流中数据类型及相关说明

S102.将所述事件流分割成多个数据段样本，其中，每个数据段样本均包含处于一个完整步态周期内的所有数据。

在所述步骤S102中，一个完整步态周期应当包含连续的第一次单足支撑、第一次双足支撑、第二次单足支撑和第二次双足支撑等步态。设行人在行走时的平均步态周期为T，若以发生第一次单足支撑事件的时间为起点，从一个数据流中严格按照该步态周期划分数据段，即可得到按照步态周期划分的数据段样本集合S＝{s₁,s₂,…,s_N}，t(s_i+1)-t(s_i)＝T。但是考虑到在正式应用时，若采取人工的方式去辨别步态的起点状态和终点状态，将会对人力物力造成消耗过大的问题，所以在本实施例中，如图4所示，按照移动窗口方式对所述事件流进行分割，其中，移动窗口的时长大于或等于平均步态周期T，移动窗口的步长小于平均步态周期T。即可选取[t,t+T]内的所有事件记为一个数据段样本，设Δt为移动窗口的步长，对一个数据流，生成样本数据段集合S＝{s₁,s₂,…,s_N}， t(s_i+1)-t(s_i)＝Δt。

在完成对事件流进行划分后，应用通用型的分割算法即可完成对事件流的分割。具体操作为，在分割算法中输入为文件名和分割的节点，分割节点的单位为一个时间片的长度。例如，若想从“example.bin”数据流中得到[2,15][15, 30][30,48]的三段数据，算法输入为“example.bin”以及节点数组[2,15,30, 48]。作为举例的，如下为分割算法的具体伪代码：

在该伪代码中，pos为输入分割节点的序号；special_event_count为特殊事件的计数器；segment_state为分割的状态，有0，1，2，3四个状态，0意为未开始分割，即未开始写入文件，1意为正在进行分割且该分段为分割的第一段，2意为正在进行分割且该分段部位分割的第一段和最后一段，3意为正在进行分割且该分段为分割的最后一段；find_row_event_state为指示是否正在寻找下一个行事件的状态变量，有True和False两个状态，True意为正在寻找下一个行事件，False意为没有在寻找下一个行事件。

数据分割的原则如下：(a)若分割的起点为0，把文件头和遇到的所有事件写入到分段文件，直到遇到下一个分割点；(b)若遇到的特殊事件为分割的起点且不为0，把文件头写入到分段文件，继续遍历事件直到遇到下一个行事件才开始写入事件到分段文件，该行事件被写入；(c)若遇到的特殊事件在节点数组内且不为分割的起点和终点，继续写入事件到上一个分段文件中，直到遇到下一个行事件。当遇到行事件时，停止写入上一个分段文件并开始写入下一个分段文件中，写入文件头和该行事件到下一个分段文件中；(d)若遇到的特殊事件为分割的终点，遍历事件，直到遇到行事件则停止写入，该行事件不被写入到文件中，结束分割过程；(e)若遇到的特殊事件不在节点数组内，若正在写入文件，则写入该事件到文件中，若没有开始写入文件，则不写入该事件到文件中。

S103.将所述数据段样本编码为脉冲序列。

在所述步骤S103之前，为了提高后续训练或识别的准确性，有必要对所述数据段样本先进行去噪预处理，由此优化的，在所述步骤S103之前，还包括如下步骤：基于相邻像素点的事件时间差和/或基于同时发生事件的数目对所述数据段样本进行去噪声处理。

对于基于相邻像素点的事件时间差进行去噪声处理的方式，其精确去噪的思路是当一个像素点上发生事件的时间和其相邻像素点发生的最后一个事件的时间的差值大于某个时间长度，则将该事件记为噪声事件，否则，该事件为有效事件。作为举例的，以下为该相应去噪处理的伪代码：

在该伪代码中，输入(Input)为文件名和最大时间差值，T0是一个记录 DVS视野中每一个像素点最近一次发生事件时间的矩阵，通过不断调整最大时间差值，可以确保噪声数据最小化而有效数据最大化。通过有限次实验可以得知，当所述最大时间差值长度介于0.001～0.01个时间片时长时，能达到相对而言最好的去噪效果，且保留了足够多的具有区分度的信息。

对于基于同时发生事件的数目进行去噪声处理的方式，根据DVS的数据格式描述可知，在DVS数据流中，一个行事件对应着多个列事件，由该行事件和其对应的列事件通过组合可以得到完整的像素点事件，格式为[X,Y,A,T]，而这些像素点事件具有相同的时间。对背景的记录数据在步态识别中属于无效的数据，而背景的数据大多出现在DVS刚开始录制时的快速的逐行刷新，此时每一个行事件对应的列事件的个数接近于每一行总的列数，另外有一些背景的噪声数据出现在录制过程中。通过对一个行事件之后出现的列事件的个数，即同时发生的事件的个数进行限制可以实现进一步过滤。作为举例的，以下为相应去噪处理的伪代码：

在该伪代码中，输入(Input)为文件名filename，行事件对应个数的最小值lower_limit和最大值upper_limit。filtered_row_event_index为应该过滤的行事件的序号；filter_state为指示是否正在过滤的状态变量，有0和1两个状态，0意为当前没有过滤，1意为正在过滤。

在所述步骤S103中，记经过去噪预处理而得到的所有数据段为则共有N_sg个数据段，第i个数据段re_ij指第i个数据段中的第j个行事件，re_ij＝[Y_ij,T_ij]，共有N_r个行事件，其中第i个数据段中的第j 个列事件集合e_ijk＝[X_ijk,A_ijk]，第i个数据段中的第j个行事件对应的列事件的总数为N_c；se_i为第i个数据段中的时间片分隔事件集合，则可以但不限于采用如下两种方式将所述数据段样本编码为脉冲序列。

(A)以动态视觉传感器视野中的每一行对应一个传入突触，得到如下形式的第i个数据段样本内的第a个脉冲序列

式中，N_I为传入突触的总数，为脉冲序列的脉冲时间：

式中，为在第a行上发生的行事件个数，即max{c}为在所有行上发生的行事件个数的最大值。按照(A)方式进行编码处理，可使任意两个re_ip和re_iq内的Y_ip＝Y_iq＝a。

(B)以动态视觉传感器视野中的每一行对应一个传入突触，以行地址对所有行事件的激活时间进行分类，得到如下形式的第i个数据段样本内的第a个脉冲序列

式中，N_I为传入突触的总数，N_S为脉冲序列的脉冲总数。按照(B)方式进行编码处理，可使在中任意两个脉冲时间T所在的集合{re_ip,ce_ip}、 {re_iq,ce_iq}中的re_ip和re_iq内的Y_ip＝Y_iq＝a。

S104.将所述脉冲序列作为输入，将与行人对应的二进制标签作为输出，对所述脉冲神经网络模型进行训练，其中，所述二进制标签的二进制位数与所述脉冲神经网络模型的神经元数目相同。

在所述步骤S104中，基于Tempotron算法(一种有监督学习算法)的脉冲神经网络模型是一个二元分类器，即一个神经元只有两个输出，发放脉冲和不发放脉冲。为了达到区分多人的目的，采取对多个神经元的输出进行编码的方式。假设共要区分的人数为R，则神经元的个数N_n为：例如为了对10 名行人的步态进行区分，则神经元的数目利用这4个神经元的输出，即可实现对这10名志愿者的步态区分。同时这10名行人的二进制标签的分配设计如下表2所示：

表2二机制标签分配表

在脉冲神经网络中，神经信号由脉冲序列表示，记发放脉冲时间的有序序列为S＝{t^f:f＝1,…,F}，则脉冲序列可以表示为：

其中，t^f表示第f个脉冲的发放时间，δ(x)表示狄拉克δ函数，即，当x＝0 时，δ(x)＝1，否则δ(x)＝0。脉冲神经网络的监督学习算法的目标是，对于给定的输入脉冲序列S_i(t)和目标脉冲序列S_d(t)，寻找合适的突触权值矩阵W，使得输出脉冲序列S_o(t)与目标脉冲序列S_d(t)尽可能接近，即两者的误差评价函数值最小。假设脉冲神经网络包含N_I个输入神经元，N_O个输出神经元。由随机生成的初始突触权值矩阵W开始，每一次的脉冲神经网络的学习过程都可以分为四个阶段：(1)通过特定的编码方式，把样本数据编码为脉冲序列n＝1,…,N_I；(2)把编码得到的脉冲序列作为神经网络的输入，运行神经网络得到输出脉冲序列n＝1,…,N_O；(3)根据输出脉冲序列n＝1,…,N_O和目标脉冲序列n＝1,…,N_O计算误差，通过误差值和该脉冲神经网络的学习规则对神经网络的突触权值进行调整：W←W+ΔW； (4)若训练过后的脉冲神经网络没有达到预先设定的最小误差且尚未完成迭代次数，则继续进行迭代训练。从以上学习过程可以发现，脉冲神经网络监督学习算法的关键在于神经信息的编码和解码方法、神经元模型、网络模拟策略、突触权值的学习规则和脉冲序列相似性的度量方法。

所述Tempotron算法是Robert Gütig和Haim Sompolinsky提出的具有生物真实性的有监督的突触学习规则，通过这种学习规则，神经元能够从单脉冲时空模式中有效地学习到广泛的决策原则。Tempotron算法所采用的神经元模型为漏整合发放(Leakyintegrate-and-fire,LIF)模型，如图5所示的一个简单的LIF神经元模型，该LIF模型在保留脉冲的基本性质的同时简化了神经元产生脉冲的许多神经生理学细节，如不考虑电信号在神经元内传递的细节，仅仅通过比较膜电位与一个阈值电位之间的关系来决定是否发放脉冲，通过对各个传入突触上的脉冲序列进行加权积分计算得到当前时间的膜电位，若膜电位的值达到阈值电位，神经元将发放出一个脉冲。目前，LIF模型得到了许多研究团队的认可，欧盟和美国的脑研究计划中采用的类脑研究模型就是基于该模型。

在所述步骤S104中，具体的，对所述脉冲神经网络模型进行训练的步骤包括如下：

作为举例的，所述脉冲神经网络模型的参数可参照如下表3设置：

表3脉冲设计网络模型的参数说明及设置值

式中，为前一次训练时的修正值，μ为动量启发式学习参数，其值介于0～1之间。由此可使当前的突触权重增量不仅取决于根据修正规则得到的Δω_a，也取决于即前一次的突触权重增量。若Δω_a恒定不变时，则μ的引入使得λ的值以1/(1-μ)自适应缩放，当学习的方向发生振荡时，学习仍能够沿着原方向修改权值，从而可以实现基于动量启发学习规则，加快学习速度，快速完成训练。

在所述步骤S201至S203中，所述待识别行人即为在训练阶段中(即步骤S101～S103中)获取训练样本的行人。表4是对分别对编码方式(A)和编码方式(B)采用周期固定移动窗口的方式的平均收敛次数和识别结果的平均正确率。很明显，采取周期固定的移动窗口的划分方式可以大大提高分类的正确率，并且还可以节省严格划分步态时所耗费的人力和物力资源，由此是在编码方式(A) 下的周期固定移动窗口划分，平均正确率可达到86.75％。

表4不同编码方式下的平均收敛次数和平均正确率

综上，本实施例所提供的基于动态视觉传感器的步态识别方法，具有如下有益效果：(1)本发明创造提供了一种基于动态视觉传感器的时空模式分析方法，并通过基于Tempotron算法的脉冲神经网络模型，可实现对由动态视觉传感器录制的步态数据进行训练和识别，使最终得到的步态识别有极高的生物真实性，从而不但可以对多个对象进行步态识别，解决复杂背景中步态检测的高难度问题，还可以确保步态识别的高准确率；(2)在模型训练过程中，通过引入前一次的突触权重增量，可以实现基于动量启发学习规则，加快学习速度，快速完成训练； (3)本发明创造提供了两种由动态视觉传感器产生的数据流转化为脉冲序列(以作为脉冲神经网络模型的输入)的编码方式，可以在训练过程中能快速收敛且取得了较好的识别正确率，尤其是通过结合周期固定的移动窗口的数据段样本分割方式，可使步态识别的正确率达到85％以上，具有极高的实用价值，便于实际推广和应用。

如上所述，可较好地实现本发明。对于本领域的技术人员而言，根据本发明的教导，设计出不同形式的基于动态视觉传感器的步态识别方法并不需要创造性的劳动。在不脱离本发明的原理和精神的情况下对这些实施例进行变化、修改、替换、整合和变型仍落入本发明的保护范围内。

Claims

1.一种基于动态视觉传感器的步态识别方法，其特征在于，包括如下：

S103.将所述数据段样本编码为脉冲序列；

2.如权利要求1所述的一种基于动态视觉传感器的步态识别方法，其特征在于，在所述步骤S104中，对所述脉冲神经网络模型进行训练的步骤包括如下：

<mrow> <msub> <mi>V</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&Sigma;</mo> <mi>a</mi> </munder> <msub> <mi>&omega;</mi> <mi>a</mi> </msub> <munder> <mo>&Sigma;</mo> <msubsup> <mi>S</mi> <mi>i</mi> <mi>a</mi> </msubsup> </munder> <mi>K</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>-</mo> <msubsup> <mi>S</mi> <mi>i</mi> <mi>a</mi> </msubsup> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>V</mi> <mrow> <mi>r</mi> <mi>e</mi> <mi>s</mi> <mi>t</mi> </mrow> </msub> </mrow>

<mrow> <msub> <mi>&Delta;&omega;</mi> <mi>a</mi> </msub> <mo>=</mo> <mo>-</mo> <mn>1.1</mn> <mo>&times;</mo> <mi>&lambda;</mi> <munder> <mi>&Sigma;</mi> <mrow> <msubsup> <mi>S</mi> <mi>i</mi> <mi>a</mi> </msubsup> <mo><</mo> <msub> <mi>t</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> </mrow> </munder> <mi>K</mi> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mi>max</mi> </msub> <mo>-</mo> <msubsup> <mi>S</mi> <mi>i</mi> <mi>a</mi> </msubsup> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

<mrow> <msub> <mi>&Delta;&omega;</mi> <mi>a</mi> </msub> <mo>=</mo> <mi>&lambda;</mi> <munder> <mi>&Sigma;</mi> <mrow> <msubsup> <mi>S</mi> <mi>i</mi> <mi>a</mi> </msubsup> <mo><</mo> <msub> <mi>t</mi> <mi>max</mi> </msub> </mrow> </munder> <mi>K</mi> <mrow> <mo>(</mo> <mrow> <msub> <mi>t</mi> <mi>max</mi> </msub> <mo>-</mo> <msubsup> <mi>S</mi> <mi>i</mi> <mi>a</mi> </msubsup> </mrow> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

S304.根据所述校正值Δω_a对传入突触的权重ω_a进行修正，然后执行步骤S301，进行下一次训练。

3.如权利要求2所述的一种基于动态视觉传感器的步态识别方法，其特征在于，在所述步骤S304之前，按照如下公式计算所述校正值Δω_a：

<mrow> <msub> <mi>&Delta;&omega;</mi> <mi>a</mi> </msub> <mo>=</mo> <msub> <mi>&Delta;&omega;</mi> <mi>a</mi> </msub> <mo>+</mo> <msubsup> <mi>&mu;&Delta;&omega;</mi> <mi>a</mi> <mrow> <mi>p</mi> <mi>r</mi> <mi>e</mi> <mi>v</mi> <mi>i</mi> <mi>o</mi> <mi>u</mi> <mi>s</mi> </mrow> </msubsup> </mrow>

4.如权利要求1所述的一种基于动态视觉传感器的步态识别方法，其特征在于，在所述步骤S102中，按照移动窗口方式对所述事件流进行分割，其中，移动窗口的时长大于或等于平均步态周期T，移动窗口的步长小于平均步态周期T。

5.如权利要求1所述的一种基于动态视觉传感器的步态识别方法，其特征在于，在所述步骤S103之前，还包括如下步骤：基于相邻像素点的事件时间差和/或基于同时发生事件的数目对所述数据段样本进行去噪声处理。

6.如权利要求5所述的一种基于动态视觉传感器的步态识别方法，其特征在于，在基于相邻像素点的事件时间差对所述数据段样本进行去噪声处理时，设定最大时间差值长度为0.001～0.01个时间片时长。

7.如权利要求1或4所述的一种基于动态视觉传感器的步态识别方法，其特征在于，在所述步骤S103中，采用如下方式将所述数据段样本编码为脉冲序列：

以动态视觉传感器视野中的每一行对应一个传入突触，得到如下形式的第i个数据段样本内的第a个脉冲序列

式中，N_I为传入突触的总数，为脉冲序列的脉冲时间：

8.如权利要求1或4所述的一种基于动态视觉传感器的步态识别方法，其特征在于，在所述步骤S103中，采用如下方式将所述数据段样本编码为脉冲序列：

式中，N_I为传入突触的总数，N_S为脉冲序列的脉冲总数。