CN107423730B - 一种基于语义折叠的人体步态行为主动检测识别系统和方法 - Google Patents

Abstract

本发明公开了一种基于语义折叠的人体步态行为主动检测识别系统和方法。利用三维声场定位系统、足底力场定位系统、HDMI高清摄像头、高清视频采集系统和微计算机Raspberry等构建低功耗的嵌入式步态行为检测识别系统硬件；本发明提出的具有时序特征的步态语义能量图，包含不同情境下的步态时间信息，通过大量的有时序特征的步态语义能量图，可以增强步态行为认知系统的学习和预测能力。同时，本发明所提出基于语义折叠的人体步态行为主动检测识别技术，在各个领域都具有广泛的应用前景，主要包括：远距离身份识别、异常步态行为检测、行人行为预测和海量视频检索等领域，具有很好的经济和社会效益。

Description

一种基于语义折叠的人体步态行为主动检测识别系统和方法

技术领域

本发明涉及一种基于语义折叠的人体步态行为主动检测识别系统和方法。

背景技术

步态行为检测识别是以人体步态、动作姿态和形体为主要特征进行的人体行为检测、分析、理解和预测。

步态行为检测识别技术在生活的各个领域都展现出广泛的应用前景，比如(1)远距离身份识别：远距离非接触下完成对人员身份的识别和认证；(2)异常步态行为检测：主要进行异常行为筛选与分析，对危险行为进行警示，以提高公共场合下安防保障水平；(3)行人行为预测：对行人的行为进行实时预测，为无人驾驶等系统提供决策依据；(4)海量视频检索：通过人体步态行为来实现视频的筛选，发现可疑犯罪分子；(5)老龄人监护：通过步态行为来监测老年人面临的摔倒、休克和空发疾病等状况。

当前对人体步态行为的检测，依据数据来源，可分为穿戴式的人体步态行为检测方法和非穿戴的方法。穿戴式的方法需要人体穿着特点的检测设备，主要包括运动传感器、控制器和电池等部件，它需要人体的配合，不适合远距离和非接触情境下的应用。

非穿戴式的方法，主要通过视频和图像数据来跟踪、检测、分析和识别人体的步态行为，它不需要检测目标的主动配合，是一种非接触式的检测方法。依据在人体检测和处理过程中，是否要运用人体模型，又可分为基于模型的方法和非模型(统计)的方法。

采用穿戴式运动设备来检测和识别人体步态行为有许多不足：不适合大范围内使用，特别是犯罪分子不会去穿戴；由于穿戴设备的尺寸和舒适度等影响使人们不愿意佩戴；只能获取到人体运动数据，不能得到人体的图像等视觉信息，从而缺少有效的视觉分析手段。

非穿戴式的方式，通过被布置在各个位置的摄像头来检测和分析人体。但是传统的摄像头往往都采用固定视角和被动拍摄方式，不具备主动探测功能，只有当物体出现在摄像头的视野范围内才能发现物体，因此运动物体可以主动避开摄像头达到躲避监控的目的。

通过采集运动人体图像来进行步态行为检测的又分为模型无关和基于模型的方法。其中，模型无关的步态行为检测方法，通过统计步态轮廓信息来分析和识别步态行为。其缺点在于无法很好的处理各种协变因素(遮挡、衣着和视角等)的影响，检测和识别效果在复杂场景下表现较差。基于模型的方法在处理视角和协变量因素时会有更好的表现，但是现在研究用到的人体模型(棍棒模型，铰链模型，椭圆模型，关节骨架模型和表面壳模型)要么缺少形体特征，要么精度差，且视频和图像作为一种非结构化的数据维度又太高，极大影响到对步态行为检测和识别的效果。

总之，步态和行为识别的研究虽然取得了许多成果，但是由于人体的行走和运动姿态受各种因素的影响，比如故意躲避摄像头拍摄引起的数据缺失，复杂场景变换增加人体分割难度，衣着条件改变、遮挡干扰和不同视角等主客观因素的叠加，使得步态行为识别算法的通用性和识别率仍然不高，远无法和人脑相比。

发明内容

为了解决目前步态行为检测识别的通用性和识别率不足的技术问题，本发明提供一种能够实现准确步态行为识别的基于语义折叠的人体步态行为主动检测识别系统和方法。

为了实现上述技术目的，本发明的技术方案是，

一种基于语义折叠的人体步态行为主动检测识别系统，包括系统安装固定机械结构，三维声场定位系统，足底压力场定位系统，带云台的高清视频采集处理系统，大容量磁盘阵列存储器，Raspberry Pi微型计算机系统，高速移动通信模块和大数据服务硬件平台；

所述的系统安装固定机械结构包括可旋转底盘模块11和系统安装骨架及底板5，所述的系统安装骨架及底板5固定于可旋转底盘模块11上；

所述的足底压力场定位系统包括由多个传感器组成的足底力场定位传感器阵列13，所述的足底力场定位传感器阵列13设置于地面上；

所述的三维声场定位系统包括多个声音采集传感器、声音信号调理电路、嵌入式控制器和无线传输模块，所述的声音采集传感器环绕系统安装固定机械结构设置，所述的嵌入式控制器分别通信连接声音采集传感器、声音信号调理电路和无线传输模块；

所述的Raspberry Pi微型计算机系统包括Raspberry Pi微型计算机4、蓝牙键盘7、蓝牙鼠标10和HDMI接口液晶显示器3，所述的蓝牙键盘7、蓝牙鼠标10和HDMI接口液晶显示器3分别通信连接至Raspberry Pi微型计算机4；

所述的带云台的高清视频采集处理系统包括HDMI高清摄像头1和USB接口HDMI高清视频采集卡2，所述的HDMI高清摄像头1通信连接至USB接口HDMI高清视频采集卡2，所述的USB接口HDMI高清视频采集卡2通信连接至Raspberry Pi微型计算机系统；

所述的高速移动通信模块包括无线WIFI模块8，4G高速通信模块9和互联网无线路由器14，所述的无线WIFI模块8，4G高速通信模块9和互联网无线路由器14分别通信连接至Raspberry Pi微型计算机系统；

所述的大数据服务硬件平台包括步态语义大数据平台15，所述的步态语义大数据平台15设置于远端并与Raspberry Pi微型计算机系统远程通信连接；

所述的大容量磁盘阵列存储器通信连接至Raspberry Pi微型计算机系统。

所述的系统，所述的足底力场传感器阵列是以摄像头为坐标中心，将监控区域划分成I×J个小方格区域，在每一个方格区域里安放一个足底力场传感器，所有的I×J个传感器构成传感器阵列。

一种基于语义折叠的人体步态行为检测识别方法，采用如权利要求1所述的系统，包括以下步骤：

A、通过三维声场定位系统和足底压力场定位系统主动探测进入监控领域运动人体位置信息，并将数据传送给微计算机Raspberry控制系统，控制系统通过云台实现摄像机的旋转和跟踪拍摄；

B、构建统一标准的不同形体和姿态数据的参数化人体步态行为数据库，依据主成分分析和典型相关性分析确定出形体参数和骨骼关节参数的在步态行为分析中的重要性权值；

C、分割拍摄到的运动人体轮廓，在三维步态行为数据库中选取形体和姿态接近的参数化三维人体模型，在两者之间构建三维人体模型自然语义参数估计目标函数，通过此语义目标函数，实现在缺失或冗余干扰2D人体步态轮廓条件下对三维人体模型形体和骨骼关节参数值的有效估计；

D、通过优化初值的改进共轭直接法，求解三维人体模型自然语义参数估计目标函数，提取出步态模型自然语义描述参数；

E、对步态行为类脑语义特征进行基于二维稀疏分布表示的类脑语义折叠编码；

F、对步态行为类脑语义图进行类脑与、类脑或、类脑子采样和类脑聚合能量图的计算，并利用公共行为识别数据库完成步态行为的检索、过滤、分类和识别。

所述的方法，所述步骤A包括以下具体步骤：

1)通过三维声场定位系统来对声音进行采集，去噪，分割，存储和传输功能；

2)采集和标定位置信息，以摄像头为坐标中心，选取N个不同的监控区域坐标L_n＝(X_n,Y_n,Z_n),n＝1...N，人为的在选定坐标处模拟人体运动噪音，利用三维声音场定位硬件平台进行声音数据的采集和存储，令L_n位置所收集到并进行的分割和规一化后的K个声音数据为

3)使用Tensorflow深度学习框架，采用LeNet-5卷积神经网络模型，以所有声音场数据为样本，将其对应的实际坐标为学习目标，进行深度学习，并得到学习后的模型参数以建立模型；

4)利用步骤3)中得到的模型F_Deep，来估计监控区域里任意位置下的声音位置数据L_Estimation＝F_Deep(S_L)＝(X_e,Y_e,Z_e)；

5)通过足底力场传感器阵列，通过足底压力场定位系统来采集人体位置数据，对传感器所在方格上的信号进行软件编码，换算成其位置数据作为输出，当有运动物体站在压力场传感器阵列上时，输出一个位置坐标，令为L_Feet＝(X_f,Y_f,Z_f)；

6)对两个位置信号进行加权处理，对步骤1)-4)声音场定位方法和步骤5)压力场定位方法的识别准确率分别进行统计，令最终识别率分别为m％和n％，则相应权重k₁＝m/(m+n)和k₂＝n/(m+n)，最终主动探测出的位置信息表示为：L_p＝k₁L_Estimation+k₂L_Feet＝(X_p,Y_p,Z_p)。

7)Raspberry控制系统收到并计算出最终位置数据后，发送PWM脉宽调制信号，通过电机控制模型实现对摄像头的旋转，最终使摄像头指向主动探测出的位置坐标(X_p,Y_p,Z_p)，并开始采集和跟踪运动人体数据。

所述的方法，所述步骤B中包括以下具体步骤：

1)依据人体解剖学数据确定包括性别、身高、体重、身体比例、肌肉尺寸、躯干肥瘦、水平躯干尺寸、垂直躯干尺寸、躯干位移、肚子尺寸、手长、上臂长、上臂厚度、前臂长、前臂肥瘦、胸围、胸垂直位置、腰围尺寸、头部尺寸、脖子长度、脖围、臀部肥瘦、臀部尺寸、臀部位移、大腿长度、大腿厚度、小腿长度、小腿厚度、足宽和足长在内的形体特征参数：

选取适合步态行为识别的人体骨骼模型来确定包括根节点、头骨、颈骨、脊背骨、胸骨、臀骨、左肩骨、右肩骨、左锁骨、右锁骨、左臂骨、右臂骨、左手踝骨、右手踝骨、左手掌骨、右手掌骨、左膝骨、右膝骰、左脚踝骨、右脚踝骨、左脚趾骨和右脚趾骨在内的三维人体的骨骼参数：

标准人体模型定义为其中，P表示三维人体点云集合，T表示人体三角片信息；

2)运用现有的公共的三维人体步态行为数据库，合成三维人体步态数据，构建一个不同视角、形体和姿态数据的非参数化的三维人体步态行为库

3)以非参数化三维人体步态行为库中的模型为参考，通过三维处理软件设置不同的视角、形体和骨骼关节参数{β,φ}来变形标准参数人体模型，得到与给定非参数化模型视角、外形和姿态相符的参数化人体模型及对应的形体和骨骼参数/>构建出统一标准的形体和姿态数据的参数化人体步态行为数据库/>

4)依据3)中方法，估计出非参数化的人体步态行为库中的所有模型所对应的语义参数，构建不同人体模型的形体矩阵β_Matrix和关节矩阵φ_Matrix：

5)对形体矩阵β_Matrix进行主成分分析，首先求形体矩阵的协方差矩阵，然后求协方差的特征值和特征向量，再将形体特征值按照从大到小的顺序排序，按照排序大小关系从中选取出步态行为库中最重要的I种形体参数，并使用ω_i∈[0...1]表示第i种形体参数的重要程度；对骨骼关节矩阵φ_Matrix也进行主成分分析，并使用ε_j∈[0...1]表示第j种关节参数的重要程度，I种形体参数与J种关节参数共同构成最重要的人体步态行为语义特征参数B_semantic＝{β_I,φ_J}；

6)对形体矩阵β_Matrix和关节矩阵φ_Matrix进行典型相关分析，确定出各人体模型语义参数之间的相关性，通过相关性矩阵和/>描述。

所述的方法，所述步骤C中包括以下具体步骤：

从步态视频中提取出一帧RGB图，令S(x,y)来表示这帧图像信息，通过高斯背景建模方法，将人体步态图分割出来，表示为

令二维步态轮廓表示为其中α为步态行走视角，s′_α，n表示步态轮廓在二维步态图/>中的坐标信息，N为人体步态轮廓离散点的总数；计算二维步态轮廓的几何不变Hu矩，表示为H(S′_α)＝{M′₁,...,M′₇}；在三维标准步态行为数据库中，通过对所有三维模型在α视角上进行2D投影轮廓，并计算对应Hu矩，依据Hu矩的相似特征，在标准参数化步态库中选取出形体和姿态与当前二维步态轮廓相接近的初始化三维人体模型，定义为：Y_3D＝{P,T,β_I,φ_J}，其中，P表示三维人体点云集合，T表示人体三角片信息，β_I为I种人体的形体特征参数，φ_J为J种骨骼关节角度参数；人体三维点云数据由三角片信息，形体参数和骨骼关节角度信息共同确定，满足：/>令包括形体特征和骨骼关节数据的人体模型在α视角上的投影二维轮廓为/>其Hu矩计算表示为/>计算三维投影轮廓与二维步态轮廓之间的差值/>以及它们之间Hu矩的差值/>将二者叠加表示为：η＝δ+λ；

最终所构造的目标函数定义为：通过求解最优化问题来估计出二维步态轮廓所对应的三维人体模型形体β_I和骨骼关节参数φ_J实际数值。

所述的方法，所述步骤D中包括以下具体步骤：

1)根据步骤4所述，待求解的目标函数定义为：

2)将上述目标函数分成两步来求解，首先固定形体参数求解骨骼关节最优数据/>选取“I”姿态的人体步态行为骨骼关节语义特征参数初值/>

3)初值优化：令/>为步态周期内十个标准参考姿态，计算它们所对应二维投影图像Zernike不变矩，令为/>再计算待估计二维步态图像/>的Zernike不变矩/>通过优化问题求取待估计二维步态图像/>的Zernike不变矩/>与二维投影图像Zernike不变矩/>集合之间最相似的姿态标号，令为opt，即并以该标号所对应姿态作为优化后的初始姿态，令为/>

4)从初值开始，以/>为方向开始搜索，得到共n个搜索方向的最小值/>在此基础上，计算出新的搜索方向/>并在此方向上计算出最小值/>

5)定义新搜索方向，以前后两目标函数的差值最大者来确定：

第k轮中，贡献最大的方向为：

6)以贡献最大的方向为下一步的搜索新方向进行搜索，其迭代的结束条件为：

7)依据上述步骤确定最优骨骼关节参数后，固定骨骼关节参数，并采用上述求解最优骨骼关节参数/>的步骤来求解形体参数/>的最优值。

所述的方法，所述步骤E中包括以下具体步骤：

1)对人体形体关节参数β_I和φ_J，参考形体矩阵β_Matrix和骨骼关节矩阵φ_Matrix进行主成分分析得到的重要程度的权重ω_i∈[0...1]，i∈[0...I]和ε_j∈[0...1]，j∈[0...J]分别由大到小排序；

2)选取形体参数中，排序权重最大的一个形体特征参数a_max，再通过语义参数相关性矩阵/>中形体特征之间的相关性关系，确定出与a_max最相关的形体特征参数且/>利用m×n维的二进制矩阵来实现二者的二维稀疏分布表示；

3)二维稀疏分布表示方法来编码语义参数的数值步骤如下，令包括性别、身高、体重、身体比例、肌肉尺寸、躯干肥瘦、水平躯干尺寸、垂直躯干尺寸、躯干位移、肚子尺寸、手长、上臂长、上臂厚度、前臂长、前臂肥瘦、胸围、胸垂直位置、腰围尺寸、头部尺寸、脖子长度、脖围、臀部肥瘦、臀部尺寸、臀部位移、大腿长度、大腿厚度、小腿长度、小腿厚度、足宽和足长在内的某一项语义特征参数值的最小值为V_min最大值为V_max，它们之间的数值范围V_range＝V_min-V_max，确定V_range的量化台阶为h，选取w个bit 1来编码语义参数，计算所需要的所有二进制数量m＝h+w-1，其中w个为bit 1，其余为bit 0，对于任意数据V∈[V_minV_max]，确定w个bit 1在所有二进制数中的索引位置Index₁＝h*(V-V_min)/V_range，即在n个二进制数据序列中，第Index₁个位置开始，连续w个bit的二进制数置1，其余的为0，通过上述方法，确定出关节骨架语义特征参数所需二进制数量n，其数值索引位置Index₂，在m×n维的二进制矩阵中，以Index₁为横坐标，Index₂为纵坐标，标记出中心点(Index₁，Index₂)，以中心点为圆心，以r为半径，确定一个区域，此区域内的二进制点全置1，其余二进制矩阵中的数全置0，以此实现对两个相关语义特征数据的二维稀疏分布表示，把它称为所有语义参数下的子矩阵；

4)对生成的子矩阵采用哈希函数进行映射：Harsh(x,y)＝ix,y，将其转换成固定大小的输出；

5)依据特征参数的重要性权值大小及先后顺序，重复步骤2)-4)中的编码方法，实现对所有步态语义参数子矩阵的编码，然后，将全部子矩阵进行组合，构成折叠后的步态语义二进制特征矩阵，大小为(I·m)×(J·n)，或称为步态语义图Img_semantic，图上的像素点仅用二进制数1或0表示。

所述的方法，所述步骤F中包括以下具体步骤：

1)为比较测试步态行为语义图和训练库中的步态行为语义图的相似程度，采用直接类脑位运算方法。定义和/>为体现不同步态行为的语义图，对二者进行与操作，并计算其一阶范数/>依据重叠率δ＝ρ/size(Img_semantic)来确定二者的相似程度；

2)当输入的步态行为语义图确定和训练库中的某一语义图相似，则采用类脑或运算方法，利用库中完整的语义图信息对输入有缺失的语义图进行修复，修复后的步态语义图为：

3)偏好性检索和分类：对步态语义图运用哈希函数进行加权实现子采样，有选择性的保留权重大的步态行为类脑语义特征；令(x,y)为步态语义图中的坐标像素，对其进行加权后生成的步态语义图为/>式中，w为0.0至1.0之间的权值；对子采样后的步态语义图进行分类或比较，以检索出特征相似的步态行为数据；

4)步态行为文本的合成计算方法：为实现对步态行为序列的结构化表示，将单个的步态语义图按统计方法聚合在一起以得到步态语义能量图/>新的能量图/>体现了各子图的统计特征，子图中重叠率高的，能量图中的特征越明显，重叠率低的则反之；利用步态语义能量图实现对步态行为序列动作的比较和分类。

本发明的技术效果在于，利用三维声场定位系统、足底力场定位系统、HDMI高清摄像头、高清视频采集系统和微计算机Raspberry等构建低功耗的嵌入式步态行为检测识别系统硬件；使用三维声场定位系统和足底压力传感器阵列来主动探测进入监控范围内的运动人体；通过可旋转的高清摄像头主动跟踪和采集人体运动数据，并对采集到的人体视频数据进行语义折叠处理；通过类比人脑的思维方法，将视觉传感器输入的变化频繁和特征详细的底层步态行为信号，通过层层抽象变换成高层的语义描述，从而实现特征到目标的识别转换，在此基础上通过步态行为大数据，实现模式的检索和匹配。利用语义折叠方法，将图像信号转换成具有语义特征的文本信号进行处理，既可以实现步态行为特征的有效表示，也可以很好的完成步态行为数据降维；由此产生的步态行为语义文本结构化数据可直接应用于认知计算模型中，为现实挖掘和社会计算提供一种全新的通用性好的步态行为信号挖掘。本发明提出的具有时序特征的步态语义能量图，包含不同情境下的步态时间信息，通过大量的有时序特征的步态语义能量图，可以增强步态行为认知系统的学习和预测能力。同时，本发明所提出基于语义折叠的人体步态行为主动检测识别技术，在各个领域都具有广泛的应用前景，主要包括：远距离身份识别、异常步态行为检测、行人行为预测和海量视频检索等领域，具有很好的经济和社会效益。

下面结合附图对本发明作进一步说明。

附图说明

图1为本发明一种基于语义折叠的人体步态行为主动检测识别系统结构图；

图2为本发明一种基于卷积神经网络算法的三维声场定位系统电路流程图；

图3为本发明一种基于压力传感器阵列的足底压力场定位系统电路流程图；

图4为本发明一种基于语义折叠的人体步态行为检测识别系统实施流程图；

图5为本发明基于语义折叠的人体步态行为类脑认知架构示意图；

图6为本发明基于语义折叠的人体步态行为检测识别方法示意图；

图7为本发明步态行为语义折叠流程；

图8为本发明步态行为语义折叠过程参数子矩阵生成方法示意图；

图9为本发明基于步态语义图的步态行为检索示意图；

图10为本发明基于步态语义图的步态行为能量图合成示意图。

图中标记：1为HDMI高清摄像头，2为USB接口HDMI高清视频采集卡，3为HDMI接口液晶显示器，4为Raspberry Pi微型计算机，5为系统安装骨架及底板，6为大容量磁盘存储阵列，7为蓝牙键盘，8为无线WIFI模块，9为4G高速通信模块，10为蓝牙鼠标，11为可旋转底盘模块，12为三维声场定位系统，13为足底力场定位传感器阵列，14为互联网无线路由器，15为步态语义大数据平台。

具体实施方式

1.本发明一种基于三维声场定位系统、足底压力场定位系统、大数据平台和语义折叠技术的步态行为检测识别系统硬件结构见图1所示。

2.本发明一种基于卷积神经网络算法的三维声场定位系统的电路流程图见图2。

3.本发明一种基于压力传感器阵列的足底压力场定位系统的电路流程图见图3。

4.本发明一种基于三维声场定位系统、足底压力场定位系统、大数据平台和语义折叠技术的步态行为检测识别系统实施流程图见图4。

5.本发明基于语义折叠的人体步态行为类脑认知架构见图5。

本发明基于语义折叠的类脑认知架构模拟了人脑的层级结构，底层为步态原始数据输入，经过图像预处理层，可以得到相应的步态轮廓。再经过中间的参数化人体模型估计方法，估计出所对应模型的形体和骨骼关节语义描述参数，这些语义特征包括体现形体的静态参数(身高、体重、胖瘦等)和体现运动特征的姿态参数(骨骼关节角度数据)，它们都是底层像素的高度抽象，符合人类的语言思维方式，是文本信号。对其进行语义折叠结构化表示，将生成的步态语义图，对其进行类脑与、或、子采样和聚合能量图的计算，可进一步实现步态行为的学习、分析和理解。

6.本发明基于语义折叠的人体步态行为检测识别方法实施流程见图6。

7.本发明步态行为语义折叠实施流程见图7。

8、构建基于大数据平台和语义折叠技术的步态行为检测识别系统硬件平台，具体过程如下：

所述构建基于大数据平台和语义折叠技术的步态行为检测识别系统硬件平台由系统安装固定机械结构，高清视频采集处理系统，大容量磁盘阵列存储器，Raspberry Pi微型计算机，高速移动通信模块和大数据服务硬件平台构成。

1)系统安装骨架及底板5和可旋转底盘模块11构成步态行为检测识别系统的机械结构；

2)HDMI高清摄像头1，USB接口HDMI高清视频采集卡2，HDMI接口液晶显示器3，Raspberry Pi微型计算机4，大容量磁盘存储阵列6，蓝牙键盘7，无线WIFI模块8，4G高速通信模块9，蓝牙鼠标10，三维声场定位系统12，足底力场定位传感器阵列13，互联网无线路由器14和步态语义大数据平台15构成基于三维声场定位系统、足底力场定位系统、大数据平台和语义折叠技术的步态行为检测识别系统硬件平台；

3)三维声场定位系统12、足底力场定位传感器阵列13和Raspberry Pi微型计算机4实现对进入监控领域运动人体的主动位置探测；

4)HDMI高清摄像头1，USB接口HDMI高清视频采集卡2，Raspberry Pi微型计算机4、大容量磁盘存储阵列6和步态语义大数据平台15实现对人体步态行为视觉数据的高清采集、存储和语义折叠处理；

5)蓝牙键盘7、蓝牙鼠标10和HDMI接口液晶显示器3实现系统的人机交互；

6)无线WIFI模块8，4G高速通信模块9和互联网无线路由器14，实现步态语义数据的无线传输和远程通信功能；

7)可旋转底盘模块11实现高清摄像头的旋转操作，结合声场和力场主动位置探测信息，更好的主动跟踪采集人体步态行为视频数据；

8)步态语义大数据平台15实现基于语义折叠的人体步态行为大数据池的构建，并完成对步态行为语义图的检索、过滤、分类和识别功能。

9、基于声场定位和压力场定位的运动人体主动位置探测。

1)搭建三维声场定位系统硬件平台。在监控场景四个不同位置布置声音采集传感器(A、B、C和D)，声音信号调理电路，嵌入式控制器和无线传输模块，实现对声音的采集，去噪，分割，存储和无线传输。

2)采集和标定位置信息。以摄像头为坐标中心，选取N＝100个不同的监控区域坐标L_n＝(X_n,Y_n,Z_n),n＝1...N，人为的在选定坐标处模拟人体运动噪音10次，利用三维声音场定位硬件平台进行声音数据的采集和存储，令L_n位置所收集到的分割和规一化后的K＝10个声音数据为

3)使用Tensorflow深度学习框架，采用LeNet-5卷积神经网络模型，以所有1000个声音场数据为样本，将其对应的实际坐标为学习目标，进行深度学习，并得到学习后的模型参数。

4)利用LeNet-5卷积神经网络训练声音和坐标数据，训练完成后，利用其估计监控区域里任意位置下的声音位置数据L_Estimation＝F_Deep(S_L)＝(X_e,Y_e,Z_e)，F_Deep为学习得到神经网络模型。

5)构建足底力场传感器阵列。以摄像头为坐标中心，将监控区域划分成I×J＝20×20个小方格区域，在每一个方格区域里安放一个足底力场传感器，所有的I×J＝20×20个传感器构成传感器阵列。压力传感器在没有人体经过时，固定输出相应电压(通常为0V，数字信号对应为0)，当有人体站立在传感器方格上时，输出电压产生变化(大于0V)，电压信号数字后表示为1。对所有方格上的信号进行软件编码，换算成其位置数据作为输出，因此当有运动物体站在压力场传感器阵列上时，其输出一个位置坐标，令为L_Feet＝(X_f,Y_f,Z_f)。

6)对两个位置信号进行加权处理，声音场估计出的位置权重一般小于压力场的位置权重(特别是声音动静较小时)，最终主动探测出的位置信息表示为：L_p＝0.3L_Estimation+0.7L_Feet＝(X_p,Y_p,Z_p)。

7)Raspberry控制系统收到并计算出最终位置数据后，发送PWM控制信号，通过电机控制模型实现对摄像头的旋转，最终使摄像头指向主动探测出的位置坐标(X_p,Y_p,Z_p)，并开始采集和跟踪运动人体数据。

10、高清晰度的步态行为视频数据采集和存储。

1)Raspberry PI系统中，使用Python编程，对高清摄像头区域内的运动物体采用高斯建模和帧间差分法进行检测；

2)当检测出有运动人体出现在视频序列中时，将其存储在大容量磁盘阵列中，以供下一步分析和计算等处理。

11、定义适用于步态行为分析的标准参数化的人体模型，构建统一标准的形体和姿态数据的参数化人体步态行为数据库。通过主成分分析和CCA典型相关性分析确定各语义参数的作用大小和它们之间的相关性矩阵

1)定义标准人体模型：其中，P表示三维人体点云集合，参考Makehuman软件中的人体模型形体数据，每个模型由15000多个顶点构成，T表示人体三角片信息，其中一个三角片由三个点云组成。形体参数数量100多种，表示为/>(身高、体重和腰围等)，选取CMU Mocap人体骨骼模型来确定三维人体的骨骼关节参(左右肘关节、左右脚关节和左右踝关节等20余项)。

2)运用现有的三维人体步态行为数据库KY4D(Kyushu University 4D Gait Database)，通过点云精简的方法构建一个非参数化的三维人体步态行为库该数据训共有K＝42个样本。

3)以三维人体步态行为库中的模型为参考，通过Makehuman和Blender三维处理系统设置不同的形体和骨骼关节参数{β,φ}来变形标准参数人体模型，得到与数据库中42个模型外形和姿态相符的参数化人体模型及对应的形体和骨骼参数/>构建出统一标准的不同形体和姿态数据的参数化人体步态行为数据库

4)利用估计出来的所有模型语义参数，构建不同人体模型的形体矩阵β_Matrix和关节矩阵φ_Matrix：

5)对形体矩阵β_Matrix进行PCA主成分分析，从而选取出步态行为库中最重要的I＝30种形体参数，选取特征值最大的前30个参数特征，并依据贡献度使用ω_i∈[0...1]表示形体参数的重要程度。对骨骼关节矩阵φ_Matrix也进行PCA主成分分析，并根据特征值的贡献度使用用ε_j∈[0...1]确定所有关节参数的重要程度。I＝30种形体参数与J＝24种关节参数共同构成最重要的人体步态行为语义特征参数B_semantic＝{β_I,φ_J}。

6)对形体矩阵β_Matrix和关节矩阵φ_Matrix进行典型相关分析，确定出各人体模型语义参数之间的相关性，通过相关性矩阵和/>描述。

12、分割拍摄到的运动人体轮廓，在三维步态行为数据库中选取形体和姿态接近的参数化三维人体模型作为初始模型，在两者之间构建三维人体模型自然语义参数估计目标函数，通过此语义目标函数，实现在缺失或冗余干扰2D人体步态轮廓条件下对三维人体模型形体和骨骼关节参数值的有效估计。

1)从步态视频中提取出一帧RGB图，该图中人体衣着颜色与背景颜色相近，通过高斯背景建模方法或背景减除方法，将人体步态图分割出来，表示为由于前景和背景相似，分割出来的轮廓数据存在一定程度缺失。

2)通过轮廓分割算法，提取步态行走视角α＝90°时的二维步态轮廓：轮廓离散点统一为N＝128；计算二维步态轮廓的几何不变Hu矩，表示为H(S′_α)＝{M′₁,...,M′₇}。

3)定义三维人体模型：Y_3D＝{P,T,β_I,φ_J}，将三维人体模型旋转到α＝90°，再将其投影到二维空间，对应轮廓为其Hu矩计算表示为在三维标准步态行为数据库中，通过对所有三维模型在α＝90°视角上进行2D投影轮廓，并计算对应Hu矩，依据Hu矩的相似特征，在标准参数化步态库中选取出形体和姿态相与当前二维步态轮廓S′_α相接近的初始化三维人体模型。

4)计算所选三维参数模型投影轮廓与二维步态轮廓之间的差值以及它们之间Hu矩的差值/>将二者叠加表示为：η＝δ+λ。

5)最终所构造的目标函数定义为：

13、通过优化初值的改进共轭直接法，求解三维人体模型自然语义参数估计目标函数，提取出步态模型自然语义描述参数。

1)根据步骤6所述，待求解的目标函数为：

2)首先固定形体参数求解骨骼关节最优数据/>选取“I”姿态的人体步态行为骨骼关节语义特征参数初值/>

3)对初姿态值进行优化：令/>为步态周期内十个标准参考姿态，计算它们所对应二维投影图像的Zernike不变矩，令为/>再计算待估计二维步态图像/>的Zernike不变矩，令为/>通过构建优化问题/>求取/>与/>集之间最相似的姿态标号，令为opt，以该标号所对应姿态作为优化后的初始姿态，令为/>

4)从初值开始，以/>为方向开始搜索，得到共n＝24个搜索方向的最小值/>在此基础上，计算出新的搜索方向/>并在此方向上计算出最小值/>

5)定义新搜索方向，以前后两目标函数的差值最大者来确定：

第k轮中，贡献最大的方向为：

6)以贡献最大的方向为下一步的搜索新方向进行搜索，其迭代的结束条件为：

7)确定最优骨骼关节参数后，再固定骨骼关节参数，参考上述迭代方法求解形体参数/>的最优值。

14、对步态行为类脑语义图进行类脑与、类脑或、类脑子采样和类脑聚合能量图的计算，利用步态行为大数据完成步态行为的检索、过滤、分类和识别的方法。

1)对人体形体关节参数β_I和φ_J，参考步骤1中通过主成分分析得到的重要程度的权重ω_i∈[0...1](i∈[0...I])和ε_j∈[0...1](j∈[0...J])分别由大到小排序。

2)选取形体参数中，排序权重最大的一个形体特征参数a_max，再通过语义参数相关性矩阵/>中形体特征之间的相关性关系，确定出与a_max最相关的形体特征参数且/>利用m×n维的二进制矩阵来实现二者的二维稀疏分布表示。

3)二维稀疏分布表示方法是通过固定数量的二进制数1和0来编码语义参数的数值。令“身高”语义特征参数值的最小值为V_min＝0cm最大值为V_max＝200cm，它们之间的数值范围V_range＝V_min-V_max＝200cm。确定V_range的量化台阶为h＝100，选取w＝5个bit 1来编码语义参数，计算所需要的所有二进制数量m＝h+w-1＝104(w个为bit 1其余为bit 0)。对于任意数据V∈[V_minV_max]＝170cm，确定w个bit 1在所有二进制数中的索引位置Index₁＝h*(V-V_min)/V_range＝170，即在n个二进制数据序列中，第Index₁＝170为中心，连续w＝5个bit的二进制数置1，其余的为0。通过上述方法，确定出另外一项语义特征参数“体重＝80Kg”所需二进制数量n，其数值索引位置Index₂＝80。在m×n维的二进制矩阵中，以Index₁为横坐标，Index₂为纵坐标，标记出中心点((Index₁,Index₂)＝(70,80)，以中心点为圆心，以r＝2为半径，确定一个区域，此区域内的二进制点全置1，其余二进制矩阵中的数全置0，以此实现对两个相关语文特征数据的二维稀疏分布表示，把它称为所有语义参数下的子矩阵(见图8-a所示)。

4)针对人体语义参数的取值范围较宽，而步态语义参数子矩阵的大小是一定的问题，对上述方法生成的子矩阵采用哈希函数进行映射：Harsh(x,y)＝ix,y，将其转换成固定大小的输出((见图8-b所示)。)。

5)依据特征参数的重要性权重值，重复上述编码方法，实现对所有步态语义参数子矩阵的编码，然后，将全部子矩阵进行组合，构成折叠后的步态语义二进制特征矩阵(步态语义图Img_semantic，见图7所示)，图上像素点仅用二进制1或0表示。

15、对步态行为类脑语义图进行类脑与、类脑或、类脑子采样和类脑聚合能量图的计算，并利用公共行为识别数据库完成步态行为的检索、过滤、分类和识别。公共训练数据库可采用如The UCF Dataset，The Hollywood Dataset等。

1)为实现两步态行为语义图的相似性比较，采用直接类脑位运算方法。取同一个人同一步态时序的图像，通过本发明方法，生成步态语义图，分别为和/>对二者进行与操作，并计算其一阶范数/>计算重叠率δ＝ρ/size(Img_semantic)，二者重叠率超过90％；对不同人体不同步态时序的步态语义图进行比较，重叠率一般小于50％。通过比较重叠率，可以检测出不同时序的行走姿态，比较两步态语义图的相似性。

2)取一帧步态图，对其进行人为横条遮挡分割处理(轮廓产生缺失数据)，对原始图和有缺失数据的步态轮廓分别计算其步态语义图。利用原始步态图对输入有缺失的语义图进行修复，修复后的步态语义图：通过比较，有缺失的步态数据显示得到修复，修复后相似率一般大于95％。

3)偏好性检索和分类(见图9)：对步态语义图运用哈希函数进行加权即可实现子采，有选择性的保留关心的步态行为类脑语义特征。令(x,y)为步态语义图Img_semantic中的坐标像素，对其进行加权，形体参数位置加权值为1，姿态参数位置权重为0，生成的步态语义图只体现了各步态行为模型的形体特征。对子采样后的步态语义图进行分类或比较，可以检索出形体相似的人体步态行为数据；

4)步态行为文本的合成计算方法：为实现对步态行为序列的结构化表示，将I＝10帧单个的步态语义图按统计方法聚合在一起以得到步态语义能量图(见图10)；新的能量图/>体现了各子图的统计特征，子图中重叠率高的，能量图中的特征越明显，重叠率低的则反之。对MoBo(CMU Motion of Body)数据库中的人体步态，依据些方法生成步态语义能量图，然后进行分类比较，平均识别率达到95％。即通过步态能量图可以较好的对步态序列图进行描述。/>

Claims (7)

1.一种基于语义折叠的人体步态行为检测识别方法，其特征在于，采用一种基于语义折叠的人体步态行为主动检测识别系统，包括系统安装固定机械结构，三维声场定位系统，足底压力场定位系统，带云台的高清视频采集处理系统，大容量磁盘阵列存储器，Raspberry Pi微型计算机系统，高速移动通信模块和大数据服务硬件平台；

所述的系统安装固定机械结构包括可旋转底盘模块11和系统安装骨架及底板5，所述的系统安装骨架及底板5固定于可旋转底盘模块11上；

所述的足底压力场定位系统包括由多个传感器组成的足底力场定位传感器阵列13，所述的足底力场定位传感器阵列13设置于地面上；

所述的三维声场定位系统包括多个声音采集传感器、声音信号调理电路、嵌入式控制器和无线传输模块，所述的声音采集传感器环绕系统安装固定机械结构设置，所述的嵌入式控制器分别通信连接声音采集传感器、声音信号调理电路和无线传输模块；

所述的Raspberry Pi微型计算机系统包括Raspberry Pi微型计算机4、蓝牙键盘7、蓝牙鼠标10和HDMI接口液晶显示器3，所述的蓝牙键盘7、蓝牙鼠标10和HDMI接口液晶显示器3分别通信连接至Raspberry Pi微型计算机4；

所述的带云台的高清视频采集处理系统包括HDMI高清摄像头1和USB接口HDMI高清视频采集卡2，所述的HDMI高清摄像头1通信连接至USB接口HDMI高清视频采集卡2，所述的USB接口HDMI高清视频采集卡2通信连接至Raspberry Pi微型计算机系统；

所述的高速移动通信模块包括无线WIFI模块8，4G高速通信模块9和互联网无线路由器14，所述的无线WIFI模块8，4G高速通信模块9和互联网无线路由器14分别通信连接至Raspberry Pi微型计算机系统；

所述的大数据服务硬件平台包括步态语义大数据平台15，所述的步态语义大数据平台15设置于远端并与Raspberry Pi微型计算机系统远程通信连接；

所述的大容量磁盘阵列存储器通信连接至Raspberry Pi微型计算机系统；

所述的足底力场传感器阵列是以摄像头为坐标中心，将监控区域划分成I×J个小方格区域，在每一个方格区域里安放一个足底力场传感器，所有的I×J个传感器构成传感器阵列；

包括以下步骤：

A、通过三维声场定位系统和足底压力场定位系统主动探测进入监控领域运动人体位置信息，并将数据传送给Raspberry Pi微型计算机系统，控制系统通过云台实现摄像机的旋转和跟踪拍摄；

B、构建统一标准的不同形体和骨骼姿态数据的参数化人体步态行为数据库，依据主成分分析和典型相关性分析确定出形体参数和骨骼姿态参数在步态行为分析中的重要性权值；

C、分割拍摄到的运动人体轮廓，在三维步态行为数据库中选取形体和骨骼姿态接近的参数化三维人体模型，在两者之间构建三维人体模型自然语义参数估计目标函数，通过此语义目标函数，实现在缺失或冗余干扰2D人体步态轮廓条件下对三维人体模型的形体参数和骨骼姿态参数的值的有效估计；

D、通过优化初值的改进共轭直接法，求解三维人体模型自然语义参数估计目标函数，提取出步态模型自然语义描述参数；

E、对步态行为类脑语义特征进行基于二维稀疏分布表示的类脑语义折叠编码；

F、对步态行为类脑语义图进行类脑与、类脑或、类脑子采样和类脑聚合能量图的计算，并利用公共行为识别数据库完成步态行为的检索、过滤、分类和识别。

2.根据权利要求1所述的方法，其特征在于，所述步骤A包括以下具体步骤：

1)通过三维声场定位系统来对声音进行采集，去噪，分割，存储和传输功能；

2)采集和标定位置信息，以摄像头为坐标中心，选取N个不同的监控区域坐标L_n＝(X_n,Y_n,Z_n),n＝1...N，人为的在选定坐标处模拟人体运动噪音，利用三维声音场定位硬件平台进行声音数据的采集和存储，令L_n位置所收集到并进行的分割和规一化后的K个声音数据为

3)使用Tensorflow深度学习框架，采用LeNet-5卷积神经网络模型，以所有声音场数据为样本，将其对应的实际坐标为学习目标，进行深度学习，并得到学习后的模型参数以建立模型；

4)利用步骤3)中得到的模型F_Deep，来估计监控区域里任意位置下的声音位置数据L_Estimation＝F_Deep(S_L)＝(X_e,Y_e,Z_e)；

5)通过足底力场传感器阵列，通过足底压力场定位系统来采集人体位置数据，对传感器所在方格上的信号进行软件编码，换算成其位置数据作为输出，当有运动物体站在压力场传感器阵列上时，输出一个位置坐标，令为L_Feet＝(X_f,Y_f,Z_f)；

6)对两个位置信号进行加权处理，对步骤1)-4)声音场定位方法和步骤5)压力场定位方法的识别准确率分别进行统计，令最终识别率分别为m％和n％，则相应权重k₁＝m/(m+n)和k₂＝n/(m+n)，最终主动探测出的位置信息表示为：L_p＝k₁L_Estimation+k₂L_Feet＝(X_p,Y_p,Z_p)；

7)Raspberry Pi微型计算机系统收到并计算出最终位置数据后，发送PWM脉宽调制信号，通过电机控制模型实现对摄像头的旋转，最终使摄像头指向主动探测出的位置坐标(X_p,Y_p,Z_p)，并开始采集和跟踪运动人体数据。

3.根据权利要求1所述的方法，其特征在于，所述步骤B中包括以下具体步骤：

1)依据人体解剖学数据确定包括性别、身高、体重、身体比例、肌肉尺寸、躯干肥瘦、水平躯干尺寸、垂直躯干尺寸、躯干位移、肚子尺寸、手长、上臂长、前臂长、前臂肥瘦、胸围、胸垂直位置、腰围尺寸、头部尺寸、脖子长度、脖围、臀部肥瘦、臀部尺寸、臀部位移、大腿长度、大腿厚度、小腿长度、小腿厚度、足宽和足长在内的形体参数：

选取适合步态行为识别的人体骨骼模型来确定包括根节点、头骨、颈骨、脊背骨、胸骨、臀骨、左肩骨、右肩骨、左锁骨、右锁骨、左臂骨、右臂骨、左手踝骨、右手踝骨、左手掌骨、右手掌骨、左膝骨、右膝骰、左脚踝骨、右脚踝骨、左脚趾骨和右脚趾骨在内的三维人体的骨骼姿态参数：

标准人体模型定义为/>其中，P表示三维人体点云集合，T表示人体三角片信息；

2)运用现有的公共的三维人体步态行为数据库，合成三维人体步态数据，构建一个不同视角、形体和骨骼姿态数据的非参数化的三维人体步态行为库

3)以非参数化三维人体步态行为库中的模型为参考，通过三维处理软件设置不同的视角、形体参数和骨骼姿态参数{β,φ}来变形标准参数人体模型，得到与给定非参数化模型视角、外形和骨骼姿态相符的参数化人体模型及对应的形体参数和骨骼姿态参数构建出统一标准的形体和骨骼姿态数据的参数化人体步态行为数据库/>

4)依据3)中方法，估计出非参数化的人体步态行为库中的所有模型所对应的语义参数，构建不同人体模型的形体矩阵β_Matrix和骨骼姿态矩阵φ_Matrix：

5)对形体矩阵β_Matrix进行主成分分析，首先求形体矩阵的协方差矩阵，然后求协方差的特征值和特征向量，再将形体特征值按照从大到小的顺序排序，按照排序大小关系从中选取出步态行为库中最重要的I种形体参数，并使用ω_i∈[0...1]表示第i种形体参数的重要程度；对骨骼姿态矩阵φ_Matrix也进行主成分分析，并使用ε_j∈[0...1]表示第j种骨骼姿态参数的重要程度，I种形体参数与J种骨骼姿态参数共同构成最重要的人体步态行为语义参数B_semantic＝{β_I,φ_J}；

6)对形体矩阵β_Matrix和骨骼姿态矩阵φ_Matrix进行典型相关性分析，确定出各人体模型语义参数之间的相关性，通过相关性矩阵和/>描述。

4.根据权利要求1所述的方法，其特征在于，所述步骤C中包括以下具体步骤：

从步态视频中提取出一帧RGB图，令S(x,y)来表示这帧图像信息，通过高斯背景建模方法，将人体步态图分割出来，表示为

令二维步态轮廓表示为其中α为步态行走视角，s′_α,n表示步态轮廓在二维步态图/>中的坐标信息，N为人体步态轮廓离散点的总数；计算二维步态轮廓的几何不变Hu矩，表示为H(S′_α)＝{M′₁,...,M′₇}；在三维标准步态行为数据库中，通过对所有三维模型在α视角上进行2D投影轮廓，并计算对应Hu矩，依据Hu矩的相似特征，在标准参数化步态库中选取出形体和骨骼姿态与当前二维步态轮廓相接近的初始化三维人体模型，定义为：Y_3D＝{P,T,β_I,φ_J}，其中，P表示三维人体点云集合，T表示人体三角片信息，β_I为I种人体的形体参数，φ_J为J种骨骼姿态参数；人体三维点云数据由三角片信息，形体参数和骨骼姿态参数信息共同确定，满足：/>令包括形体参数和骨骼姿态参数的人体模型在α视角上的投影二维轮廓为其Hu矩计算表示为/>计算三维投影轮廓与二维步态轮廓之间的差值/>以及它们之间Hu矩的差值将二者叠加表示为：η＝δ+λ；

最终所构造的目标函数定义为：通过求解最优化问题来估计出二维步态轮廓所对应的三维人体模型形体参数β_I和骨骼姿态参数φ_J实际数值。

5.根据权利要求1所述的方法，其特征在于，所述步骤D中包括以下具体步骤：

1)根据步骤4所述，待求解的目标函数定义为：

2)将上述目标函数分成两步来求解，首先固定形体参数求解骨骼姿态参数最优数据/>选取“I”骨骼姿态的人体步态行为骨骼姿态语义参数初值/>

3)初值优化：令/>为步态周期内十个标准参考骨骼姿态，计算它们所对应二维投影图像Zernike不变矩，令为/>再计算待估计二维步态图像/>的Zernike不变矩/>通过优化问题求取待估计二维步态图像/>的Zernike不变矩/>与二维投影图像Zernike不变矩/>集合之间最相似的骨骼姿态标号，令为opt，即/>并以该标号所对应骨骼姿态作为优化后的初始骨骼姿态，令为/>

4)从初值开始，以/>为方向开始搜索，得到共n个搜索方向的最小值/>在此基础上，计算出新的搜索方向/>并在此方向上计算出最小值/>

5)定义新搜索方向，以前后两目标函数的差值最大者来确定：

第k轮中，贡献最大的方向为：

6)以贡献最大的方向为下一步的搜索新方向进行搜索，其迭代的结束条件为：

7)依据上述步骤确定最优骨骼姿态参数后，固定骨骼姿态参数，并采用上述求解最优骨骼姿态参数/>的步骤来求解形体参数的最优值/>

6.根据权利要求1所述的方法，其特征在于，所述步骤E中包括以下具体步骤：

1)对人体形体参数和骨骼姿态参数β_I和φ_J，参考形体矩阵β_Matrix和骨骼姿态矩阵φ_Matrix进行主成分分析得到的重要程度的权重ω_i∈[0...1]，i∈[0...I]和ε_j∈[0...1]，j∈[0...J]分别由大到小排序；

2)选取形体参数中，排序权重最大的一个形体参数a_max，再通过语义参数相关性矩阵/>中形体参数之间的相关性关系，确定出与a_max最相关的形体参数/> 且/>利用m×n维的二进制矩阵来实现二者的二维稀疏分布表示；

3)二维稀疏分布表示方法来编码语义参数的数值步骤如下，令包括性别、身高、体重、身体比例、肌肉尺寸、躯干肥瘦、水平躯干尺寸、垂直躯干尺寸、躯干位移、肚子尺寸、手长、上臂长、前臂长、前臂肥瘦、胸围、胸垂直位置、腰围尺寸、头部尺寸、脖子长度、脖围、臀部肥瘦、臀部尺寸、臀部位移、大腿长度、大腿厚度、小腿长度、小腿厚度、足宽和足长在内的某一项语义参数值的最小值为V_min最大值为V_max，它们之间的数值范围V_range＝V_max-V_min，确定V_range的量化台阶为h，选取w个bit 1来编码语义参数，计算所需要的所有二进制数量m＝h+w-1，其中w个为bit 1，其余为bit 0，对于任意数据V∈[V_min V_max]，确定w个bit 1在所有二进制数中的索引位置Index₁＝h*(V-V_min)/V_range，即在n个二进制数据序列中，第Index₁个位置开始，连续w个bit的二进制数置1，其余的为0，通过上述方法，确定出关节骨架语义参数所需二进制数量n，其数值索引位置Index₂，在m×n维的二进制矩阵中，以Index₁为横坐标，Index₂为纵坐标，标记出中心点(Index₁，Index₂)，以中心点为圆心，以r为半径，确定一个区域，此区域内的二进制点全置1，其余二进制矩阵中的数全置0，以此实现对两个相关语义特征数据的二维稀疏分布表示，把它称为所有语义参数下的子矩阵；

4)对生成的子矩阵采用哈希函数进行映射：Harsh(x,y)＝ix,y，将其转换成固定大小的输出；

5)依据语义参数的重要性权值大小及先后顺序，重复步骤2)-4)中的编码方法，实现对所有步态语义参数子矩阵的编码，然后，将全部子矩阵进行组合，构成折叠后的步态语义二进制特征矩阵，大小为(I·m)×(J·n)，或称为步态语义图Img_semantic，图上的像素点仅用二进制数1或0表示。

7.根据权利要求1所述的方法，其特征在于，所述步骤F中包括以下具体步骤：

1)为比较测试步态行为语义图和训练库中的步态行为语义图的相似程度，采用直接类脑与运算方法；定义和/>为体现不同步态行为的语义图，对二者进行与操作，并计算其一阶范数/>依据重叠率δ＝ρ/size(Img_semantic)来确定二者的相似程度；

2)当输入的步态行为语义图确定和训练库中的某一语义图相似，则采用类脑或运算方法，利用库中完整的语义图信息对输入有缺失的语义图进行修复，修复后的步态语义图为：

3)偏好性检索和分类：对步态语义图运用哈希函数进行加权实现子采样，有选择性的保留权重大的步态行为类脑语义特征；令(x,y)为步态语义图Img_semantic中的坐标像素，对其进行加权后生成的步态语义图为式中，w为0.0至1.0之间的权值；对子采样后的步态语义图进行分类或比较，以检索出特征相似的步态行为数据；

4)步态行为文本的合成计算方法：为实现对步态行为序列的结构化表示，将单个的步态语义图按统计方法聚合在一起以得到步态语义能量图/>新的能量图/>体现了各子图的统计特征，子图中重叠率高的，能量图中的特征越明显，重叠率低的则反之；利用步态语义能量图实现对步态行为序列动作的比较和分类。