CN207529394U

CN207529394U - 一种面向复杂视觉场景下的远距离类脑三维步态识别系统

Info

Publication number: CN207529394U
Application number: CN201721209455.XU
Authority: CN
Inventors: 罗坚; 罗艺; 潘与维; 罗欣羽; 魏亮
Original assignee: Hunan Normal University
Current assignee: Hunan Normal University
Priority date: 2017-09-20
Filing date: 2017-09-20
Publication date: 2018-06-22
Anticipated expiration: 2027-09-20

Abstract

本实用新型提出了一种面向复杂视觉场景下的远距离类脑三维步态识别系统。通过低功耗的ARM嵌入式系统，体感摄像机，智能感光和夜间LED补光系统，综合语音、红外和视觉传感器的来实现物体运动的智能探测，再通过由固定焦距摄像头、激光测距传感器、高清航拍无人机飞行器和无线充电系统组成的步态感知系统采集人体运动数据，并利用移动网络传输到云端类脑步态识别系统进行分析识别。在云端类脑计算平台上，通过虚拟姿态合成方法生成各种复杂场景下的步态数据，并使用这些数据对运动人体检测模型进行训练学习的方法来提高复杂场景下的运动人体检测准确性。本实用新型在各个领域都具有广泛的应用前景，具有很好的经济和社会效益。

Description

一种面向复杂视觉场景下的远距离类脑三维步态识别系统

技术领域

本实用新型涉及一种面向复杂视觉场景下的远距离类脑三维步态识别系统。

背景技术

当前对人体步态行为的检测，依据数据来源，可分为基于图像的2D步态识别、3D步态识别和其它步态识别方法。2D的方法采用普通摄像机进行数据采集、训练和识别，由于2D摄像机分布广，同时2D图像处理速度较快，应用的相对较多。3D步态识别方法，主要是通过3D人体建模的方法来实现人体步态识别，3D人体建模通常需要多个角度的摄像机共同协作来完成数据的采集和3D模型的合成。

其它步态识别方法主要包括：穿戴式的步态识别方法，通过运动捕获设备来实现对人体步态数据的采集，是一种接触式的步态识别技术，需要人员配合；运用手机、手表或其它智能设备中的运动传感器来实现步态信号的收集、分析和识别；通采用激光雷达扫描方式来实现人体步态点云数据的获取、处理和识别。

2D步态识别方法中，步态视频数据的获取和处理相对简单，海量的监控视频数据都可以利用。但是普通的二维摄像机拍摄距离有限，普通焦距摄像机一般有效距离在5-100米，长焦距摄像头最多可达到1-5公里，但视角范围缩小到了20度以内，而且距离越远拍摄到的物体效果越差。同时，2D图像数据对遮挡、衣着、穿戴和手捧物体等外在轮廓干扰，以及摄像机安装的水平角度和俯仰角等变化时的处理手段有限。

3D步态识别过程中，使用到了三维人体模型，其中对于三维视频的获取和模型的处理通常相比2D识别更为复杂。但是3D步态识别方法对于各种协变量有更好的处理手段，比如通过3D人体模型的任意旋转，可实现视角可变的步态识别，利用虚拟衣着和姿态合成技术，可以合成任意条件下的步态数据。由于人体步态本身就是一个三维系统，如果能从采集的二维数据中估计三维人体特征，对于解决视角可变和物体携带等条件下的步态识别问题具有重要应用价值。

通过运动捕获设备实现步态识别的方法，由于需要人员主动参与，多应用于医学研究领域。利用手机等智能设备中的运动传感器来实现的步态识别技术，由于传感器单一，且安放位置不固定，无法完成对个体身份的精确识别。运用激光雷达来扫描人体点云数据，可以得到人体点云模型，但是激光雷达设备成本高，而扫描出来的人体精度低或时间慢，且得到的点云杂乱无章，无法很的完成对人体步态的精确识别，应用的不广。

总之，基于图像的步态识别方法，无论是2D还是3D的方法，都需要将步态轮廓从背景中分割出来。步态识别对轮廓的提取精度要求较高，但使用当前的人体分割技术(背景差分、高斯建模和帧间差分等)，面对各种实际情形，往往还达不到很好的分割效果。比如远距离摄像到的运动人体图像本身像素点少和噪音大，会给分割带来了很大困难，实际精度也很验证保证。另外人体穿着的衣物与背景相似，光照的变化引起背景差分过程中的噪音干扰，或者有外来的遮挡等，直接就影响到的步态轮廓提取的完整性：在分割后产生空洞，轮廓边沿分割效果不理想或人体数据有缺失等现象。因此如何提高复杂视觉场景下对步态轮廓的感知理解，并在此基础上估计出准确的人体步态参数，是当前复杂场景下步态识别方法的关键技术之一。同时由于人体的行走和运动姿态受各种因素的影响，比如摄像机拍摄距离，复杂场景变换，衣着条件改变、遮挡干扰和不同视角等影响，使得步态行为识别算法的通用性和识别率仍远不如人脑。特别是在步态行为人体三维建模上，技术成果较少，这也限制了步态识别技术在现实中的应用。

实用新型内容

本实用新型公开了一种面向复杂视觉场景下的超远距离类脑三维步态识别系统，通过低功耗的ARM嵌入式系统，体感摄像机，智能感光和夜间LED 补光系统，利用激光测距传感器、高清航拍无人机飞行器和无线充电系统，综合语音、红外和视觉的智能人体探测系统，移动网络通信系统和类脑机器学习系统构建基于云平台和人工智能技术的超远距离步态感知和识别系统硬件平台；通过由固定焦距摄像头、激光测距传感器、高清航拍无人机飞行器和无线充电系统组成的步态感知系统采集人体运动数据，将其传输到云端类脑步态识别系统进行分析识别。云端的面向复杂视觉场景下的远距离类脑三维步态识别方法如下，首先，通过三维虚拟姿态合成方法来合成生成各视角和复杂背景条件下的步态运动模板，并将其作为学习数据对Action Banking 运动人体检测器进行训练；通过训练好的ActionBanking人体检测模型实现对人体运动区域的标记以及行走方向和姿态的检测；运用检测出来的人体区域面积大小和行走方向信息以及激光测距传感器数据，确定是否需动用高清航拍无人机飞行器进行近距离感知，以进行视觉延伸，完成对人体区域的准确检测和标记。然后，对标记出来的步态运动区域，使用gPb-OWT-UCM分层分割算法，将各局部轮廓分层表示出来；结合三维人体模型先验知识，将与人体模型相一致的多目标局部轮廓进行组合和匹配，实现步态轮廓的准确分割；通过基于三维人体模型先验知识的二维步态轮廓修复方法，构建三维和二维人体轮廓残差能量代价函数，结合轮廓边界加权的方法，完成对人体步态轮廓的修复。最后，利用修复好的二维步态轮廓，估计其最佳形体参数，运用最优的三维人体步态形体和姿态参数构建步态指纹数据；通过构建序列动作情境下的类脑计算模型来完成步态特征的提取，并在类脑计算模型顶层使用Needleman-Wunsch序列比较算法来实现复杂场景下的三维步态分类和增量学习。本实用新型综合运用红外、声音和视觉传感器来探测运动物体，利用人体三维模型作为先验知识，通过对复杂场景下的步态数据进行训练学习的方法来准确检测识别复杂场景下的运动人体，并估计其三维模型参数；通过类脑序列计算模型实现一种序列动作情境下的三维步态识别方法，提高了面对复杂场景下的三维步态识别率以及扩展了步态识别方法的通用性和自主增量学习能力。

为了实现上述技术目的，本实用新型的技术方案是，

一种面向复杂视觉场景下的远距离类脑三维步态识别系统，其特征在于，包括步态视觉感知机械结构，步态数据感知和前端处理硬件平台，云端步态数据处理和类脑学习平台，所述的步态数据感知和前端处理硬件平台安装于步态视觉感知机械结构上，步态数据感知和前端处理硬件平台远程通信连接至云端步态数据处理和类脑学习硬件平台；

所述的步态视觉感知机械结构包括系统安装底板1和云台3，所述的云台固定于系统安装底板上；

所述的步态数据感知和前端处理硬件平台包括ARM嵌入式主板2，以及分别与ARM嵌入式主板2通信连接的体感摄像机9，直流稳压电源模块4， GPS模块7，智能感光模块8，红外人体探测模块10，LED光源补充模块11，语音识别模块12和激光测距传感器14；所述的ARM嵌入式主板2，直流稳压电源模块4，通信模块、GPS模块7和智能感光模块8分别安装于系统安装底板1上，所述的体感摄像机9、红外人体探测模块10、LED光源补充模块 11、语音识别模块12和激光测距传感器14分别安装于云台上；

所述的一种面向复杂视觉场景下的远距离类脑三维步态识别系统，还包括空中拍摄装置，所述的空中拍摄装置包括高清航拍无人机飞行器16，无人机停机平台17和无线充电系统18，所述的无线充电系统18设置于无人机停机平台17上，所述的高清航拍无人机飞行器16通过无人机停机平台17进行起降，高清航拍无人机飞行器16通信连接至步态数据处理硬件平台。

所述的一种面向复杂视觉场景下的远距离类脑三维步态识别系统，所述的通信模块包括无线WIFI模块5，4G移动网络通信模块6和有线通信模块15，所述的无线WIFI模块5，4G移动网络通信模块6和有线通信模块15分别通信连接至ARM嵌入式主板2。

所述的一种面向复杂视觉场景下的远距离类脑三维步态识别系统，步态视觉感知机械结构还包括防护罩13，所述的防护罩13安装于云台上并罩住安装于云台上的体感摄像机9、红外人体探测模块10、LED光源补充模块11、语音识别模块12和激光测距传感器14。

一种面向复杂视觉场景下的远距离类脑三维步态识别方法，采用所述的系统，包括以下步骤：

A、通过虚拟姿态合成模型和Action Banking运动人体检测方法确定人体运动区域、行走方向和运动姿态，运用图像信息和激光测距传感器数据对运动人体区域进行像素面积、方向角度和距离分析，确定是否需要动用高清航拍无人机飞行器进行近距离放大拍摄，是的话则通过GPS定位系统确定出无人机飞行器的飞行航线，并重新完成拍摄和对人体运动区域的检测；

B、使用gPb-OWT-UCM分层分割算法，结合三维人体模型先验知识进行运动人体轮廓分割；

C、利用基于三维人体模型先验知识的二维步态轮廓修复方法，通过构建三维和二维人体轮廓残差能量代价函数，结合轮廓边界加权的方法，完成对人体步态轮廓的修复；

D、利用修复好的二维步态轮廓，估计其最佳形体参数，运用最优的三维人体步态形体和姿态参数构建步态指纹数据；

E、使用序列动作情境下的类脑计算模型来完成步态特征的提取；

F、在类脑计算模型顶层使用Needleman-Wunsch序列比较算法来实现分类比较和增量学习。

所述的方法，所述步骤A包括以下具体步骤：

1)依据虚拟姿态合成模型，合成多视角和不同姿态的运动人体，并将其嵌入到2D的复杂场景中，生成较为完备的运动人体模板：

首先，定义三维人体模型表示为：F_3D(S,ψ)，其中S表示人体形体参数，ψ表示人体骨骼姿态参数，F_3D(·)为使用指定的人体形体参数和姿态参数进行基于参数化三维人体构建的过程；

然后，选取一个公共的三维人体模型库或通过三维人体扫描系统自采集一个三维人体模型库，并在此库中定义一个标准人体步态模型Y＝{V_Y,P_Y}，其中 V_Y＝{y₁,y₂,...,y_M}为模型M个顶点集合，P_Y＝{p₁,p₂,...,p_K}为模型K个三角面集合，标准人体模型选自于整个人体模型库中，其身高、体重和其他形体参数最接近于人体数据库各项参数的均值，同时姿态接近标准对称的“T”姿态，数据库中其它的模型称之为训练模型；

接着，令α＝[α₁...α_i]表示三维人体模型库中标准模型Y和其它不同形体和姿态的训练模型的集合(i为人体模型总数量)；Dis(·)为对包括形体和姿态的人体三维模型参数进行离散的函数，为包括性别、身高、体重、肌肉、身体比例、躯干厚度、躯干水平尺寸、躯干垂直尺寸、躯干上下位移、肚子隆起程度、手长、上臂长、上臂厚度、前臂长、前臂厚度、胸围、胸垂直位置、头部尺寸、头部水平深度、头部垂直深度、颈垂直长、颈围、臀部厚度、臀部水平尺寸、臀部垂直尺寸、臀部上下位移、臀部翘起程度、大腿长、大腿厚、小腿长、小腿厚、膝关节位置、脚宽和脚长、头部关节、颈部关节，左右锁骨关节，左右肩关节，左右手臂关节，左右手踝关节，左右手指关节，胸部关节，臀部关节，左右膝部关节，左右脚踝关节，左右脚趾关节和根节点在内的人体自然语义描述，表示为Dis＝[d₁...d_j]，构建以下目标函数：

其中，Z_off表示偏移量，G表示方向梯度值，G和Z_off为模型参数，α为三维模型数据集，其中α＝[α₁...α_i]表示上述三维人体模型库中标准模型Y和其它不同形体和姿态的训练模型的集合，V为模型顶点集合，P 为模型三角面集合，i为人体模型总数量，Dis为人体自然语言描述参数矩阵，包括形体参数S和骨骼关节姿态参数ψ两部分数据；

两组模型参数Z_off和G通过支持向量回归算法来训练和学习得到，利这两组参数，在给定形体和姿态参数的情况下，通过求解来得到相应的三维人体模型；然后，通过变换不同的形体参数S和姿态参数ψ，利用标准人体模型，可以合成各种虚拟的人体模型集，表示为：

Bd_Set＝{F_3D(S₁,ψ₁),...,F_3D(S_n,ψ_n),...,F_3D(S_N,ψ_N)}

再将虚拟合成的人体姿态模型水平旋转β度，并投影到对应二维空间，表示为其中β为俯仰角固定情况下，观测三维人体时的水平变化视角，范围在0～360度，令Bg＝{g₁,...,g_i,...,g_I}为2D图像复杂背景图像集，将嵌入到各种取值日常生活环境的背景图像中，生成各种虚拟合成的各视角和姿态的虚拟复杂场景步态图，表示为：描述为第n个虚拟合成三维人体模型投影到β视角下，并与第i个复杂背景相融合所得到的虚拟复杂场景步态图即虚拟步态运动模板；

2)通过生成的虚拟步态运动模板，来构造Action Banking模型中的运动检测器，以消除视角、形体和速度等因素的影响，各视角下不同姿态的运动人体模板表示如下：

其中L表示复杂背景的总数量；

3)对Action Banking运动检测器，利用各视角下不同姿态的虚拟合成人体模板进行训练；

4)训练完成后，对输入Action Banking人体检测模型的含复杂背景的步态图像Img_C，估计出人体步态运动区域，以及行走方向和大概姿态；

5)计算分割后的步态轮廓占整幅图像的百分比，当百分比小于设定目标K 时，确定需要运用无人机飞行器进行近距离高清拍摄，利用估计出的人体行走的方向和轮廓像素区域大小信息，结合激光测距传感器数据，估计出运动人体与摄像头的方向和距离d，从而计算出人体相对摄像机原点的坐标(X,Y)；通过GPS数据，计算出无人机的起始点和目标点，将信息输入无人机飞行器，实现固定轨迹飞行、悬停拍摄、数据无线传输和返航，近距离捕获的运动人体数据通过虚拟姿态合成方法和Action Banking运动人体检测算法重新确定人体运动区域。

所述的方法，所述步骤B中包括以下具体步骤：

1)根据步骤A中得到含有复杂背景的步态图像Img_C中运动人体活动矩形区域并确定为感兴趣区域ROI，将此区域剪切出来，表示为

2)对运用gPb-OWT-UCM分层分割算法进行人体轮廓分割，令分割生成N块子轮廓Sil＝{Sil₁,...,Sil_n,...,Sil_N}，完整的人体轮廓由N块子轮廓中的i块轮廓组合而成，其中i≤N，完整轮廓表示为： w_i∈{1,...,n...,N}；

3)依据步骤A中虚拟姿态合成模型和Action Banking运动人体检测方法所得到的人体行走视角和运动姿态数据，在步态三维模型库中，生成与当前行走姿态相似的三维参数化人体模型，表示为F_3D(S′,ψ′)，根据行走方向信息，将选取的三维人体模型旋转至与二维轮廓一致的角度，并投影到2D空间，形成一个参考模板B^β(F_3D(S′,ψ′))；

4)在参考模板和子轮廓组合之间构造一个目标函数，表示为：

其中，w_i∈{1,...,n...,N}，表示假设的构成完整人体轮廓的一种子轮廓组合，它从所有分割子轮廓集中选取，Img_group(Sil_D)表示子轮廓组合集D所对应的整体步态分割轮廓图，B^β(F_3D(S′,ψ′))为对应行走角度和姿态下的参考模型，将估计轮廓与参考模板进行轮廓匹配，通过最优化的问题来求解最佳的d块子轮廓，此复杂背景下的人体轮廓便由此d块子轮廓共同构成，从而实现基于人体模型的步态轮廓分割，令分割后轮廓表示为

所述的方法，所述步骤C包括以下具体步骤：

1)求取需要修复2D轮廓的水平集：其中φ_2D(x,y)表示二维图像I_2D(x,y)的水平集函数，φ_2D(x,y)＝0为对应的零水平集步态轮廓；

2)求取参考模板B^β(F_3D(S′,ψ′))的水平集：其中φ_3D(x,y)表示三维人体在β视角所对应二维投影图像的水平集函数，φ_3D(x,y)＝0为对应的零水平集步态轮廓；

3)将水平集和进行加权混合处理，得到：其中H(·)表示Heaviside函数，为向量与人体步态水平轮廓集间的欧式距离，G为高斯，标准方差为σ；

4)定义目标函数Q＝‖H(-φ_mix)·φ_mix‖²，由于待修复二维轮廓无法做变换处理，因此只需要改变所对应三维人体模型的姿态参数，并重新投影，求取对应轮廓水平集，计算目标函数Q值，待修复二维轮廓与三维参考模型轮廓 B^β(F_3D(S′,ψ′))越接近，其值越小，因此转换成了如下最优化问题：即求解其对应三维模型的姿态最优参数，该姿态下，三维模型投影和二维步态图最逼近；

5)利用下式完成对有缺失二维步态轮廓的修复：

φ_inpainting＝φ_residual+ω′·φ′_3D

其中φ_inpainting为修复后的步态轮廓，φ₃′_D为B^β(F_3D(S′,ψ^opt))的水平集，φ_residual为三维投影轮廓B^β(F_3D(S′,ψ^opt))和待修复步态轮廓的差值轮廓Img_diff水平集；ω′为权值，ζ′_3d表示水平集φ′_3D在零水平上的曲线，为差值轮廓Img_diff上的向量， η调节修复的步态轮廓与三维投影轮廓间的近似程度。

所述的方法，所述步骤D包括以下具体步骤：

1)利用步骤C中所求得的姿态参数和修复后的步态轮廓，通过以下最优化问题求解出其对应三维人体模型的最佳形体参数S^opt：

2)对二维步态轮廓来估计出其对应三维人体模型参数形体参数S^opt和姿态参数ψ^opt进行类脑稀疏分布表示编码，用二进制0或1的数据流来编码形体和姿态参数，得到的数据定义为步态指纹数据：Code_SDR。

所述的方法，所述步骤E包括以下具体步骤：

1)构建基于多层结构的类脑计算模型：选取类脑层级实时记忆模型作为类脑计算模型的基础，放在中间层；原始数据感知层为底层，输入为步态指纹数据；输出层定义为特征空间池；顶层定义为步态序列池；

2)以步态指纹数据：Code_SDR二进制流作为底层输入，经过类脑层级实时记忆模型后，得到抽取步态特征后的二进制流输出其二进制流长度远小于输入Code_SDR的二进制流长度，即将变化频繁的特征转换成了稳定的高层抽象语义特征，步态周期内的每一个轮廓对应一组步态指纹数据，经过层级实时记忆模型后，对应唯一的输出步态空间抽象特征，表示为S_n，定义为步态单词，n为步态图像序列编号；

3)在顶层构建的序列层中，将所有子序列中的步态单词S_n，依据时间聚合成能代表整体步态序列动作特征的二进制文本语义数据，表示为 Semantic_k＝{S_n|n∈Index_T}，其中R为来自同一目标的短时动作序列索引。

所述的方法，所述步骤F包括以下具体步骤：

1)选取一段步态视频，对其中的每一帧图像数据，依据步骤A-E，生成对应的步态语义文本序列数据Semantic_input＝{S_n|n∈Index_input}；

2)在类脑计算模型数据库中，查找已有的步态语义文本序列数据，定义为

3)利用Needleman-Wunsch序列比较算法，计算两者之间的重合率并给出评分，与通用计算方法不同，需先根据文本位置进行加权处理，权值函数表示为ω_n，其中重要的步态单词权重较大，权值ω_n通过对一定样本的步态周期轮廓数据进行PCA主成份分析统计方法得到，加权后序列数据为：

加权后再进行序列比较，当前输入与库中第m个数据的相似度评分

4)利用最优化问题，求解出加权评分最高的数据m即为其分类识别结果；

5)定义一个加权评分阀值Score_min，当库中最高评分数小于Score_min时，将此样本加入到数据库中，实现增量学习。

本实用新型的技术效果在于，通过低功耗的ARM嵌入式系统，体感摄像机，智能感光和夜间LED补光系统，综合语音、红外和视觉传感器的来实现物体运动的智能探测，再通过由固定焦距摄像头、激光测距传感器、高清航拍无人机飞行器和无线充电系统组成的步态感知系统采集人体运动数据，并利用移动网络传输到云端类脑步态识别系统进行分析识别。在云端类脑计算平台上，通过虚拟姿态合成方法生成各种复杂场景下的步态数据，并使用这些数据对运动人体检测模型进行训练学习的方法来提高复杂场景下的运动人体检测准确性；通过分层分割方法，并充分利用人体模型先验知识，实现对步态轮廓准确修复。本实用新型所提出复杂场景下的步态人体感知方法，有利于在各种复杂场景下实现对人体轮廓的精确提取以及三维模型参数的估计，在各种人体串跟踪、检测和识别领域都有广泛的应用前景。在步态识别过程中，通过类比人脑结构和功能，构建了多层类脑计算模型，以解决序列动作下的步态特征提取和分类识别效率；使用增量学习方法，更有利于步态识别系统的自我持续学习和完善，可提高系统的通用性和适应各种复杂条件的能力。本实用新型所提出面向复杂视觉场景下的远距离类脑三维步态识别方法及系统，在各个领域都具有广泛的应用前景，主要包括：远距离身份识别、异常步态行为分析、和海量视频检索等领域，具有很好的经济和社会效益。

下面结合附图对本实用新型作进一步说明。

附图说明

图1一种面向复杂视觉场景下的远距离类脑三维步态识别系统结构图

图2为本实用新型面向无人机飞行器的无线充电系统电路流程图

图3面向复杂视觉场景下的远距离类脑三维步态识别系统实施流程图

图4为本实用新型面向复杂视觉场景下的远距离类脑三维步态识别方法原理框图

图5为本实用新型基于语义的参数化人体模型构建示意图；

图6为本实用新型基于虚拟姿态合成模型和Action Banking的运动人体检测方法示意图；

图7为本实用新型I姿态标准三维参数人体模型示意图；

图8为本实用新型人体分层语义分割示意图；

图9为本实用新型基于模型的步态轮廓修复示意图；其中(a)手提包轮廓； (b)三维投影轮廓；(c)直接叠加后修复轮廓；(d)加权叠加后修复轮廓(η＝1)；(e) 加权叠加后修复轮廓(η＝2)；

图10为本实用新型步态行为类脑计算模型示意图；

其中，1为系统安装底板，2为低功耗的ARM嵌入式主板，3为云台，4 为直流稳压电源模块，5为无线WIFI模块，6为4G移动网络通信模块，7为 GPS全球定位模型，8为智能感光模块，9为红外和彩色摄像头相结合的体感摄像机，10为红外人体探测模块，11为LED光源补充模块，12为语音识别模块，13为防护罩，14为激光测距传感器，15为网络通信模块，16为高清航拍无人机飞行器，17为无人机停机平台，18为无线充电系统，19为云端类脑计算平台。

具体实施方式

本实施例中所述基于视觉传感器、激光测距传感器、无人机飞行器、无线充电系统、云平台和人工智能技术的三维步态感知识别系统硬件平台，由步态视觉感知机械结构，步态数据处理硬件平台，无人机飞行器系统，软件平台和云端类脑学习平台构成：

1)系统安装底板1，云台3和防护罩13构建步态感知系统机械结构；

2)红外和彩色摄像头相结合的体感摄像机9，低功耗的ARM嵌入式主板 2，直流稳压电源模块4，无线WIFI模块5，4G移动网络通信模块6，GPS 全球定位模型7，智能感光模块8，红外人体探测模块10，LED光源补充模块11，语音识别模块12，激光测距传感器14，有线通信模块15，高清航拍无人机飞行器16，无人机停机平台17，无线充电系统18和云端类脑计算平台9构成步态感知和识别系统硬件平台,ARM主板主要负责本地有效步态数据采集，前端预处理，并将有用数据发送至云平台进行进一处理、学习和分析等.

3)Linux Debian系统，Python编译环境和OpenCV机器视觉库等构成助步态感知系统和软件平台。

4)红外人体探测模块10，语音识别模块12，体感摄像机9和ARM嵌入式主板2实现运动物体在终端的智能感知，完成人体步态数据的采集和传输；

5)无线WIFI模块5，4G移动网络通信模块6，GPS全球定位模型7，有线通信模块15，实现无线传输和远程定位功能；

6)智能感光模块8和LED光源补充模块11，实现夜晚或其他光线偏弱情境下的光源增强功能，提高摄像头在夜间捕获图像数据的质量；

7)直流稳压电源模块4为系统提供不间断的稳压电源；

8)系统安装底板1和云台3，实现红外人体探测模块10，语音识别模块 12，体感摄像机9的旋转功能，以更好的跟踪和采集运动人体图像；

9)防护罩13减弱强光对摄像头的影响，同时提高系统面对户外恶劣天气时的工作能力；

10)激光测距传感器14实现运动人体的距离和方向估计，高清航拍无人机飞行器16实现对运动人体的近距离运动数据感知；

11)无人机停机平台17和无线充电系统18实现了无人机的停靠和电能补充；

12)云端类脑计算平台19实现面向复杂场景下的三维步态识别系统的学习和分类识别功能。

人体运动数据采集和无线传输。

1)使用Python编程，检测智能感光模块输出数据，当光强太弱时，打开 LED光源补充模块，进行光照增强；

2)使用Python编程，检测人体红外传感器，语音识别传感器和体感视觉传感器，当任意一个传感器探测到人体时，将采集到的图像序列上传到云平台。

3)在云平台上进行运动区域分析，计算分割后的步态轮廓占整幅图像的百分比，当百分比小于K时，确定需要运用无人机飞行器进行近距离高清拍摄。利用估计出的人体行走的方向和轮廓像素区域大小信息，结合激光测距传感器数据，估计出运动人体与摄像头的方向和距离d，从而计算出人体相对摄像机原点的坐标(X,Y)。通过GPS数据，计算出无人机的起始点和目标点，将信息输入无人机飞行器，实现固定轨迹飞行、悬停拍摄、数据无线传输和返航。近距离捕获的运动人体数据重新上传到云平台进行分析，并通过虚拟姿态合成方法和Action Banking运动人体检测算法重新确定人体运动区域。

云平台上构建基于语义的参数化人体模型。

1)首先，定义三维人体模型表示为：F_3D(S,ψ)，其中S表示人体形体参数 (主要包括性别、身高、体重、胖瘦等总体特征，以及头部、手臂、躯干、胸部、臀部、腿和脚等局部特征)，ψ表示嵌入人体模型的骨骼关节数据(参考BVH运动人体捕获数据模型，见图7所示)，F_3D(·)为使用指定的人体形体参数和姿态参数进行基于参数化三维人体构建的过程。

2)使用MPI三维人体模型库，定义标准人体步态模型Y＝{V_Y,P_Y}。标准人体模型的身高、体重和其他形体参数能体现整个数据库的均值信息，同时姿态接近标准对称的“I”姿态(见图7)，数据库中其它的模型称之为训练模型。

令α＝[α₁...α_i]，i＝114(MPI数据库共114个人体模型)，表示三维人体模型库中标准模型Y和其它不同形体和姿态的训练模型的集合；Dis(·)为对人体三维模型参数(形体和姿态)进行离散的函数，为人体自然语义描述(身高，体重，关节角度等)，表示为Dis＝[d₁...d_j]。构建以下目标函数：

其中，Z_off表示偏移量，G表示方向梯度值，通过支持向量回归算法和三维模型数据集α，求解优化问题来估计得到。将Dis人体自然语言参数分成形体参数S和骨骼关节姿态参数ψ两部分表示。通过MPI数据库共114个人体模型训练学习后，就得到了参数化人体模型的两组重要参数Z_off和G，从完成基于语义的三维人体参数模型的构建。

生成较为完备的运动人体模板。

使用式，通过变换不同的形体参数S和姿态参数ψ，利用标准人体模型合成100种虚拟的人体模型集，表示为 Bd_Set＝{F_3D(S₁,ψ₁),...,F_3D(S_n,ψ_n),...,F_3D(S_N,ψ_N)}，其中N＝100。

再将虚拟合成的姿态投影到β＝90°视角下的二维空间，表示为令Bg＝{g₁,...,g_i,...,g_I}为2D图像复杂背景图像集，取I＝10，将嵌入到各种背景图像中，生成各种虚拟合成的各视角和姿态的虚拟复杂场景步态图，表示为：描述为第n个虚拟合成三维人体模型投影到β视角下，并与第i个复杂背景相融合所得到的虚拟复杂场景步态图(虚拟步态运动模板)。

对Action Banking运动检测器，利用各视角下不同姿态的虚拟合成人体模板进行训练。通过生成的多视角、各种姿态的三维模型，构建出较为完备的运动人体模板。基中各视角下不同姿态的运动人体模板表示如下：

视角参数J＝7,β₁＝0°,β₂＝30°,β₃＝60°,β₄＝90°,β₅＝120°,β₆＝150°,β₇＝180°，姿态参数在步态周期内选取典型的L＝10种姿态。运用以上模板，对Action Banking模型中的运动检测器进行训练。

使用CMU Motion of Body步态数据库中的步态图像Img_C，估计出人体步态运动区域，以及行走方向和大概姿态。把感兴趣运动区域域剪切出来，表示为

使用gPb-OWT-UCM分层语义分割算法对进行步态轮廓分割，令分割生成N块子轮廓Sil＝{Sil₁,...,Sil_n,...,Sil_N}。

利用三维人体模型先验知识完成步态人体整体轮廓的提取。

1)依运动人体检测所得到的行为类别(如行走视角和大概姿态等)，在步态三维模型库中，生成与当前行走姿态相似的三维参数化人体模型，表示为 F_3D(S′,ψ′)。根据行走方向信息，将选取的三维人体模型旋转至与二维轮廓一致的角度，并投影到2D空间，形成一个参考模板B^β(F_3D(S′,ψ′))。

2)在参考模板和子轮廓组合之间构造一个目标函数，表示为：

其中，D表示子轮廓组合集，它从所有分割子轮廓集中选取，Img_group(Sil_D) 表示子轮廓组合集D所对应的整体步态分割轮廓图，B^β(F_3D(S′,ψ′))为对应行走角度和姿态下的参考模型，它们两者应当接近。将估计轮廓与参考模板进行轮廓匹配，通过最优化的问题来求解最佳的d块子轮廓，此复杂背景下的人体轮廓便由此d块子轮廓共同构成，从而实现基于人体模型的步态轮廓分割，令分割后轮廓表示为(见图8所示)。

利用基于三维人体模型先验知识的二维步态轮廓修复方法，通过构建三维和二维人体轮廓残差能量代价函数，结合轮廓边界加权的方法，完成对人体步态轮廓的修复。

1)由于遮挡、前景和背景颜色不一致、携带物体等原因导致步态轮廓数据分割不完整、数据缺失或错误分割，需要进行修复，先求取需要修复2D轮廓的水平集：见图9(a)；

2)求取参考模板B^β(F_3D(S′,ψ′))的水平集：见图9(b)；

3)将水平集和进行加权混合处理，得到：其中H(·)表示Heaviside函数，为向量与人体步态水平轮廓集间的欧式距离，G为高斯，标准方差为σ。

4)定义目标函数Q＝‖H(-φ_mix)·φ_mix‖²，改变所对应三维人体模型的姿态参数，并重新投影，求取对应轮廓水平集，计算目标函数Q值。通过求解最优化问题：得到其对应三维模型的姿态最优参数，该姿态下，三维模型投影和二维步态图最逼近；

5)利用下式完成对有缺失二维步态轮廓的修复：

φ_inpainting＝φ_residual+ω′·φ′_3D

其中φ_inpainting为修复后的步态轮廓，修复效果见图9(c)(d)(e)，φ′_3D为 B^β(F_3D(S′,ψ^opt))的水平集，φ_residual为三维投影轮廓B^β(F_3D(S′,ψ^opt))和待修复步态轮廓的差值轮廓Img_diff水平集。ω′为权值，ζ′_3d表示水平集φ′_3D在零水平上的曲线，为差值轮廓Img_diff上的向量， η取值1，用来调节修复的步态轮廓与三维投影轮廓间的近似程度。

利用修复好的二维步态轮廓，估计其最佳形体参数，利用最优的三维人体步态形体和姿态参数构建步态指纹数据，具体过程如下：

1)利用所求得的姿态参数和修复后的步态轮廓，通过以下最优化问题求解出其对应三维人体模型的最佳形体参数S^opt：

2)对二维步态轮廓来估计出其对应三维人体模型参数形体参数S^opt和姿态参数ψ^opt进行类脑稀疏分布表示编码，用二进制0或1的数据流来编码形体和姿态参数，得到的数据定义为步态指纹数据(2D二进制稀疏矩阵)：Code_SDR，参见图10中的输入层步态语义图数据。

使用类脑计算模型来完成步态序列特征的提取，具体过程为：

1)构建基于多层结构的类脑计算模型(见图10)：选取类脑层级实时记忆模型作为类脑计算模型的基础，放在中间层；原始数据感知层为底层，输入为步态指纹数据；输出层定义为特征空间池；顶层定义为步态序列池。

2)以步态指纹数据：Code_SDR二进制流作为底层输入，经过类脑层级实时记忆模型后，得到抽取步态特征后的二进制流输出其二进制流长度远小于输入Code_SDR的二进制流长度。即将变化频繁的特征转换成了稳定的高层抽象语义特征。步态周期内的每一个轮廓对应一组步态指纹数据，经过层级实时记忆模型后，对应唯一的输出步态空间抽象特征，表示为S_n，定义为步态单词，n为步态图像序列编号。

在类脑计算模型顶层使用Needleman-Wunsch序列比较算法实现分类比较和增量学习，具体步骤如下：

1)选取一个步态周期图像数据(通过周期检测算法确定一个步态周期的数据)，依据上述方法，生成对应的步态语义文本序列数据 Semantic_input＝{S_n|n∈Index_input}；

3)利用Needleman-Wunsch序列比较算法，计算两者之间的重合率并给出评分。与通用计算方法不同，需先根据文本位置进行加权处理，权值函数表示为ω_n(重要的步态单词权重大)。ω_n的通过对随机步态数据库中的20个样本的步态周期轮廓数据进行PCA主成份分析，通过统计特征值的贡献度来确定其大小，权重与贡献度成正比。加权后序列数据为：

4)利用最优化问题，求解出加权评分最高的数据m即为其分类识别结果。

5)定义一个加权评分阀值Score_min＝90，当库中最高评分数小于Score_min时，将此样本加入到数据库中，实现增量学习。

将CMU Motion of Body步态数据库中的步态图像Img_C数据依据目标分成两组，一组用来训练学习，一组用来测试，其识别结果参见下表1所示，结果要优于其它方法，这是因为此实用新型对轮廓的精确修复以及类脑增量学习方法等的应用。

表1不同步态识别方法在Mobo步态库中的识别结果

Claims

1.一种面向复杂视觉场景下的远距离类脑三维步态识别系统，其特征在于，包括步态视觉感知机械结构，步态数据感知和前端处理硬件平台，云端步态数据处理和类脑学习平台，所述的步态数据感知和前端处理硬件平台安装于步态视觉感知机械结构上，步态数据感知和前端处理硬件平台远程通信连接至云端步态数据处理和类脑学习硬件平台；

所述的步态数据感知和前端处理硬件平台包括ARM嵌入式主板2，以及分别与ARM嵌入式主板2通信连接的体感摄像机9，直流稳压电源模块4，GPS模块7，智能感光模块8，红外人体探测模块10，LED光源补充模块11，语音识别模块12和激光测距传感器14；所述的ARM嵌入式主板2，直流稳压电源模块4，通信模块、GPS模块7和智能感光模块8分别安装于系统安装底板1上，所述的体感摄像机9、红外人体探测模块10、LED光源补充模块11、语音识别模块12和激光测距传感器14分别安装于云台上。

2.根据权利要求1所述的一种面向复杂视觉场景下的远距离类脑三维步态识别系统，其特征在于，还包括空中拍摄装置，所述的空中拍摄装置包括高清航拍无人机飞行器16，无人机停机平台17和无线充电系统18，所述的无线充电系统18设置于无人机停机平台17上，所述的高清航拍无人机飞行器16通过无人机停机平台17进行起降，高清航拍无人机飞行器16通信连接至步态数据处理硬件平台。

3.根据权利要求1所述的一种面向复杂视觉场景下的远距离类脑三维步态识别系统，其特征在于，所述的通信模块包括无线WIFI模块5，4G移动网络通信模块6和有线通信模块15，所述的无线WIFI模块5，4G移动网络通信模块6和有线通信模块15分别通信连接至ARM嵌入式主板2。

4.根据权利要求1所述的一种面向复杂视觉场景下的远距离类脑三维步态识别系统，其特征在于，步态视觉感知机械结构还包括防护罩13，所述的防护罩13安装于云台上并罩住安装于云台上的体感摄像机9、红外人体探测模块10、LED光源补充模块11、语音识别模块12和激光测距传感器14。