CN101807245A - 基于人工神经网络的多源步态特征提取与身份识别方法 - Google Patents

Abstract

本发明涉及身份识别、图像处理等。具体讲，涉及基于人工神经网络的多源步态特征提取与身份识别方法，为减少复杂背景、遮挡物等外界因素的干扰，更为准确地提取能反映运动人体行走特征的有效信息、提高步态识别正确率。本发明采用的技术方案是：由摄像头和红外热释电传感器分别采集步态数据，对于摄像头获取的图像源信息，提取骨架特征参数和Radon变化峰值特征参数；对于红外热释电源信息，将采集到的电压信号转化为频域特征参数；将骨架特征参数和Radon变化峰值特征参数、频域特征参数分别经过降维和相应信号处理后进行融合，最后选用BP神经网络作为分类器对融合特征实现分类识别，并对识别效果给予评价。本发明主要用于身份识别。

Description

基于人工神经网络的多源步态特征提取与身份识别方法

技术领域

本发明涉及视频处理、红外热释电信号分析、图像处理、特征提取、模式识别等。具体讲，涉及基于人工神经网络的多源步态特征提取与身份识别方法。

技术背景

生物特征识别是通过各种高科技信息检测手段、利用人体所固有的生理或行为特征来进行个人身份鉴定。生物特征主要包括生理特征和行为特征两种：生理特征是指与生俱来的，先天性的人体物理特征，如指纹、虹膜、人脸等；行为特征是指从人所执行的运动中提取出来的特征，多为后天性的，如步态、笔迹等。近几年生物认证技术出现了跳跃式发展，成为产、学、研、管各方面广泛关注的热点。在2001年的MIT Technology Review杂志中，生物特征识别技术被列为10项最有可能改变世界的技术之一。预计未来10年左右，生物认证技术将深入到我们生活的方方面面，其综合影响力将不亚于互联网。

步态识别(Gait Recognition)是生物特征识别技术中的新兴领域之一。它旨在根据人们的走路姿势实现对个人身份的识别或生理、病理及心理特征的检测，具有广阔的应用前景。步态是一种复杂的行为特征，是人的生理、心理及对外界反应的一个综合体现。由于个体之间存在差异，步态也不尽相同，这些差异是整个肌肉和骨架(身体重量、肢体长度、骨骼结构等)的函数，且完全决定于几百个运动学参数。早期的医学研究表明：人的步态中有24种不同的成分，如果把这些成分都考虑到，则步态是为个体所特有的，这使得利用步态进行身份识别成为可能。相对于其他生物认证技术，步态识别具有非侵犯性、远距离识别、简化细节、难以伪装等独特优势。

现有的步态识别算法大致分为基于模型和基于非模型两大类。基于模型的方法，是指通过对人体结构建立模型或者对人体在步态序列图像中所表现出的明显的行走特征建立模型，利用模型衍生出来的参数提取步态特征。其特点是可以较精确地描述步态特征，大幅度降低对外部条件变化的敏感性，但是巨大的运算量是重视实时性的实用化所面临的难题。基于非模型方法，是指直接对人体在行走过程中的形状或动作进行分析而提取出来的特征。其特点是计算量相对较小，有助于在实用环节中达到实时运算的目的，但对背景和光照信号的变化敏感，一旦场景中出现遮挡现象，识别能力将受到较大影响。

步态识别融合了计算机视觉、模式识别与视频/图像序列处理等多项技术。随着生物认证技术的快速发展，基于步态特征的身份识别技术愈加显示出它的优势，尤其在门禁系统、安全监控、人机交互、医疗诊断等领域具有广泛的应用前景和经济价值。因而引起了国内外许多研究者的浓厚兴趣，成为近年来生物医学信息检测领域备受关注的前沿方向。

然而，没有任何一种技术是完美的，现实条件下从环境中捕捉图像会受到多种因素(如气候条件的变化、光照条件的变化、背景的混乱干扰、运动目标的影子、摄像机的运动等)的影响，这给步态的最终识别带来了许多困难。如何消除这些因素的影响，更准确地提取运动人体的有效步态特征，是步态识别领域面临的难题。鉴于此，本发明将骨架构建思想和Radon思想引入其中：骨架模型建立在人体解剖学所确认的人体各部分结构比例的基础之上，它结合了目标的轮廓和区域信息，反应了目标的重要视觉线索；Radon变换广泛用于图像中的线段检测，正好符合腿部在图像轮廓中近似为某一方向上的线段，在行走过程中相对于水平轴会发生较大幅度的角度变化的特性。这意味着Radon变换得到的特征参数能够反映出原始轮廓的大部分能量信息，既有步态的外观信息，又有动态信息，可有效降低自遮挡及影子带来的影响。

目前步态识别算法多数是基于形状信息的，其缺陷是当人体轮廓发生变化时(例如背包、物体与环境之间或者物体与物体之间的遮挡等)，单一形状特征识别不能取得满意的结果。

发明内容

为克服现有技术的不足，本发明的目的在于提出一种包含人体形态信息和运动信息的多源多特征融合的新型步态识别方法，以减少复杂背景、遮挡物等外界因素的干扰，对现实条件具备更好的自适应性，更为准确地提取能反映运动人体行走特征的有效信息，以提高步态识别正确率。该项发明为步态提取和识别提供了一种新的方案，有望获得可观的社会效益和经济效益，并为今后步态识别拓展新的思路。

本发明采用的技术方案是：基于人工神经网络的多源步态特征提取与身份识别方法，包括下列步骤：由摄像头和红外热释电传感器分别采集步态数据，对于摄像头获取的图像源信息，提取骨架特征参数和Radon变化峰值特征参数；对于红外热释电源信息，将采集到的电压信号转化为频域特征参数；将骨架特征参数和Radon变化峰值特征参数、频域特征参数分别经过降维和相应信号处理后进行融合，最后选用BP神经网络作为分类器对融合特征实现分类识别，并对识别效果给予评价。

所述对于摄像头获取的图像源信息，提取骨架特征参数和Radon变化峰值特征参数，进一步包括下列步骤：运动目标检测、步态周期的划分与关键帧提取、运动人体轮廓提取、骨架特征参数提取、Radon变换特征；

运动目标检测进一步包括：

(1)最小中位方差法背景建模：

[1]选定像素点位置(x，y)；

[2]令P＝0；

[3]依次计算(I¹ _(x，y)-P)²，(I² _(x，y)-P)²，…，(I^N _(x，y)-P)²；

[4]对计算结果排序，若N为偶数，取排序后第N/2和(N+1)/2个数的平均值，若N为奇数，则取第N/2个数，结果保存到数组med中，即med₀；

[5]P＝P+1，当P＜＝255，返回[3]，重复执行[3]、[4]、[5]，结果保存为med_P，否则执行[6]；

[6]找出med₀，med₁，…，med₂₅₅中的最小值，对应P的大小即为该像素点位置的背景灰度级；

[7]重新选择像素点位置，返回[2]重复执行，直到图像中所有像素点均计算完毕，用上述方法对R、G、B三个分量分别建模，经合成方可获得RGB格式的彩色背景图像；

(2)运动分割

利用间接差分函数来执行差分操作：

$f(a,b)=1-\frac{2\sqrt{(a+1)(b+1)}}{(a+1)+(b+1)}\×\frac{2\sqrt{(256-a)(256-b)}}{(256-a)+(256-b)}---\left(2\right)$

其中a，b分别表示当前图像与背景图像在同一像素点(x，y)处的灰度(强度)级，0≤f(a，b)≤1，0≤a，b≤255，该差分函数的灵敏度可随背景灰度级自动改变，

差分后通过阈值分割即可得到运动目标二值化图像：

$S_{(x,y)}=\left\{\begin{array}{cc}1& f(a_{(x,y)},b_{(x,y)})\≥T\\ 0& \mathrm{Otherwise}\end{array}\right.---\left(3\right)$

运动人体轮廓提取是从一个起始点开始，按照四连接或八连接关系逐点跟踪边界，输出每一步移动的方向，直到跟踪回到起始点为止，然后通过等间隔重采样，最终得到归一化的运动人体轮廓；

骨架特征参数提取是，通过关键点坐标建立人体骨架模型，并从中提取角度参数与位置参数，位置参数包括头顶部位的横纵坐标、髋部中心的横纵坐标、两膝盖处的坐标、两脚处的坐标，共10个。角度参数包括头顶与两脚构成的两个角度、髋部中点与两脚构成的两个角度、髋部中点与两膝盖构成的两个角度，共6个，各个角度参数的计算方法如下列公式：

$a1=\arctan \left(\frac{x1-x6}{y1-y4}\right)---\left(5\right)$

$a2=\arctan \left(\frac{x1-x5}{y1-y4}\right)---\left(6\right)$

$a3=\arctan \left(\frac{x2-x3}{y2-y3}\right)---\left(7\right)$

$a4=\arctan \left(\frac{x2-x5}{y2-y4}\right)---\left(8\right)$

$a5=\arctan \left(\frac{x2-x4}{y2-y3}\right)---\left(9\right)$

$a6=\arctan \left(\frac{x2-x6}{y2-y4}\right)---\left(10\right)$

将上述关键点坐标与由此衍生的6个角度参数合成为一个向量，计为G：

G＝[a1，a2，…a6，x1，x2，…x6，y1，y2…y4]；(11)

Radon变换特征是在平行于旋转坐标系中的y′轴方向上的线积分，形式如下：

$R_e\left(x^{\′}\right)={\∫}_{-\∞}^{\∞}f(x^{\′}\cos \mathrm{\θ}-y^{\′}\sin \mathrm{\θ},x^{\′}\sin \mathrm{\θ}+y^{\′}\cos \mathrm{\θ})d{y}^{\′}---\left(12\right)$

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]=\left[\begin{array}{cc}\cos \mathrm{\θ}& \sin \mathrm{\θ}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]---\left(13\right)$

所述对于红外热释电源信息，将采集到的电压信号转化为频域特征参数，进一步包括下列步骤：将热释电传感器PIR经热释电效应的电压输出，经电压放大，利用数据采集卡进行A/D转换，接入计算机进行数据分析，将时域信号通过傅立叶变换转换成频域信号，以此作为热释电红外源特征。

所述降维是在保留原始大部分信息量的基础上有效减少数据维数的数据PCA降维，具体步骤可归纳如下：

(1)原始数据标准化：

矩阵中的每个元素减去所在列的均值，然后除以所在列的标准差，使得每个变量标准化为均值为0，方差为1的矩阵X，即：

X＝[X₁，X₂，......X_n]^T＝[X_ij]_(n×p)(14)

其中，

X_ij＝(α_ij-A_j)/S′_j    i＝1，2，......n    j＝1，2，......p

$\stackrel{\‾}{A_j}=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{a}_{\mathrm{ij}},$ $S_j=\sqrt{\frac{1}{n-1}{\mathrm{\Σ}}_{i=1}^n{(a_{\mathrm{ij}}-{\stackrel{\‾}{A}}_j)}^2}---\left(15\right)$

(2)计算相关系数矩阵：

$R=\left[\begin{array}{cccc}{r}_{11}& r_{12}& \mathrm{\Λ}& r_{1p}\\ r_{21}& r_{22}& \mathrm{\Λ}& r_{2p}\\ M& M& M& M\\ r_{p1}& r_{p2}& \mathrm{\Λ}& r_{\mathrm{pp}}\end{array}\right]---\left(16\right)$

R是实对称矩阵(即r_ij＝r_ji)，其中r_ij(i，j＝1，2，……，p)是标准化后的变量X_i，X_j的相关系数。其定义是变量协方差除以变量的标准差(方差)，计算公式为：

$r_{\mathrm{ij}}=\frac{{\mathrm{\Σ}}_{k=1}^n(X_{\mathrm{ki}}-\stackrel{\‾}{X_i})(X_{\mathrm{kj}}-\stackrel{\‾}{X_j})}{\sqrt{{\mathrm{\Σ}}_{k=1}^n{(X_{\mathrm{ki}}-\stackrel{\‾}{X_i})}^2{\mathrm{\Σ}}_{k=1}^n{(X_{\mathrm{kj}}-\stackrel{\‾}{X_j})}^2}}---\left(17\right)$

式中：

分别表示原矩阵中X_i和X_j列各向量的均值。

(3)特征分解，求特征值与特征向量：

解特征方程|R-λE|＝0，求出相关系数矩阵R的特征值λ_i(i＝1，2，......p)，并将其按从大到小的顺序排列，即λ₁≥λ₂≥...≥λ_P；然后分别得到每个特征值λ_i对应的特征向量U_i(i＝1，2，......p)，。

(4)通过累计贡献率确定主成分：

累计贡献率的计算公式为：

${\mathrm{\η}}_l=\frac{{\mathrm{\Σ}}_{k=1}^l{\mathrm{\λ}}_k}{{\mathrm{\Σ}}_{k=1}^p{\mathrm{\λ}}_k}(l=\mathrm{1,2},...p)---\left(18\right)$

当累计贡献率达到某一阈值(本发明取85％)时，将此时所有前m个特征值λ₁，λ₂，...≥λ_m(m≤p)以及它们对应的特征向量保留下来，作为主成分，其余的均舍弃。

(5)计算得分矩阵

主成分特征值所对应的特征向量U＝U₁，U₂，...U_m构成新的矢量空间，作为新变量(主成分)的坐标轴，又称为载荷轴。利用下式计算得分矩阵：

F_(n×m)＝X_(n×p)·U_(p×m)(19)

其中，X是原数据矩阵，U是主成分载荷，得分矩阵F即为PCA降维后所得到的最终结果。它的每一行相当于原数据矩阵的所有行即原始变量构成的向量在主成分坐标轴即载荷轴上的投影，这些新的投影构成的向量就是主成分得分向量。

所述进行融合是采用特征层融合的思想对多源多步态特征进行了融合，针对同一步态序列，将利用不同算法分别提取的边界中心距特征与Radon变换参数特征进行融合，属于特征层的融合，融合的过程实质上就是将上述提取的两种特征拼接起来，合并成为一个特征向量，对于n个样本，令骨架特征矩阵为G_n×m1；不需降维处理，Radon变换峰值经降维后的特征矩阵为R_n×m2，热释电红外传感器频谱信号经降维后的特征矩阵为P_n×m3，将这三种特征以组合方式合并成一个新的特征矩阵，即H＝[F，R，P]，融合后的特征向量H可以直接被用来进行训练识别。

所述BP神经网络是选用多层前馈神经网络及误差逆传播学习算法Error BackPropagation，算法的核心是

1)前向计算——从输入层开始向后逐层计算输出，产生最终输出，并计算实际输出与目标输出的误差；

2)反向计算——从输出层开始向前逐层传播误差信号，修正权值，直到误差小于给定闽值。

对于q个输入学习样本P1，P2…，Pq，已知与其对应的输出样本为T1，T2，…Tq。学习的目的是用网络的实际输出A1，A2，…Aq与目标矢量T1，T2，…Tq之间的误差来修改权值，使A₁，1＝1，2，…，q，与期望的T1尽可能地接近；即使网络输出层的误差平方和大到最小，它是通过连续不断地在相对于误差函数斜率下降的方向上计算网络权值和偏差的变化而逐渐逼近目标的，每一次权值和偏差的变化都与网络误差的影响成正比，并以反向传播的方式传递到每一层，为了准确测试BP神经网络的识别能力，防止因局部数据坏点而影响识别效果，本发明采取了K折交叉验证的办法：将数据集分成K分，轮流将其中K-1份作为训练数据，1份作为测试数据，进行试验。每次试验都会得出相应的正确率，K次结果正确率的平均值作为对算法精度的估计。

本发明具有以下技术效果：本发明一方面，对视频序列通过目标检测分割出视频图像中的运动目标，运用边界跟踪算法提取出运动人体轮廓，对轮廓进行重采样及归一化处理，从中分别提取骨架特征参数和Radon变换峰值特征参数，以此表达人体的形态信息；另一方面，对由红外热释电传感器采集的人体电压信号进行频域变换，提取频域特征参数并以此表达人体的运动信息；最后，实现多源多特征的融合，并选用BP神经网络作为分类器进行分类识别，因而本发明融合了人行走时的形态信息和运动信息，因而对于衣着、携带品、遮挡物等人体轮廓变化具有较强的鲁棒性，能有效抑制复杂背景、光线等外界因素的干扰，对现实条件具备更好的自适应性，更为准确地提取能反映运动人体行走特征的有效信息，提高了步态识别正确率。

附图说明

图1、本发明技术流程图。

图2、本发明运动目标检测流程图。

图3、本发明边界跟踪算法示意图。

图4、本发明人体结构比例。

图5、本发明描绘人体骨架模型图。

图6、本发明轮廓中的角度与坐标。

图7、本发明Radon变换坐标示意图。

图8、本发明Radon变换特征向量。

图9、本发明采集系统整体结构。

图10、本发明三名受试者的频域信号。

角度参数包括头顶与两脚构成的两个角度、髋部中点与两脚构成的两个角度、髋部中点与两膝盖构成的两个角度，共6个，对应的如图5中1、2、3、4、5、6所示。

具体实施方式

提出了一种由多源步态信息进行步态表征的方法，包括由摄像头采集的步态视频和由红外热释电传感器捕获的人体红外电压信号，通过有效的步态特征提取，实现多源多特征的融合进行步态识别。所涉及到的关键技术包括：视频处理、红外热释电信号分析、图像处理、特征提取、模式识别等。其技术流程为：一方面，对视频序列通过目标检测分割出视频图像中的运动目标，运用边界跟踪算法提取出运动人体轮廓，对轮廓进行重采样及归一化处理，从中分别提取骨架特征参数和Radon变换峰值特征参数，以此表达人体的形态信息；另一方面，对由红外热释电传感器采集的人体电压信号进行频域变换，提取频域特征参数并以此表达人体的运动信息；最后，实现多源多特征的融合，并选用BP神经网络作为分类器进行分类识别。较之同类技术，该方法融合了人行走时的形态信息和运动信息，因而对于衣着、携带品、遮挡物等人体轮廓变化具有较强的鲁棒性，能有效抑制复杂背景、光线等外界因素的干扰，为今后探索更可靠的步态身份识别方法提供了新思路。

本发明有效利用了人行走时的红外热释电信号，通过热释电红外传感器探测人体发出的红外辐射并将其转化为电信号，在有效探测范围内实现对于运动人体的检测，弥补形状特征的不足。这项技术在防盗报警及自动照明控制等方面有广泛的应用。为安全级别较低场所的人体身份识别提供了一种低成本的方案。为了弥补了单一特征的不足，将上述提取的三种步态特征相融合，融合特征最终输入BP神经网络进行步态的分类识别。

下面结合附图和实施例进一步说明本发明。

本发明的研究基于人体步态图像分析与红外热释电信号分析，内容涉及：人体检测、步态特征提取以及身份识别等。图1所示为本发明的技术流程图：由摄像头和红外热释电传感器分别采集步态数据，对于图像源信息，提取骨架特征参数和Radon变化峰值特征参数；对于红外热释电源信息，将采集到的电压信号转化为频域特征参数。并将它们经过降维和相应信号处理后进行融合，最后选用BP神经网络作为分类器对融合特征实现分类识别，并对识别效果给予评价。

1.1.1.运动目标检测

要提取步态特征信息，就要涉及到复杂背景中的运动目标提取，这是进行步态识别的前期预处理。由于实际应用环境中往往存在着多种干扰，如阴影、光照、遮挡以及背景混乱等因素，这就对算法的实时性和可靠性提出了较高的要求。本发明采用的运动目标检测的具体流程如图2所示。

(1)最小中位方差法背景建模

最小中位方差法(LmedS)是以稳健统计为理论基础提出的一种算法。

若令I_(x，y) ^t表示采集的N帧序列图像，其中

t代表帧索引值(t＝1，2，…，N)，则背景B_(x，y)为：

$B_{(x,y)}={\min }_p\left\{{\mathrm{med}}_t{(I_{(x,y)}^t-P)}^2\right\}---\left(1\right)$

式中P是像素位置(x，y)处待确定的灰度值，其中med表示取中间值，min表示取最小值。对R、G、B三个分量分别建模，经合成获得RGB格式的彩色背景图像。

算法的具体流程为：

[8]选定像素点位置(x，y)；

[9]令P＝0；

[10]依次计算(I¹ _(x，y)-P)²，(I² _(x，y)-P)²，…，(I^N _(x，y)-P)²；

[11]对计算结果排序，若N为偶数，取排序后第N/2和(N+1)/2个数的平均值，若N为奇数，则取第N/2个数，结果保存到数组med中，即med₀；

[12]P＝P+1，当P＜＝255，返回[3]，重复执行[3]、[4]、[5]，结果保存为med_P，否则执行[6]；

[13]找出med₀，med₁，…，med₂₅₅中的最小值，对应P的大小即为该像素点位置的背景灰度级；

[14]重新选择像素点位置，返回[2]重复执行，直到图像中所有像素点均计算完毕。

用上述方法对R、G、B三个分量分别建模，经合成方可获得RGB格式的彩色背景图像。

(2)运动分割

利用间接差分函数来执行差分操作：

$f(a,b)=1-\frac{2\sqrt{(a+1)(b+1)}}{(a+1)+(b+1)}\×\frac{2\sqrt{(256-a)(256-b)}}{(256-a)+(256-b)}---\left(2\right)$

其中a，b分别表示当前图像与背景图像在同一像素点(x，y)处的灰度(强度)级，0≤f(a，b)≤1，0≤a，b≤255。该差分函数的灵敏度可随背景灰度级自动改变，这种自适应性提高了图像分割的准确度。

差分后通过阈值分割即可得到运动目标二值化图像：

$S_{(x,y)}=\left\{\begin{array}{cc}1& f(a_{(x,y)},b_{(x,y)})\≥T\\ 0& \mathrm{Otherwise}\end{array}\right.---\left(3\right)$

(3)形态学处理与连通域分析

由于天气、光照、影子等其他外界因素的影响，运动分割后的图像中难免会存在噪声，同时运动目标中会有少量点被误判为背景，因此还需要对图像做进一步处理，以获得最佳的分割效果。本发明使用形态学滤波来消除二值图像中的噪声并填补运动目标的缺失。作为一种常用的图像滤噪方法，形态学用于图像滤波的最基本运算是膨胀与腐蚀，由膨胀与腐蚀的相互组合又派生出另外两种运算：开运算与闭运算。开运算可平滑对象的凸轮廓，断开狭窄的连接，去掉细小的突起部分；闭运算可平滑对象的凹轮廓，将狭长的缺口连接成细长的弯口。利用这些性质可以实现滤波和填充空洞的目的。

形态学滤波处理后，仍可能存在部分杂散噪声形成大小不一的块，而真正的运动目标往往是这些块中最大的。因此对图像进一步进行连通域分析，目的在于仅保留图像中的运动目标。

1.1.2.步态周期的划分与关键帧提取

人的行走是一个周期性的行为，定义步态周期为：从足跟着地到同侧腿足跟再次着地所经历的时间，包括两个站立期和两个摆动期。为了提高效率，本发明利用人体的轮廓宽度随时间发生同步周期性改变的特性，通过人体轮廓的宽度变化信号来划分步态周期，并提取一个步态周期中两个极大值点作为关键帧，从而简化了研究过程。

1.1.3.运动人体轮廓提取

基于图像源的步态身份识别在很大程度上依赖于人体轮廓形状随时间的变化，轮廓提取的其实质就是边界跟踪，基本方法是从一个起始点开始，按照四连接或八连接关系逐点跟踪边界，输出每一步移动的方向，直到跟踪回到起始点为止，图3为这一过程的示意。然后通过等间隔重采样，最终得到归一化的运动人体轮廓。

1.1.4.骨架特征参数提取

人体的各部分的结构比例如图4所示。本发明的骨架模型是通过找关键点的方法建立的，所选的关键点位置包括头顶、髋部、两个膝盖处以及脚踝处。自头顶开始，依据各部分肢体占整个身高的比例关系，确定每个关键点的横、纵坐标。

通过关键点坐标建立人体骨架模型，如图5所示，并从中提取角度参数与位置参数。位置参数包括头顶部位的横纵坐标、髋部中心的横纵坐标、两膝盖处的坐标(纵坐标相同)、两脚处的坐标(纵坐标相同)，共10个。角度参数包括头顶与两脚构成的两个角度、髋部中点与两脚构成的两个角度、髋部中点与两膝盖构成的两个角度，共6个。

各个角度参数的计算方法如下列公式(参考图6)

$a1=\arctan \left(\frac{x1-x6}{y1-y4}\right)---\left(5\right)$

$a2=\arctan \left(\frac{x1-x5}{y1-y4}\right)---\left(6\right)$

$a3=\arctan \left(\frac{x2-x3}{y2-y3}\right)---\left(7\right)$

$a4=\arctan \left(\frac{x2-x5}{y2-y4}\right)---\left(8\right)$

$a5=\arctan \left(\frac{x2-x4}{y2-y3}\right)---\left(9\right)$

$a6=\arctan \left(\frac{x2-x6}{y2-y4}\right)---\left(10\right)$

将上述关键点坐标与由此衍生的6个角度参数合成为一个向量，计为G：

G＝[a1，a2，…a6，x1，x2，…x6，y1，y2…y4](11)

1.1.5.Radon变换特征

Radon变换具有迭加、线性、伸缩、延迟和旋转不变性，广泛用于图像中的线段检测。Radon变换的实质是图像矩阵在指定方向上的投影，投影可沿任意角度进行，通常情况下，f(x，y)的Radon变换是在平行于旋转坐标系中的y′轴方向上的线积分，形式如下：

$R_e\left(x^{\′}\right)={\∫}_{-\∞}^{\∞}f(x^{\′}\cos \mathrm{\θ}-y^{\′}\sin \mathrm{\θ},x^{\′}\sin \mathrm{\θ}+y^{\′}\cos \mathrm{\θ})d{y}^{\′}---\left(12\right)$

其中： $\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]=\left[\begin{array}{cc}\cos \mathrm{\θ}& \sin \mathrm{\θ}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]---\left(13\right)$

腿部在图像轮廓中近似为某一方向上的线段，Radon变换后在其垂直方向上的量值较大；人在行走的过程中，腿部相对于水平轴会发生较大幅度的角度变化。也就意味着Radon变换得到的特征参数能够反映出原始轮廓的大部分能量信息，且这些参数随着时间的推移发生显著变化，即表现为下肢的摆动。因此，通过学习和分析这些参数，可以得到关于个体形态和步态的重要信息。

图像Radon变换提取的特征既有步态的外观信息，又有动态信息，可有效降低自遮挡及影子带来的影响。这种算法的另一个显著的优势体现在，每一个Radon变换参数都包含了很多像素的集体贡献，因此不容易受到原轮廓图像的伪像素干扰所产生的影响。

图7描绘了Radon变换后的角度信息与下肢角度的关系。当积分方向与大腿所在线段垂直时，积分值最大。由于人行走过程中大小腿与竖直方向的角度在0°～60°的范围内变化，而侧影图像中其他方向上的像素点多为影子等噪声，所以本发明仅对图像在0°～60°、120°～180°的方向上进行Radon变换，分别得到两个区间上各角度峰值，并将二者合并得到特征向量，如图8所示。这样提取的特征信息不受身体自遮挡的影响，且有效的减少了运算量，相对于其他模型化的方法简单快速。

1.2热释电红外源特征提取

人的行走运动包含人体形态信息和运动信息。目前步态识别算法多数是基于形态信息的，但是当人体轮廓发生变化时，例如背包、遮挡等，单一形状特征识别不能取得满意的结果。热释电红外传感器能探测人体发出的红外辐射并将其转化为电信号，在有效探测范围内实现对于运动人体的检测，弥补形状特征的不足。

行走的人体经过热释电传感器(PIR)时，PIR因为热释电效应有微弱的电压输出，将电压放大，利用数据采集卡进行A/D转换，接入计算机进行数据分析。热释电红外传感器采集步态信息系统整体结构如图9所示。

通过比较，频域信号表现出比时域信号更为明显的个体差异，为此，本发明将时域信号通过傅立叶变换转换成频域信号，以此作为热释电红外源特征。图10所示为三名受试者的频域信号(横坐标表示频率(Hz)，纵坐标表示频域幅值)，可以看出，频谱主要出现在0-5Hz频率范围内，且表现出较为明显的个体差异。

1.3数据降维与特征融合策略

1.3.1PCA降维

为了减少运算量，剔除冗余信息，本发明将主成分分析(PCA)的思想运用于数据降维中，它能够在保留原始大部分信息量的基础上有效减少数据维数。

PCA降维过程的具体步骤可归纳如下：

(1)原始数据标准化：

为了消除数据间不同量纲、不同数量级的影响，需要对原始数据进行标准化处理，使其具有可比性。本发明标准化的方法为：矩阵中的每个元素减去所在列的均值，然后除以所在列的标准差，使得每个变量标准化为均值为0，方差为1的矩阵X，即：

X＝[X₁，X₂，......X_n]^T＝[X_ij]_(n×p)(14)

其中，

X_ij＝(α_ij-A_j)/S_j    i＝1，2，......n  j＝1，2，......p

$\stackrel{\‾}{A_j}=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{a}_{\mathrm{ij}},$ $S_j=\sqrt{\frac{1}{n-1}{\mathrm{\Σ}}_{i=1}^n{(a_{\mathrm{ij}}-{\stackrel{\‾}{A}}_j)}^2}---\left(15\right)$

(2)计算相关系数矩阵：

$R=\left[\begin{array}{cccc}{r}_{11}& r_{12}& \mathrm{\Λ}& r_{1p}\\ r_{21}& r_{22}& \mathrm{\Λ}& r_{2p}\\ M& M& M& M\\ r_{p1}& r_{p2}& \mathrm{\Λ}& r_{\mathrm{pp}}\end{array}\right]---\left(16\right)$

R是实对称矩阵(即r_ij＝r_ji)，其中r_ij(i，j＝1，2，……，p)是标准化后的变量X_i，X_j的相关系数。其定义是变量协方差除以变量的标准差(方差)，计算公式为：

$r_{\mathrm{ij}}=\frac{{\mathrm{\Σ}}_{k=1}^n(X_{\mathrm{ki}}-\stackrel{\‾}{X_i})(X_{\mathrm{kj}}-\stackrel{\‾}{X_j})}{\sqrt{{\mathrm{\Σ}}_{k=1}^n{(X_{\mathrm{ki}}-\stackrel{\‾}{X_i})}^2{\mathrm{\Σ}}_{k=1}^n{(X_{\mathrm{kj}}-\stackrel{\‾}{X_j})}^2}}---\left(17\right)$

式中：

分别表示原矩阵中X_i和X_j列各向量的均值。

(3)特征分解，求特征值与特征向量：

解特征方程|R-λE |＝0，求出相关系数矩阵R的特征值λ_i(i＝1，2，......p)，并将其按从大到小的顺序排列，即λ₁≥λ₂≥...≥λ_P；然后分别得到每个特征值λ_i对应的特征向量U_i(i＝1，2，......p)，

(4)通过累计贡献率确定主成分：

累计贡献率的计算公式为：

${\mathrm{\η}}_l=\frac{{\mathrm{\Σ}}_{k=1}^l{\mathrm{\λ}}_k}{{\mathrm{\Σ}}_{k=1}^p{\mathrm{\λ}}_k}(l=\mathrm{1,2},...p)---\left(18\right)$

当累计贡献率达到某一阈值(本发明取85％)时，将此时所有前m个特征值λ₁，λ₂，...≥λ_m(m≤p)以及它们对应的特征向量保留下来，作为主成分，其余的均舍弃。

(5)计算得分矩阵

主成分特征值所对应的特征向量U＝U₁，U₂，...U_m构成新的矢量空间，作为新变量(主成分)的坐标轴，又称为载荷轴。利用下式计算得分矩阵：

F_(n×m)＝X_(n×p)·U_(p×m)(19)

其中，X是原数据矩阵，U是主成分载荷，得分矩阵F即为PCA降维后所得到的最终结果。它的每一行相当于原数据矩阵的所有行(即原始变量构成的向量)在主成分坐标轴(载荷轴)上的投影，这些新的投影构成的向量就是主成分得分向量。

通过上面的步骤可以看出，PCA算法通过几个最大的主成分得分来近似反映原始数据阵的全部信息。这样做不仅达到降维的目的，而且大大减小了数据间的相关性，使数据得到优化重组。

1.3.2特征融合策略

单一步态特征往往不够稳定，鲁棒性也不强，不足于为识别提供足够的信息。鉴于此，本发明采用特征层融合的思想对多源多步态特征进行了融合。针对同一步态序列，将利用不同算法分别提取的边界中心距特征与Radon变换参数特征进行融合，属于特征层的融合。融合的过程实质上就是将上述提取的两种特征拼接起来，合并成为一个特征向量，从而获得比任何单一特征更准确、更完备和更有意义的信息，然后将此融合特征送入分类器进行分类识别，以获得识别效果的改善。

对于n个样本，令骨架特征矩阵为G_n×m1(不需降维处理)，Radon变换峰值经PCA降维后的特征矩阵为R_n×m2，热释电红外传感器频谱信号经PCA降维后的特征矩阵为P_n×m3，将这三种特征以组合方式合并成一个新的特征矩阵，即H＝[F，R，P]，融合后的特征向量H可以直接被用来进行训练识别。

1.4基于BP神经网络的步态识别

人工神经网络(Artificial Neural Network，ANN)是在人类对其大脑神经网络认识理解的基础上人工构造的能够实现某种功能的神经网络。它是基于模仿大脑神经网络结构和功能而建立的一种信息处理系统，具有高度的非线性。

本发明选用多层前馈神经网络及误差逆传播学习算法(Error Back Propagation)，简称为BP网络。BP人工神经网络按有导师的学习规则进行监督训练学习，当一对学习模式提供给网络后，神经元的激活值从输入层经过中间层向输出层传播，在输出层的各种神经元均获得网络的输入响应。并按照减小期望输出值与实际输出值之间误差的方向，从输出层经过中间层逐层修正各层的连接权值，最后回到输入层，所以称作“误差逆传播算法”。随着这种误差逆传播修正的不断进行，网络对输入模式响应的正确率也不断上升。最后在达到允许的误差范围内，网络达到平衡状态后自动收敛。

BP网络算法的核心是通过一边向后传播误差，一边向前修正误差的方式来不断调整网络参数(权值，阐值)，以实现或逼近所希望的输入输出矢量关系。它对每一个训练都进行两趟传播计算：

1)前向计算——从输入层开始向后逐层计算输出，产生最终输出，并计算实际输出与目标输出的误差；

2)反向计算——从输出层开始向前逐层传播误差信号，修正权值，直到误差小于给定闽值。对于q个输入学习样本P1，P2…，Pq，已知与其对应的输出样本为T1，T2，…Tq。

学习的目的是用网络的实际输出A1，A2，…Aq与目标矢量T1，T2，…Tq之间的误差来修改权值，使A1(1＝1，2，…，q)与期望的T1尽可能地接近；即使网络输出层的误差平方和大到最小。它是通过连续不断地在相对于误差函数斜率下降的方向上计算网络权值和偏差的变化而逐渐逼近目标的。每一次权值和偏差的变化都与网络误差的影响成正比，并以反向传播的方式传递到每一层。

为了准确测试BP神经网络的识别能力，防止因局部数据坏点而影响识别效果，本发明采取了K折交叉验证的办法。将数据集分成K分，轮流将其中(K-1)份作为训练数据，1份作为测试数据，进行试验。每次试验都会得出相应的正确率，K次结果正确率的平均值作为对算法精度的估计。

(一)有益效果

本发明的实验数据来源于CASIA步态数据库中的Dataset B，从中抽取20个人，仅考虑90°的视角，分两种状态：自然行走和背包行走。每个人作为一类，每类均含有多个样本，其中包括6个正常行走的步态周期和4个背包的步态周期。实验结果如表1所示：

表120位受试者识别结果统计

实验表明：

Radon变换特征是较为有效的步态特征，含有丰富的轮廓信息，能较全面的反映人的步态信息，表现出良好的识别效果；

骨架特征和红外热释电信号受轮廓变化的干扰较小，特别是后者，能有效抑制背包、遮挡物等外界环境的影响；

将三者融合后的融合特征用于识别可明显改善识别性能，由于结合了人体形态信息和运动信息，从而能够更加全面而有效地描述步态特征，为多特征融合步态识别的探索拓展了新的思路。

本发明提出一种新的步态识别方法，将基于图像源的Radon变换特征和骨架特征与基于热释电红外源的电压频域信号进行有效融合，以减少复杂背景等外界因素的干扰，对现实条件具备更好的自适应性，更为准确地提取能反映运动人体行走特征的有效信息，以提高步态识别正确率。

该项发明可为监控系统的有效使用及监控效果的可靠评价提供帮助，并获得可观的社会效益和公共安全服务的提升。且可集成应用于安防门禁系统中，从而使被监控区域的物理通道控制管理达到更高的安全级别，创造更为安全和谐的社会生活环境。最佳实施方案拟采用专利转让、技术合作或产品开发。

Claims (6)

1.一种基于人工神经网络的多源步态特征提取与身份识别方法，其特征是，包括下列步骤：由摄像头和红外热释电传感器分别采集步态数据，对于摄像头获取的图像源信息，提取骨架特征参数和Radon变化峰值特征参数；对于红外热释电源信息，将采集到的电压信号转化为频域特征参数；将骨架特征参数和Radon变化峰值特征参数、频域特征参数分别经过降维和相应信号处理后进行融合，最后选用BP神经网络作为分类器对融合特征实现分类识别，并对识别效果给予评价。

2.根据权利要求1所述的一种基于人工神经网络的多源步态特征提取与身份识别方法，其特征是，所述对于摄像头获取的图像源信息，提取骨架特征参数和Radon变化峰值特征参数，进一步包括下列步骤：运动目标检测、步态周期的划分与关键帧提取、运动人体轮廓提取、骨架特征参数提取、Radon变换特征；

运动目标检测进一步包括：

(1)最小中位方差法背景建模：

[1]选定像素点位置(x，y)；

[2]令P＝0；

[3]依次计算(I¹ _(x，y)-P)²，(I² _(x，y)-P)²，…，(I^N _(x，y)-P)²；

[4]对计算结果排序，若N为偶数，取排序后第N/2和(N+1)/2个数的平均值，若N为奇数，则取第N/2个数，结果保存到数组med中，即med₀；

[5]P＝P+1，当P＜＝255，返回[3]，重复执行[3]、[4]、[5]，结果保存为med_P，否则执行[6]；

[6]找出med₀，med₁，…，med₂₅₅中的最小值，对应P的大小即为该像素点位置的背景灰度级；

[7]重新选择像素点位置，返回[2]重复执行，直到图像中所有像素点均计算完毕，用上述方法对R、G、B三个分量分别建模，经合成方可获得RGB格式的彩色背景图像；

(2)运动分割

利用间接差分函数来执行差分操作：

$f(a,b)=1-\frac{2\sqrt{(a+1)(b+1)}}{(a+1)+(b+1)}\×\frac{2\sqrt{(256-a)(256-b)}}{(256-a)+(256-b)}---\left(2\right)$

其中a，b分别表示当前图像与背景图像在同一像素点(x，y)处的灰度(强度)级，0≤f(a，b)≤1，0≤a，b≤255，该差分函数的灵敏度可随背景灰度级自动改变，

差分后通过阈值分割即可得到运动目标二值化图像：

$S_{(x,y)}=\left\{\begin{array}{cc}1& f(a_{(x,y)},b_{(x,y)})\≥T\\ 0& \mathrm{Otherwise}\end{array}\right.---\left(3\right)$

运动人体轮廓提取是从一个起始点开始，按照四连接或八连接关系逐点跟踪边界，输出每一步移动的方向，直到跟踪回到起始点为止，然后通过等间隔重采样，最终得到归一化的运动人体轮廓；

骨架特征参数提取是，通过关键点坐标建立人体骨架模型，并从中提取角度参数与位置参数，位置参数包括头顶部位的横纵坐标、髋部中心的横纵坐标、两膝盖处的坐标、两脚处的坐标，共10个。角度参数包括头顶与两脚构成的两个角度、髋部中点与两脚构成的两个角度、髋部中点与两膝盖构成的两个角度，共6个，各个角度参数的计算方法如下列公式：

$a1=\arctan \left(\frac{x1-x6}{y1-y4}\right)---\left(5\right)$

$a2=\arctan \left(\frac{x1-x5}{y1-y4}\right)---\left(6\right)$

$a3=\arctan \left(\frac{x2-x3}{y2-y3}\right)---\left(7\right)$

$a4=\arctan \left(\frac{x2-x5}{y2-y4}\right)---\left(8\right)$

$a5=\arctan \left(\frac{x2-x4}{y2-y3}\right)---\left(9\right)$

$a6=\arctan \left(\frac{x2-x6}{y2-y4}\right)---\left(10\right)$

将上述关键点坐标与由此衍生的6个角度参数合成为一个向量，计为G：

G＝[a1，a2，…a6，x1，x2，…x6，y1，y2…y4]；                    (11)

Radon变换特征是在平行于旋转坐标系中的y′轴方向上的线积分，形式如下：

$R_e\left(x^{\′}\right)={\∫}_{-\∞}^{\∞}f(x^{\′}\cos \mathrm{\θ}-y^{\′}\sin \mathrm{\θ},x^{\′}\sin \mathrm{\θ}+y^{\′}\cos \mathrm{\θ})d{y}^{\′}---\left(12\right)$

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]=\left[\begin{array}{cc}\cos \mathrm{\θ}& \sin \mathrm{\θ}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]---\left(13\right).$

3.根据权利要求1所述的一种基于人工神经网络的多源步态特征提取与身份识别方法，其特征是，所述对于红外热释电源信息，将采集到的电压信号转化为频域特征参数，进一步包括下列步骤：将热释电传感器PIR经热释电效应的电压输出，经电压放大，利用数据采集卡进行A/D转换，接入计算机进行数据分析，将时域信号通过傅立叶变换转换成频域信号，以此作为热释电红外源特征。

4.根据权利要求1所述的一种基于人工神经网络的多源步态特征提取与身份识别方法，其特征是，所述降维是在保留原始大部分信息量的基础上有效减少数据维数的数据PCA降维，具体步骤可归纳如下：

(1)原始数据标准化：

矩阵中的每个元素减去所在列的均值，然后除以所在列的标准差，使得每个变量标准化为均值为0，方差为1的矩阵X，即：

X＝[X₁，X₂，......X_n]^T＝[X_ij]_(n×p)             (14)

其中，

X_ij＝(a_ij-A_j)/S_j    i＝1，2，......n  j＝1，2，......p

$\stackrel{\‾}{A_j}=\frac{1}{n}{\mathrm{\Σ}}_{i-1}^n{a}_{\mathrm{ij}},S_j=\sqrt{\frac{1}{n-1}{\mathrm{\Σ}}_{i=1}^n{(a_{\mathrm{ij}}-{\stackrel{\‾}{A}}_j)}^2}---\left(15\right)$

(2)计算相关系数矩阵：

$R=\left[\begin{array}{cccc}{r}_{11}& r_{12}& \mathrm{\Λ}& r_{1p}\\ r_{21}& r_{22}& \mathrm{\Λ}& r_{2p}\\ M& M& M& M\\ r_{p1}& r_{p2}& \mathrm{\Λ}& r_{\mathrm{pp}}\end{array}\right]---\left(16\right)$

R是实对称矩阵(即r_ij＝r_ji)，其中r_ij(i，j＝1，2，……，p)是标准化后的变量X_i，X_j的相关系数。其定义是变量协方差除以变量的标准差(方差)，计算公式为：

$r_{\mathrm{ij}}=\frac{{\mathrm{\Σ}}_{k=1}^n(x_{\mathrm{ki}}-\stackrel{\‾}{X_i})(X_{\mathrm{kj}}-\stackrel{\‾}{X_j})}{\sqrt{{\mathrm{\Σ}}_{k=1}^n{(X_{\mathrm{ki}}-\stackrel{\‾}{X_i})}^2{\mathrm{\Σ}}_{k=1}^n{\left(X_{\mathrm{kj}}\stackrel{\‾}{X_j}\right)}^2}}---\left(17\right)$

式中：

分别表示原矩阵中X_i和X_j列各向量的均值；

(3)特征分解，求特征值与特征向量：

解特征方程|R-λE|＝0，求出相关系数矩阵R的特征值λ_i(i＝1，2，......p)，并将其按从大到小的顺序排列，即λ₁≥λ₂≥...≥λ_P；然后分别得到每个特征值λ_i对应的特征向量U_i(i＝1，2，......p)，

(4)通过累计贡献率确定主成分：

累计贡献率的计算公式为：

${\mathrm{\η}}_l=\frac{{\mathrm{\Σ}}_{k=1}^l{\mathrm{\λ}}_k}{{\mathrm{\Σ}}_{k=1}^p{\mathrm{\λ}}_k}(l=\mathrm{1,2},...p)---\left(18\right)$

当累计贡献率达到取85％阈值时，将此时所有前m个特征值λ₁，λ₂，...≥λ_m(m≤p)以及它们对应的特征向量保留下来，作为主成分，其余的均舍弃；

(5)计算得分矩阵

主成分特征值所对应的特征向量U＝U₁，U₂，...U_m构成新的矢量空间，作为新变量(主成分)的坐标轴，又称为载荷轴。利用下式计算得分矩阵：

F_(n×m)＝X_(n×p)·U_(p×m)             (19)

其中，X是原数据矩阵，U是主成分载荷，得分矩阵F即为PCA降维后所得到的最终结果。它的每一行相当于原数据矩阵的所有行即原始变量构成的向量在主成分坐标轴即载荷轴上的投影，这些新的投影构成的向量就是主成分得分向量；

(6)原始数据标准化：

矩阵中的每个元素减去所在列的均值，然后除以所在列的标准差，使得每个变量标准化为均值为0，方差为1的矩阵X，即：

X＝[X₁，X₂，......X_n]^T＝[X_ij]_(n×p)             (14)

其中，

X_ij＝(a_ij-A_j)/S_j    i＝1，2，......n    j＝1，2，......p

$\stackrel{\‾}{A_j}=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{a}_{\mathrm{ij}},$ $S_j=\sqrt{\frac{1}{n-1}{\mathrm{\Σ}}_{i=1}^n{(a_{\mathrm{ij}}-{\stackrel{\‾}{A}}_j)}^2}---\left(15\right)$

(7)计算相关系数矩阵：

$R=\left[\begin{array}{cccc}{r}_{11}& r_{12}& \mathrm{\Λ}& r_{1p}\\ r_{21}& r_{22}& \mathrm{\Λ}& r_{2p}\\ M& M& M& M\\ r_{p1}& r_{p2}& \mathrm{\Λ}& r_{\mathrm{pp}}\end{array}\right]---\left(16\right)$

R是实对称矩阵(即r_ij＝r_ji)，其中r_ij(i，j＝1，2，……，p)是标准化后的变量X_i，X_j的相关系数。其定义是变量协方差除以变量的标准差(方差)，计算公式为：

$r_{\mathrm{ij}}=\frac{{\mathrm{\Σ}}_{k=1}^n(x_{\mathrm{ki}}-\stackrel{\‾}{X_i})(X_{\mathrm{kj}}-\stackrel{\‾}{X_j})}{\sqrt{{\mathrm{\Σ}}_{k=1}^n{(X_{\mathrm{ki}}-\stackrel{\‾}{X_i})}^2{\mathrm{\Σ}}_{k=1}^n{\left(X_{\mathrm{kj}}\stackrel{\‾}{X_j}\right)}^2}}---\left(17\right)$

式中： 分别表示原矩阵中X_i和X_j列各向量的均值；

(8)特征分解，求特征值与特征向量：

解特征方程|R-λE|＝0，求出相关系数矩阵R的特征值λ_i(i＝1，2，......p)，并将其按从大到小的顺序排列，即λ₁≥λ₂≥...≥λ_P；然后分别得到每个特征值λ_i对应的特征向量U_i(i＝1，2，......p)，

(9)通过累计贡献率确定主成分：

累计贡献率的计算公式为： ${\mathrm{\η}}_l=\frac{{\mathrm{\Σ}}_{k=1}^l{\mathrm{\λ}}_k}{{\mathrm{\Σ}}_{k=1}^p{\mathrm{\λ}}_k}(l=\mathrm{1,2},...p)---\left(18\right)$

当累计贡献率达到85％阈值时，将此时所有前m个特征值λ₁，λ₂，...≥λ_m(m≤p)以及它们对应的特征向量保留下来，作为主成分，其余的均舍弃；

(10)计算得分矩阵

主成分特征值所对应的特征向量U＝U₁，U₂，...U_m构成新的矢量空间，作为新变量(主成分)的坐标轴，又称为载荷轴。利用下式计算得分矩阵：

F_(n×m)＝X_(n×p)·U_(p×m)                  (19)

其中，X是原数据矩阵，U是主成分载荷，得分矩阵F即为PCA降维后所得到的最终结果。它的每一行相当于原数据矩阵的所有行即原始变量构成的向量在主成分坐标轴即载荷轴上的投影，这些新的投影构成的向量就是主成分得分向量。

5.根据权利要求1所述的一种基于人工神经网络的多源步态特征提取与身份识别方法，其特征是，所述进行融合是采用特征层融合的思想对多源多步态特征进行了融合，针对同一步态序列，将利用不同算法分别提取的边界中心距特征与Radon变换参数特征进行融合，属于特征层的融合，融合的过程实质上就是将上述提取的两种特征拼接起来，合并成为一个特征向量，对于n个样本，令骨架特征矩阵为G_n×m1；不需降维处理，Radon变换峰值经降维后的特征矩阵为R_n×m2，热释电红外传感器频谱信号经降维后的特征矩阵为P_n×m3，将这三种特征以组合方式合并成一个新的特征矩阵，即H＝[F，R，P]，融合后的特征向量H可以直接被用来进行训练识别。

6.根据权利要求1所述的一种基于人工神经网络的多源步态特征提取与身份识别方法，其特征是，

所述BP神经网络是选用多层前馈神经网络及误差逆传播学习算法Error BackPropagation，算法的核心是

1)前向计算——从输入层开始向后逐层计算输出，产生最终输出，并计算实际输出与目标输出的误差；

2)反向计算——从输出层开始向前逐层传播误差信号，修正权值，直到误差小于给定闽值。

对于q个输入学习样本P1，P2…，Pq，已知与其对应的输出样本为T1，T2，…Tq。学习的目的是用网络的实际输出A1，A2，…Aq与目标矢量T1，T2，…Tq之间的误差来修改权值，使A₁，1＝1，2，…，q，与期望的T1尽可能地接近；即使网络输出层的误差平方和大到最小，它是通过连续不断地在相对于误差函数斜率下降的方向上计算网络权值和偏差的变化而逐渐逼近目标的，每一次权值和偏差的变化都与网络误差的影响成正比，并以反向传播的方式传递到每一层，为了准确测试BP神经网络的识别能力，防止因局部数据坏点而影响识别效果，本发明采取了K折交叉验证的办法：将数据集分成K分，轮流将其中K-1份作为训练数据，1份作为测试数据，进行试验。每次试验都会得出相应的正确率，K次结果正确率的平均值作为对算法精度的估计。

Images