CN104063702A - 一种基于遮挡修复和局部相似性匹配的三维步态识别方法 - Google Patents

Abstract

本发明公开了一种基于遮挡修复和局部相似性匹配的三维步态识别方法，利用单个深度摄像机采集的步态深度图像进行运动人体检测，深度数据滤波修复，点云数据提取、精减和三维人体表面建模。对一个周期内所有三维表面步态模型运用局部相似性匹配方法进行各视角局部公共步态特征提取和融合；运用基于先验知识和奇异值分解的遮挡变换修复模型，完成步态遮挡区域数据的修复，从而分类完成有遮挡条件下的多视角的三维步态分类识别。本发明解决了当前的步态识别方法无法很好地解决单个摄像机下步态表面模型点云精减重建和遮挡条件下多视角步态识别的问题；为遮挡条件下视角可变步态识别提供了一种新的手段，具有很好的经济和社会效益。

Description

一种基于遮挡修复和局部相似性匹配的三维步态识别方法

技术领域

本发明涉及生物特征识别领域，基于遮挡修复和局部相似性匹配的三维步态识别方法。

背景技术

当前步态识别过程中步态图像的采集主要依靠普通摄像头，得到的为二维步态图像，对二维步态图像进行周期检测和特征提取后，可进行特定视角的步态识别。

另一种方法采用多个摄像机或立体摄像机进行步态图像数据采集和三维重建，提取三维空间下的步态特征进行步态识别。

二维视频获取和处理相对简单，但采用二维图像进行步态识别时，如果出现遮挡或视角大幅变化时，其识别率会大幅下降，严重影响其在反恐、安保方面的实用性。而采用多个摄像机或立体摄像机进行三维重建的方法，存在计算复杂，设备成本高等问题，导致其实用性不强，往往局限于实验室环境下。而且一般三维步态识别方法无法解决有遮挡时的步态识别问题，这使得步态识别的研究与实际应用受到很大限制。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种基于遮挡修复和局部相似性匹配的三维步态识别方法，解决当前的步态识别方法无法很好地解决遮挡条件下多视角步态识别的问题。

为解决上述技术问题，本发明所采用的技术方案是：一种基于遮挡修复和局部相似性匹配的三维步态识别方法，包括以下步骤：

A、对单个深度摄像机采集到的深度图像进行背景剔除和小波的软阀值滤波，得到滤波修复后的步态深度图像；

B、利用滤波修复后的步态深度图像进行三维步态点云数据提取，并通过基于高斯和平均曲率熵值的点云精减方法完成三维表面特征建模，得到三维步态表面模型；

C、对三维步态表面模型，运用局部相似性匹配方法进行各视角公共步态特征数据提取，将各视角步态周期内所有公共步态特征分别进行数据融合，生成三维局部融合步态模型，利用各视角三维局部融合步态模型得到多视角三维局部融合步态特征库；

D、对各视角三维局部融合步态模型按解剖学原理进行分块，按视角提取待训练三维局部融合步态模型中各分块轮廓线，并运用Fourier描述子分别完成特征提取和聚类，以此为基础实现遮挡识别时的步态遮挡区域检测和定位；

E、运用遮挡变换修复模型，完成步态遮挡区域数据的修复，得到遮挡修复后的三维局部融合步态模型；

F、对遮挡修复后的三维局部融合步态模型，分类完成有遮挡条件下的视角可变三维步态识别。

所述步骤A中，滤波修复后的步态深度图像获取过程如下：

1)使用Kinect深度摄像机获取场景的深度图像，建立深度图像的背景模型，利用深度图像帧间差异法和背景剪除法获得人体步态深度图像；或者，直接利用Kinect深度摄像机获取的深度图像，对深度图像做人体边缘检测算法，再运用人体模板匹配方法，将人体步态数据从深度图像中抠出，实现与背景无关的人体步态数据提取，得到人体步态深度图像；

2)令上述人体步态深度图像像素点数为N＝2^J，对人体步态深度图像进行分辨率为L的小波变换，得到各分辨率下的小波系数W_j,i；其中，0≤L<J，j＝L,L+1,...,J-1，i＝1,...,2^j；

3)对小波系数进行软阀值去噪处理，得到软阀值去噪处理后的系数

${\tilde{W}}_{j,i}=\left\{\begin{array}{cc}{W}_{j,i}-\mathrm{\&lambda;}& W_{j,i}\&GreaterEqual;\mathrm{\&lambda;}\\ 0& \left|W_{j,i}\right|<\mathrm{\&lambda;}\\ W_{j,i}+\mathrm{\&lambda;}& W_{j,i}\&le;-\mathrm{\&lambda;}\end{array}\right.;$

其中，σ为人体步态深度图像噪声的标准差；

4)进行小波逆变换：对阀值去噪处理后的小波系数做小波逆变换，得到滤波后的步态深度图像。

所述步骤B中，三维步态表面模型获取过程如下：

1)计算滤波修复后的步态深度图像所有点像素所对应的空间三维坐标，得到三维步态点云数据；

2)利用包围盒法对三维步态点云数据进行分割，得到任一点云P和它的L个近邻点；

3)计算点云P的高斯曲率和平均曲率，并将点云P的高斯曲率和平均曲率都归一化至[0 2^T]：{k^P,h^P}；其中，k为高斯曲率，h为平均曲率；

4)定义二元特征组概率P_kh：P_kh＝f(k,h)/N，f(k,h)表示高斯曲率为k，平均曲率为h的二元特征组出现的频数，N为点云总数；利用高斯曲率和平均曲率二元特征组概率P_kh计算所有点云的二维曲率平均熵值H：

$H=\underset{k=0}{\overset{2^T}{\mathrm{\&Sigma;}}}\underset{h=0}{\overset{2^T}{\mathrm{\&Sigma;}}}{P}_{\mathrm{kh}}\log P_{\mathrm{kh}};$

5)令信息熵阀值i_g＝εH，每个点云的信息熵i_q为：当i_q<i_g时，删除i_q；否则，保留i_q；得到点云精减后的模型；其中，q＝1,2,...，N，为点云q的高斯曲率和平均曲率二元特征组概率；

6)找到点云精减后人体步态模型的头顶和脚底，在头顶和脚底之间插入n个等分平面，将每两个相邻的平面之间所有点云的高度Y值统一；找到点云精减后人体步态模型的最左侧和最右侧，在最左侧和最右侧之间插入m个等分平面，将每两个相邻的平面之间所有点云的横坐标X值统一，完成切面轮廓点云数据重新排列和采样，得到离散化后的三维步态点云数据z_r；z_r＝f(x,y)；其中，1≤x≤m,1≤y≤n；

7)三维步态表面模型为：P＝{(x,y,z_r),1≤x≤m,1≤y≤n,z_r＝f(x,y),r＝1...N(x,y)}；N(x,y)为具有相同离散(x,y)坐标的点云数。

所述步骤C中，各视角三维局部融合步态模型提取过程如下：

1)对β视角下三维步态表面模型P_β进行旋转变换，由β视角旋转至θ视角，得到θ视角的点云表面模型P_θ为：P_θ＝P_β×R_β→θ；其中，R_β→θ为三维空间β视角旋转至θ视角的旋转变换矩阵；

$R_{(\mathrm{\&beta;}\&RightArrow;\mathrm{\&theta;})}=\left[\begin{array}{cccc}\cos (\mathrm{\&theta;}-\mathrm{\&beta;})& \sin (\mathrm{\&theta;}-\mathrm{\&beta;})& 0& 0\\ -\sin (\mathrm{\&theta;}-\mathrm{\&beta;})& \cos (\mathrm{\&theta;}-\mathrm{\&beta;})& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$

2)利用分层迭代选权滤波方法去除θ视角三维步态表面模型P_β自遮挡数据，从而保留公共面数据，完成局部视角相似性特征提取；

3)通过三维旋转和迭代选权滤波，得到训练视角β与θ视角的公共步态特征模型为公共步态特征模型点云w三维坐标，W为迭代选权滤波后保留的点云总数；

4)令一个步态周期有Q帧人体步态深度图像，对一个周期内所有步态深度图分别进行三维步态表面模型重建，并重复上述步骤1)～步骤4)，提取训练视角β与θ视角步态周期内所有帧的Q个公共步态特征模型；其中，β-45°≤θ≤β+45°；

5)提取上述训练视角β与θ的Q个公共步态特征模型的质心： $\mathrm{\&mu;}\left(P_{\mathrm{\&beta;}\&RightArrow;\mathrm{\&theta;}}\right)=\{\mathrm{\&mu;}\left(p_{\mathrm{\&beta;}\&RightArrow;\mathrm{\&theta;}}^i\right),i=1...Q\};$

6)选取步态周期内第一个公共步态特征模型为参考模型，计算训练视角β与θ的Q个公共步态特征模型与参考模型的平移变换矩阵：Tⁱ,i＝1...Q；

7)利用平移变换矩阵计算出质心对齐的各视角三维局部融合步态模型： $M_{\mathrm{\&beta;}\&RightArrow;\mathrm{\&theta;}}=\{U(p_{\mathrm{\&beta;}\&RightArrow;\mathrm{\&theta;}}^i+T^i),i=1...Q\}.$

所述步骤D中，遮挡识别时的步态遮挡区域检测和定位方法包括以下步骤：

1)对θ视角下的三维局部融合步态模型，以X-Y平面为参考面进行离散化，离散投影到X-Y平面中，得到二维离散步态图像；

2)对二维离散步态图按像素dx，dy步进由上到下，由左至右划分为S个小块，计算所有小块的点云平均密度D_mean；同时按小块为单位计算位于j块内所有点云数量D_j，通过将每个小块对应成一个像素点，点云数量D_j对应成像素点的灰度值，得到一幅二维步态图，图像大小为(1/dx,1/dy)；

3)对二维步态图以像素为基本单位由上而下进行扫描，计算每个像素的相对点云密度E_j：E_j＝D_j/D_mean，j＝1...S，D_j表示第j个小块内所有点云数；

4)将像素点对应的相对点云密度值归一化至[0 255]，替换像素点原来的灰度值，最终得到θ视角下的步态点云密度能量图；通过对各角度步态点云密度能量图的提取，得到多视角局部融合步态模型库的二维步态特征，表示为点云密度能量图并将作为步态识别的全局特征；其中θ为步态视角，c为类别，c＝1,...,C，C为总分类数；

5)将上述步态的全局特征由上而下按解剖学原理分成G块，并依次提取各分块的轮廓和轮廓质心，以△Φ为步进，顺时针方向提取各质心到相应轮廓边沿的距离向量，得到V个离散向量：{x(v)+y(v)i|v＝0...V-1}；对所述V个离散向量进行离散傅立叶变换，并以z(η)作为傅立叶轮廓描述子：

$z\left(\mathrm{\&eta;}\right)=\underset{v=2}{\overset{V-1}{\mathrm{\&Sigma;}}}(x\left(v\right)+\mathrm{iy}\left(v\right))e^{-j\frac{2\mathrm{\&pi;}}{V}\mathrm{\&eta;m}};$

其中，η＝0,1,...,V-1；

6)对傅立叶轮廓描述子进行树聚类分析，得到多个有向聚类树，并以每个有向树的根作为该聚类的中心；

7)计算待检测的分块轮廓与所有聚类中心的距离L_i,i＝1...K，其中K为聚类数，当待检测的分块轮廓与所有聚类中的距离最小值大于所有树根之间距离d_ij的最大值时，即Min(L_i)>Max(d_ij),i,j＝1...K时，判定该待检测的分块轮廓存在遮挡情况，需要修复；否则无需修复。

所述步骤E中，步态遮挡区域数据的修复过程如下：

1)产生步态遮挡模型，以步态遮挡模型，作为待学习的先验知识，通过学习训练得到遮挡投影矩阵和与遮挡无关步态特征矩阵；

首先，以视角进行分组，将人体步态点云密度能量图按解剖学原理，依据身体各部分比例关系，由上至下共分为N′块；令为人为去除第t块内所有点云密度数据后的步态点云密度能量图；

然后，将θ视角下所有C个样本的C×N′种有数据缺失步态点云密度能量图和C个完整步态点云密度能量图作为训练样本，构造矩阵，并对该矩阵进行奇异值分解，求解得到步态遮挡无关特征向量的投影矩阵P^r和遮挡无关的步态特征ω；ω＝[ω⁰...ω^C]； $P^r=\left[\begin{array}{c}{P}^r\\ 0\\ \&CenterDot;\\ \&CenterDot;\\ \&CenterDot;\\ P^r\\ N^{\&prime;}\end{array}\right]:$

2)利用遮挡投影矩阵完成遮挡数据变换和修复：

当已知第n′块数据为被遮挡模型，将第n′块数据转换为第m′块数据为被遮挡模型时有： $A_{c,m^{\&prime;}}^{\mathrm{\&theta;}}=P_{m^{\&prime;}}^r\&CenterDot;{\left(P_{n^{\&prime;}}^r\right)}^{-}\&CenterDot;A_{c,n^{\&prime;}}^{\mathrm{\&theta;}},$ 其中为逆矩阵； $A_{c,n^{\&prime;}}^{\mathrm{\&theta;}}=P_{n^{\&prime;}}^r\&CenterDot;{\mathrm{\&omega;}}^c;$ 取m′＝0时，投影得到的即为完整的未被遮挡模型；

3)投影矩阵P^r即为要求的模型参数，利用投影矩阵，取m′＝0，利用完成遮挡步态的变换修复；

4)当检测出未知步态序列X的人体步态点云密度能量图第n′块数据存在遮挡时，先屏蔽删除步态点云密度能量图第n′块内所有数据，得到去除第n′块内数据的步态点云密度能量图利用训练得到的投影矩阵P^r和公式计算得到修复后的未遮挡步态模型，再进行分类识别。

所述步骤F中，视角可变三维步态识别过程如下：

1)当识别未知步态序列X时，计算出该步态数据视角，在数据库中找到最相近视角的训练特征集；提取一个步态周期内遮挡修复后的三维局部融合步态模型的质心轨迹，利用最小二乘法来进行直线拟和，直线的斜率k',则步态行走视角为：Ф＝argtank'；

2)对上述一个步态周期检测完成后的未知步态序列X依次进行三维精减重建，β与Ф视角局部相似性匹配，以提取公共视角步态特征，最终生成Ф视角局部融合步态模型；

3)对Ф视角局部融合步态模型进行遮挡检测和修复，得到未知步态序列X修复后的人体步态点云密度能量图

4)选取对应视角局部步态模型训练集进行分类识别：

令最终的步态全局特征表示为θ为视角，c为类别，定义两类步态的欧式距离：

$\mathrm{Dis}(A_{x,0}^{\mathrm{\&theta;}},A_c^{\mathrm{\&theta;}})=\sqrt{{|A_{x,0}^{\mathrm{\&theta;}}-A_c^{\mathrm{\&theta;}}|}^2},c=1,...,C;$

其中C为分类数；三维步态X∈δ类，满足：

$\mathrm{\&delta;}=\arg \left(\underset{c=1...C}{\min }\mathrm{Dis}(A_{x,0}^{\mathrm{\&theta;}},A_c^{\mathrm{\&theta;}})\right).$

与现有技术相比，本发明所具有的有益效果为：本发明利用单个深度摄像机采集的步态深度图像进行运动人体检测，深度数据滤波修复，点云数据提取、精减和三维人体表面建模。对一个周期内所有三维表面步态模型运用局部相似性匹配方法进行各视角局部公共步态特征提取；运用基于先验知识和奇异值分解的遮挡变换修复模型，完成步态遮挡区域数据的修复，从而分类完成有遮挡条件下的多视角的三维步态分类识别。解决了单个深度摄像机下步态表面模型点云精减重建和遮挡条件下多视角步态识别问题；为遮挡条件下视角可变步态识别提供了一种新的手段，将其应用于安防和反恐等监控领域，具有很好的经济和社会效益。

附图说明

图1为本发明实施例基于遮挡修复和局部相似性匹配的三维步态识别方法流程图；

图2(a)为基于Kinect系统的世界坐标系；

图2(b)为基于Kinect系统的三维人体表面模型；

图3(a)原始点云；图3(b)精减熵阀值ε＝0.1时基于高斯和平均曲率二维熵值的三维点云数据精减示意图；图3(c)精减熵阀值ε＝0.2时基于高斯和平均曲率二维熵值的三维点云数据精减示意图；图3(d)精减熵阀值ε＝0.3时基于高斯和平均曲率二维熵值的三维点云数据精减示意图；图3(e)精减熵阀值ε＝0.4时基于高斯和平均曲率二维熵值的三维点云数据精减示意图；

图4为本发明实施例中分层迭代选权滤波方法示意图；

图5为本发明实施例中人体步态点云密度能量图；

图6为步态表面模型分块和轮廓分块提取示意图；

图7为本发明实施例中基于先验知识和奇异值分解遮挡变换修复示意图；

图8为基于遮挡修复和视角可变步态识别方法与2D视角变换方法，3D视角变换方法识别结果对比。

具体实施方式

如图1所示，本发明方法包括以下步骤：

A、对单个深度摄像机采集到的深度图像进行背景剔除和小波的软阀值滤波，得到滤波修复后的步态深度图像；

B、利用滤波修复后的步态深度图像进行三维步态点云数据提取，并通过基于高斯和平均曲率熵值的点云精减方法完成三维表面特征建模，得到三维步态表面模型；

C、对三维步态表面模型，运用局部相似性匹配方法进行各视角公共步态特征数据提取，将各视角步态周期内所有公共步态特征分别进行数据融合，生成三维局部融合步态模型，利用各视角三维局部融合步态模型得到多视角三维局部融合步态特征库；

D、对各视角三维局部融合步态模型按解剖学原理进行分块，按视角提取待训练三维局部融合步态模型中各分块轮廓线，并运用Fourier描述子分别完成特征提取和聚类，以此为基础实现遮挡识别时的步态遮挡区域检测和定位；

E、运用遮挡变换修复模型，完成步态遮挡区域数据的修复，得到遮挡修复后的三维局部融合步态模型；

F、对遮挡修复后的三维局部融合步态模型，分类完成有遮挡条件下的视角可变三维步态识别。

步骤A具体过程如下：

A1、步态识别只需要去除了背景的人体步态图像信息，因此要对场景深度图像的背景进行剔除，并进行深度图像增强处理，得到较为完整的人体步态深度图像。

方法1：使用Kinect深度摄像机获取场景的深度图像，建立深度图的背景模型，利用深度图像帧间差异法和背景剪除法获得人体步态深度图像。

方法2：直接利用Kinect深度摄像机获取的深度图像，对其做人体边缘检测算法，再运用人体模板匹配方法，将人体步态数据从深度图像中抠出，做到与背景无关的人体步态数据提取。

A2、对剔除背景后的步态深度图像进行基于小波的软阀值滤波：

在利用深度数据进行点云数据提取前，必须要对原始深度图像进行必要的滤噪处理，使用一种时频局部化效果较好的小波阀值滤波方法进行滤波处理。

第一步：对人体步态深度图像进行小波变换，得到各分辨率下的小波系数。

第二步：对小波系数进行软阀值去噪处理：

第三步：进行小波逆变换：对阀值去噪处理后的小波系数做小波逆变换，得到滤波后的步态深度图像。

步骤B具体过程如下：

B1、步态点云数据的获取

运用Kinect输出的深度图像，得到人体表面各扫描点与摄像机的实际距离Z＝d(x,y)，结合摄像机的标定信息和二维RGB彩色图像，利用图像的成像原理，可得到人体表面各扫描点在世界坐标中X、Y和Z的真实值。

通过计算步态深度图像所有点像素(x,y,d)所对应的空间三维坐标(X,Y,Z)，并对这些点云数据进行重新采集排序和归一化后，构建出人体的三维表面模型：T＝{(X_t,Y_t,Z_t)∈R³,t＝1...M},M为模型点云数量(见图2)。

B2、基于高斯和平均曲率熵值的三维点云数据精减

由于构建出来的人体三维表面模型中原始点云数量N较多，特征量不明显，需要对点云数据进行精减，以保留特征点明显的数据，减小后续步态识别过程中的运算复杂度。

第一步：利用包围盒法对三维点云数据进行分割，得到点云P和它的K＝8个近邻点。

第二步：计算点云P的高斯曲率和平均曲率，并将曲率和平均曲率都归一化至[0..2¹⁰]：{k^P,h^P}(K为高斯曲率，H为平均曲率)。

第三步：定义二元特征组概率：

P_kh＝f(k,h)/N

k∈[0...2¹⁰]，h∈[0...2¹⁰]，f(k,h)表示高斯曲率为k，平均曲率为h的二元特征组出现的频数，N为点云总数。利用高斯曲率和平均曲率二元特征组概率P_kh计算所有点云的二维曲率平均熵值H：

$H=\underset{k=0}{\overset{2^T}{\mathrm{\&Sigma;}}}\underset{h=0}{\overset{2^T}{\mathrm{\&Sigma;}}}{P}_{\mathrm{kh}}\log P_{\mathrm{kh}}$

每个离散点的信息熵为：设定信息熵阀值i_g＝εH,ε＝0.1来保留特征值突出的点，当i_q<i_g时，点云曲率特征不明显，将其删除，否则保留，从而完成步态点云数据精简和建模(见图3)。

B3、三维人体点云数据重采样：由Kinect体感相机获取的人体点云数据呈扫描线形式排列，扫描线以人体距离Kinect相机的深度进行分层，而不是以人体同一高度截面进行分层。因此，为了完成对三维人体表面信息的有效提取和降维，必须对三维人体点云模型进行切面轮廓点云数据重新排列和采样。具体方法：

首先找到点云精减后人体步态模型的头顶和脚底，在它们间插入n＝100个等分平面，将每两个相邻的平面之间所有点云的高度Y值统一。同样的方法找到点云精减后人体步态模型的最左侧和最右侧，在最左侧和最右侧之间插入m＝100个等分平面，将每两个相邻的平面之间所有点云的横坐标X值统一，完成切面轮廓点云数据重新排列和采样。

经过数据重新排列和采样后，三维步态数据可离散化为:z_r＝f(x,y),(1≤x≤100,1≤y≤200)。三维步态表面模型P为：P＝{(x,y,z_r),1≤x≤100,1≤y≤200,z_r＝f(x,y),r＝1...N(x,y)}；N(x,y)为具有相同离散(x,y)坐标的点云数。

步骤C具体实现过程如下：

选取一组训练视角步态数据(取β＝45°，共50个样本)，按下面方法完成步态训练。

C1、基于三维旋转和分层迭代选权滤波的局部公共视角数据提取

同一物体在视角变化小于90度情况下，两视角变换物体表面P_θ和P_β存在公共视觉部分，即(P_θ·R+T)∩P_β≠Φ，其中，R为旋转矩阵，T为平移矩阵。检测并提取不同角度下人体表面公共视角部分信息特征，可完成单个摄像机下不同角度的步态识别。

由于步态行走方向固定，利用三维仿射变换，将其转换到相同视角下可进行分类识别。但是由于单个摄像机采集重建的人体表面模型缺失背面信息，在三维旋转时必然出现数据缺失和自遮挡问题，导致旋转后的数据不能直接进行匹配。只有提取出公共面特征部分，去除旋转后的自遮挡数据，才能进行有效的步态匹配识别，这种方法即局部视角相似性匹配。

为了实现公共面信息的提取，采用去除非公共面数据的方法，利用视角差旋转的方法来产生自遮挡数据(非公共面数据，被前面点云数据遮挡)，通过引入分层迭代选权滤波方法来确定公共面和非公共面数据的分界面，以分界面为基准去除自遮数据，最终保留公共面数据，完成局部视角相似性特征提取。本实施例中，首先提取训练视角β与各视角θ＝β-45°+△θ,β-45°+2△θ,...,β+45°的局部公共步态特征，取△θ＝15°，则共有6组不同视角的公共步态特征集，分别为：θ＝0°,15°,30°,45°,60°,75°,90°。提取方法使用分层迭代选权滤波方法(见图4)。具体步骤如下：

第一步：三维旋转。令要提取训练视角β与θ，(β-45°≤θ≤β+45°)，视角的公共步态特征，首先对训练视角三维点云表面模型P_β表进行旋转变换，由β视角旋转至θ视角，得到θ视角的点云表面模型为：

P_θ＝P_β×R_β→θ

其中，R_β→θ为三维空间β视角旋转至θ视角的旋转变换矩阵。

$R_{(\mathrm{\&beta;}\&RightArrow;\mathrm{\&theta;})}=\left[\begin{array}{cccc}\cos (\mathrm{\&theta;}-\mathrm{\&beta;})& \sin (\mathrm{\&theta;}-\mathrm{\&beta;})& 0& 0\\ -\sin (\mathrm{\&theta;}-\mathrm{\&beta;})& \cos (\mathrm{\&theta;}-\mathrm{\&beta;})& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$

第二步：利用分层迭代选权滤波方法去除θ视角步态模型P_θ自遮挡数据(非公共面数据)，从而保留公共面数据，完成局部视角相似性特征提取。

首先，对离散步态图按像素dx，dy步进由上到下，由左至右划分块:B_N，即共有N个小块。对每个小块，选取若干个具有代表性的点云数据(具有最小的点云深度值，能代表可视部分的步态表面模型数据)。利用选取的点云数据进行曲面拟合：

Z＝A+Bx+Cy+Dxy+Ex²+Fy²

公式中，A～F代表三维表面模型的相应系数.x,y,z代表点云数据的三维坐标。其中拟合的误差表示为：

${\mathrm{\&epsiv;}}_i={\stackrel{\&OverBar;}{x}}_i^{2}E+{\stackrel{\&OverBar;}{x}}_i{\stackrel{\&OverBar;}{y}}_{i}D+{\stackrel{\&OverBar;}{y}}_i^{2}F+{\stackrel{\&OverBar;}{x}}_{i}B+{\stackrel{\&OverBar;}{y}}_{i}C+A-z_i$

然后，对离散块内的所有点云数据进行计算，得到误差矩阵：

ε＝MX-Z

其中：

X＝[EDFBCA]

Z＝[z₁z₂z₃...z_n]

$M=\left[\begin{array}{cccccc}{\stackrel{\&OverBar;}{x}}_1^2& {\stackrel{\&OverBar;}{x}}_1{\stackrel{\&OverBar;}{y}}_1& {\stackrel{\&OverBar;}{y}}_1^2& {\stackrel{\&OverBar;}{x}}_1& {\stackrel{\&OverBar;}{y}}_1& 1\\ {\stackrel{\&OverBar;}{x}}_2^2& {\stackrel{\&OverBar;}{x}}_2{\stackrel{\&OverBar;}{y}}_2& {\stackrel{\&OverBar;}{y}}_2^2& {\stackrel{\&OverBar;}{x}}_2& {\stackrel{\&OverBar;}{y}}_2& 1\\ ...& ...& ...& ...& ...& ...\\ {\stackrel{\&OverBar;}{x}}_i^2& {\stackrel{\&OverBar;}{x}}_i{\stackrel{\&OverBar;}{y}}_i& {\stackrel{\&OverBar;}{y}}_i^2& {\stackrel{\&OverBar;}{x}}_i& {\stackrel{\&OverBar;}{y}}_i& 1\end{array}\right]$

变换得：

X＝(M^TM)^-1M^TZ

根据粗差和点云数据权值进行选权滤波：

X＝(M^TPM)^-1M^TPZ

其中，P为加权函数，选用Huber为点云权函数：

$P\left(V_i\right)=\left\{\begin{array}{cc}1& \left|V\right|\&le;2\mathrm{\&sigma;}\\ \frac{2\mathrm{\&sigma;}}{\left|V\right|}& \left|V\right|>2\mathrm{\&sigma;}\end{array}\right.$

σ表示单位平均误差。

最后，进行迭代运算，并通过点云数据的权值来决定其分类(公共特征点或非公共特征点)。当点云数据权值为1时表示其属于公共特征点，当其接近于0时属于非公共特征点，即需要删除。

第三步：通过三维旋转和迭代选权，得到训练视角β与θ视角的公共步态特征，令为 $P_{\mathrm{\&beta;}\&RightArrow;\mathrm{\&theta;}}=\{p_{\mathrm{\&beta;}\&RightArrow;\mathrm{\&theta;}}^i,i=1...N\}.$

C2、构建局部融合步态模型：由于步态周期是一个动态图像序列，对一个周期内所有图像序列都需要进行三维表面建模和公共视角步态特征提取。然后对同一视角的所有三维公共视角步态特征数据进行融合，以形成一个三维局部融合步态模型，方便下一步的遮挡修复和步态特征提取识别。

第一步：令一个步态周期有Q帧动态步态图，分别进行三维重建和局部相似性匹配，以提取训练视角β与θ，(β-45°≤θ≤β+45°)，视角的公共步态特征。令提取的公共视角步态特征集为表示步态周期内β与θ视角第i个公共步态特征模型。

第二步：对每一个公共步态特征模型，提取其质心。

第三步：选取第一个步态模型为参考标准，计算所有步态模型与参考模型的平移变换矩阵：Tⁱ,i＝1...Q。

第四步：利用平移变换矩阵计算出质心对齐的三维局部融合步态模型： $M_{\mathrm{\&beta;}\&RightArrow;\mathrm{\&theta;}}=\{U(p_{\mathrm{\&beta;}\&RightArrow;\mathrm{\&theta;}}^i+T^i),i=1...Q\}.$

步骤D具体包括：

D1、提取人体步态点云密度能量图作为全局特征:

第一步：对局部步态融合模型(θ视角)，以X-Y平面为参考面进行离散化，离散投影到X-Y平面中，投影后每个点的Z轴坐标的深度值为Z＝f(X,Y)。

第二步：对二维步态图按像素dx＝0.01，dy＝0.005步进由上到下，由左至右划分块，共有N＝20000个小块。然后，计算所有小块的点云平均密度D_mean(投影步态图像所有点云数除以小块数量N)。

第三步：对二维步态图以小块为基本单位由上而下进行扫描，计算每个小块的相对点云密度： $D_i^k=D_i/D_{\mathrm{mean}},i=1...N.$

第四步：将各小块的点云密度值归一化至[0255]，映射到二维灰度图像中的灰度值，最终得到θ视角下的步态点云密度能量图(见图5)，并以此作为步态的全局特征：

本实施例中，式中C为分类数，k为类别。

D1、基于轮廓傅立叶分析的步态遮挡区域的检测和定位：

对各视角人体步态点云密度能量图按解剖学原理进行分块，按视角提取训练模型中各分块轮廓线，并运用傅立叶描述子分别完成特征提取和聚类。遮挡识别检测时，依次提取各分区轮廓线傅立叶描述子，判别分块样本轮廓是否在聚类区域，从而达到检测遮挡部分目的。

第一步：提取各视角下离散化的步态轮廓。由上而下按解剖学原理将人体分成N块，依次提取各分块轮廓和轮廓质心。以各块轮廓质心为中心点，以△Φ＝5°为步进，顺时针方向(360度)提取质心到轮廓边沿距离向量，最终将得到V＝72个离散向量(见图6)：{x(v)+y(v)i|v＝0...V-1}。对V个向量进行离散傅立叶变换，并以z(η)作为轮廓的傅立叶描述子。

$z\left(\mathrm{\&eta;}\right)=\underset{v=2}{\overset{V-1}{\mathrm{\&Sigma;}}}(x\left(v\right)+\mathrm{iy}\left(v\right))e^{-j\frac{2\mathrm{\&pi;}}{V}\mathrm{\&eta;m}}$

其中η＝0,1,...,V-1

第二步：各视角下分块轮廓聚类。按照视角和分块顺序为基本单位，对傅立叶轮廓描述子进行树聚类分析，得到多个有向聚类树，并以每个有向树的根作为该聚类的中心。聚类方法：

计算待检测的分块轮廓与所有聚类中心的距离L_i,i＝1...K，其中K为聚类数，当待检测的分块轮廓与所有聚类中的距离最小值大于所有树根之间距离d_ij的最大值时，即Min(L_i)>Max(d_ij),i,j＝1...K时，判定该待检测的分块轮廓存在遮挡情况，需要修复；否则无需修复。两个傅立叶描述下的分块轮廓距离定义如下：

$d_{\mathrm{ij}}=\sqrt{\underset{k=0}{\overset{V-1}{\mathrm{\&Sigma;}}}{\left|\right|z_i\left(\mathrm{\&eta;}\right)-z_j\left(\mathrm{\&eta;}\right)\left|\right|}^2}$

步骤E具体包括：

E1、基于先验知识和奇异值分解遮挡变换修复模型

利用不同遮挡块位置的步态数据训练得到遮挡投影矩阵和与遮挡无关步态特征。利用遮挡投影矩阵完成遮挡数据变换和修复。训练方法拟如下：

首先，以视角进行分组，将人体步态点云密度能量图按解剖学原理，依据身体各部分比例关系，由上至下共分为N′＝5块；令为人为去除第t块内所有点云密度数据后的步态点云密度能量图；

然后，将θ视角下所有C＝50个样本的C×N′种有数据缺失步态点云密度能量图和C个完整步态点云密度能量图作为训练样本，构造矩阵，并对该矩阵进行奇异值分解，求解得到步态遮挡无关特征向量的投影矩阵P^r和遮挡无关的步态特征ω；ω＝[ω⁰...ω^C]； $P^r=\left[\begin{array}{c}{P}^r\\ 0\\ \&CenterDot;\\ \&CenterDot;\\ \&CenterDot;\\ P^r\\ N^{\&prime;}\end{array}\right]:$

最后，利用遮挡投影矩阵完成遮挡数据变换和修复：当检测出未知步态序列X的人体步态点云密度能量图第n′块数据存在遮挡时，先屏蔽删除步态点云密度能量图第n′块内所有数据，得到去除第n′块内数据的步态点云密度能量图利用训练得到的投影矩阵P^r和公式计算得到修复后的未遮挡步态模型(见图7)，再进行分类识别。

所述步骤F包括：

F1、步态视角提取

对采集的θ＝0°,15°,30°,45°,60°,75°,90°共7组不同视角的有遮挡步态数据(手捧书)依次进行测试(每个视角50个样本)。

令识别未知步态序列X，首先，计算出该步态数据视角，在数据库中找到最相近视角的训练特征集；提取一个步态周期内遮挡修复后的三维局部融合步态模型的质心轨迹，利用最小二乘法来进行直线拟和，直线的斜率k',则步态行走视角为：Ф＝argtank'。

然后，对上述一个步态周期检测完成后的未知步态序列X依次进行三维精减重建，β与Ф视角局部相似性匹配，以提取公共视角步态特征，最终生成Ф视角局部融合步态模型；

接着，对Ф视角局部融合步态模型进行遮挡检测和修复，得到未知步态序列X修复后的人体步态点云密度能量图

最后，选取对应视角局部步态模型训练集进行分类识别：

令最终的步态全局特征表示为θ为视角，c为类别，定义两类步态的欧式距离：

$\mathrm{Dis}(A_{x,0}^{\mathrm{\&theta;}},A_c^{\mathrm{\&theta;}})=\sqrt{{|A_{x,0}^{\mathrm{\&theta;}}-A_c^{\mathrm{\&theta;}}|}^2},c=1,...,C;$

其中C＝50为分类数；三维步态X∈δ类，满足：

$\mathrm{\&delta;}=\arg \left(\underset{c=1...C}{\min }\mathrm{Dis}(A_{x,0}^{\mathrm{\&theta;}},A_c^{\mathrm{\&theta;}})\right)$

对所有7组不同视角的步态数据依次进行测试，完成识别率的统计；并与2D视角变换方法和3D视角变换方法的识别结果对比(见图8)。2D视角变换方法：训练时利用相同的训练视角数据所(45°)对应的二维步态图像完成特征提取，分别构成相应视角的训练特征集；识别时，利用近邻法进行分类识别。3D视角变换方法：不进行局部相似性特征提取和匹配，直接3D旋转后提取多视角特征并完成分类识别。

Claims (7)

1.一种基于遮挡修复和局部相似性匹配的三维步态识别方法，其特征在于，包括以下步骤：

A、对单个深度摄像机采集到的深度图像进行背景剔除和小波的软阀值滤波，得到滤波修复后的步态深度图像；

B、利用滤波修复后的步态深度图像进行三维步态点云数据提取，并通过基于高斯和平均曲率熵值的点云精减方法完成三维表面特征建模，得到三维步态表面模型；

C、对三维步态表面模型，运用局部相似性匹配方法进行各视角公共步态特征数据提取，将各视角步态周期内所有公共步态特征分别进行数据融合，生成三维局部融合步态模型，利用各视角三维局部融合步态模型得到多视角三维局部融合步态特征库；

D、对各视角三维局部融合步态模型按解剖学原理进行分块，按视角提取待训练三维局部融合步态模型中各分块轮廓线，并运用Fourier描述子分别完成特征提取和聚类，以此为基础实现遮挡识别时的步态遮挡区域检测和定位；

E、运用遮挡变换修复模型，完成步态遮挡区域数据的修复，得到遮挡修复后的三维局部融合步态模型；

F、对遮挡修复后的三维局部融合步态模型，分类完成有遮挡条件下的视角可变三维步态识别。

2.根据权利要求1所述的基于遮挡修复和局部相似性匹配的三维步态识别方法，其特征在于，所述步骤A中，滤波修复后的步态深度图像获取过程如下：

1)使用Kinect深度摄像机获取场景的深度图像，建立深度图像的背景模型，利用深度图像帧间差异法和背景剪除法获得人体步态深度图像；或者，直接利用Kinect深度摄像机获取的深度图像，对深度图像做人体边缘检测算法，再运用人体模板匹配方法，将人体步态数据从深度图像中抠出，实现与背景无关的人体步态数据提取，得到人体步态深度图像；

2)令上述人体步态深度图像像素点数为N＝2^J，对人体步态深度图像进行分辨率为L的小波变换，得到各分辨率下的小波系数W_j,i；其中，0≤L<J，j＝L,L+1,...,J-1，i＝1,...,2^j；

3)对小波系数进行软阀值去噪处理，得到软阀值去噪处理后的系数

${\tilde{W}}_{j,i}=\left\{\begin{array}{cc}{W}_{j,i}-\mathrm{\&lambda;}& W_{j,i}\&GreaterEqual;\mathrm{\&lambda;}\\ 0& \left|W_{j,i}\right|<\mathrm{\&lambda;}\\ W_{j,i}+\mathrm{\&lambda;}& W_{j,i}\&le;-\mathrm{\&lambda;}\end{array}\right.;$

其中，σ为人体步态深度图像噪声的标准差；

4)进行小波逆变换：对阀值去噪处理后的小波系数做小波逆变换，得到滤波后的步态深度图像。

3.根据权利要求2所述的基于遮挡修复和局部相似性匹配的三维步态识别方法，其特征在于，所述步骤B中，三维步态表面模型获取过程如下：

1)计算滤波修复后的步态深度图像所有点像素所对应的空间三维坐标，得到三维步态点云数据；

2)利用包围盒法对三维步态点云数据进行分割，得到任一点云P和它的L个近邻点；

3)计算点云P的高斯曲率和平均曲率，并将点云P的高斯曲率和平均曲率都归一化至[02^T]：{k^P,h^P}；其中，k为高斯曲率，h为平均曲率；

4)定义二元特征组概率P_kh：P_kh＝f(k,h)/N，f(k,h)表示高斯曲率为k，平均曲率为h的二元特征组出现的频数，N为点云总数；利用高斯曲率和平均曲率二元特征组概率P_kh计算所有点云的二维曲率平均熵值H：

$H=\underset{k=0}{\overset{2^T}{\mathrm{\&Sigma;}}}\underset{h=0}{\overset{2^T}{\mathrm{\&Sigma;}}}{P}_{\mathrm{kh}}\log P_{\mathrm{kh}};$

5)令信息熵阀值i_g＝εH，每个点云的信息熵i_q为：当i_q<i_g时，删除i_q；否则，保留i_q；得到点云精减后的模型；其中，q＝1,2,...,N，为点云q的高斯曲率和平均曲率二元特征组概率；

6)找到点云精减后人体步态模型的头顶和脚底，在头顶和脚底之间插入n个等分平面，将每两个相邻的平面之间所有点云的高度Y值统一；找到点云精减后人体步态模型的最左侧和最右侧，在最左侧和最右侧之间插入m个等分平面，将每两个相邻的平面之间所有点云的横坐标X值统一，完成切面轮廓点云数据重新排列和采样，得到离散化后的三维步态点云数据z_r；z_r＝f(x,y)；其中，1≤x≤m,1≤y≤n；

7)三维步态表面模型P为：P＝{(x,y,z_r),1≤x≤m,1≤y≤n,z_r＝f(x,y),r＝1...N(x,y)}；N(x,y)为具有相同离散(x,y)坐标的点云数。

4.根据权利要求3所述的基于遮挡修复和局部相似性匹配的三维步态识别方法，其特征在于，所述步骤C中，各视角三维局部融合步态模型提取过程如下：

1)对β视角下三维步态表面模型P_β进行旋转变换，由β视角旋转至θ视角，得到θ视角的点云表面模型P_θ为：P_θ＝P_β×R_β→θ；其中，R_β→θ为三维空间β视角旋转至θ视角的旋转变换矩阵；

$R_{(\mathrm{\&beta;}\&RightArrow;\mathrm{\&theta;})}=\left[\begin{array}{cccc}\cos (\mathrm{\&theta;}-\mathrm{\&beta;})& \sin (\mathrm{\&theta;}-\mathrm{\&beta;})& 0& 0\\ -\sin (\mathrm{\&theta;}-\mathrm{\&beta;})& \cos (\mathrm{\&theta;}-\mathrm{\&beta;})& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$

2)利用分层迭代选权滤波方法去除θ视角三维步态表面模型P_β自遮挡数据，从而保留公共面数据，完成局部视角相似性特征提取；

3)通过三维旋转和迭代选权滤波，得到训练视角β与θ视角的公共步态特征模型P_β→θ：为公共步态特征模型点云w三维坐标，W为迭代选权滤波后保留的点云总数；

4)令一个步态周期有Q帧人体步态深度图像，对一个周期内所有步态深度图分别进行三维步态表面模型重建，并重复上述步骤1)～步骤4)，提取训练视角β与θ视角步态周期内所有帧的Q个公共步态特征模型；其中，β-45°≤θ≤β+45°；

5)提取上述训练视角β与θ的Q个公共步态特征模型的质心：

6)选取步态周期内第一个公共步态特征模型为参考模型，计算训练视角β与θ的Q个公共步态特征模型与参考模型的平移变换矩阵：Tⁱ,i＝1...Q；

7)利用平移变换矩阵计算出质心对齐的各视角三维局部融合步态模型： $M_{\mathrm{\&beta;}\&RightArrow;\mathrm{\&theta;}}=\{U(p_{\mathrm{\&beta;}\&RightArrow;\mathrm{\&theta;}}^i+T^i),i=1...Q\}.$

5.根据权利要求4所述的基于遮挡修复和局部相似性匹配的三维步态识别方法，其特征在于，所述步骤D中，遮挡识别时的步态遮挡区域检测和定位方法包括以下步骤：

1)对θ视角下的三维局部融合步态模型，以X-Y平面为参考面进行离散化，离散投影到X-Y平面中，得到二维离散步态图像；

2)对二维离散步态图按像素dx，dy步进由上到下，由左至右划分为S个小块，计算所有小块的点云平均密度D_mean；同时按小块为单位计算位于j块内所有点云数量D_j，通过将每个小块对应成一个像素点，点云数量D_j对应成像素点的灰度值，得到一幅二维步态图，图像大小为(1/dx,1/dy)；

3)对二维步态图以像素为基本单位由上而下进行扫描，计算每个像素的相对点云密度E_j：E_j＝D_j/D_mean，j＝1...S，D_j表示第j个小块内所有点云数；

4)将像素点对应的相对点云密度值归一化至[0255]，替换像素点原来的灰度值，最终得到θ视角下的步态点云密度能量图；通过对各角度步态点云密度能量图的提取，得到多视角局部融合步态模型库的二维步态特征，表示为点云密度能量图并将作为步态识别的全局特征；其中θ为步态视角，c为类别，c＝1,...,C，C为总分类数；

5)将上述步态的全局特征由上而下按解剖学原理分成G块，并依次提取各分块的轮廓和轮廓质心，以△Φ为步进，顺时针方向提取各质心到相应轮廓边沿的距离向量，得到V个离散向量：{x(v)+y(v)i|v＝0...V-1}；对所述V个离散向量进行离散傅立叶变换，并以z(η)作为傅立叶轮廓描述子：

$z\left(\mathrm{\&eta;}\right)=\underset{v=2}{\overset{V-1}{\mathrm{\&Sigma;}}}(x\left(v\right)+\mathrm{iy}\left(v\right))e^{-j\frac{2\mathrm{\&pi;}}{V}\mathrm{\&eta;m}};$

其中，η＝0,1,...,V-1；

6)对傅立叶轮廓描述子进行树聚类分析，得到多个有向聚类树，并以每个有向树的根作为该聚类的中心；

7)计算待检测的分块轮廓与所有聚类中心的距离L_i,i＝1...K，其中K为聚类数，当待检测的分块轮廓与所有聚类中的距离最小值大于所有树根之间距离d_ij的最大值时，即Min(L_i)>Max(d_ij),i,j＝1...K时，判定该待检测的分块轮廓存在遮挡情况，需要修复；否则无需修复。

6.根据权利要求5所述的基于遮挡修复和局部相似性匹配的三维步态识别方法，其特征在于，所述步骤E中，步态遮挡区域数据的修复过程如下：

1)产生步态遮挡模型，以步态遮挡模型，作为待学习的先验知识，通过学习训练得到遮挡投影矩阵和与遮挡无关步态特征矩阵；

首先，以视角进行分组，将人体步态点云密度能量图按解剖学原理，依据身体各部分比例关系，由上至下共分为N′块；令为人为去除第t块内所有点云密度数据后的步态点云密度能量图；

然后，将θ视角下所有C个样本的C×N′种有数据缺失步态点云密度能量图和C个完整步态点云密度能量图作为训练样本，构造矩阵，并对该矩阵进行奇异值分解，求解得到步态遮挡无关特征向量的投影矩阵P^r和遮挡无关的步态特征ω；ω＝[ω⁰...ω^C]； $P^r=\left[\begin{array}{c}{P}^r\\ 0\\ \&CenterDot;\\ \&CenterDot;\\ \&CenterDot;\\ P^r\\ N^{\&prime;}\end{array}\right]:$

2)利用遮挡投影矩阵完成遮挡数据变换和修复：

当已知第n′块数据为被遮挡模型，将第n′块数据转换为第m′块数据为被遮挡模型时有： $A_{c,m^{\&prime;}}^{\mathrm{\&theta;}}=P_{m^{\&prime;}}^r\&CenterDot;{\left(P_{n^{\&prime;}}^r\right)}^{-}\&CenterDot;A_{c,n^{\&prime;}}^{\mathrm{\&theta;}},$ 其中为逆矩阵； $A_{c,n^{\&prime;}}^{\mathrm{\&theta;}}=P_{n^{\&prime;}}^r\&CenterDot;{\mathrm{\&omega;}}^c;$ 取m′＝0时，投影得到的即为完整的未被遮挡模型；

3)投影矩阵P^r即为要求的模型参数，利用投影矩阵，取m′＝0，利用完成遮挡步态的变换修复；

4)当检测出未知步态序列X的人体步态点云密度能量图第n′块数据存在遮挡时，先屏蔽删除步态点云密度能量图第n′块内所有数据，得到去除第n′块内数据的步态点云密度能量图利用训练得到的投影矩阵P^r和公式计算得到修复后的未遮挡步态模型，再进行分类识别。

7.根据权利要求6所述的基于遮挡修复和局部相似性匹配的三维步态识别方法，其特征在于，所述步骤F中，视角可变三维步态识别过程如下：

1)当识别未知步态序列X时，计算出该步态数据视角，在数据库中找到最相近视角的训练特征集；提取一个步态周期内遮挡修复后的三维局部融合步态模型的质心轨迹，利用最小二乘法来进行直线拟和，直线的斜率k',则步态行走视角为：Ф＝argtank'；

2)对上述一个步态周期检测完成后的未知步态序列X依次进行三维精减重建，β与Ф视角局部相似性匹配，以提取公共视角步态特征，最终生成Ф视角局部融合步态模型；

3)对Ф视角局部融合步态模型进行遮挡检测和修复，得到未知步态序列X修复后的人体步态点云密度能量图

4)选取对应视角局部步态模型训练集进行分类识别：

令最终的步态全局特征表示为θ为视角，c为类别，定义两类步态的欧式距离：

$\mathrm{Dis}(A_{x,0}^{\mathrm{\&theta;}},A_c^{\mathrm{\&theta;}})=\sqrt{{|A_{x,0}^{\mathrm{\&theta;}}-A_c^{\mathrm{\&theta;}}|}^2},c=1,...,C;$

其中C为分类数；三维步态X∈δ类，满足：

$\mathrm{\&delta;}=\arg \left(\underset{c=1...C}{\min }\mathrm{Dis}(A_{x,0}^{\mathrm{\&theta;}},A_c^{\mathrm{\&theta;}})\right).$