CN103810496A - 基于图像深度信息的3d高斯空间人体行为识别方法 - Google Patents

Abstract

本发明公开了一种基于图像深度信息的3D高斯空间人体行为识别方法。基于图像深度信息的3D高斯空间人体行为识别方法包括以下步骤：提取深度信息中的人体骨骼3D坐标并对其进行归一化操作，过滤对人体行为识别率低的关节及冗余关节；针对各个行为构建兴趣关节群，基于高斯距离核对人体动作空间特征进行AP聚类，获得行为特征单词表并对其进行数据清理；构建人体行为条件随机场识别模型，据此实现对人体行为的分类。本发明对人体具体方向、骨骼尺寸、空间位置都具有较强的抗干扰性，对不同实验个体引入的动作差异有很强的泛化能力，对不同类的相似行为也有很好的识别能力。

Description

基于图像深度信息的3D高斯空间人体行为识别方法

技术领域：

本发明涉及机器视觉领域，特别涉及一种基于图像深度信息的3D高斯空间人体行为识别方法。

背景技术：

视频中的人体行为识别在很多视频监控、人机交互、视频恢复等领域中都有重要的应用。尽管在近十年内，各国专家学者提出了很多方法，在该领域内取得了很多激动人心的进展，但是高精度的人体行为识别依然是一项极具挑战的工作。原因之一就是人体行为是一种动态的动作时间序列，各种动作分界模糊，即使是同一人其动作亦会变形，甚至各种动作相互组合，同时在动作进行中可能发生被遮挡的情况的发生。人体本身从背景中的分割就是一项艰巨的任务，进一步加剧了行为识别的难度。

近几年推出的深度摄像机提供了毫米级的3D深度信息。这在很大程度上降低了人体分割的难度。针对深度信息，Shotton提出了一种基于随机决策森林分类器的单像素物体识别方法(Shotton，J.，et al.Real-Time Human PoseRecognition in Parts from Single Depth Images.in Computer Vision andPattern Recognition (CVPR)，2011 IEEE Conference on.2011.)，该方法借鉴了物体识别理论，采用一种人体部位中间表达方法将比较困难的动作估计映射为简单的面向像素的分类问题，并采用基于均值漂移的局部最优的方法找到各关节最优估计。基于该方法，可以直接获得人体3D骨架关节坐标。人体动作是一种铰链结构，给定如图1所示的骨架，左图为深度图像，右图为Shotton提出的基于随机决策森林分类器的单像素物体识别方法获取的对应的骨骼图像，人眼视觉系统可以轻松判定其动作，即使部分关节被遮挡。

但是，基于单目深度信息估计的3D关节带有很多噪声，甚至有明显的错误，尤其是在遮挡的情况下，如双手交叉、多个人体相互触碰等。基于此3D关节推理，依然不能保证人体行为识别精度。

发明内容：

本发明是为了克服上述现有技术中缺陷，提供了一种鲁棒的基于图像深度信息的3D高斯空间人体行为识别方法。

为了实现上述目的，本发明提供如下技术方案：

基于图像深度信息的3D高斯空间人体行为识别方法，其步骤为：

步骤一，针对每帧图像的深度信息，采用Shotton提出的基于随机决策森林分类器的单像素物体识别方法确认人体部位并进一步获取人体3D关节坐标；

步骤二，将所述人体3D关节坐标数据归一化；

步骤三，筛选人体关节，过滤对人体行为识别贡献低的关节或冗余关节；

步骤四，分析每类行为，基于AP聚类算法，统计每类行为中，关节空间运动行程突出的关节点，构建兴趣关节群；

步骤五，针对每类行为，基于兴趣关节群，计算每个动作的3D高斯空间特征；

步骤六，采用AP聚类算法，构建高斯距离核，将投影到人体动作空间的3D高斯空间特征聚为n组动作分类，并获取代表每组动作的聚类中心；

步骤七，针对每组动作，采用每个动作所属聚类中心构建行为特征单词表，并对每组动作进行数据清理准备；

步骤八，构建人体行为条件随机场模型，训练样本，得到人体行为识别模型；

步骤九，对新样本进行识别。

上述技术方案中，步骤二中将所述人体3D关节坐标数据归一化包括骨架肢体矢量尺寸归一、骨架参考零点归一和骨架方向归一。

其中所述骨架肢体矢量尺寸归一的步骤包括：

a)选择一个人体3D关节坐标为标准模型；

b)保持各样本肢体段矢量方向不变，将各矢量缩放至标准模型长度；

c)以臀部中心为参考点，构造关节树，根据缩放长度移动各关节，移动矢量为：

这里Δd_fi是当前节点的第fi个祖先的移动矢量，n为当前节点的祖先个数。

其中所述骨架参考零点归一的步骤包括：以臀部中心为新坐标参考空间零点O′，移动骨架。

其中所述骨架方向归一的步骤包括：

a)选择原坐标系X轴，使其与左臀到右臀的矢量

平行，以新坐标参考空间零点O′为臀部中心构建直线垂直于新的地面参考平面，得到新坐标参考空间Z轴；

b)旋转骨架，将骨架映射到新的坐标参考空间。

上述技术方案中，步骤三通过筛选保留对人体行为识别贡献大的关节组，保留的关节组包括12个关节：头、左/右手肘、左/右手腕、左/右膝盖、左/右脚腕、左/右臀、臀部中心。

上述技术方案中，步骤四通过AP算法构建兴趣关节群的步骤为：

a)计算相邻帧各个关节的运动距离，设在相邻帧(i帧，i+1帧)中某关节的坐标分别为：(x_ik，y_ik，z_ik)，(x_i+1，k，y_i+1，k，z_i+1，k)，则运动距离d_ik为：

d_ik ²＝(x_ik-x_i+1k)²+(y_ik-y_i+1k)²+(z_ik-z_i+1k)²

b)累加所有运动距离得到一个关节的总行程D_k：

$D_k=\underset{i=1}{\overset{n-1}{\mathrm{\Σ}}}{d_{\mathrm{ik}}}^2$

c)基于AP算法，指定聚类数，采用欧氏距离为相似度度量，根据上一步计算所得运动距离将所有关节分为3类；

d)摒弃运动距离最短的关节，取运动距离较长的两类作为贡献度较高的关节，构建该行为的兴趣关节群。

上述技术方案中，步骤五中每个动作的3D高斯空间特征的计算过程为：

a)将3D空间划分为m×n×l(m，n，l∈Z)个子空间，每个关节必在一个子空间内；

b)计算除臀部中心外的其余11个关节的子空间高斯密度：

(1)对每个关节，计算其子空间高斯密度，

$p(X,u,\mathrm{\Σ})=\frac{1}{\sqrt{{\left(2\mathrm{\π}\right)}^n}\sqrt{\left|\mathrm{\Σ}\right|}}{e}^{-\frac{1}{2}(x-\mathrm{\μ}{)}^T{\mathrm{\Σ}}^{-1}(x-\mathrm{\μ})}$

其中X代表关节坐标，u代表子空间中心，∑代表协方差矩阵，令∑＝d/3*n*I，这里d为每个子空间对角线长度，n是子空间个数，I为单位矩阵；

(2)对于正态分布，99％的信息包含在正负3个标准差内(即d*n*I，n＝3.5)，令距离子空间中心距离d_joint，bin＞ε(ε＝d；)的关节对应子空间高斯密度p(X，u，∑)＝0；

c)每个动作的11个关节的子空间高斯密度即构成了稀疏的动作特征表达。上述技术方案中，步骤六中高斯距离核的构造方法为：

这里x，y代表两组特征向量，σ为标准差。

步骤六中人体动作空间的3D高斯空间特征聚类方法为：

a)采用上述高斯距离核，计算各组动作高斯密度特征相似度s(x，y)；

b)针对大数量矩阵，令的相似度为0，构建稀疏相似矩阵；

c)取

为参考值，n为样本个数，根据样本，通过消息传递，自动确定聚类数，应用支持稀疏矩阵的AP聚类，得到k′个聚类中心动作。上述技术方案中，步骤七中行为特征单词表的构造方法为：

a)替换原动作序列所有样本为其所属样本中心动作，得到一组视觉单词串；

b)清理每个行为样本视觉单词串，删除连续重复的单词，以减少不同样本间时间偏移造成的影响，得到行为特征单词表。

上述技术方案中，对步骤八得到的人体行为识别模型采用PSS进行优化：

min_θf(θ)＝-logp_θ(Y|X)+r(θ)，

这里

$r\left(\mathrm{\θ}\right)={\mathrm{\λ}}_1\underset{i}{\mathrm{\Σ}}\left|{\mathrm{\θ}}_i\right|+{\mathrm{\λ}}_2\sqrt{{\mathrm{\θ}}^2}$

$p_{\mathrm{\θ}}\left(Y\right|X)=\frac{{\mathrm{\Π}}_{t=1}^{T+1}\exp ({\mathrm{\Ψ}}_{\mathrm{\θ}}(y_t,X)+{\mathrm{\Ψ}}_{\mathrm{\θ}}(y_t,y_{t-1}))}{Z_{\mathrm{\θ}}\left(X\right)}$

${\mathrm{\Ψ}}_{\mathrm{\θ}}(y_t,X)={\mathrm{\Σ}}_{a=1}^A{\mathrm{\λ}}_a{h}_a(y_t,X),$

${\mathrm{\Ψ}}_{\mathrm{\θ}}(y_t,y_{t-1})={\mathrm{\Σ}}_{b=1}^B{\mathrm{\β}}_b{g}_b(y_t,y_{t-1}),$

$Z_{\mathrm{\θ}}\left(X\right)={\mathrm{\Σ}}_Y{\mathrm{\Π}}_{c\∈C(Y,X)}{\mathrm{\φ}}_{\mathrm{\θ}}^c(Y_c,X_c),$

为团(clique)C对应的隐函数，

$h_a(y_t,X)=1[y_t=m]x_j^i,$ 其中m∈Y，j∈[0，T]，

g_b(y_t，y_t-1)＝1[y_t＝m₁∧y_t-1＝m₂]，其中m₁，m₂∈Y

与现有技术相比，本发明具有如下有益效果：

通过步骤二将所述人体3D关节坐标归一化技术，增强了该方法的方向不变性、骨骼尺寸不变性、空间位置抗干扰性；通过步骤三人体行为识别贡献大的关节组的选择及步骤四的与行为相关的兴趣关节群选择，显著增大了各类别距离，有效滤除无关关节引起的干扰，增强了模型的抗噪能力；结合人体3D关节坐标归一化技术、识别贡献大的关节组的选择、兴趣关节群选择、3D高斯空间特征稀疏表达及人体行为条件随机场模型共同构建了一个鲁棒的学习系统；本发明对同类别行为具有很高的辨识度，对不同实验个体引入的动作差异有很强的泛化能力，同时对相似行为也有很好的识别能力。

附图说明：

图1为采用Shotton提出的基于随机决策森林分类器的单像素物体识别方法获取的人体骨骼示意图；

图2为本发明的基于图像深度信息的3D高斯空间人体行为识别方法的流程图；

图3为本发明人体3D关节坐标归一化示意图；

图4为本发明采用的人体行为条件随机场模型示意图；

图5为本发明采用的人体行为条件随机场模型进一步细化解释，该图以右手挥手为例；

图6为本发明对8种常见行为的识别混淆矩阵。

具体实施方式：

如图1、2所示，步骤一，针对每帧深度信息，采用Shotton提出的基于随机决策森林分类器的单像素物体识别方法确认人体部位并进一步获取人体3D关节坐标，左图为深度图像，右图为上述方法获取的对应的骨骼图像。

如图2、3所示，步骤二，将所述人体3D关节坐标数据归一化包括骨架肢体矢量尺寸归一、骨架参考零点归一和骨架方向归一。

其中所述骨架肢体矢量尺寸归一的步骤包括：

a)选择一个人体3D关节坐标为标准模型；

b)保持各样本肢体段矢量方向不变，将各矢量缩放至标准模型长度；

c)以臀部中心为参考点，构造关节树，根据缩放长度移动各关节，移动矢量为：

这里Δd_fi是当前节点的第fi个祖先的移动矢量，n为当前节点的祖先个数。

其中所述骨架参考零点归一的步骤包括：以臀部中心为新坐标参考空间零点O′，移动骨架。

其中所述骨架方向归一的步骤包括：

a)选择原坐标系X轴，使其与左臀到右臀的矢量平行，以新坐标参考空间零点O′为臀部中心构建直线垂直于新的地面参考平面，得到新坐标参考空间Z轴；

b)旋转骨架，将骨架映射到新的坐标参考空间。

通过将所述人体3D关节坐标归一化技术，增强了该方法的方向不变性、骨骼尺寸不变性、空间位置抗干扰性。

如图2所示，步骤三，筛选人体关节，过滤对人体行为识别贡献低的关节或冗余关节，保留对人体行为识别贡献大的关节组，保留的关节组包括12个关节：头、左/右手肘、左/右手腕、左/右膝盖、左/右脚腕、左/右臀、臀部中心。

如图6所示，步骤四、步骤五中的每类行为是指一组动作序列构成的一个典型行为。在本发明的实验结果中，包括以下8种行为的识别结果：高抛投掷、前踢、侧踢、小跑、网球击球、网球发球、高尔夫击球、捡起并投掷。

如图2所示，步骤四，分析每类行为，基于AP聚类算法，统计每一类行为中，关节空间运动行程突出的关节点，构建兴趣关节群：

a)计算相邻帧各个关节的运动距离，设在相邻帧(i帧，i+1帧)中某关节的坐标分别为：(x_ik，y_ik，z_ik)，(x_i+1，k，y_i+1，k，z_i+1，k)，则运动距离d_ik为：

d_ik ²＝(x_ik-x_i+1k)²+(y_ik-y_i+1k)²+(z_ik-z_i+1k)²

b)累加所有运动距离得到一个关节的总行程D_k：

$D_k=\underset{i=1}{\overset{n-1}{\mathrm{\Σ}}}{d_{\mathrm{ik}}}^2$

c)基于AP算法，指定聚类数，采用欧氏距离为相似度度量，根据上一步计算所得运动距离将所有关节分为3类；

d)摒弃运动距离最短的关节，取运动距离较长的两类作为贡献度较高的关节，构建该行为的兴趣关节群。

通过步骤三人体行为识别贡献大的关节组的选择及步骤四的与行为相关的兴趣关节群选择，显著增大了各类别距离，有效滤除无关关节引起的干扰，增强了模型的抗噪能力。

如图2所示，步骤五，针对每类行为，基于兴趣关节群，计算每个动作的3D高斯空间特征：

a)将3D空间划分为m×n×l(m，n，l∈Z)个子空间，每个关节必在一个子空间内；

b)计算除臀部中心外的其余11个关节的子空间高斯密度：

(1)对每个关节，计算其子空间高斯密度，

$p(X,u,\mathrm{\Σ})=\frac{1}{\sqrt{{\left(2\mathrm{\π}\right)}^n}\sqrt{\left|\mathrm{\Σ}\right|}}{e}^{-\frac{1}{2}(x-\mathrm{\μ}{)}^T{\mathrm{\Σ}}^{-1}(x-\mathrm{\μ})}$

其中X代表关节坐标，u代表子空间中心，∑代表协方差矩阵，令∑＝d/3*n*I，这里d为每个子空间对角线长度，n是子空间个数，I为单位矩阵。

(2)对于正态分布，99％的信息包含在正负3个标准差内(即d*n*I，n＝3.5)，令距离子空间中心距离d_joint，bin＞ε(ε＝d；)的关节对应子空间高斯密度p(X，u，∑)＝0。

c)每个动作的11个关节的子空间高斯密度即构成了稀疏的动作特征表达。如图2所示，步骤六，采用AP聚类算法，构建高斯距离核：

这里x，y代表两组特征向量，σ为标准差。

将投影到人体动作空间的3D高斯空间特征聚为n组动作分类，并获取代表每组动作的聚类中心：

a)采用上述高斯距离核，计算各组动作高斯密度特征相似度s(x，y)；

b)针对大数量矩阵，令的相似度为0，构建稀疏相似矩阵；

c)取

为参考值，n为样本个数，根据样本，通过消息传递，自动确定聚类数，应用支持稀疏矩阵的AP聚类，得到k′个聚类中心动作。

如图2所示，步骤七，针对每组动作，采用每个动作所属聚类中心构建行为特征单词表，并对每组动作进行数据清理准备：

a)替换原动作序列所有样本为其所属样本中心动作，得到一组视觉单词串；

b)清理每个行为样本视觉单词串，删除连续重复的单词，以减少不同样本间时间偏移造成的影响，得到行为特征单词表。

如图2所示，步骤八，构建人体行为条件随机场模型，训练样本，得到人体行为识别模型；

人体行为条件随机场模型如图4所示，图4中y_t是预测离散状态，x_t为随机动作变量，即步骤七所获得视觉特征单词表。

人体行为条件随机场模型解释如图5所示，图5所列示例为右手挥手动作，其兴趣关节群包括右手腕，右手肘及头部。

对步骤八得到的人体行为识别模型采用PSS(Schmidt，M.，Graphical ModelStructure Learning with L1-Regularization，2010，UNIVERSITY OFBRITISH COLUMBIA.)进行优化：

min_θf(θ)＝-logp_θ(Y|X)+r(θ)，

这里

$r\left(\mathrm{\θ}\right)={\mathrm{\λ}}_1\underset{i}{\mathrm{\Σ}}\left|{\mathrm{\θ}}_i\right|+{\mathrm{\λ}}_2\sqrt{{\mathrm{\θ}}^2}$

$p_{\mathrm{\θ}}\left(Y\right|X)=\frac{{\mathrm{\Π}}_{t=1}^{T+1}\exp ({\mathrm{\Ψ}}_{\mathrm{\θ}}(y_t,X)+{\mathrm{\Ψ}}_{\mathrm{\θ}}(y_t,y_{t-1}))}{Z_{\mathrm{\θ}}\left(X\right)}$

${\mathrm{\Ψ}}_{\mathrm{\θ}}(y_t,X)={\mathrm{\Σ}}_{a=1}^A{\mathrm{\λ}}_a{h}_a(y_t,X),$

${\mathrm{\Ψ}}_{\mathrm{\θ}}(y_t,y_{t-1})={\mathrm{\Σ}}_{b=1}^B{\mathrm{\β}}_b{g}_b(y_t,y_{t-1}),$

$Z_{\mathrm{\θ}}\left(X\right)={\mathrm{\Σ}}_Y{\mathrm{\Π}}_{c\∈C(Y,X)}{\mathrm{\φ}}_{\mathrm{\θ}}^c(Y_c,X_c),$ 为团(clique)C对应的隐函数，

$h_a(y_t,X)=1[y_t=m]x_j^i,$ 其中m∈Y，j∈[0，T]，

g_b(y_t，y_t-1)＝1[y_t＝m₁∧y_t-1＝m₂]，其中m₁，m₂∈Y

如图2、6所示，步骤九，对新样本进行识别，本发明对同类别行为具有很高的辨识度，对不同实验个体引入的动作差异有很强的泛化能力，同时对相似行为也有很好的识别能力。

结合人体3D关节坐标归一化技术、识别贡献大的关节组的选择、兴趣关节群选择、3D高斯空间特征稀疏表达及人体行为条件随机场模型共同构建了一个鲁棒的学习系统；本发明对同类别行为具有很高的辨识度，对不同实验个体引入的动作差异有很强的泛化能力，同时对相似行为也有很好的识别能力。

本发明在视频监控、人机交互、视频检索等领域都有广泛的应用前景。

以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (9)

1.基于图像深度信息的3D高斯空间人体行为识别方法，其特征在于，包括下列步骤：

步骤一，针对每帧图像的深度信息，采用Shotton提出的基于随机决策森林分类器的单像素物体识别方法确认人体部位并进一步获取人体3D关节坐标；

步骤二，将所述人体3D关节坐标数据归一化；

步骤三，筛选人体关节，过滤对人体行为识别贡献低的关节或冗余关节；

步骤四，分析每类行为，基于AP聚类算法，统计每一类行为中，关节空间运动行程突出的关节点，构建兴趣关节群；

步骤五，针对每类行为，基于兴趣关节群，计算每个动作的3D高斯空间特征；

步骤六，采用AP聚类算法，构建高斯距离核，将投影到人体动作空间的3D高斯空间特征聚为n组动作分类，并获取代表每组动作的聚类中心；

步骤七，针对每组动作，采用每个动作所属聚类中心构建行为特征单词表，并对每组动作进行数据清理准备；

步骤八，构建人体行为条件随机场模型，训练样本，得到人体行为识别模型；

步骤九，对新样本进行识别。

2.根据权利要求1所述的基于图像深度信息的3D高斯空间人体行为识别方法，其特征在于：所述步骤二中将所述人体3D关节坐标数据归一化包括骨架肢体矢量尺寸归一、骨架参考零点归一和骨架方向归一；

其中所述骨架肢体矢量尺寸归一的步骤包括：

a)选择一个人体3D关节坐标为标准模型；

b)保持各样本肢体段矢量方向不变，将各矢量缩放至标准模型长度；

c)以臀部中心为参考点，构造关节树，根据缩放长度移动各关节，移动矢量为：这里Δd_fi是当前节点的第fi个祖先的移动矢量，n为当前节点的祖先个数；

其中所述骨架参考零点归一的步骤包括：以臀部中心为新坐标参考空间零点O′，移动骨架；

其中所述骨架方向归一的步骤包括：

a)选择原坐标系X轴，使其与左臀到右臀的矢量

平行，以新坐标参考空间零点O′为臀部中心构建直线垂直于新的地面参考平面，得到新坐标参考空间Z轴；

b)旋转骨架，将骨架映射到新的坐标参考空间。

3.根据权利要求1所述的基于图像深度信息的3D高斯空间人体行为识别方法，其特征在于：所述步骤三通过筛选保留对人体行为识别贡献大的关节组，保留的关节组包括12个关节：头、左/右手肘、左/右手腕、左/右膝盖、左/右脚腕、左/右臀、臀部中心。

4.根据权利要求1所述的基于图像深度信息的3D高斯空间人体行为识别方法，其特征在于：所述步骤四通过AP算法构建兴趣关节群的步骤为：

a)计算相邻帧各个关节的运动距离，设在相邻帧(i帧，i+1帧)中某关节的坐标分别为：(x_ik，y_ik，z_ik)，(x_i+1，k，y_i+1，k，z_i+1，k)，则运动距离d_ik为：

d_ik ²＝(x_ik-x_i+1k)²+(y_ik-y_i+1k)²+(z_ik-z_i+1k)²

b)累加所有运动距离得到一个关节的总行程D_k：

$D_k=\underset{i=1}{\overset{n-1}{\mathrm{\Σ}}}{d_{\mathrm{ik}}}^2$

c)基于AP算法，指定聚类数，采用欧氏距离为相似度度量，根据上一步计算所得运动距离将所有关节分为3类；

d)摒弃运动距离最短的关节，取运动距离较长的两类作为贡献度较高的关节，构建该行为的兴趣关节群。

5.根据权利要求1所述的基于图像深度信息的3D高斯空间人体行为识别方法，其特征在于：所述步骤五中每个动作的3D高斯空间特征的计算过程为：

a)将3D空间划分为m×n×l(m，n，l∈Z)个子空间，每个关节必在一个子空间内；

b)计算除臀部中心外的其余11个关节的子空间高斯密度：

(1)对每个关节，计算其子空间高斯密度，

$p(X,u,\mathrm{\Σ})=\frac{1}{\sqrt{{\left(2\mathrm{\π}\right)}^n}\sqrt{\left|\mathrm{\Σ}\right|}}{e}^{-\frac{1}{2}(x-\mathrm{\μ}{)}^T{\mathrm{\Σ}}^{-1}(x-\mathrm{\μ})}$

其中X代表关节坐标，u代表子空间中心，∑代表协方差矩阵，令∑＝d/3*n*I，这里d为每个子空间对角线长度，n是子空间个数，I为单位矩阵；

(2)对于正态分布，99％的信息包含在正负3个标准差内(即d*n*I，n＝3.5)，令距离子空间中心距离d_joint，bin＞ε(ε＝d；)的关节对应子空间高斯密度p(X，u，∑)＝0；

c)每个动作的11个关节的子空间高斯密度即构成了稀疏的动作特征表达。

6.根据权利要求1所述的基于图像深度信息的3D高斯空间人体行为识别方法，其特征在于：所述步骤六中高斯距离核的构造方法为：

这里x，y代表两组特征向量，σ为标准差。

7.根据权利要求1所述的基于图像深度信息的3D高斯空间人体行为识别方法，其特征在于：所述步骤六中人体动作空间的3D高斯空间特征聚类方法为：

a)采用上述高斯距离核，计算各组动作高斯密度特征相似度s(x，y)；

b)针对大数量矩阵，令

的相似度为0，构建稀疏相似矩阵；

c)取

为参考值，n为样本个数，根据样本，通过消息传递，自动确定聚类数，应用支持稀疏矩阵的AP聚类，得到k′个聚类中心动作。

8.根据权利要求1所述的基于图像深度信息的3D高斯空间人体行为识别方法，其特征在于：所述步骤七中行为特征单词表的构造方法为：

a)替换原动作序列所有样本为其所属样本中心动作，得到一组视觉单词串；

b)清理每个行为样本视觉单词串，删除连续重复的单词，以减少不同样本间时间偏移造成的影响，得到行为特征单词表。

9.根据权利要求1所述的基于图像深度信息的3D高斯空间人体行为识别方法，其特征在于：所述步骤八得到的人体行为识别模型采用PSS进行优化：

min_θf(θ)＝-logp_θ(Y|X)+r(θ)，

这里

$r\left(\mathrm{\θ}\right)={\mathrm{\λ}}_1\underset{i}{\mathrm{\Σ}}\left|{\mathrm{\θ}}_i\right|+{\mathrm{\λ}}_2\sqrt{{\mathrm{\θ}}^2},$

$p_{\mathrm{\θ}}\left(Y\right|X)=\frac{{\mathrm{\Π}}_{t=1}^{T+1}\exp ({\mathrm{\Ψ}}_{\mathrm{\θ}}(y_t,X)+{\mathrm{\Ψ}}_{\mathrm{\θ}}(y_t,y_{t-1}))}{Z_{\mathrm{\θ}}\left(X\right)},$

${\mathrm{\Ψ}}_{\mathrm{\θ}}(y_t,X)={\mathrm{\Σ}}_{a=1}^A{\mathrm{\λ}}_a{h}_a(y_t,X),$

${\mathrm{\Ψ}}_{\mathrm{\θ}}(y_t,y_{t-1})={\mathrm{\Σ}}_{b=1}^B{\mathrm{\β}}_b{g}_b(y_t,y_{t-1}),$

$Z_{\mathrm{\θ}}\left(X\right)={\mathrm{\Σ}}_Y{\mathrm{\Π}}_{c\∈C(Y,X)}{\mathrm{\φ}}_{\mathrm{\θ}}^c(Y_c,X_c),$

为团(clique)C对应的隐函数，

$h_a(y_t,X)=1[y_t=m]x_j^i,$ 其中m∈Y，j∈[0，T]，

g_b(y_t，y_t-1)＝1[y_t＝m₁∧y_t-1＝m₂]，其中m₁，m₂∈Y。

Images