CN109902614A - 一种基于局部时空特征的人体行为识别方法 - Google Patents

Abstract

本发明请求保护一种基于局部时空特征的人体行为识别方法，属于计算机视觉技术领域以及人体行为识别技术领域。本发明首先利用Kinect深度传感器中提取的骨骼视频序列作为人体行为表示，为视频序列中的每一个行为的每一帧提取位移矢量特征、相对位置特征、关节夹角特征等局部时空特征，然后利用K‑means聚类算法和VLAD算法将局部特征聚合成若干特征向量，然后将特征向量与LMNN算法结合进行度量学习，最后采用K‑NN分类器进行分类。本发明用于人体行为识别能使特征表达更具描述性和准确性，可以明显提高行为识别准确率。

Description

一种基于局部时空特征的人体行为识别方法

技术领域

本发明属于计算机视觉技术领域以及人体行为识别技术领域，尤其涉及一 种基于局部时空特征的人体行为识别方法。

背景技术

人体行为识别是指计算机对人体行为的描述和理解，其应用包括智能安防、 人机交互、监视系统和医疗诊断等。在实际应用中，由于人体行为动作多变性、 背景复杂性以及摄像机视角变化等因素，人体行为识别成为计算机视觉领域的 难点和热点问题。

近年来，从深度图中提取骨骼视频序列的人体行为识别方法备受关注，现 有方法大致分为基于身体部位的方法和基于骨骼节点的方法两类。

一)：基于身体部位的方法。该方法主要描述身体部位间关节夹角的变化或 者身体各个部位的运动，如Xia L等人提出了3D关节的直方图(HOJ3D)表示 人体姿态，采用LDA来投影直方图序列，并使用K-means算法标记每个姿态， 详见文献“Xia L,Chen C C,Aggarwal J K.View invariant human action recognition using histograms of 3Djoints[C]//Computer Vision and Pattern Recognition Workshops.Providence,RI,USA:IEEE,2012:20-27.”；Ofli F等人根据人体关节的 空间坐标提取关节角，并计算每个关节角在整个行为过程中的方差，然后根据 方差的大小排序，获取若干个最具信息量的关节部位，详见文献“Ofli F,Chaudhry R,Kurillo G,et al.Sequence of the MostInformative Joints(SMIJ):Anew representation for human skeletal actionrecognition[C]//Computer Vision and Pattern Recognition Workshops.Providence,RI,USA:IEEE,2012:24-38.”。

二)：基于骨骼节点的方法。该方法将人体骨骼看作点集，因此产生各种特 征提取方法，如Devanne M等人提出了基于流形的方法来分析骨骼关节序列， 将骨骼关节的时间信息投影到黎曼流行中，并提出一个弹性度量来比较不同的 动作，详见文献“Devanne M,Wannous H,Berretti S,et al.3-D human action recognition by shape analysis ofmotion trajectories on riemannian manifold[J].IEEE Transactions onCybernetics,2015,45(7):1340-1352.”；Luvizon D C等人提出了一 种时空特征表示方法，通过骨骼关节子集提取关节点的位移矢量信息和相对位 置信息作为局部特征，取得了较好的识别效果，详见文献“Luvizon D C,Tabia H, Picard D.Learning featurescombination for human action recognition from skeleton sequences[J].PatternRecognition Letters,2017,99:13-20”。

从这些方法中，可以得出骨骼关节的空间信息和时间信息都与行为识别相 关，然而，在识别某些相似性较高的动作时，效果不佳。针对该问题，本发明 将关节夹角特征和位移矢量特征以及相对位置特征相结合，利用K-means聚类 算法和VLAD算法进行聚合，然后利用LMNN算法度量学习，最后采用K-NN 分类器进行分类。本发明用于人体行为识别能使特征表达更具描述性和准确性， 可以明显提高行为识别准确率。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种特征表达更具描述性和准 确性、明显提高行为识别准确率的基于局部时空特征的人体行为识别方法。本 发明的技术方案如下：

一种基于局部时空特征的人体行为识别方法，其包括以下步骤：

步骤S1：输入数据集，即骨骼视频序列S；

步骤S2：为骨骼视频序列S中的每一个行为的每一帧提取位移矢量特征 (f₁,f₂,f₃)，相对位置特征(f₄,f₅,f₆,f₇)，关节夹角特征f₈，从而构建局部时空特征f_n,s， 其中n∈{1,...,8}，s表示每个行为所划分的帧数；

步骤S3：使用不同初始值的K-means聚类算法对每一组局部特征序列f_n,t聚 类C次，其中t∈{1,...,s}，C为一个常数，S为每个动作行为划分的帧数，对于每 一组局部特征就获得C*k个集群μ_n,c,m，其中n∈{1,...,8},c∈{1,...,C},m∈{1,...,k}，k表示 聚类中心的个数；

步骤S4：对步骤S3聚类得到的每一个集群μ_n,c,m运用VLAD局部聚合描述 符算法将局部特征聚合成特征向量ν_n,c,m，并将ν_n,c,m进行幂律归一化处理，将所 有集群归一化后得到的特征向量进行级联得到最终的局部特征向量F_n,c；

步骤S5，将局部特征向量F_n,c与LMNN最大边界近邻算法结合进行度量学 习，LMNN算法设计一个最小化目标函数来提高特征类内聚合度和类间离散度， 并且降低特征维度；

步骤S6：采用K-NN分类算法进行特征向量的训练，其中使用5-折叠交叉 验证法和使用留一交叉校验法进行训练数据集和测试数据集的划分和验证；

步骤S7：输出分类识别结果。

进一步的，所述步骤S2为骨骼视频序列S中的每一个行为的每一帧提取位 移矢量特征(f₁,f₂,f₃)，具体包括：

首先获取人体关节点的空间三维坐标，然后根据相邻两帧的坐标信息变 化计算出每一帧人体骨骼关节点位移矢量，计算公式为：其中是序列索引s中关节i的坐标(x,y,z)，ΔT是两个序列s+1和s-1之间的时 间间隔，τ是给定序列中的骨架(帧)的数量采取从人体中心逐渐分割到四肢的 方式构造三个特征。

进一步的，所述步骤S2为视频序列中的每一个行为的每一帧提取相对位置 特征(f₄,f₅,f₆,f₇)，具体包括：首先要获取人体关节点的空间三维坐标，然后根 据同一骨架的不同关节的坐标计算出每一帧人体骨骼关节点相对位置，计算公 式为：其中和是来自同一骨架的不同关节的坐标(x,y,z) 采用身体部位的脊椎、右髋、左髋、头部相对于身体的其他部位构造四个特 征。

进一步的，所述步骤S2为视频序列中的每一个行为的每一帧提取关节夹角 特征f₈，具体包括：首先获取人体关节点的空间三维坐标，然后根据同一骨架 的不同关节的坐标计算出每一帧人体骨骼关节点关节夹角，计算公式为： 其中θ_i,s为s帧中第i个关节角，“·”为向量的内积， “||”表示向量的模，将得到的关节夹角值归一化到[-1,1]，计算公式为： θ'_i,s＝||θ_i,s||∈[-1,1]，其中“||||”表示归一化处理，根据人体表征布局方式，结 合人体运动规律定义6个最具代表性的人体关节角，其中θ₁、θ₂、θ₃、θ₄、θ₅、θ₆， 分别表示左手与左肘、右手与右肘、左腕与左髋、右腕与右髋、左脚与左髋、右脚与右髋形成的夹角。

进一步的，所述步骤S4对聚类得到的每一个集群μ_n,c,m运用VLAD局部聚合 描述符算法将局部特征聚合成特征向量ν_nc,m,，具体包括：其中并将ν_n,c,m进行幂律归一化处理，计算公式为：将所有集群归一化后得到的特征向量进行级联得 到最终的局部特征向量F_n,c，其中F_n,c＝[ν_n,c,1,...,ν_n,c,k]，此时得到的F_n,c是一个向量， 其大小仅取决于相应的局部特征尺寸和聚类算法中心的数量，这样实现的目的 是为每个局部特征序列构建稳固的特征，并且使用多个聚类表示来保留局部特 征的基本结构。

进一步的，所述步骤S5将局部特征向量F_n,c与LMNN最大边界近邻算法结 合进行度量学习，具体包括：首先LMNN算法的设计一个最小化目标函数，即：

ε(L)＝(1-μ)ε_pull(L)+με_push(L)，其中用于缩小局部 特征向量F_n,c中同类样本之间的距离，ε_pull(L)表示同类样本之间的马氏距离累加 和，D_L(x_i,x_j)表示特征向量x_i和x_j之间的马氏距离， 用于加大局部特征向量F_n,c中不同类样 本之间的距离，μ是平衡参数，一般值为0.5，x_i和x_j是同类样本，x_i和x_l是异 类样本，ξ是同类样本和异类样本之间的期望分离边际。

本发明的优点及有益效果如下：

(1)本发明在特征提取阶段，提取了包括位移矢量、相对位置、关节夹角 等时间和空间中的特征属性，较为准确地表达了骨骼关节点在运动过程中的时 空关系。

(2)使用不同初始值的K-means聚类算法对每一组局部特征序列进行聚类， 然后使用VLAD(局部聚合描述符)算法对局部特征进行处理，处理后的向量 其大小仅取决于相应的局部特征尺寸和聚类算法中心的数量，这样实现的目的 是为每个局部特征序列构建稳固的特征，并且使用多个聚类表示来保留局部特 征的基本结构，使得最终特征表达更具描述性和准确性。

(3)采用LMNN(最大边界近邻)算法进行度量学习，不仅可以提高特征类 内聚合度和类间离散度，而且可以降低特征维度，从而提高识别准确率和计算 速度。

附图说明

图1是本发明提供优选实施例的处理流程框架图；

图2为15个骨骼节点的人体表示图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、 详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

如图1所示，本发明的实现流程包括如下：

步骤1，输入骨骼视频序列S。

步骤2，对每一个骨骼视频序列提取局部时空特征f_n,s，其中n∈{1,...,8}，s表 示每个行为所划分的帧数。

本步骤的具体实现如下：

2.1为视频序列中的每一个行为的每一帧提取位移矢量特征(f₁,f₂,f₃)，首先 要获取人体关节点的空间三维坐标，然后根据相邻两帧的坐标信息变化计算 出每一帧人体骨骼关节点位移矢量，计算公式为：其中 是序列索引s中关节i的坐标(x,y,z)，ΔT是两个序列s+1和s-1之间的时间间 隔，τ是给定序列中的骨架(帧)的数量。根据图2的人体表征布局方式，采取 从人体中心逐渐分割到四肢的方式构造三个特征，如表1所示。

表1由关节点的位移矢量构造局部特征(F_n)

2.2为视频序列中的每一个行为的每一帧提取相对位置特征(f₄,f₅,f₆,f₇)，首 先要获取人体关节点的空间三维坐标，然后根据同一骨架的不同关节的坐标 计算出每一帧人体骨骼关节点相对位置，计算公式为：其中 和是来自同一骨架的不同关节的坐标(x,y,z)。根据图2的人体表征布局方 式，采用身体部位的脊椎、右髋、左髋、头部相对于身体的其他部位构造四个 特征，如表2所示。

表2由关节点的相对位置构造局部特征(F_n)

2.3为视频序列中的每一个行为的每一帧提取关节夹角特征f₈，首先要获取 人体关节点的空间三维坐标，然后根据同一骨架的不同关节的坐标计算出 每一帧人体骨骼关节点关节夹角，计算公式为：其中θ_i,s为s帧中第i个关节角，“·”为向量的内积，“||”表示向量的模。 将得到的关节夹角值归一化到[-1,1]，计算公式为：θ'_i,s＝||θ_i,s||∈[-1,1]，其中 “||||”表示归一化处理。根据图2的人体表征布局方式，本发明结合人体运 动规律定义6个最具代表性的人体关节角，其中θ₁、θ₂、θ₃、θ₄、θ₅、θ₆，分别表 示左手与左肘、右手与右肘、左腕与左髋、右腕与右髋、左脚与左髋、右脚 与右髋形成的夹角。构建一个特征，如表3所示。

表3由关节点的角度构造局部特征(F_n)

步骤3，使用不同初始值的K-means聚类算法对每一组局部特征序列f_n,t聚 类C次，其中t∈{1,...,s}，C为一个常数，S为每个动作行为划分的帧数。这样， 对于每一组局部特征就获得C*k个集群μ_n,c,m，其中n∈{1,...,8},c∈{1,...,C},m∈{1,...,k}，k 表示聚类中心的个数，同时在每个集群中采用PCA(主成分分析)减少某些特 征由于出现次数过多而带来的影响。

需要说明的是，本发明中C的取值为5，k取值为23。

步骤4，对聚类得到的每一个集群μ_n,c,m运用VLAD(局部聚合描述符)算法 将局部特征聚合成特征向量ν_n,c,m，其中并将ν_n,c,m进行幂律归一化处理，计算公式为：将所有集群 归一化后得到的特征向量进行级联得到最终的局部特征向量F_n,c，其中 F_n,c＝[ν_n,c,1,...,ν_n,c,k]。此时得到的F_n,c是一个向量，其大小仅取决于相应的局部特 征尺寸和聚类算法中心的数量，这样实现的目的是为每个局部特征序列构建稳 固的特征，并且使用多个聚类表示来保留局部特征的基本结构，使得最终特征 表达更具描述性和准确性。

步骤5，将局部特征向量F_n,c与LMNN(最大边界近邻)算法结合进行度量学 习，首先LMNN算法的会设计一个最小化目标函数，即：

ε(L)＝(1-μ)ε_pull(L)+με_push(L)，其中用于缩小局部 特征向量F_n,c中同类样本之间的距离，ε_pull(L)表示同类样本之间的马氏距离累加 和，D_L(x_i,x_j)表示特征向量x_i和x_j之间的马氏距离， 用于加大局部特征向量F_n,c中不同类样 本之间的距离，μ是平衡参数，一般值为0.5，x_i和x_j是同类样本，x_i和x_l是异 类样本，ξ是同类样本和异类样本之间的期望分离边际。通过度量学习阶段不仅 可以提高特征类内聚合度和类间离散度，而且可以降低特征维度，从而提高识别准确率和计算速度。

步骤6，采用K-NN分类算法进行特征向量的训练，并按照训练集和测试集 的划分方法，用训练数据集进行训练，测试数据集进行测试。其中训练集和测 试集的划分方法包括：使用5-折叠交叉验证法，即选择一半的数据作为训练数 据，其余一半数据作为测试数据，以及使用留一交叉校验法(LOOCV)。即将 全部样本分为N份(表示共有N名实验者)，取其中一份作为测试，其余的N-1 份进行训练生成预测模型。

步骤7，输出分类识别结果。

将本发明在3个标准的人体行为数据库进行测试：MSR-Action3D、 UTKinect-Action3D和Florence3D Actions数据库。实验结果表明，本发明提出 的技术方案相较于传统方案具有更好的识别准确率，并且使得特征表达更具描 述性和准确性。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范 围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或 修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (6)

1.一种基于局部时空特征的人体行为识别方法，其特征在于，包括以下步骤：

步骤S1：输入数据集，即骨骼视频序列S；

步骤S2：为骨骼视频序列S中的每一个行为的每一帧提取位移矢量特征(f₁,f₂,f₃)，相对位置特征(f₄,f₅,f₆,f₇)，关节夹角特征f₈，从而构建局部时空特征f_n,s，其中n∈{1,...,8}，s表示每个行为所划分的帧数；

步骤S3：使用不同初始值的K-means聚类算法对每一组局部特征序列f_n,t聚类C次，其中t∈{1,...,s}，C为一个常数，S为每个动作行为划分的帧数，对于每一组局部特征就获得C*k个集群μ_n,c,m，其中n∈{1,...,8},c∈{1,...,C},m∈{1,...,k}，k表示聚类中心的个数；

步骤S4：对步骤S3聚类得到的每一个集群μ_n,c,m运用VLAD局部聚合描述符算法将局部特征聚合成特征向量ν_n,c,m，并将ν_n,c,m进行幂律归一化处理，将所有集群归一化后得到的特征向量进行级联得到最终的局部特征向量F_n,c；

步骤S5，将局部特征向量F_n,c与LMNN最大边界近邻算法结合进行度量学习，LMNN算法设计一个最小化目标函数来提高特征类内聚合度和类间离散度，并且降低特征维度；

步骤S6：采用K-NN分类算法进行特征向量的训练，其中使用5-折叠交叉验证法和使用留一交叉校验法进行训练数据集和测试数据集的划分和验证；

步骤S7：输出分类识别结果。

2.根据权利要求1所述的一种基于局部时空特征的人体行为识别方法，其特征在于，所述步骤S2为骨骼视频序列S中的每一个行为的每一帧提取位移矢量特征(f₁,f₂,f₃)，具体包括：

首先获取人体关节点的空间三维坐标，然后根据相邻两帧的坐标信息变化计算出每一帧人体骨骼关节点位移矢量，计算公式为：其中是序列索引s中关节i的坐标(x,y,z)，△T是两个序列s+1和s-1之间的时间间隔，τ是给定序列中的骨架(帧)的数量采取从人体中心逐渐分割到四肢的方式构造三个特征。

3.根据权利要求1所述的一种基于局部时空特征的人体行为识别方法，其特征在于，所述步骤S2为视频序列中的每一个行为的每一帧提取相对位置特征(f₄,f₅,f₆,f₇)，具体包括：首先要获取人体关节点的空间三维坐标，然后根据同一骨架的不同关节的坐标计算出每一帧人体骨骼关节点相对位置，计算公式为：其中和是来自同一骨架的不同关节的坐标(x,y,z)采用身体部位的脊椎、右髋、左髋、头部相对于身体的其他部位构造四个特征。

4.根据权利要求1所述的一种基于局部时空特征的人体行为识别方法，其特征在于，所述步骤S2为视频序列中的每一个行为的每一帧提取关节夹角特征f₈，具体包括：首先获取人体关节点的空间三维坐标，然后根据同一骨架的不同关节的坐标计算出每一帧人体骨骼关节点关节夹角，计算公式为：其中θ_i,s为s帧中第i个关节角，“·”为向量的内积，“| |”表示向量的模，将得到的关节夹角值归一化到[-1,1]，计算公式为：θ'_i,s＝||θ_i,s||∈[-1,1]，其中“|| ||”表示归一化处理，根据人体表征布局方式，结合人体运动规律定义6个最具代表性的人体关节角，其中θ₁、θ₂、θ₃、θ₄、θ₅、θ₆，分别表示左手与左肘、右手与右肘、左腕与左髋、右腕与右髋、左脚与左髋、右脚与右髋形成的夹角。

5.根据权利要求4所述的一种基于局部时空特征的人体行为识别方法，其特征在于，所述步骤S4对聚类得到的每一个集群μ_n,c,m运用VLAD局部聚合描述符算法将局部特征聚合成特征向量ν_n,c,m，具体包括：其中并将ν_n,c,m进行幂律归一化处理，计算公式为：将所有集群归一化后得到的特征向量进行级联得到最终的局部特征向量F_n,c，其中F_n,c＝[ν_n,c,1,...,ν_n,c,k]，此时得到的F_n,c是一个向量，其大小仅取决于相应的局部特征尺寸和聚类算法中心的数量，这样实现的目的是为每个局部特征序列构建稳固的特征，并且使用多个聚类表示来保留局部特征的基本结构。

6.根据权利要求5所述的一种基于局部时空特征的人体行为识别方法，其特征在于，所述步骤S5将局部特征向量F_n,c与LMNN最大边界近邻算法结合进行度量学习，具体包括：首先LMNN算法的设计一个最小化目标函数，即：

ε(L)＝(1-μ)ε_pull(L)+με_push(L)，其中用于缩小局部特征向量F_n,c中同类样本之间的距离，ε_pull(L)表示同类样本之间的马氏距离累加和，D_L(x_i,x_j)表示特征向量x_i和x_j之间的马氏距离，用于加大局部特征向量F_n,c中不同类样本之间的距离，μ是平衡参数，一般值为0.5，x_i和x_j是同类样本，x_i和x_l是异类样本，ξ是同类样本和异类样本之间的期望分离边际。