CN106066996B

CN106066996B - 人体动作的局部特征表示方法及其在行为识别的应用

Info

Publication number: CN106066996B
Application number: CN201610363508.7A
Authority: CN
Inventors: 王永雄; 曾艳
Original assignee: University of Shanghai for Science and Technology
Current assignee: University of Shanghai for Science and Technology
Priority date: 2016-05-27
Filing date: 2016-05-27
Publication date: 2019-07-30
Anticipated expiration: 2036-05-27
Also published as: CN106066996A

Abstract

本发明涉及图像处理和图像识别领域，具体为人体动作的局部特征表示方法及其在行为识别的应用，人体动作的局部特征表示方法包括如下步骤：首先根据人体行为生物学和运动学特征，从能量的角度提取了人体骨骼关节点的动能、人体骨骼关节点的位置坐标、人体骨骼关节点的方向变化向量以及人体骨骼关节点的姿态势能，构建局部特征组合矩阵。然后利用K‑means聚类将局部特征矩阵降维并提取词袋(Bag Of Word，BOW)特征，并结合人体关节角特征组成用于行为识别的特征向量，将该特征向量应用到人体行为识别领域经实验验证有较好的效果。

Description

人体动作的局部特征表示方法及其在行为识别的应用

技术领域

本发明涉及一种图像处理和图像识别领域中的基于人体三维空间信息的局部特征提取方法，属于图像识别领域。

背景技术

近几年，随着视频设备和3D相机的广泛使用，基于三维信息的行为识别因为其受环境影响小等特点得到了广泛关注和重视。经对现有文献的检索发现，Gu J.等人[Gu J,Ding X,Wang S,et al.Action and gait recognition from recovered 3-D humanjoints[J].Systems,Man,and Cybernetics,Part B:Cybernetics,IEEE Transactionson,2010,40(4):1021-1033.]认为人体关节点三维空间位置序列可以很好的描述人体运动过程，Junxia G.等人[Junxia G,Xiaoqing D,Shengjin W,et al.Full body tracking-based human action recognition[C]//IEEE19th International Conference onPattern Recognition.ICPR 2008:1-4.]在采用关节点空间位置序列的基础上加入了全局运动特征及局部形态特征，基于更多信息特征的识别率明显优于Gu J.等人的方法，因此特征的优劣及选取特征的数量对识别的准确率有重大的影响，选取能够对动作具有更多描述的信息将有助于识别率的提高。

然而随着特征不断加入，识别准确率随之提高，但是数据量的增加，计算量也随之变大，并且难以从高层语义上进行理解，因此有必要对组合特征数据进行降维，生成有利于识别的高层语义特征。Li等人[Li T,Kweon I S.A semantic region descriptor forlocal feature based image categorization[C]//Acoustics,Speech and SignalProcessing.IEEE International Conference on.ICASSP,2008:1333-1336.]提出了一种新的局部特征方法，通过使用局部的高层语义信息建立局部特征矩阵，然后使用聚类的方法建立视觉单词本，即建立BOW(词袋，Bag Of Word)作为描述图片的特征，实现了多种特征数据的融合。

但是研究发现，在大多数的特征表示方法中，难以从人动作的物理属性来定性解释，难以较好地描述动作的变化过程。进一步我们的分析发现：人的不同动作不仅表现在位置信息上的区别，而且表现在关节点序列的能量特征上，但是上述相关学者的研究都没有考虑到关节点序列的能量特征，对应的识别效果不是很高。

发明内容

本发明是为解决上述问题而提出的，经过设计和优化，提供了一种人体动作的局部特征表示方法和该方法在在行为识别上的应用方案。

一种人体动作的局部特征表示方法，用于从三维空间的动态图像中提取得到人体的局部特征矩阵，其特征在于，包括：

步骤一，从三维空间的动态图像中获取人体是三维坐标，再从所述动态图像中的相邻两帧静态图像中的15个人体骨骼关节点的坐标变化中获取对应的所述人体骨骼关节点的动能，计算公式如下：

其中，Ek_i,t表示F_t帧所述静态图像中第i个所述人体骨骼关节点的动能，k为动能参数，Δt表示所述相邻两帧静态图像之间的时间间隔，

P_i,t表示第i个所述人体骨骼关节点在F_t帧所述静态图像中的空间位置，使用三维空间坐标(x_i,t,y_i,t,z_i,t)表示；

步骤二，计算每帧所述静态图像中的所述人体骨骼关节点的方向变化向量，计算公式如下：

φ_i,t＝(x_i,t-x_i,t-1,y_i,t-y_i,t-1,z_i,t-z_i,t-1) (2)

其中φ_i,t表示Ft帧中第i个关节点相对于上一帧的所述静态图像中第i个所述人体骨骼关节点的方向变化向量，x_i,t、y_i,t、z_i,t分别表示该人体骨骼关节点在F_t帧所述静态图像中的空间三维坐标；

步骤三，选取所述人体骨骼关节点中的躯干处关节点或头部关节点作为零势能参照点，则对应的对应的t帧中第i个所述人体骨骼关节点的姿态势能定义为：

E_i,t＝L(|P_i,t-P_1,t|) (3)

其中，L为势能参数，P_i,t为t帧中第i个关节点位置，P_1,t表示t帧中所述零势能参照点的坐标位置；

步骤四，定义并计算6个代表性人体关节角度，θ₁和θ₂分别表示左手大臂与左手大小臂形成的人体关节角和右手大臂与右手小臂形成的人体关节角，θ₃和θ₄分别表示左腿大腿与左腿小腿的人体关节角和右腿大腿与右腿小腿的人体关节角，θ₅和θ₆分别表示左手大臂与躯干形成的夹角和右手大臂与躯干形成的人体关节角，则上述的人体关节角计算公式为：

其中，θ_n,t表示F_t帧中第n个关节角，“·”符号表示向量的内积，“||”表示向量的模，α和β分别表示对应的所述人体关节角中两个关节的两个向量；

步骤五，基于步骤一、二、三、四计算得到的所述人体骨骼关节点的动能、所述人体骨骼关节点的坐标、所述人体骨骼关节点的方向变化向量以及所述人体骨骼关节点的姿态势能这四类特征组合成所述人体的局部特征矩阵Y_t，该矩阵Y_t如下式：

本发明提供的人体动作的局部特征表示方法，还可以具有这样的特征：其中，步骤一的15个所述人体骨骼关节点包括头、颈、躯干、左肩、左手肘、右肩、右手肘、左髋关节、左膝盖、右髋关节、右膝盖、左手、右手、左脚、右脚。

本发明提供的人体动作的局部特征表示方法，还可以具有这样的特征：其中，步骤一的所述动能参数k取1，所述时间间隔Δt取1/30s。

本发明还提供一种人体动作的局部特征表示方法在行为识别上的应用，利用上述的人体动作的局部特征表示方法来进行所述动态图像中人的行为识别，其特征在于包括以下步骤：

S1，按照下列公式(7)(8)(9)进行运算，由所述人体的局部特征矩阵Y_t得到标准化局部特征矩阵Yt*：

式中M表示15个所述所述人体骨骼关节点的特征X的均值，Xi表示第i个所述人体骨骼关节点的特征X，

式中S表示15个所述所述人体骨骼关节点的特征X的标准差，

式中Xi*表示第i个所述人体骨骼关节点标准化后的特征X，最终的标准化局部特征矩阵Yt*计算式为

S2，使用K-means算法对所述标准化局部特征矩阵Yt*进行多次重复聚类，聚类后得到得到5个聚类中心点C₁、C₂、C₃、C₄、C₅，将所述局部特征矩阵Y_t向5个聚类中心点C₁、C₂、C₃、C₄、C₅映射得到指定维数K的特征向量；

S3，构建第F_t帧的所述静态图像的BOW_t特征，定义BOW_t特征：

BOW_t＝[bin₁ bin₂ bin₃ bin₄ bin₅] (6)

其中，bin_i表示第i个动作；

S4，选取合适的核函数进行分类运算，将S1、S2中的数据输入到基于所述核函数的SVM算法程序中得到所述局部特征矩阵Y_t与BOW_t特征中的bin_i的对应关系，实现所述动态图像中人的行为识别。

本发明提供的人体动作的局部特征表示方法在行为识别上的应用，还具有这样的特征：其中，步骤S2的所述指定维数K取值为5。

本发明提供的人体动作的局部特征表示方法在行为识别上的应用，还具有这样的特征：其中，步骤S2的所述多次重复聚类的重复次数为100。

本发明提供的人体动作的局部特征表示方法在行为识别上的应用，还具有这样的特征：其中，步骤S4的所述核函数为径向基内核函数Radial Basis Function，其公式为

其中x_c为核函数中心，σ为函数的宽度参数，γ为核参数。

发明作用与效果

本发明提供了一种人体动作的局部特征表示方法及其在行为识别的应用，在关节点位置序列的基础上提取人体关节点的运动能量和姿态能量信息作为全局运动特征，并加入关节点方向变化等特征用于表示运动中的局部形态变化，组合为一个局部特征矩阵，从而建立BOW作为描述图片的特征，实现了多种特征数据的融合，较好地描述了动作的变化过程提高行为识别的准确率，减少计算的数据量缩短识别时间，提高了图像中的人体动作识别的匹配率。

附图说明

图1是本发明的实施例的人体动作的局部特征表示方法的流程示意图；

图2为人体的骨架中人体关节角示意图；

图3为本实施例的BOWt构建过程示意图；

图4为本发明行为识别系统的框架示意图；

图5为本发明的实验的四组数据分类结果混淆矩阵示意图，对应的分别标记为图5(a)、图5(b)、图5(c)、图5(d)；

图6为本实验的十二个动作准确率统计图。

具体实施方式

以下结合附图来说明本发明的具体实施方式。

图1是本实施例的人体动作的局部特征表示方法的流程示意图。

第一步，使用微软公司的Kinect SDK(kinect sdk for windows的硬件和软件)获取人体动态图像以及人体的骨架，骨架是由20个关节点和13根连接关节的线段组成，如手，颈部，躯干，左肩，左手肘，左掌，右肩膀等。本实施例使用的数据库是康奈尔大学的Dataset-1200(CAD-60)，数据库中的人体骨架模型由15个人体骨骼关节点组成，具体顺序和编号如表1所示。从而获取每一个时刻的人体骨骼关节点的位置三维坐标(x_i,t,y_i,t,z_i,t)信息并作如下计算：

表1关节点编号

a.通过相邻两帧静态图像的坐标信息变化计算出每一帧静态图像中人体骨骼关节点的动能。计算公式如下：

其中，Ek_i,t表示F_t帧中第i个人体骨骼关节点的动能，k为动能参数，实验中k取1，Δt表示相邻两帧静态图像之间的时间间隔，根据所使用Kinect硬件的性能指标，本实施例中Δt取1/30s，P_i,t表示第i个人体骨骼关节点在F_t帧中的空间位置，即三维空间坐标(x_i,t,y_i,t,z_i,t)。

b.通过第i个人体骨骼关节点的三维空间坐标(x_i,t,y_i,t,z_i,t)来计算每一帧静态图像中人体骨骼关节点相对于上一帧所对应的人体骨骼关节点的方向变化向量，计算过程如式(2)

φ_i,t＝(x_i,t-x_i,t-1,y_i,t-y_i,t-1,z_i,t-z_i,t-1) (2)

其中φi_,t表示F_t帧静态图像中第i个人体骨骼关节点相对于上一帧中第i个人体骨骼关节点的方向变化向量，x_i,t、y_i,t、z_i,t分别表示该关节点在F_t帧中的空间三维坐标。

c.选取躯干处的人体骨骼关节点(即第3个人体骨骼关节点)或头部处的人体骨骼关节点(即第1个人体骨骼关节点)作为零势能参照点，则t帧中第i个人体骨骼关节点的人体姿态势能E_i,t定义如(3)：

E_i,t＝L(|P_i,t-P_1,t|) (3)

式中L为势能参数，本实施例取值为1，P_i,t为t帧中第i个人体骨骼关节点的位置，P_1,t表示t帧中头部关节点(即即第1个人体骨骼关节点)，即本实施例以编号为1的头部处的人体骨骼关节点作为零势能参照点。

图2为人体的骨架中人体关节角示意图。

d.根据人体运动规律定义6个代表性人体关节角，如图2所示，θ₁和θ₂分别表示左手大臂与左手大小臂形成的人体关节角和右手大臂与右手小臂形成的人体关节角，θ₃和θ₄分别表示左腿大腿与左腿小腿的人体关节角和右腿大腿与右腿小腿的人体关节角，θ₅和θ₆分别表示左手大臂与躯干形成的夹角和右手大臂与躯干形成的人体关节角。公式(4)给出了人体关节角计算方法。

其中θ_n,t表示Ft帧中第n个人体关节角，“·”符号表示向量的内积，“||”表示向量的模。α和β分别表示关节角对应的两个向量。

e，基于步骤a、b、c、d计算得到的所述人体骨骼关节点的动能Ek_i,t、所述人体骨骼关节点的坐标P_i,t、所述人体骨骼关节点的方向变化向量φ_i,t以及所述人体骨骼关节点的姿态势能E_i,t这四类特征组合成所述人体的局部特征矩阵Y_t，该矩阵Y_t如下式：

由上述第一步的a、b、c、d、e这5个小步骤就完成了一个完整的人体动作的局部特征表示方法，由人体动态图像得到了我们进行行为识别的人体的局部特征矩阵Y_t。

下面详细介绍利用上述构建的人体的局部特征矩阵Y_t进行人体行为识别的详细原理以及真实实验的过程与结果。

由于人体关节角特征较少，不利于降维处理，因此将人体关节角作为BOW(词袋，Bag Of Word)之外的特征与BOW一起构建特征向量，即构建一个共计11维的特征向量。

提取人体骨骼关节点的动能Ek_i,t、所述人体骨骼关节点的坐标P_i,t、所述人体骨骼关节点的方向变化向量φ_i,t以及所述人体骨骼关节点的姿态势能E_i,t、人体关节角θ_n,t作为BOW的预选特征。

第二步，首先基于提取的人体骨骼关节点的动能Ek_i,t、人体骨骼关节点的坐标P_i,t、人体骨骼关节点的方向变化向量φ_i,t、人体骨骼关节点的姿态势能E_i,t共4类特征组合成局部特征矩阵Y_t，矩阵结构如式(6)，矩阵的行i与关节点的序号相对应，按列依次存放以上4类特征。

在进行下一步的聚类前，需首先对局部特征矩阵Y_t按公式(7)(8)(9)作标准化处理即：

式中S表示15个所述所述人体骨骼关节点的特征X的标准差，

然后用K-means算法对局部特征矩阵Y进行聚类，通过聚类找出这些数据的中心点，将这些数据向聚类中心映射得到指定维数为k的特征向量。本文就K值的选择作了多次实验，最终发现当K取5时效果较好，因此将K设置为5且聚类重复次数为100。注意聚类前需首先对局部特征矩阵按公式(7)(8)(9)作标准化处理。

式中M表示15个关节点特征X的均值，Xi表示第i关节点的特征X。

式中S表示15个关节点特征X的标准差。

式中Xi*表示第i个关节点标准化后的特征X。最终的标准化局部特征矩阵Yt*如下：

S2，使用K-means算法对所述标准化局部特征矩阵Yt*进行多次重复聚类，聚类后得到得到5个聚类中心点C₁、C₂、C₃、C₄、C₅，将所述局部特征矩阵Y_t向5个聚类中心点C₁、C₂、C₃、C₄、C₅映射得到指定维数K的特征向量，本实施例就K值的选择作了多次实验，最终发现当K取5时效果较好，因此将K设置为5，且聚类重复次数为100。

S3，聚类后得到5个聚类中心C₁、C₂、C₃、C₄、C₅，然后将所有特征向量映射到这5个聚类中心，式(11)定义了表示第F_t帧的BOW_t特征

BOW_t＝[bin₁ bin₂ bin₃ bin₄ bin₅] (11)

其中，bin_i表示第i个动作；

BOW_t构建过程的编程伪代码思路如下所示：

i.初始化：BOW_t＝[0 0 0 0 0]即bin_k＝0(k＝1,2,3,4,5)

ii.(1)令

Y_t＝[vector₁,vector₂,vector₃……,vector₁₅]^T；

vector_i＝[Ek_i,t ^* φ_i,t ^* P_i,t ^* E_i,t ^*]

(2)利用K-means算法对vector_i(i＝1,2……,15)聚类后得到5

个聚类中C₁、C₂、C₃、C₄、C₅即C_k(k＝1,2,3,4,5)。

(3)for i:15,

for k:5,

计算所有vector与C_k的欧式距离计算公式如式

(12)：

end

如果D[index]是D中的最小值

bin_index＝bin_index+1

图3为本实施例的BOW_t构建过程示意图。

BOW_t特征过程可由附图3所示，图中星号表示vectori，点表示聚类中心。聚类中心的个数与K-means聚类中的K值相等均为5。

第三步，选取合适的核函数进行分类运算，将S1、S2中的数据输入到基于所述核函数的SVM(支持向量机，Support Vector Machine)算法程序中得到所述局部特征矩阵Y_t与BOW_t特征中的bin_i的对应关系，实现所述动态图像中人的行为识别。

选取合适的核函数，根据数据特点选择合适的核函数可使SVM发挥最好的分类能力。因为径向基内核函数(Radial Basis Function,RBF Kernel)具有良好的性能且调节参数较少，因此本实施例采用基于RBF核函数的SVM分类器(RBF-SVM)，RBF核函数公式如式(13)。

其中x_c为核函数中心，σ为函数的宽度参数，γ为核参数。

此次实施例实验中SVM算法程序采用的是由中国台湾大学林仁智(Lin Chih-Jen)教授开发的libsvm程序，通过反复交叉验证选择了一组最优参数c＝32、g＝2。

实施例的作用与效果

为了说明上述实施例提供的人体动作的局部特征表示方法以及该人体动作的局部特征表示方法在行为识别上的应用的实际效果，下面进行了实际模型实验。

图4为行为识别系统框架示意图；

图5为本实验的四组数据分类结果混淆矩阵示意图，对应的一、二、三、四组数据分别标记为图5(a)、图5(b)、图5(c)、图5(d)；

图6为本实验的十二个动作准确率统计图。

本次试验测试了四个人的四组数据，每个人都做相同的动作。实验时将数据库中每个动作的70％数据作为SVM的训练集，将余下30％的数据作为测试集。按图4中的方案对4个人的数据分别进行分类识别，每个人有12个行为数据依次分别为站立、打电话、在黑板上写字、喝水、漱口、刷牙(brushing teeth)、佩戴隐形眼镜、在沙发上聊天、躺在沙发上、做饭、打开药瓶、用电脑办公。分类结果用混淆矩阵表示如图5，每个动作的准确率统计如图6。

由图5和图6可知，在随机的测试过程中，实施例提供的人体动作的局部特征表示方法以及该人体动作的局部特征表示方法在行为识别上的应用效果是比较好的，行为识别准确率在80％左右，一些动作如站立、打电话、在黑板上写字、喝水、刷牙、在沙发上聊天、躺在沙发上、用电脑办公都达到了90％以上的识别率，较背景技术中提到的技术方案效果都要好。

Claims

1.一种人体动作的局部特征表示方法，用于从三维空间的动态图像中提取得到人体的局部特征矩阵，其特征在于，包括：

步骤一，从三维空间的动态图像中获取人体的三维坐标，再从所述动态图像中的相邻两帧静态图像中的15个人体骨骼关节点的坐标变化中获取对应的所述人体骨骼关节点的动能，计算公式如下：

φ_i,t＝(x_i,t-x_i,t-1,y_i,t-y_i,t-1,z_i,t-z_i,t-1) (2)

其中φ_i,t表示F_t帧中第i个关节点相对于上一帧的所述静态图像中第i个所述人体骨骼关节点的方向变化向量，x_i,t、y_i,t、z_i,t分别表示该人体骨骼关节点在F_t帧所述静态图像中的空间三维坐标；

步骤三，选取所述人体骨骼关节点中的躯干处关节点或头部关节点作为零势能参照点，则对应的F_t帧中第i个所述人体骨骼关节点的姿态势能定义为：

E_i,t＝L(|P_i,t-P_1,t|) (3)

其中，L为势能参数，P_i,t为t帧中第i个关节点位置，P_1,t表示F_t帧中所述零势能参照点的坐标位置；

步骤四，定义并计算6个代表性人体关节角度，θ₁和θ₂分别表示左手大臂与左手小臂形成的人体关节角和右手大臂与右手小臂形成的人体关节角，θ₃和θ₄分别表示左腿大腿与左腿小腿的人体关节角和右腿大腿与右腿小腿的人体关节角，θ₅和θ₆分别表示左手大臂与躯干形成的夹角和右手大臂与躯干形成的人体关节角，则上述的人体关节角计算公式为：

其中，θ_n,t表示F_t帧中第n个关节角，“·”符号表示向量的内积，“| |”表示向量的模，α和β分别表示对应的所述人体关节角中两个关节的两个向量；

2.根据权利要求1所述的人体动作的局部特征表示方法，其特征在于：

其中，步骤一的15个所述人体骨骼关节点包括头、颈、躯干、左肩、左手肘、右肩、右手肘、左髋关节、左膝盖、右髋关节、右膝盖、左手、右手、左脚、右脚。

3.根据权利要求1所述的人体动作的局部特征表示方法，其特征在于：

其中，步骤一的所述动能参数k取1，所述时间间隔Δt取1/30s。

4.人体动作的局部特征表示方法在行为识别上的应用方法，利用权利要求1-3中任意一项所述的人体动作的局部特征表示方法来进行所述动态图像中人的行为识别，其特征在于包括以下步骤：

式中S表示15个所述所述人体骨骼关节点的特征X的标准差，

S2，使用K-means算法对所述标准化局部特征矩阵Yt*进行多次重复聚类，聚类后得到5个聚类中心点C₁、C₂、C₃、C₄、C₅；

S3，将所述局部特征矩阵Y_t向5个聚类中心点C₁、C₂、C₃、C₄、C₅映射，通过欧式距离公式计算所述局部特征矩阵Y_t中每个vector_i向量与所述聚类中心点C₁、C₂、C₃、C₄、C₅之间的距离，

所述欧式距离公式为：

所述欧式距离公式中，i＝1～15，k＝1～5，

根据计算结果，将每个所述vector_i向量分别聚类至与该vector_i向量之间距离最短的所述聚类中心点C₁、C₂、C₃、C₄、C₅，再分别对聚类至所述聚类中心点C₁、C₂、C₃、C₄、C₅的所述vector_i向量求和，从而得到与所述聚类中心点C₁、C₂、C₃、C₄、C₅相对应的bin₁特征、bin₂特征、bin₃特征、bin₄特征以及bin₅特征，

所述bin₁、bin₂、bin₃、bin₄以及bin₅构成了第F_t帧的所述静态图像的指定维数K的BOW_t特征向量，该BOW_t特征向量的定义为：

BOW_t＝[bin₁ bin₂ bin₃ bin₄ bin₅] (11)

S4，选取合适的核函数进行分类运算，将S1、S2中的数据输入到基于所述核函数的SVM算法程序中得到所述局部特征矩阵Y_t与所述BOW_t特征向量中的bin_i特征的对应关系，实现所述动态图像中人的行为识别。

5.根据权利要求4所述的人体动作的局部特征表示方法在行为识别上的应用方法，其特征在于:

其中，步骤S3的所述指定维数K取值为5。

6.根据权利要求4所述的人体动作的局部特征表示方法在行为识别上的应用方法，其特征在于：

其中，步骤S2的所述多次重复聚类的重复次数为100。

7.根据权利要求6所述的人体动作的局部特征表示方法在行为识别上的应用方法，其特征在于：

其中，步骤S4的所述核函数为径向基内核函数Radial Basis Function，其公式为

其中x_c为核函数中心，σ为函数的宽度参数，γ为核参数。