CN110490143A - 一种自适应模式的动作识别方法 - Google Patents

Abstract

本发明提供一种自适应模式的动作识别方法，具体实施方式为：步骤1，采集人体动作视频，提取其中每一帧人体骨骼点的位置信息，组成全身骨骼点动作序列；步骤2，从全身骨骼点动作序列中读取半身骨骼点动作序列，做数据处理，获得半身动作姿态矩阵序列S_p和半身动作符合度s₁；全身动作姿态矩阵序列S_h和全身动作符合度s₂；步骤3，若s₁不大于s₂，将S_h作为输入数据；否则将S_p作为输入数据，采用SVM支持向量机对输入数据进行动作识别，得到识别结果。本发明采用不同的动作模式进行识别，选择最佳的骨骼点集合表示动作姿态特征，有效避免无关关节点对动作质量评估时的影响，提高动作识别的准确率。

Description

一种自适应模式的动作识别方法

技术领域

本发明属于动作识别技术领域，涉及一种自适应模式的动作识别方法。

背景技术

动作识别技术已广泛应用在康复训练、智能家居和体感游戏等多个方面。随着计算机视觉的高速发展，越来越多的学者致力于人体动作识别的相关研究。对于动作识别，人体动作特征的提取和表示是前提和关键，也是难点和重点。对所有动作采用单一的动作模式进行动作识别的方法，无法减少同类动作的类内可变性和不同动作间的类间相似性造成的误差，从而导致动作识别准确率较低。

发明内容

本发明的目的是提供一种自适应模式的动作识别方法，解决了现有技术中存在的作识别准确率较低的问题。

本发明所采用的技术方案是，

一种自适应模式的动作识别方法，具体包括如下步骤为：

步骤1，采集人体动作视频，提取人体动作视频中每一帧人体骨骼点的位置信息，组成全身骨骼点动作序列；

步骤2，从全身骨骼点动作序列中读取半身骨骼点动作序列，对半身骨骼点动作序列做数据处理，获得半身动作姿态矩阵序列S_p和半身动作符合度s₁；对全身骨骼点动作序列做数据处理，获得全身动作姿态矩阵序列S_h和全身动作符合度s₂；

步骤3，若s₁不大于s₂，将S_h作为输入数据；否则将S_p作为输入数据，采用SVM支持向量机对输入数据进行动作识别，得到识别结果。

本发明的特点还在于，

步骤1中采用使用微软Kinect2.0红外深度传感器进行人体动作视频和骨骼点的提取。

步骤1中的骨骼点位置为{头，颈，左肩，右肩，脊柱中心，左肘，右肘，左手，右手，左膝，右膝，左脚踝，右脚踝}，每个骨骼点的三维空间坐标信息的数据格式为(float x,floaty,float z)。

步骤2中全身动作姿态矩阵序列S_h和全身动作符合度s₂的具体计算方式为：

步骤2.1，根据全身骨骼点动作序列中每个骨骼点的旋转量G_iF，G_iF代表第F帧第i个骨骼点的旋转量；

步骤2.2，根据全身骨骼点动作序列计算出全身骨骼点的人体姿态矩阵R_F；

步骤2.3，根据G_iF和R_F求出全身骨骼点动作序列中每一帧的动作姿态矩阵S_F，所有帧的S_F组成的集合{S_F}即为全身动作姿态矩阵序列S_h；

步骤2.4，根据R_h和S_h通过神经网络计算得到全身动作符合度s₂；

半身动作姿态矩阵序列S_p和半身动作符合度s₁具体计算方式与步骤2.1～2.4相同，不同在于采用半身骨骼点动作序列进行计算，半身骨骼点动作序列为骨骼点动作序列中上半身骨骼点的序列。

半身骨骼点动作序列为{头，颈，左肩，右肩，脊柱中心，左肘，右肘，左手，右手}，全身骨骼点动作序列为{头，颈，左肩，右肩，脊柱中心，左肘，右肘，左手，右手，左膝，右膝，左脚踝，右脚踝}，每个骨骼点的三维空间坐标信息的数据格式为(float x,float y,floatz)。

旋转量G_iF的具体计算方式为：将全身骨骼点动作序列的三维空间坐标信息转化为四元数的数据格式，四元数的数据格式为(float x,float y,float z,float w)，其中w为骨骼点的欧拉角；通过w计算出各骨骼点的旋转量G_iF，G_iF的计算公式为：

G_iF＝w_i+1-w_i (1)

其中w_i为当前骨骼点的欧拉角，w_i+1为人体骨骼点拓扑结构中下一个骨骼点的欧拉角。

步骤2.3中R_F表达式为：

R_F＝(R_i,j)_M×M (2)

式中，R_i,j表示的是第i个骨骼点到第j个骨骼点的相对位置关系，可以通过计算第i个骨骼点指向第j个骨骼点的单位向量得到两骨骼点间的相对位置关系。

S_F的表达式为：

S_F＝[R_F，G_iF] (3)。

步骤3按照以下方式实施：

步骤3.1，若s₁不大于s₂，将S_h作为输入数据；否则将S_p作为输入数据；

步骤3.2，采集大量人体动作视频，提取每个人体动作视频中每一帧人体骨骼点的位置信息，组成全身骨骼点动作序列，对所有全身骨骼点动作序列做数据处理，获得的所有动作姿态矩阵序列作为全身模式的训练集；

步骤3.3，从所有全身骨骼点动作序列中读取半身骨骼点动作序列，对所有半身骨骼点动作序列做数据处理，获得的所有的动作姿态矩阵序列作为半身模式的训练集；

步骤3.4，建立SVM支持向量机模型，若输入数据为S_p，选择半身模式的训练集对SVM支持向量机模型进行训练；若输入数据为S_h，选择半身模式的训练集对SVM支持向量机模型进行训练；

步骤3.5，对输入数据进行时间上的对齐处理；利用训练好的SVM支持向量机模型对对齐处理后的输入数据进行动作识别，输出动作名称。

本发明的有益效果是

本发明一种自适应模式的动作识别方法针对不同动作的特征，采用不同的动作模式进行识别，选择最佳的骨骼点集合表示动作姿态特征，有效避免无关关节点对动作质量评估时的影响，提高动作识别的准确率。

附图说明

图1是本发明一种自适应模式的动作识别方法的流程图；

图2是本发明一种自适应模式的动作识别方法中人体骨骼点示意图；

图3是本发明一种自适应模式的动作识别方法人体骨骼点拓扑关系图；

图4是本发明一种自适应模式的动作识别方法人体骨骼点拓扑关系图半身骨骼点动作序列的骨骼点示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种自适应模式的动作识别方法，如图1所示，具体按照如下步骤实施：

步骤1，采集人体动作视频，提取人体动作视频中每一帧人体骨骼点的位置信息，组成全身骨骼点动作序列；

步骤2，从全身骨骼点动作序列中读取半身骨骼点动作序列，对半身骨骼点动作序列做数据处理，获得半身动作姿态矩阵序列S_p和半身动作符合度s₁；对全身骨骼点动作序列做数据处理，获得全身动作姿态矩阵序列S_h和全身动作符合度s₂；

步骤3，若s₁大于s₂，将S_p作为输入数据；否则将S_h作为输入数据，采用SVM支持向量机对输入数据进行动作识别，得到识别结果。

步骤1中，使用微软Kinect2.0红外深度传感器进行人体动作视频和骨骼点的提取。人体骨骼点位置信息为如图2所示的25个骨骼点的三维空间的坐标，为{头，颈，左肩，右肩，脊柱中心，左肘，右肘，左手，右手，左膝，右膝，左脚踝，右脚踝}，每个骨骼点的三维空间坐标信息的数据格式为(float x,float y,float z)，其中float x、float y、float z分别为骨骼点的横坐标、纵坐标和竖坐标；

步骤2中，全身动作姿态矩阵序列S_h和全身动作符合度s₂的具体计算方式为：

步骤2.1，计算全身骨骼点动作序列中每个骨骼点的旋转量G_iF，G_iF代表第F帧第i个骨骼点的旋转量，具体步骤为：

将全身骨骼点动作序列的三维空间坐标信息转化为四元数的数据格式，四元数的数据格式为(float x,float y,float z,float w)，其中w为骨骼点的欧拉角；通过w计算出各骨骼点的旋转量G_iF，G_iF的计算公式为：

G_iF＝w_i+1-w_i (1)

其中w_i为当前骨骼点的欧拉角，w_i+1为人体骨骼点拓扑结构中下一个骨骼点的欧拉角，人体骨骼点拓扑结构如图3所示；

步骤2.2，计算出全身骨骼点动作序列的人体姿态矩阵R_F，R_F代表第F帧的人体姿态矩阵，即一个动作之间的所有骨骼点的相对位置关系组成的矩阵；R_F表达式为：

R_F＝(R_i,j)_M×M (2)

式中，R_i,j表示的是第i个骨骼点到第j个骨骼点的相对位置关系，可以通过计算第i个骨骼点指向第j个骨骼点的单位向量得到两骨骼点间的相对位置关系；

步骤2.3，求出全身骨骼点动作序列中每一帧的动作姿态矩阵S_F，S_F的表达式为：

S_F＝[R_F，G_iF] (3)

全身骨骼点动作序列中所有帧的动作姿态矩阵组成的集合{S_F}即为全身骨动作姿态矩阵序列S_h，

步骤2.4，根据R_h和S_h通过神经网络计算得到动作符合度s₂；

步骤2中，半身动作姿态矩阵序列S_p和半身动作符合度s₁具体计算方式与步骤2.1～2.4相同，不同在于采用半身骨骼点动作序列进行计算，半身骨骼点动作序列为骨骼点动作序列中上半身骨骼点的序列，上半身骨骼点即为图4中有标号的点，为{头，颈，左肩，右肩，脊柱中心，左肘，右肘，左手，右手}。

步骤3的具体实施方式为：

步骤3.1，比较s₁与s₂的数值大小，若s₁大于s₂，选择半身动作模式，将S_p作为输入数据，否则选择全身动作模式，将S_h作为输入数据；

步骤3.2，采集大量人体动作视频，提取每个人体动作视频中每一帧人体骨骼点的位置信息，组成全身骨骼点动作序列，对所有全身骨骼点动作序列做数据处理，获得的所有动作姿态矩阵序列作为全身模式的训练集；

步骤3.3，从所有全身骨骼点动作序列中读取半身骨骼点动作序列，对所有半身骨骼点动作序列做数据处理，获得的所有的动作姿态矩阵序列作为半身模式的训练集；

步骤3.4，建立SVM支持向量机模型，若输入数据为S_p，选择半身模式的训练集对SVM支持向量机模型进行训练；若输入数据为S_h，选择半身模式的训练集对SVM支持向量机模型进行训练；

步骤3.5，对输入数据进行时间上的对齐处理；利用训练好的SVM支持向量机模型对对齐处理后的输入数据进行动作识别，输出动作名称。

实施例1

本实施例在公共UTKinect-Action数据集上进行，将UTKinect-Action数据集的结果与HO3DJ方法和CRF方法进行了对比。

UTKinect-Action数据集，包含Kinect传感器提取的10个动作的数据，每个动作由10个人完成，每个人每个动作重复两次，共有199个有效动作序列。UTKinect-Action数据集中的动作具有高聚类和视角变化的特点。

本方法与其他方法进行比较的对比结果，如表1所示。本方法高于HO3DJ方法4.89％，高于CRF方法4.09％。

表1 UTKinect-Action数据集各动作的识别准确率对比

实施例2

表2 MSR Action3D数据集各动作的动作模式和识别率

本实施在MSR Action3D数据集上进行，将MSR Action3D数据集的结果与HO3DJ、Profile HMM和Eigenjoints方法进行对比分析。

对于MSR Action3D数据集，数据集包含10个人的20个动作，每个动作重复3次，一共557个动作序列。将数据集中的20个动作分为三个子集AS1、AS2和AS3，如表2所示，每个子集有8个动作。其中AS1和AS2相似，AS3相对复杂。表3是本文提出的方法与其他方法在MSRAction3D数据集上的比较结果，通过实验结果可以看出，在MSR Action3D数据集下，实验结果表明与传统的Eigenjoints动作识别方法相比动作识别率提高了9％，与Profile HMM相比动作识别率提高了4.9％，与HO3DJ相比识别准确率提高0.5％。从而证明了本方法高于其他方法的识别率。

表3 MSR Action3D数据集识别率与其他方法的对比

Claims (9)

1.一种自适应模式的动作识别方法，其特征在于，具体包括如下步骤：

步骤1，采集人体动作视频，提取所述人体动作视频中每一帧人体骨骼点的位置信息，组成全身骨骼点动作序列；

步骤2，从所述全身骨骼点动作序列中读取半身骨骼点动作序列，对所述半身骨骼点动作序列做数据处理，获得半身动作姿态矩阵序列S_p和半身动作符合度s₁；对所述全身骨骼点动作序列做数据处理，获得全身动作姿态矩阵序列S_h和全身动作符合度s₂；

步骤3，若s₁不大于s₂，将S_h作为输入数据；否则将S_p作为输入数据，采用SVM支持向量机对所述输入数据进行动作识别，得到识别结果。

2.如权利要求1所述的一种自适应模式的动作识别方法，其特征在于，所述步骤1中采用使用微软Kinect2.0红外深度传感器进行人体动作视频和骨骼点的提取。

3.如权利要求1所述的一种自适应模式的动作识别方法，其特征在于，所述步骤1中的骨骼点位置为{头，颈，左肩，右肩，脊柱中心，左肘，右肘，左手，右手，左膝，右膝，左脚踝，右脚踝}，每个骨骼点的三维空间坐标信息的数据格式为(float x,float y,float z)。

4.如权利要求2所述的一种自适应模式的动作识别方法，其特征在于，所述步骤2中全身动作姿态矩阵序列S_h和全身动作符合度s₂按照如下步骤具体确定：

步骤2.1，根据所述全身骨骼点动作序列中每个骨骼点的旋转量G_iF，G_iF代表第F帧第i个骨骼点的旋转量；

步骤2.2，根据全身骨骼点动作序列计算出全身骨骼点的人体姿态矩阵R_F；

步骤2.3，根据所述G_iF和R_F求出全身骨骼点动作序列中每一帧的动作姿态矩阵S_F，所有帧的S_F组成的集合{S_F}即为全身动作姿态矩阵序列S_h；

步骤2.4，根据R_h和S_h通过神经网络计算得到全身动作符合度s₂；

所述半身动作姿态矩阵序列S_p和半身动作符合度s1具体计算方式与步骤2.1～2.4相同，不同在于采用半身骨骼点动作序列进行计算，所述半身骨骼点动作序列为全身骨骼点动作序列中的上半身骨骼点的序列。

5.如权利要求4所述的一种自适应模式的动作识别方法，其特征在于，所述半身骨骼点动作序列为{头，颈，左肩，右肩，脊柱中心，左肘，右肘，左手，右手}，所述全身骨骼点动作序列为{头，颈，左肩，右肩，脊柱中心，左肘，右肘，左手，右手，左膝，右膝，左脚踝，右脚踝}，所述每个骨骼点的三维空间坐标信息的数据格式为(float x,float y,float z)。

6.如权利要求4所述的一种自适应模式的动作识别方法，其特征在于，所述旋转量G_iF的具体计算方式为：

将全身骨骼点动作序列的三维空间坐标信息转化为四元数的数据格式，四元数的数据格式为(float x,float y,float z,float w)，其中w为骨骼点的欧拉角；通过w计算出各骨骼点的旋转量G_iF，G_iF的计算公式为：

G_iF＝w_i+1-w_i (1)

其中w_i为当前骨骼点的欧拉角，w_i+1为人体骨骼点拓扑结构中下一个骨骼点的欧拉角。

7.如权利要求4所述的一种自适应模式的动作识别方法，其特征在于，所述步骤2.3中R_F表达式为：

R_F＝(R_i,j)_M×M (2)

式中，R_i,j表示的是第i个骨骼点到第j个骨骼点的相对位置关系，可以通过计算第i个骨骼点指向第j个骨骼点的单位向量得到两骨骼点间的相对位置关系。

8.如权利要求4所述的一种自适应模式的动作识别方法，其特征在于，所述S_F的表达式为：

S_F＝[R_F，G_iF] (3)。

9.如权利要求1所述的一种自适应模式的动作识别方法，其特征在于，所述步骤3按照以下方式实施：

步骤3.1，若s₁不大于s₂，将S_h作为输入数据；否则将S_p作为输入数据，

步骤3.2，采集大量人体动作视频，提取每个人体动作视频中每一帧人体骨骼点的位置信息，组成全身骨骼点动作序列，对所有全身骨骼点动作序列做数据处理，获得的所有动作姿态矩阵序列作为全身模式的训练集；

步骤3.3，从所有全身骨骼点动作序列中读取半身骨骼点动作序列，对所有半身骨骼点动作序列做数据处理，获得的所有的动作姿态矩阵序列作为半身模式的训练集；

步骤3.4，建立SVM支持向量机模型，若输入数据为S_p，选择半身模式的训练集对所述SVM支持向量机模型进行训练；若输入数据为S_h，选择半身模式的训练集对所述SVM支持向量机模型进行训练；

步骤3.5，对输入数据进行时间上的对齐处理；利用训练好的SVM支持向量机模型对对齐处理后的输入数据进行动作识别，输出动作名称。