CN103902989B - 基于非负矩阵分解的人体动作视频识别方法 - Google Patents

Abstract

本发明公开了一种基于非负矩阵分解的人体动作视频识别方法，克服了现有技术中动作视频特征的提取受背景环境的影响而导致识别率下降，且提取的特征维数过高而导致计算量过大的问题。本发明的具体实现步骤如下：（1）数据集预处理；（2）检测空间兴趣点；（3）构建立方体；（4）构造特征矩阵；（5）训练字典；（6）分类。本发明能够有效克服人体动作视频识别过程中背景环境对特征提取的影响，提高人体动作视频的识别率，而且提取的特征维数较低，降低了人体动作视频识别过程的计算量和复杂性。

Description

基于非负矩阵分解的人体动作视频识别方法

技术领域

本发明属于图像处理技术领域，更进一步涉及视频图像中的一种基于非负矩阵分解的人体动作视频识别方法。本发明可用于智能监控、视频检索、人机交互、娱乐及体育运动分析等。

背景技术

人体动作视频识别的目的在于，在成功实现动作跟踪、特征提取的基础上，通过分析获得的人体动作视频特征参数，自动识别人体动作视频类型。人体动作视频识别技术在视觉监督、人机交互、视频会议、虚拟现实等领域均有着广泛的应用前景。

目前已经有很多种动作视频识别技术被提出，特别是目前利用广泛的基于整体运动特征的方法。它将人体运动区域从背景中分离出来，并对该区域的运动和表述进行整体性的描述，如轮廓、剪影、边缘、光流、梯度等。该方法能够编码较多的信息，因此具有较强的表现力，识别能力强，但是，由于这些方法提取特征复杂，计算量大，容易受到背景的影响，而且在场景复杂的情况下，整体特征的生成需要背景减除和目标跟踪等较多的预处理，识别结果往往不尽如人意。

浙江大学申请的专利“一种基于模板匹配的视点无关的人体动作识别方法”(专利申请号：200810059129.4，公开号：CN101216896)中公开了一种基于模板匹配的方法。该方法首先为各个样例动作计算运动历史图并提取相应极坐标特征来构造动作模板，然后计算待定识别动作的特征并投射至模板动作子空间中得到低维坐标，计算坐标与模板球面之间的距离，选择最近的作为分类结果。该方法虽然操作简单，但是仍然存在的不足是，需要进行背景减除，易受到背景环境的影响，识别率低。

上海交通大学申请的专利“一种人体动作识别的方法”(专利申请号：201310054812.X，公开号：CN103164694A)中公开一种计算机视觉与模式识别领域的人体动作识别的方法。该方法使用了一种包含时间和空间信息的特征来表达当前帧人体的运动状态，然后再通过一种图论半监督方法设计分类器，从而达到识别人体动作的目的。该方法虽然在观察角度不同时取得较高的识别率，但是仍然存在的不足是：特征维数较高，计算量大，容易受到外部光照变化的影响，适用性不不强。

发明内容

本发明目的是针对上述已有技术的不足，提出的一种基于非负矩阵分解的人体动作视频识别方法。本发明与现有人体动作视频识别技术相比识别率高，适用性强。

实现本发明目的的具体思路是，在充分考虑人体动作视频特征提取易受背景环境、尺度变化的影响且提取的特征维数较高的情况下，先将输入的人体动作视频图像预处理，采用多尺度2D Harris关键点检测算子提取空间兴趣点，构建由图像块组成的立方体，提取每个立方体的特征向量，相互连接构造特征矩阵，再利用特征矩阵来训练出一个超完备字典，采用正交匹配跟踪OMP公式，计算人体动作视频测试集特征矩阵的稀疏表示系数向量，再采用稀疏重构公式，对人体动作视频测试集特征矩阵进行稀疏重构，得到残差矩阵，最后根据残差矩阵元素值对人体动作视频测试集进行分类。本发明在特征提取过程中采用检测空间兴趣点的方法，没有采用背景分割的方法，从而能准确的从背景环境中提取出包含人体动作部分的图像，识别率高，其次，采用多尺度2D Harris检测算子，检测空间兴趣点不受光照及尺度变化的影响，所以具有更强的适用性。

本发明实现的具体步骤包括如下：

(1)预处理视频图像：

(1a)输入90个人体动作视频图像；

(1b)在输入的人体动作视频图像中，任选80个人体动作视频图像作为一个人体动作视频训练样本集，其余的10个人体动作视频图像各自作为一个人体动作视频训练样本集；

(1c)利用矩阵实验室matlab的横向连接字符串strcat函数，将人体动作视频训练样本集和人体动作视频测试样本集中的人体动作视频图像，转换为时间连续的单幅图片序列；

(1d)对单幅图片序列进行隔行采样，获得预处理的降采样图片序列；

(2)检测空间兴趣点：

(2a)分别将人体动作视频训练样本集和人体动作视频测试样本集中的降采样图片序列等分成8段；

(2b)在每段降采样图片序列的第一帧图片中，采用多尺度2D Harris检测算子公式，计算获得每段降采样图片序列的第一帧图片中所有像素点处的响应值；

(2c)将每段降采样图片序列的第一帧图片中像素点处的响应值大于等于1000的像素点定义为空间兴趣点；

(3)构建立方体：

(3a)在每个空间兴趣点所在的第一帧图片上，截取一个以空间兴趣点为中心，以24个像素点为边长的正方形图像块；

(3b)沿着人体动作视频的时域方向，在第一帧图片之后的所有降采样图像序列的相同位置处截取一个正方形图像块，将所提取的正方形图像块，按照每帧图片在人体动作视频中的先后顺序排列组成一个立方体；

(4)构造特征矩阵：

(4a)用一个二维高斯Gaussian滤波器，分别对输入视频图像的所有立方体进行滤波处理，得到模糊化立方体；

(4b)用模糊化立方体中各自所有像素点的灰度值，分别减去该模糊化立方体的像素点的灰度均值，获得去均值立方体；

(4c)计算所有去均值立方体各自的二阶、三阶、四阶中心距矩阵；

(4d)将去均值立方体的二阶、三阶、四阶中心距矩阵分别转换为一个列向量，将三个列向量首尾级联，组成一个列向量a；

(4e)对人体动作视频训练样本集和测试样本集所有去均值立方体，重复步骤(4d)，得到人体动作视频训练样本集的所有列向量b和10个人体动作视频测试样本集各自所有列向量；

(4f)将人体动作视频训练样本集的所有列向量b，组成一个人体动作视频训练集特征矩阵，将10个人体动作视频测试样本集各自所有列向量，分别组成10个人体动作视频测试集特征矩阵；

(5)训练字典：

采用下式，对人体动作视频训练集特征矩阵进行分解，得到超完备字典：

X≈D×H s.t.||X-DH||₂ ²≤ε

其中，X表示人体动作视频训练集特征矩阵，≈表示约等操作，D表示人体动作视频训练集特征矩阵分解得到的超完备字典，H表示人体动作视频训练集特征矩阵分解得到的系数矩阵，s.t.表示公式的约束条件，||·||₂表示取二范数操作，ε表示满足约束条件的值；

(6)分类：

(6a)采用正交匹配跟踪OMP公式，利用超完备字典，计算10个人体动作视频测试集特征矩阵各自的稀疏表示系数向量；

(6b)采用稀疏重构公式，分别利用10个人体动作视频测试集特征矩阵各自的稀疏表示系数向量，得到10个人体动作视频测试集特征矩阵各自的稀疏重构矩阵；

(6c)用人体动作视频测试集特征矩阵减去该人体动作视频测试集特征矩阵的稀疏重构矩阵，得到一个与每类人体动作视频相对应的残差矩阵；

(6d)对10个人体动作视频测试集特征矩阵，重复步骤(6c)，得到10个与每类人体动作视频相对应的残差矩阵；

(6e)从10个与每类人体动作视频相对应的残差矩阵中，分别找到每个残差矩阵中矩阵元素的最小值，将每个人体动作视频测试集归入与各自残差矩阵中矩阵元素最小值相对应的人体动作视频的所属的同一类中。

本发明与现有的技术相比具有以下优点：

第一，由于本发明采用检测空间兴趣点的方法，能准确的从背景环境中提取出包含人体动作部分的图像，克服了现有技术中人体动作视频特征的提取需要进行背景减除，易受背景环境影响，影响识别结果的问题，使得本发明在人体动作视频识别时提高了识别率。

第二，由于本发明采用多尺度2D Harris检测算子，检测空间兴趣点不受光照及尺度变化的影响，克服了现有技术中提取出的人体动作视频特征容易受到外部光照变化而变化的问题，使得本发明在人体动作视频识别时具有更强的适用性。

第三，由于本发明采用非负矩阵分解训练字典，能够降低特征矩阵的维数，克服了现有技术中提取的人体动作视频特征维数较高，计算复杂，计算量大的问题，使得本发明降低了人体动作视频识别的计算量和复杂度。

附图说明

图1是本发明的流程图；

图2是本发明计算一个人体动作视频测试集残差矩阵的直方图；

图3是本发明的仿真图；

具体实施方式

下面结合附图对本发明做进一步的描述。

参照图1，本发明的具体实施步骤如下：

步骤1，预处理视频图像。

第一步，输入90个人体动作视频图像，在输入的人体动作视频图像中，任选80个人体动作视频图像作为一个人体动作视频训练样本集，其余的10个人体动作视频图像各自作为一个人体动作视频训练样本集。

所使用的人体动作视频图像来自于Weizmann人体动作识别数据库，下载地址为：http://www.wisdom.weizmann.ac.il/～vision/SpaceTimeActions.html。该数据库共包含90个视频，分别由9个人执行10个不同的动作。

第二步，利用矩阵实验室matlab的横向连接字符串strcat函数，将人体动作视频训练样本集和人体动作视频测试样本集中的人体动作视频图像，转换为时间连续的单幅图片序列。

第三步，对单幅图片序列进行隔行采样，获得预处理的降采样图片序列。

步骤2，检测空间兴趣点。

分别将人体动作视频训练样本集和人体动作视频测试样本集中的降采样图片序列等分成8段。

在每段降采样图片序列的第一帧图片中，采用多尺度2D Harris检测算子公式，计算获得每段降采样图片序列第一帧图片中所有像素点处的响应值R，多尺度2DHarris检测算子公式如下：

R＝det(M)-0.04×tr²(M)

其中，R表示每段降采样图片序列的第一帧图像像素点响应值，det(M)表示莫拉维茨Moravec算子矩阵M的行列式，M表示莫拉维茨Moravec算子矩阵，tr(M)表示莫拉维茨Moravec算子矩阵M的迹。

将每段降采样图片序列的第一帧图像像素点响应值R大于等于1000的像素点定义为空间兴趣点。

步骤3，构建立方体。

在每个兴趣点所在第一帧图像上，截取一个以兴趣点为中心，以24个像素点为边长的正方形图像块。

沿着人体动作视频的时域方向，在第一帧图像之后的所有图像序列的相同位置处截取正方形图像块，将所提取的正方形图像块，按照每帧图像在人体动作视频中的先后顺序排列组成一个立方体。

步骤4，构造特征矩阵。

第一步，按照下式，用一个二维高斯Gaussian滤波器，分别对输入视频图像的所有立方体进行滤波处理，得到模糊化立方体：

V＝A*G

其中，V表示模糊化立方体，A表示立方体，*表示卷积操作，G表示二维高斯Gaussian滤波器。

第二步，用模糊化立方体中各自所有像素点的灰度值，分别减去该模糊化立方体的像素点的灰度均值，获得去均值立方体。

第三步，计算去均值立方体的二阶、三阶、四阶中心距矩阵。

按照下式，分别计算去均值立方体的二阶、三阶、四阶中心距矩阵元素的值：

其中，m_ij表示去均值立方体的r阶中心距矩阵中位于i,j位置处的矩阵元素值，r表示去均值立方体中心距矩阵的阶数，r＝2,3,4，i,j分别表示去均值立方体的像素点所处的坐标位置值，i＝1,2,...24，j＝1,2,...24，l表示组成去均值立方体的图像块个数，t表示组成去均值立方体的图像块在立方体中的序号，v_ijt表示组成去均值立方体的第t个图像块上位于i,j处的像素值。

将去均值立方体的二阶、三阶、四阶中心距矩阵元素的值，构成去均值立方体的二阶、三阶、四阶中心距矩阵。

第四步，将去均值立方体的二阶、三阶、四阶中心距矩阵分别转换为一个列向量，将三个列向量首尾级联，组成一个列向量a。

第五步，对人体动作视频训练样本集和测试样本集所有去均值立方体，重复第四步，得到人体动作视频训练样本集的所有列向量b和10个人体动作视频测试样本集各自所有列向量。

第六步，将人体动作视频训练样本集的所有列向量b，组成一个人体动作视频训练集特征矩阵，将10个人体动作视频测试样本集各自所有列向量，分别组成10个人体动作视频测试集特征矩阵。

步骤5，训练字典。

采用下式，对人体动作视频训练集特征矩阵进行分解，得到超完备字典：

X≈D×H s.t.||X-DH||₂ ²≤ε

其中，X表示人体动作视频训练集特征矩阵，≈表示约等操作，D表示人体动作视频训练集特征矩阵分解得到的超完备字典，H表示人体动作视频训练集特征矩阵分解得到的系数矩阵，s.t.表示公式的约束条件，||·||₂表示取二范数操作，ε表示满足约束条件的值。

步骤6，分类。

第一步，采用正交匹配跟踪OMP公式，计算人体动作视频测试集特征矩阵的稀疏表示系数向量，正交匹配跟踪OMP公式如下：

argmin||T-DZ||₂

其中，T表示人体动作视频测试集特征矩阵，D表示超完备字典，Z表示人体动作视频测试集特征矩阵的稀疏表示系数向量，argmin表示取最小值操作，||·||₂表示取二范数操作。

第二步，采用稀疏重构公式，利用人体动作视频测试集特征矩阵的稀疏表示系数向量，得到人体动作视频测试集特征矩阵的稀疏重构矩阵，稀疏重构公式如下：

C＝D×Z

其中，C表示人体动作视频测试集特征矩阵的稀疏重构矩阵，D表示超完备字典，Z表示人体动作视频测试集特征矩阵的稀疏表示系数向量。

第三步，用人体动作视频测试集特征矩阵减去该人体动作视频测试集特征矩阵的稀疏重构矩阵，得到一个与每类人体动作视频相对应的残差矩阵。

第四步，对10个人体动作视频测试集特征矩阵，重复第三步，得到10个与每类人体动作视频相对应的残差矩阵。

第五步，从10个与每类人体动作视频相对应的残差矩阵中，分别找到每个残差矩阵中矩阵元素的最小值，将每个人体动作视频测试集归入与各自残差矩阵中矩阵元素最小值相对应的人体动作视频的所属的同一类中。

下面结合仿真实验对本发明的效果做进一步的描述。

1、仿真实验条件。

本发明的仿真实验硬件平台为：Intel Core2 Duo CPU E6550@2.33GHZ、2GB RAM。软件平台为MATLAB R2009a。

2、实验内容与结果分析。

用人体动作视频测试集特征矩阵减去该人体动作视频测试集特征矩阵的稀疏重构矩阵，得到一个与每类人体动作视频相对应的残差矩阵。根据每个残差矩阵中矩阵元素的最小值，将人体动作视频测试集归入与残差矩阵中矩阵元素最小值相对应的人体动作视频的所属的同一类中。图2是本发明计算一个人体动作视频测试集残差矩阵的直方图。图2中的横坐标1表示人体动作视频1，横坐标2表示人体动作视频2，横坐标3表示人体动作视频3，横坐标4表示人体动作视频4，横坐标5表示人体动作视频5，横坐标6表示人体动作视频6，横坐标7表示人体动作视频7，横坐标8表示人体动作视频8，横坐标9表示人体动作视频9，横坐标10表示人体动作视频10，纵坐标表示与每类人体动作视频相对应的残差矩阵元素值，由图2可以看出，与人体动作视频1相对应的残差矩阵元素值最小，因此将人体动作视频测试集归入人体动作视频1所属的同一类中。

通过利用残差矩阵对人体动作视频测试集进行分类，将最后的分类结果进行统计，用混淆矩阵来表示。对照图3的仿真结果混淆矩阵图，每一列表示仿真实验测得的人体动作视频测试样本集所属的类别，每一行表示人体动作视频测试样本集实际所属的类别，其中对角线上的数值1.00表示该位置所在行上的人体动作视频测试样本集被正确分类为所在列上的人体动作视频所属的类别，对角线上的数值0.00表示该位置所在行上的人体动作视频测试样本集被正确分类为所在列上的人体动作视频所属的类别，第9行第8列的1.00表示人体动作视频测试集9被错误分类为人体动作视频8所属的类别。

从利用本发明方法得到的分类结果可以看出：总体分类精度达到90％，主要原因是，利用检测空间兴趣点方法能准确的从背景环境中提取出包含人体动作部分的图像，不受背景环境的影响，从而能够提高识别率，由此可以看出本发明在识别背景复杂且动作比较复杂的人体动作视频时同样具有很高的识别率。

Claims (5)

1.一种基于非负矩阵分解的人体动作视频识别方法，包括如下步骤：

(1)预处理视频图像：

(1a)输入90个人体动作视频图像；

(1b)在输入的人体动作视频图像中，任选80个人体动作视频图像作为一个人体动作视频训练样本集，其余的10个人体动作视频图像各自作为一个人体动作视频训练样本集；

(1c)利用矩阵实验室matlab的横向连接字符串strcat函数，将人体动作视频训练样本集和人体动作视频测试样本集中的人体动作视频图像，转换为时间连续的单幅图片序列；

(1d)对单幅图片序列进行隔行采样，获得预处理的降采样图片序列；

(2)检测空间兴趣点：

(2a)分别将人体动作视频训练样本集和人体动作视频测试样本集中的降采样图片序列等分成8段；

(2b)在每段降采样图片序列的第一帧图片中，采用多尺度2D Harris检测算子公式，计算获得每段降采样图片序列的第一帧图片中所有像素点处的响应值；

(2c)将每段降采样图片序列的第一帧图片中像素点处的响应值大于等于1000的像素点定义为空间兴趣点；

(3)构建立方体：

(3a)在每个空间兴趣点所在的第一帧图片上，截取一个以空间兴趣点为中心，以24个像素点为边长的正方形图像块；

(3b)沿着人体动作视频的时域方向，在第一帧图片之后的所有降采样图像序列的相同位置处截取一个正方形图像块，将所提取的正方形图像块，按照每帧图片在人体动作视频中的先后顺序排列组成一个立方体；

(4)构造特征矩阵：

(4a)用一个二维高斯Gaussian滤波器，分别对输入视频图像的所有立方体进行滤波处理，得到模糊化立方体；

(4b)用模糊化立方体中各自所有像素点的灰度值，分别减去该模糊化立方体的像素点的灰度均值，获得去均值立方体；

(4c)计算所有去均值立方体各自的二阶、三阶、四阶中心距矩阵；

(4d)将去均值立方体的二阶、三阶、四阶中心距矩阵分别转换为一个列向量，将三个列向量首尾级联，组成一个列向量a；

(4e)对人体动作视频训练样本集和测试样本集所有去均值立方体，重复步骤(4d)，得到人体动作视频训练样本集的所有列向量b和10个人体动作视频测试样本集各自所有列向量；

(4f)将人体动作视频训练样本集的所有列向量b，组成一个人体动作视频训练集特征矩阵，将10个人体动作视频测试样本集各自所有列向量，分别组成10个人体动作视频测试集特征矩阵；

(5)训练字典：

采用下式，对人体动作视频训练集特征矩阵进行分解，得到超完备字典：

X≈D×H s.t.||X-DH||₂ ²≤ε

其中，X表示人体动作视频训练集特征矩阵，≈表示约等操作，D表示人体动作视频训练集特征矩阵分解得到的超完备字典，H表示人体动作视频训练集特征矩阵分解得到的系数矩阵，s.t.表示公式的约束条件，||·||₂表示取二范数操作，ε表示满足约束条件的值；

(6)分类：

(6a)采用正交匹配跟踪OMP公式，利用超完备字典，计算10个人体动作视频测试集特征矩阵各自的稀疏表示系数向量；

(6b)采用稀疏重构公式，分别利用10个人体动作视频测试集特征矩阵各自的稀疏表示系数向量，得到10个人体动作视频测试集特征矩阵各自的稀疏重构矩阵；

(6c)用人体动作视频测试集特征矩阵减去该人体动作视频测试集特征矩阵的稀疏重构矩阵，得到一个与每类人体动作视频相对应的残差矩阵；

(6d)对10个人体动作视频测试集特征矩阵，重复步骤(6c)，得到10个与每类人体动作视频相对应的残差矩阵；

(6e)从10个与每类人体动作视频相对应的残差矩阵中，分别找到每个残差矩阵中矩阵元素的最小值，将每个人体动作视频测试集归入与各自残差矩阵中矩阵元素最小值相对应的人体动作视频的所属的同一类中。

2.根据权利要求1所述基于非负矩阵分解的人体动作视频识别方法，其特征在于，步骤(2b)所述的多尺度2D Harris检测算子公式如下：

R＝det(M)-0.04×tr²(M)

其中，R表示每段降采样图片序列的第一帧图片中像素点处的响应值，det(M)表示莫拉维茨Moravec算子矩阵M的行列式，M表示莫拉维茨Moravec算子矩阵，tr(M)表示莫拉维茨Moravec算子矩阵M的迹。

3.根据权利要求1所述基于非负矩阵分解的人体动作视频识别方法，其特征在于，步骤(4c)所述的计算所有去均值立方体各自的二阶、三阶、四阶中心距矩阵的步骤如下：

第一步，按照下式，分别计算去均值立方体的二阶、三阶、四阶中心距矩阵元素的值：

$m_{ij}=\frac{1}{l}\underset{t=1}{\overset{l}{\Σ}}{\left(v_{ijt}\right)}^r$

其中，m_ij表示去均值立方体的r阶中心距矩阵中位于i,j位置处的矩阵元素值，r表示去均值立方体中心距矩阵的阶数，r＝2,3,4，i,j分别表示去均值立方体的像素点所处的坐标位置值，i＝1,2,...24，j＝1,2,...24，l表示组成去均值立方体的图像块个数，t表示组成去均值立方体的图像块在立方体中的序号，v_ijt表示组成去均值立方体的第t个图像块上位于i,j处的像素值；

第二步，将去均值立方体的二阶、三阶、四阶中心距矩阵元素的值，构成去均值立方体的二阶、三阶、四阶中心距矩阵。

4.根据权利要求1所述基于非负矩阵分解的人体动作视频识别方法，其特征在于，步骤(6a)所述的正交匹配跟踪OMP公式如下：

arg min||T-DZ||₂

其中，T表示人体动作视频测试集特征矩阵，D表示超完备字典，Z表示人体动作视频测试集特征矩阵的稀疏表示系数向量，arg min表示取最小值操作，||·||₂表示取二范数操作。

5.根据权利要求1所述基于非负矩阵分解的人体动作视频识别方法，其特征在于，步骤(6b)所述的稀疏重构公式如下：

C＝D×Z

其中，C表示人体动作视频测试集特征矩阵的稀疏重构矩阵，D表示超完备字典，Z表示人体动作视频测试集特征矩阵的稀疏表示系数向量。