CN104298977B - 一种基于不相关性约束的低秩表示人体行为识别方法 - Google Patents

Abstract

本发明属于图像处理技术领域，具体公开了一种基于不相关性约束的低秩表示人体行为识别方法，主要用于解决现有技术中对特征的编码方法中没有考虑行为之间的不相关性的问题。其实现步骤为：(1)输入人体行为视频序列,提取初级特征；(2)对初级特征聚类得到字典；(3)对初级特征进行不相关性约束的低秩表示编码；(4)利用稀疏表示分类方法对视频进行分类；(5)输出分类结果。本发明在低秩表示的基础上，加入了人体行为不相关性约束，增强了人体行为视频序列编码的判别性，提高了人体行为识别的准确性，可用于智能监控。

Description

一种基于不相关性约束的低秩表示人体行为识别方法

技术领域

本发明属于图像处理技术领域，涉及机器学习和计算机视觉技术领域，具体是一种基于不相关性约束的低秩表示人体行为识别方法，本发明可以通过对人体的行为视频中的特征进行学习，得到不同的人体行为的特征表示，从而在此基础上实现计算机自主的对于人体行为进行识别和跟踪等。

背景技术

人体行为识别包含从人体行为视频中提取出相关的初级特征，通过对该初级特征的学习，从而得到对不同人体行为进行特征表示，最终以该特征表示识别人体行为。人体行为的识别已经成为现代计算机视觉领域中的研究热点问题，其研究主要致力于寻找精确的特征学习方法和识别人类行为的技术方法。最为普遍的人体行为识别方法通常是：首先从包含人体行为视频中提取初级特征，通过对初级特征的学习得到人体行为的高级特征，并在此基础上对人体行为进行识别分类。在该过程中，如何对不同的人体行为进行恰当的表示是一个关键问题，表示的合理与否将会影响到最终的分类精度和识别精度。

传统的词袋BoF模型已经成功的运用于行为识别领域。在行为之别中，BoF模型将人体行为表示成一个基于字典原子的统计直方图。该模型中，该模型存在的缺点是，人体行为的每个特征单独的对应于字典的一个原子，没有考虑特征之间的相关性，使得最终的特征表示不够精确。

Changhong Liu等人在论文“Human action recognition using sparserepresentation”(ICIS,2009)中利用Sparse Coding的方法进行行为识别。该方法将每个特征单独的表示成基于字典原子的稀疏表示向量，没有考虑特征之间的相互关系。因此，使得最终的表示不够精确。

GuangCan Liu等人在论文“Robust Subspace Segmentation by Low-RankRepresentation(ICML，2010)”中利用低秩表示的方法对数据进行子空间分割。该方法从全局出发对原始数据进行表示，考虑了特征之间的相关性。然而，在行为识别领域，低秩表示并没有考虑行为之间的不相关性。

发明内容

本发明针对上述现有技术的不足，提出一种基于不相关性约束的低秩表示人体行为识别方法。该方法在低秩表示的基础上加入了人体行为间的不相关性约束，使得人体行为的表示更具判别性，从而提高了对人体行为的识别能力。

本发明的技术方案是：一种基于不相关性约束的低秩表示人体行为识别方法，包括如下步骤：

(1)输入人体行为视频，利用Cuboid检测子和描述子分别对视频中的人体行为进行特征提取，得到人体行为的初级特征矩阵其中，x_i表示第i个初级特征，i＝1,2,...,n，d表示初级特征的维数；

(2)对所有视频的初级特征进行聚类得到字典。

利用k-均值聚类方法，对所有人体行为初级特征进行聚类，聚类中心作为字典的原子，从而得到字典：其中：a_i表示字典的原子，i＝1,2,…,N，N表示原子的个数；

(3)利用不相关性约束的低秩表示对每个视频的初级特征进行编码，得到其高级特征表示：

(3a)利用低秩表示方法，求解基于字典A的每个视频中人体行为初级特征的编码系数矩阵，利用如下公式进行编码：

其中：Z表示编码系数矩阵，E表示噪声项，||Z||_*表示编码系数矩阵的核范数，即编码系数矩阵的奇异值之和，参数λ用来平衡噪声的影响，||E||_2,1表示对E的l_2,1范数，E_ij为第i行第j列元素；

(3b)利用中间变量J代替步骤(3a)中的Z，将编码公式转化为：

利用增强拉格朗日乘子(ALM)算法对该公式进行求解，得到人体行为的编码系数矩阵i＝1,2,…,n；

(3c)对人体行为的编码系数矩阵应用最大化池算法，将每个人体行为的编码系数表示成一个N维的列向量:其中：y_i＝max(|z_i1|,|z_i2|,...,|z_ik|,...,|z_in|)，i＝1,2,...,N，k＝1,2,...n，z_ik表示Z的第i行第k列元素；

(3d)利用步骤(3b)中得到的结果初始化下式中的编码系数矩阵，对每个视频中人体行为的初级特征进行再次编码，得到高级编码系数矩阵，编码公式如下：

s.t.X_i＝AZ_i+E_i

其中：M表示人体行为视频的个数，Z_i表示第i个视频中人体行为初级特征矩阵的高级编码系数矩阵，E_i为噪声项，γ表示不相关约束项的权值，W_ij＝||Y_i-Y_j||₂ ²表示Z_i和Z_j的权重，Y_i和Y_j表示第i个和第j个编码系数矩阵经过最大化池得到的列向量，||Z_j ^TZ_i||_F ²表示Z_i和Z_j的乘积F范数的平方；

(3e)对得到的高级编码系数矩阵进行如步骤(3c)所述的最大化池算法，得到人体行为的高级特征表示，将其表示为

(4)利用稀疏表示分类方法对视频进行分类：

(4a)将一个动作者的所有行为视频的高级特征表示作为测试样本集，其他动作者的所有行为视频的高级特征表示作为训练集，训练样本个数为m，利用所有训练样本组成字典j＝1,2,...,m，其中m是字典D的原子个数；

(4b)利用下式，得到每个测试样本的编码系数β：

其中，||·||₂表示向量的l₂范数，||·||₁表示向量的l₁范数，η是用于平衡重建误差和编码稀疏性的参数，取值范围为0-1；

(4c)计算每个测试样本在每类字典上的残差

其中：β_j是测试样本在第j类字典D_j上的编码系数，如果在第j类字典上的残差最小，则测试样本的类标为j；

(5)输出分类结果：

重复步骤(4)，依次对每个动作者的所有行为进行分类，得到各自的类标，输出结果。

上述步骤(1)中所述的特征维数d＝100。

上述步骤(2)中所述的字典维数N＝500,即也就是使用k均值聚类，聚类中心为500。

为了便于求解上述步骤(3d)中的编码公式，分别对每一个初级特征进行如下编码：

s.t.X_i＝AZ_i+E_i

根据将上式转化为如下表达式：

s.t.X_i＝AZ_i+E_i

其中：是一个常量，该常量表示的系数。

为求解方便，利用字母J替换上式中的Z，得到如下表达式：

s.t.X_i＝AZ_i+E_i，Z_i＝J_i

利用增强拉格朗日乘子ALM算法对上式进行求解，得到人体行为的高级编码系数i＝1,2,...,n。

本发明的有益效果：本发明从人体行为视频中提取出初级特征，在该初级特的基础上，通过不相关性约束的低秩表示得到人体行为的高级特征，对人体行为高级特征利用分类器进行分类，从而达到识别人体行为的目的。与现有技术相比，本发明具有以下优点：

第一，本发明利用不相关性约束的低秩表示方法，克服了词袋模型中每个特征只对应于字典中一个原子而带来的特征表示精确度低的不足，提高了特征表示的精确度，使得本发明具有分类精确更高的优点。

第二，本发明利用不相关性约束的低秩表示方法，克服了稀疏表示单独考虑每个特征的不足，使得本发明具有基于全局编码的优点。

第三，本发明利用不相关性约束的低秩表示方法，克服了现有技术中低秩表示没有考虑视频间相关性的不足，使得本发明具有对视频编码判别性高和识别精度高的优点。

以下将结合附图对本发明做进一步详细说明。

附图说明

图1为本发明方法的流程图；

图2为本发明仿真实验中人体行为视频的图像。

具体实施措施

下面结合附图对发明做进一步描述。

结合附图1对本发明的具体步骤描述如下：

步骤1，输入人体行为视频序列，提取初级特征。

输入人体行为视频序列，该视频是人体行为识别领域中有代表性的人体运动视频序列：Weizmann视频序列或者KTH视频序列。利用Cuboid检测子和描述子分别对视频中的人体行为进行特征提取，该过程包含两个部分：特征检测和特征描述。

特征检测的实现过程是:按照下式，计算出图像每个像素点的响应函数值R：

R＝(I*g*h_ev)²+(I*g*h_od)²

其中:I表示当前像素点的灰度值，g是二维高斯核函数，h_ev、h_od为一对Garbor滤波算子。

根据每个像素点的响应函数值R，将局部最大的响应函数值作为检测出来的特征点。

特征描述的实现过程是：根据检测出来的特征点，在以该特征点为中心的立方体内，利用该立方体内的所有像素点的灰度值组成一个特征向量，得到人体行为的初级特征矩阵其中，x_i表示第i个初级特征，i＝1,2,...,n，d表示初级特征的维数,d设为100。

步骤2，对所有视频的初级特征进行聚类得到字典。

利用k-均值聚类方法，对所有人体行为初级特征进行聚类，聚类中心作为字典的原子，从而得到字典：其中：a_i表示字典的原子，i＝1,2,…,N，N表示原子的个数；

步骤3，利用不相关性约束的低秩表示对每个视频的初级特征进行编码，得到其高级特征表示：

(3a)利用低秩表示方法，求解基于字典A的每个视频中人体行为初级特征的编码系数矩阵，利用如下公式进行编码：

其中:Z表示编码系数矩阵，E表示噪声项，||Z||_*表示编码系数矩阵的核函数，即编码系数矩阵的奇异值之和，参数λ用来权衡噪声的影响，||E||_2,1表示对E的l_2,1范数，，E_ij为第i行第j列元素；

(3b)利用中间变量J代替(3a)中的Z，将编码公式转化为：

利用增强拉格朗日乘子(ALM)算法对该公式进行求解，得到人体行为的初级编码系数矩阵i＝1,2,...,n；

(3c)对人体行为的初级编码系数矩阵应用最大化池(max pooling)算法，将每个人体行为初级编码系数表示成一个N维的列向量:其中y_i＝max(|z_i1|,|z_i2|,...,|z_ik|,...,|z_in|)，i＝1,2,...,N，k＝1,2,...n,z_ik表示Z的第i行k列元素；

(3d)利用步骤(3b)中得到的结果初始化下式中的编码系数矩阵，对每个视频中人体行为的初级特征进行再次编码，得到高级编码系数矩阵，编码公式如下：

s.t.X_i＝AZ_i+E_i

其中：M表示人体行为视频的个数，Z_i表示第i个视频中人体行为初级特征矩阵的高级编码系数矩阵，E_i为噪声项，γ表示不相关约束项的权值，W_ij＝||Y_i-Y_j||₂ ²表示Z_i和Z_j的权重，Y_i和Y_j表示第i个和第j个编码系数矩阵经过最大化池得到的列向量，||Z_j ^TZ_i||_F ²表示Z_i和Z_j的乘积F范数的平方；

为了便于求解，分别对每一个初级特征进行如下编码：

s.t.X_i＝AZ_i+E_i

根据将上式转化为如下表达式：

s.t.X_i＝AZ_i+E_i

其中：是一个常量，该常量表示的系数。

利用J替换上式中的Z，得到如下表达式：

s.t.X_i＝AZ_i+E_i，Z_i＝J_i

利用增强拉格朗日乘子ALM算法对上式进行求解，得到人体行为视频的高级编码系数i＝1,2,...,n；

(3e)对得到的高级编码系数矩阵进行如步骤(3c)所述的最大化池算法，得到人体行为的高级特征表示，将其表示为

(4)利用稀疏表示分类方法对视频进行分类：

(4a)将一个动作者的所有行为视频的高级特征表示作为测试样本集，其他动作者的所有行为视频的高级特征表示作为训练集，训练样本个数为m，利用所有训练样本组成字典j＝1,2,...,m，其中m是字典D的原子个数；

(4b)利用下式，得到每个测试样本的编码系数β：

其中，||·||₂表示向量的l₂范数，||·||₁表示向量的l₁范数，η是用于平衡重建误差和编码稀疏性的参数，取值范围为0-1；

(4c)计算每个测试样本在每类字典上的残差

其中：β_j是测试样本在第j类字典D_j上的编码系数，如果在第j类字典上的残差最小，则测试样本的类标为j；

(5)输出结果：

重复步骤(4)，依次对每个动作者的所有行为进行分类，得到各自的类标，输出结果。

下面结合附图2对本发明的效果做进一步描述。

本发明的仿真实验是在Intel Core(TM)2 Duo CPU、主频2.33GHz，内存2G，Windows 7平台上的MATLAB 7.14上实现的。

本发明的仿真是在两个代表性的人体运动视频序列Weizmann和KTH上进行的，Weizmann视频序列包含9个人的10类行为：行走，奔跑，侧行，双脚跳，单脚跳，挥手跳，原地跳，弯腰，单臂挥手和双臂挥手；KTH视频序列包含25个人在4个不同的场景下的6类行为：行走，慢跑，快跑，打拳，挥手，拍手。

图2表示视频序列的图像，图2(a)表示Weizmann视频序列中，类别为走的视频图像，图2(b)表示KTH视频序列中，类别为拳击的视频图像。

本发明的仿真实验中将正则参数设置为：。

本发明与现有技术Bag-of-Feature，LLC，LRR三种方法在Weizmann视频序列上进行仿真实验，得到的分类精度如表1所示。

表1 不同方法在Weizmann视频序列的分类精度

特征编码方法	分类精度
		Bag of feature	94.7％
LLC	95.6％
		LRR	96.7％
本发明方法	97.8％

从表1可以看出，在Weizmann视频序列上的仿真结果，本发明的分类精度为97.8％，分类精度更高。

本发明与现有技术Bag-of-Feature，LLC，LRR等方法在KTH视频序列上的进行仿真实验，得到的平均分类精度如表2所示。

表2 不同方法在KTH视频序列的分类精度

特征编码方法	分类精度
		Bag-of-Feature	87.7％
Sparse Coding	93.5％
		LRR	93.2％
本发明方法	95.0％

从表2可以看出，在KTH视频序列上的仿真结果，本发明的分类精度为95.0％，分类精度更高。

通过在Weizmann视频序列和KTH视频序列的仿真实验，可以看出本发明能够获得较高的分类精度。因此，本发明是一种比较有效的人体行为识别方法。

因此，与现有技术相比，本发明具有以下优点：

第一，本发明利用不相关性约束的低秩表示方法，克服了词袋模型中每个特征只对应于字典中一个原子而带来的特征表示精确度低的不足，提高了特征表示的精确度，使得本发明具有分类精确更高的优点。

第二，本发明利用不相关性约束的低秩表示方法，克服了稀疏表示单独考虑每个特征的不足，使得本发明具有基于全局编码的优点。

第三，本发明利用不相关性约束的低秩表示方法，克服了现有技术中低秩表示没有考虑人体行为视频特征间相关性的不足，使得本发明具有对视频编码判别性高和识别精度高的优点。

本实施例没有详细叙述的部分属本行业的公知的常用手段，这里不一一叙述。以上例举仅仅是对本发明的举例说明，并不构成对本发明的保护范围的限制，凡是与本发明相同或相似的设计均属于本发明的保护范围之内。

Claims (1)

1.一种基于不相关性约束的低秩表示人体行为识别方法，其特征在于：包括如下步骤：

(1)输入人体行为视频，利用Cuboid检测子和描述子分别对视频中的人体行为进行特征提取，得到人体行为的初级特征矩阵其中，x_i表示第i个初级特征，i＝1,2,...,n，d表示初级特征的维数；

(2)对所有视频的初级特征进行聚类得到字典：

利用k-均值聚类方法，对所有人体行为初级特征进行聚类，聚类中心作为字典的原子，从而得到字典：其中：a_i表示字典的原子，i＝1,2,…,N，N表示原子的个数；

(3)利用不相关性约束的低秩表示对每个视频的初级特征进行编码，得到其高级特征表示：

(3a)利用低秩表示方法，求解基于字典A的每个视频中人体行为初级特征的编码系数矩阵，利用如下公式进行编码：

其中：Z表示编码系数矩阵，E表示噪声项，||Z||_*表示编码系数矩阵的核范数，即编码系数矩阵的奇异值之和，参数λ用来平衡噪声的影响，||E||_2,1表示对E的l_2,1范数，E_ij为第i行第j列元素；

(3b)利用中间变量J代替步骤(3a)中的Z，将编码公式转化为：

利用增强拉格朗日乘子算法对该公式进行求解，得到人体行为的编码系数矩阵

(3c)对人体行为的编码系数矩阵应用最大化池算法，将每个人体行为的编码系数表示成一个N维的列向量: 其中：y_i＝max(|z_i1|,|z_i2|,…,|z_ik|,...,|z_in|)，i＝1,2,...,N，k＝1,2,...n，z_ik表示Z的第i行第k列元素；

(3d)利用步骤(3b)中得到的结果初始化下式中的编码系数矩阵，对每个视频中人体行为的初级特征进行再次编码，得到高级编码系数矩阵，编码公式如下：

s.t.X_i＝AZ_i+E_i

其中：M表示人体行为视频的个数，Z_i表示第i个视频中人体行为初级特征矩阵的高级编码系数矩阵，E_i为噪声项，γ表示不相关约束项的权值，W_ij＝||Y_i-Y_j||₂ ²表示Z_i和Z_j的权重，Y_i和Y_j表示第i个和第j个编码系数矩阵经过最大化池得到的列向量，||Z_j ^TZ_i||_F ²表示Z_i和Z_j的乘积F范数的平方；

(3e)对得到的高级编码系数矩阵进行如步骤(3c)所述的最大化池算法，得到人体行为的高级特征表示，将其表示为

(4)利用稀疏表示分类方法对视频进行分类：

(4a)将一个动作者的所有行为视频的高级特征表示作为测试样本集，其他动作者的所有行为视频的高级特征表示作为训练集，训练样本个数为m，利用所有训练样本组成字典其中m是字典D的原子个数；

(4b)利用下式，得到每个测试样本的编码系数β：

其中，||·||₂表示向量的l₂范数，||·||₁表示向量的l₁范数，η是用于平衡重建误差和编码稀疏性的参数，取值范围为0-1；

(4c)计算每个测试样本在每类字典上的残差

其中：β_j是测试样本在第j类字典D_j上的编码系数，如果在第j类字典上的残差最小，则测试样本的类标为j；

(5)输出分类结果：

重复步骤(4)，依次对每个动作者的所有行为进行分类，得到各自的类标，输出结果；

步骤(1)中所述的特征维数d＝100；

步骤(2)中所述的字典原子的个数N＝500,即就是k均值聚类算法中设定的聚类中心个数；

为了便于求解步骤(3d)中的编码公式，分别对每一个初级特征进行如下编码：

s.t.X_i＝AZ_i+E_i

根据将上式转化为如下表达式：

s.t.X_i＝AZ_i+E_i

其中：是一个常量，该常量表示的系数；

为求解方便，利用字母J替换上式中的Z，得到如下表达式：

s.t.X_i＝AZ_i+E_i，Z_i＝J_i

利用增强拉格朗日乘子ALM算法对上式进行求解，得到人体行为的高级编码系数