CN107766790A - 一种基于局部约束低秩编码的人体行为识别方法 - Google Patents

Abstract

本发明提供了一种基于局部约束低秩编码的人体行为识别方法，包括步骤：1)样本库的特征提取步骤；2)字典生成步骤；3)对待测图像进行特征提取得到特征X，对特征X中的每一列向量都用字典进行线性表达，得到当前的特征X的编码系数Z；4)行为识别步骤：通过步编码系数Z，采用最大池化法计算Z中每一行的最大值，取最大值中的前T个，分别找出这T个值所对应的相应类别，找到该类别在编码系数Z中对应的系数，并把相同类别的系数叠加起来，得到的叠加结果的最大值所对应的类别即为最终的识别结果。本发明在求解编码系数Z时体现了特征的低秩性和局部结构信息，更好地描述行为动作，使得基于局部约束低秩的编码的识别效果更好。

Description

一种基于局部约束低秩编码的人体行为识别方法

技术领域

本发明属于数字图像处理技术。

背景技术

视频人体行为的分析与表达是计算机视觉领域的一个热门研究领域，其任务主要为从视 频序列中检测、提取能够表示人体行为的信息,并进行分类识别，它涉及数学、图像处理和机 器学习等多个交叉学科，具有非常重要的理论研究价值和应用前景。但是由于人体行为的多 样性和复杂性，因此尽管经历了十多年的研究，人体行为识别仍然难以实际应用到人们的日 常生活中。作为人体行为识别的核心，行为的表示依旧存在许多亟待解决的问题。

目前，行为识别效果最好的传统特征是改进的密集轨迹iDT特征。

iDT特征采用密集采样方法，通过划分网格的方式在图片的多个尺度上对特征点进行密 集采样。下一步在时间序列上跟踪这些特征点，设上一帧密集采样到的某个特征点坐标为 P_t(x_t,y_t)，则该特征点在当前帧的位置通过公式(1)计算。

其中ω_t＝(u_t,v_t)是密集光流场，由上一帧图像I_t和当前帧图像I_t+1计算得到，u和v分别 表示光流的水平分量和垂直分量，t为时间变量。M表示中值滤波器，大小为3*3。所以公 式(1)是通过计算特征点邻域内的光流来获得特征点的运动方向。

通过公式(1)的计算，就会获得某个特征点在连续的L帧图像上的位置，这些位置构成 了一段轨迹(P_t,P_t+1,...,P_t+L)，轨迹是人体行为的一个有效表示，因此后续的特征提取都是沿着 各个轨迹进行的。因为跟踪特征点会存在一定的漂移现象，所以在L帧之后要对特征点进行 一次重新采样。在iDT算法中，取L＝15。另外，轨迹本身也可以作为行为特征描述子，对 于一段长为L的轨迹，其形状可以表示为(ΔP_t,...,ΔP_t+L-1)，其中ΔP_t＝(P_t+1,P_t)＝(x_t+1-x_t,y_t+1-y_t)。 对轨迹形状进行归一化后得到轨迹的描述子T，归一化的公式如公式(2)所示。

为了能够充分利用视频中人体行为的信息，在得到人体行为的轨迹之后，我们在视频轨 迹周围进一步提取运动描述子和结构描述子等更加有力的特征来描述人体行为。在每一帧图 像的轨迹特征点周围取一块N×N的区域，构成一个时间-空间立方体。对这个时空立方体， 再进行一次网格划分，空间上每个方向划分为n_σ份，时间上均匀划分为n_τ份。最后在 n_σ×n_σ×n_τ块区域内提取特征。在iDT算法里，N＝32，n_σ＝2，n_τ＝3。

结构描述子主要为梯度直方图HOG。运动描述子主要采用光流直方图HOF和运动边界直 方图MBH。

HOG特征：HOG特征计算的是灰度图像梯度的直方图。直方图的bin数目取8。

HOF特征：HOF计算的是光流(包括方向和幅度信息)的直方图。直方图的bin数目取为 8+1，前8个bin和HOG相同，额外的一个bin用于统计光流幅度小于某个阈值的像素数量。

MBH特征：MBH计算的是光流图像梯度的直方图。由于光流图像包括x方向和y方向，故 分别计算MBHx和MBHy。

获得行为特征之后，接下来要对特征进行编码，即行为表示。

基于低秩的行为表示是行为识别里一种比较常用的有效表示方法。这种表示方法用提取 到的特征建立过完备字典，并且假设待分类的行为动作可以用过完备字典进行线性表达，并 且这种线性表达具有低秩性质，也就是过完备字典中的只有某些列向量对待分类样本起作用， 而其他的列向量不起作用。这种行为表示方法使用L₁范数来提高字典的判别力和离散性，取 得了较好的效果，但是这种方法没有考虑特征空间和字典空间的局部结构信息，这无疑会丢 掉很多更好描述行为动作的有效信息。

发明内容

本发明所要解决的技术问题是，针对低秩编码忽略局部结构信息的问题，提出了一种口 低秩编码的人体行为识别方法。

本发明为解决上述技术问题所采用的技术方案是，一种基于局部约束低秩编码的人体行 为识别方法，包括以下步骤：

1)样本库的特征提取步骤：

1-1)对视频图像灰度转换并提取行为轨迹特征形成轨迹描述子；

1-2)在长度为L的轨迹周围提取N×N的区域，构成一个空间-时间立方体，再在这个立 方体里面再进行一次网格划分，在空间上分为n_σ份，在时间上划分为n_τ份。最后在立方体 n_σ×n_σ×n_τ个区域内做HOG、HOF和MBH特征提取得到特征X；

2)字典生成步骤：从数据集中选取训练样本，通过学习得到一个针对当前数据集的字典 B，学习通过如下迭代计算实现：

2-1)固定字典B，更新编码系数Z，字典B的初始通过对步骤1)得到的特征进行k均值聚类得到，k为字典的字数：

其中，Z₁、Z₂均为计算Z的辅助变量，arg min表示取使得目标函数最小的值，核范数||Z||_*是矩阵Z的奇异值之和，||·||_F为F范数，Y₁是拉格朗日乘子，λ₁表示为平衡秩范数的权重系数， μ是惩罚系数，μ＞0；

其中，z_1,i和z_2,i分别表示Z₁和Z₂中第i个列向量，d_i为距离系数，n是样本数量，x_i是步骤1)得到的特征X的第i列向量，I为单位矩阵， dist(x_i,B)＝[dist(x_i,b₁),...,dist(x_i,b_k)]^T，dist(x_i,b_j)是元素x_i和字典第个j字b_j之间的欧式距离， σ是控制分布的带宽；

当所有列向量z_1,i计算完毕后，得到Z₁，用Z₁对Z赋值，Z＝Z₁；

2-2)固定编码Z，更新字典B，判断是否满足迭代结束条件，如是，则字典B生成，如否，返回步骤2-1)：

3)对待测图像进行特征提取得到特征X，对特征X中的每一列向量x_i都用字典B进行 线性表达，得到当前的特征X的编码系数Z，求编码系数Z的目标函数如下；

其中，m为特征X的总列数，E为噪声，λ₂是局部约束项的权重系数，trace为矩阵的迹；

最后根据求的辅助变量Z₁对Z赋值；

4)行为识别步骤：

4-1)通过步骤3)求得的编码系数Z，采用最大池化法得到Z中每一行的最大值 y_i＝max(|z_i1|,|z_i2|,...|z_in|),i＝1,2,...,K，K为编码系数Z总行数，n为编码系数Z总列数；

步骤4-2：得到矩阵Z中每一行的最大值y_i后，取最大值中的前T个，分别找出这T个值 所对应的相应类别，找到该类别在编码系数Z中对应的系数，并把相同类别的系数叠加起来， 得到的叠加结果的最大值所对应的类别即为最终的识别结果。

本发明在求解编码系数Z时，核范数||Z₂||_*核范数是矩阵Z的奇异值之和，通过该约束， 可使编码系数Z的秩尽可能地小，这体现了特征的低秩性。因距离系数d_i表示样本x_i与字典B 中各个聚类中心的距离，在求编码系数Z的过程中需要d_i尽可能地小，因此会保留距离聚类 中心较近的样本点，体现了局部结构信息。

本发明的有益效果是，在编码过程中更好地考虑了特征空间和字典空间的局部结构信息， 更好地描述行为动作，使得基于局部约束低秩的编码的识别效果更好。

具体实施方式

接下来介绍2个现有技术概念。

K均值聚类：K均值聚类算法是先在待分数据中随机选取K个对象作为初始的聚类中心， 然后计算每个对象与各个聚类中心之间的距离，把每个对象划分给距离它最近的聚类中心。 所有对象被划分完之后，重新计算新的聚类中心。不断重复，直到聚类中心不再发生变化。

最大池化：选择区域内的最大值作为该区域池化后的值，所谓池化，是指对数据中不重 合区域的聚合操作。

针对低秩编码忽略局部结构信息的问题，本发明提出了一种基于局部约束低秩编码的人 体行为识别方法。

先定义几个变量。

空间中的特征矩阵X＝[x₁,x₂,...,x_n]，n是样本数量，x_i是d维的特征向量。

过完备字典B＝[b₁,b₂,...b_k]。

特征X的编码(或者叫系数)Z＝[z₁,z₂,...,z_n]。

目标判别式形式下公式。

式中，E表示噪声，z_i表示Z的第i列向量，λ₁和λ₂是平衡秩范数和局部约束项的权重系 数，表示元素对之间的乘积，距离系数d_i的计算公式如下

其中dist(x_i,B)＝[dist(x_i,b₁),...,dist(x_i,b_k)]^T，而dist(x_i,b_j)，是x_i和b_j之间的欧式距离。σ是 控制分布的带宽。

核范数||Z||_*是矩阵Z的奇异值之和，通过该约束，可使编码系数矩阵Z的秩尽可能地小， 这体现了特征的低秩性。体现特征的局部性，因为如公式(5)所示，d_i表示样本x_i与字典B中各个聚类中心的距离，要使判别式(6)的值最小，即需要d_i尽可能地小，因此会保 留距离聚类中心较近的样本点。

为了求解公式(3)，先将其变成如下形式

式中Z₁和Z₂是计算Z的辅助变量，在迭代过程用中用Z₁对Z赋值，这样做主要是为了使目标函数可分。利用拉格朗日乘子方法，可以推导出

式中Y₁是拉格朗日乘子，μ＞0是惩罚系数。公式(6)的求解可以分割成两个子问题。 首先是固定字典B，更新编码系数Z。接着在给定的编码Z下，更新字典B。

固定字典B，更新编码Z的公式如下：

式中

式中z_1,i和z_2,i分别表示Z₁和Z₂中第i个列向量；

当所有列向量z_1,i计算完毕后，得到Z₁，用Z₁对Z赋值，Z＝Z₁。

固定编码Z，更新字典B。我们通过只保留所有与B有关的变量来简化公式(6)，得到式子如下

一般来说，公式(9)的最后一项所起作用较小，但是计算量较大。因此，我们为了简化 计算，就直接去掉最后一项，B最后变为

这变成了在闭凸集上对可微函数求最小值问题，我们采用梯度下降方法来求解，更新策 略如下

式中β是学习率的步长。

该基于局部约束低秩编码的人体行为识别方法，包括行为特征提取，特征聚类，编码和 行为识别(分类)四个步骤。

步骤1、视频图像灰度转换并提取行为轨迹特征。

步骤1-1：首先对视频中的单帧图像进行灰度化，去噪等预处理。

步骤1-2：利用公式(1)提取视频中的轨迹，并利用公式(2)形成轨迹描述子(每个样本的 特征维数为30)，作为行为表示方法之一。

步骤1-3：在长度为L的轨迹周围提取N×N的区域，构成一个空间-时间立方体。在这个 立方体里面再进行一次网格划分，在空间上分为n_σ份，在时间上划分为n_τ份。最后在立方体 n_σ×n_σ×n_τ个区域内做HOG、HOF和MBH特征提取。本算法中N＝32,n_σ＝2,n_τ＝3，故最 后的HOG特征为96(2×2×3×8)维，HOF特征为109(2×2×3×9)维，MBH特征总维度 为192(2×96)维。

步骤2、学习字典B

从数据集中选取一定的训练样本，用公式(7)、公式(8)和公式(11)学习，得到一个针对当前数据集的字典B。迭代过程中，字典B的初始通过对特征X进行k均值聚类得到， k为字典的字数，Z₁、Z₂的初值可按经验随机赋值。

步骤3、对测试样本进行编码。

步骤3-1：待编码的行为视频特征X是一个d×n的矩阵，d为特征维度，本算法为426(30+96+108+192)维，则X中的任意一列x_i都可以用B进行线性表达。目标方程如公式(6) 所示。

步骤3-2：用公式(7)和公式(8)求解当前视频特征X所对应的Z。

步骤4、行为识别

步骤4-1：通过步骤3求得的低秩矩阵Z，其中Z的每一列就是测试样本在B中的线性表 示，现在只需要找出表达矩阵中最大的那个系数即可知道测试样本所属的类别，我们采用最 大池化方法，即找出矩阵Z中每一行的最大值。令y_i＝max(|z_i1|,|z_i2|,...|z_in|),i＝1,2,...,K。

步骤4-2：得到矩阵Z中每一行的最大值y_i后，取最大值中的前T(本算法中T取10)个， 分别找出这T个值所对应的相应类别，并计算该类别在矩阵Z中对应的系数，并把相同类别 的系数叠加起来，得到的叠加结果的最大值所对应的类别即为最终的识别结果。

相应的计算公式如下：1、y_i＝max(|z_i1|,z|_i2|,...|z_in|),i＝1,2,...,T——取Z中行向量中最大 值的前T个；

2、分别找出前T个对应的聚类中心P_j＝C_i(y_i),i＝1,2,...,T，C_i是B中第i个列向量；

3、最终的识别结果j∈P_j，其中δ(·)是脉冲函数Dirac Delta。

本发明通过使用基于局部约束低秩编码的行为识别方法，该方法的主要特点是，在学习 字典的时候，既考虑了字典的低秩性，也考虑了数据内的局部信息，增加局部约束，使得学 习出来的字典既有原来的稀疏的特性，也进一步增强了字典的判别力和凝聚力。同时在计算 测试样本和字典中的距离时，我们并不是简单地采用欧氏距离计算，而是找出测试样本在字 典下的线性表示，用线性表示所具有的稀疏性和低秩性来表示行为动作的距离。

实验验证：

实现语言：Matlab+OPENCV+C/C++

硬件平台：Intel i3 2120+4G DDR RAM

本发明算法通过在行为识别数据库KTH上进行实验，该数据库总共有6类动作(walking, jogging,running,boxing,hand waving,hand clapping)，是在4个不同场景下25个不同的人做 出的动作，是一个比较常用的行为识别数据库。通过采用交叉验证方法，本发明具有95％的 识别率。

Claims (1)

1.一种基于局部约束低秩编码的人体行为识别方法，其特征在于，包括以下步骤：

1)样本库的特征提取步骤：

1-1)对视频图像灰度转换并提取行为轨迹特征形成轨迹描述子；

1-2)在长度为L的轨迹周围提取N×N的区域，构成一个空间-时间立方体，再在这个立方体里面再进行一次网格划分，在空间上分为n_σ份，在时间上划分为n_τ份。最后在立方体n_σ×n_σ×n_τ个区域内做HOG、HOF和MBH特征提取得到特征X；

2)字典生成步骤：从数据集中选取训练样本，通过学习得到一个针对当前数据集的字典B，学习通过如下迭代计算实现：

2-1)固定字典B，更新编码系数Z，字典B的初始通过对步骤1)得到的特征进行k均值聚类得到，k为字典的字数：

<mrow> <msub> <mi>Z</mi> <mn>2</mn> </msub> <mo>=</mo> <mi>arg</mi> <mi> </mi> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mfrac> <msub> <mi>&amp;lambda;</mi> <mn>1</mn> </msub> <mi>&amp;mu;</mi> </mfrac> <mo>|</mo> <mo>|</mo> <msub> <mi>Z</mi> <mn>2</mn> </msub> <mo>|</mo> <msub> <mo>|</mo> <mo>*</mo> </msub> <mo>+</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mo>|</mo> <mo>|</mo> <msub> <mi>Z</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>Z</mi> <mn>1</mn> </msub> <mo>+</mo> <mfrac> <mn>1</mn> <mi>&amp;mu;</mi> </mfrac> <msub> <mi>Y</mi> <mn>1</mn> </msub> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> </mrow>

其中，Z₁、Z₂均为计算Z的辅助变量，arg min表示取使得目标函数最小的值，核范数||Z||_*是矩阵Z的奇异值之和，||·||_F为F范数，Y₁是拉格朗日乘子，λ₁表示为平衡秩范数的权重系数，μ是惩罚系数，μ>0；

<mrow> <msub> <mi>z</mi> <mrow> <mn>1</mn> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>=</mo> <msup> <mrow> <mo>(</mo> <msup> <mi>B</mi> <mi>T</mi> </msup> <mi>B</mi> <mo>+</mo> <msub> <mi>&amp;lambda;</mi> <mn>2</mn> </msub> <msubsup> <mi>d</mi> <mi>i</mi> <mi>T</mi> </msubsup> <msub> <mi>d</mi> <mi>i</mi> </msub> <mo>+</mo> <mi>&amp;mu;</mi> <mi>I</mi> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mrow> <mo>(</mo> <msup> <mi>B</mi> <mi>T</mi> </msup> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>+</mo> <msub> <mi>&amp;mu;z</mi> <mrow> <mn>2</mn> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>Y</mi> <mrow> <mn>1</mn> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow>

其中，z_1,i和z_2,i分别表示Z₁和Z₂中第i个列向量，d_i为距离系数，n是样本数量，x_i是步骤1)得到的特征X的第i列向量，I为单位矩阵，dist(x_i,B)＝[dist(x_i,b₁),...,dist(x_i,b_k)]^T，dist(x_i,b_j)是元素x_i和字典第个j字b_j之间的欧式距离，σ是控制分布的带宽；

当所有列向量z_1,i计算完毕后，得到Z₁，用Z₁对Z赋值，Z＝Z₁；

2-2)固定编码Z，更新字典B，判断是否满足迭代结束条件，如是，则字典B生成，如否，返回步骤2-1)：

<mrow> <mi>B</mi> <mo>=</mo> <mi>arg</mi> <mi> </mi> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mo>|</mo> <mo>|</mo> <mi>X</mi> <mo>-</mo> <mi>B</mi> <mi>Z</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>;</mo> </mrow>

3)对待测图像进行特征提取得到特征X，对特征X中的每一列向量x_i都用字典B进行线性表达，得到当前的特征X的编码系数Z，求编码系数Z的目标函数如下；

其中，m为特征X的总列数，E为噪声，λ₂是局部约束项的权重系数，trace为矩阵的迹；

最后根据求的辅助变量Z₁对Z赋值；

4)行为识别步骤：

4-1)通过步骤3)求得的编码系数Z，采用最大池化法得到Z中每一行的最大值y_i＝max(|z_i1|,|z_i2|,...|z_in|),i＝1,2,...,K，K为编码系数Z总行数，n为编码系数Z总列数；

步骤4-2：得到矩阵Z中每一行的最大值y_i后，取最大值中的前T个，分别找出这T个值所对应的相应类别，找到该类别在编码系数Z中对应的系数，并把相同类别的系数叠加起来，得到的叠加结果的最大值所对应的类别即为最终的识别结果。