CN102393910B - 一种基于非负矩阵分解和隐马尔科夫模型的人体行为识别方法 - Google Patents

Abstract

一种基于非负矩阵分解和隐马尔科夫模型的人体行为识别方法，包括离线训练阶段，首先对选取的各类行为序列训练数据进行图像预处理，获得所有训练数据的总样本数据矩阵A；将A进行非负矩阵分解(NMF)，获得基矩阵W和基向量数r，根据W和A得到各类训练行为序列的特征矩阵Ei；初始化各类训练行为序列的隐马尔科夫模型(HMM)，并分别估计其最优参数；在线识别阶段，首先对输入的待识别行为序列进行图像预处理，获得该行为序列的原始矩阵a；根据W和a得到特征矩阵e；最后计算待识别行为序列与各类训练行为序列的似然值，确定其行为类别。本发明得到的人体行为识别率较高，可提高应用于实时智能视频监控系统中的人体行为自动分析能力。

Description

一种基于非负矩阵分解和隐马尔科夫模型的人体行为识别方法

技术领域

本发明属于模式识别领域，涉及人工智能，计算机视觉和图像处理等领域，特别涉及智能视频监控系统中的人体行为识别方法。

背景技术

近年来，视频监控技术备受社会关注，已经被应用到了生活中的方方面面。摄像头在许多社区，街道，校园内都随处可见。人体行为识别和理解一直是智能视频监控系统领域最活跃的主题，它要求从摄像机捕获的数据中检测、跟踪运动目标，并最终识别和理解目标行为。

目前，人体行为识别的方法主要分为两类：模板匹配法和状态空间法。前者是将视频序列转换为一组静态形状模式，然后将其与预先保存好的模板进行比较，选择与测试序列距离最小的模板所属类别作为被测试序列的最终识别结果，该方法虽然简单，但对相邻帧间的动态特性缺乏考虑，难以取得较好的效果；后者定义每个静态姿势作为一个状态，将这些状态之间通过某种概率联系起来，任何运动序列可以看作是这些静态姿势的不同状态之间的一次遍历过程，在整个遍历过程中计算联合似然值并将最大值作为行为分类的标准，该方法能够较好的刻画人体行为的本质特征，但每一帧行为特征值的提取对结果的影响比较大。

目前，许多特征提取方法可用于状态空间法中行为帧的特征提取，如Hu矩，R变换等，但是采用这些方法提取特征得到的人体行为识别率不高，难以达到实时应用要求。因此，如何从行为帧中提取得到更优的特征是提高人体行为分析识别率的一个关键问题。

发明内容

针对目前在人体行为识别中使用的特征提取方法不能够提取优良的特征而导致识别率不高的问题，本发明提出一种能够有效提升识别率的基于非负矩阵分解和隐马尔科夫模型的人体行为识别方法，将非负矩阵分解方法用于人体行为特征的提取，并使用隐马尔科夫模型对行为特征进行行为的识别与分类。

为实现上述目的，本发明的技术解决方案是：

一种基于非负矩阵分解和隐马尔科夫模型的人体行为识别方法，所述人体行为识别方法包括以下过程：

(一)、离线训练阶段，包括以下步骤：

1.1，在行为数据库中选取待识别类型行为序列作为训练数据，假设共选取了NUM个行为序列，NUM为自然数，对每一行为序列进行图像预处理，得到该行为连续N帧的二值化图像；

1.2，将得到的每一帧二值化图像的像素矩阵按列拆开，并按顺序首尾相连形成一列，则一个训练行为序列可以得到一个包含N列的原始矩阵A_i；

1.3，将NUM个训练行为序列所得到的原始矩阵按列方式组合在一起，得到一个具有N×NUM列的总样本数据矩阵A；

1.4，将获得的总样本数据矩阵A进行非负矩阵分解，以获得基矩阵W和系数矩阵H，分解原理为：

A_m×n≈W_m×rH_r×n

其中，r为基向量数，其为任意值且(m+n)r＜m×n；分解方法为对W和H按下式进行迭代更新，直至||A-WH||²收敛：

$H_{\mathrm{ij}}\←H_{\mathrm{ij}}\frac{{\left(W^{T}A\right)}_{\mathrm{ij}}}{{\left(W^T\mathrm{WH}\right)}_{\mathrm{ij}}}$

$W_{\mathrm{ki}}\←W_{\mathrm{ki}}\frac{{\left({\mathrm{AH}}^T\right)}_{\mathrm{ki}}}{{\left({\mathrm{WHH}}^T\right)}_{\mathrm{ki}}}$

其中，ij和ki均为矩阵的下标，表示矩阵在第i(k)行和第j(i)列的值；

1.5，以基矩阵W的列向量为基向量构造特征子空间，将每一个训练行为序列的原始矩阵A_i投影到该特征子空间，得到该训练行为序列的特征向量e_i，计算公式为：

e_i＝W^TA_i

则可知e_i的大小为r×N，按列组合e_i可得各类训练行为特征矩阵E_i；

1.6，为每一类行为建立一个隐马尔科夫模型，初始化各类行为的隐马尔科夫模型，并采用Baum-Welch算法根据各类训练行为特征矩阵Ei分别估计各个隐马尔科夫模型的最优参数；

(二)在线识别阶段，包括以下步骤：

2.1，读取待识别的测试行为序列，对其进行图像预处理，得到该行为连续N帧的二值化图像；

2.2，将得到的每一帧二值化图像的像素矩阵按列拆开，并按顺序首尾相连形成一列，则得到一个N列的原始矩阵a；

2.3，以训练样本所得到的基矩阵W的列向量为基向量构造特征子空间，将待识别行为序列的原始矩阵a投影到该特征子空间，得到该行为序列的特征向量e_r×N，计算公式为：

e＝W^Ta

2.4，使用在离线训练阶段已经估计好最优参数的HMM，使用前向后向算法分别计算特征向量e与每一类训练行为在N个分量上的似然值；

2.5，计算待识别行为序列与每一类训练行为序列的总似然值，即将N个分量上的似然值相加，并比较总似然值大小，依最大似然原则，总似然值最大的训练行为所在的行为类别即为该行为的行为类别，完成人体行为识别。

进一步，所述步骤1.1和步骤2.1中，预处理包括运动目标检测、噪声处理和二值化处理。

本发明的技术构思为：该方法的一个递推过程包括两个阶段，分别为离线训练阶段和在线识别阶段。

离线训练阶段包括以下基本步骤：

1.1、对各个训练行为序列进行图像预处理。

1.2、获取训练行为序列原始矩阵A_i。

1.3、按列组合各个行为序列原始矩阵，得到总样本数据矩阵A。

1.4、对A进行非负矩阵分解获取基矩阵W。

1.5、根据基矩阵W形成特征子空间，计算各类行为特征矩阵E_i。

1.6、初始化隐马尔科夫模型，并根据特征矩阵E估计其最优参数。

在线识别阶段包括以下基本步骤：

2.1、读取待识别行为序列并对其进行图像预处理。

2.2、获取该行为序列原始矩阵a。

2.3、根据W及a计算该行为的特征矩阵e。

2.4、计算特征向量e与每一类训练行为序列在N个分量上的似然值。

2.5、计算总似然值并确定该行为类别。

本发明的有益效果主要表现在：采用非负矩阵分解方法提取人体行为序列的特征后，得到的行为识别率高于其他方法得到的识别率，可提高应用于实时智能视频监控系统中的人体行为自动分析能力。

附图说明

图1为本发明的一种基于非负矩阵分解和隐马尔科夫模型的人体行为识别方法流程图。

图2为本发明的一个连续动作的样本数据的原始矩阵Ai获取示意图。

图3为本发明当基向量数r＝10时一帧图像的特征向量获取示意图。

图4为本发明NMF方法中基向量数r取不同值时的行为识别率比较图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

参照图1～图3，一种基于非负矩阵分解和隐马尔科夫模型的人体行为识别方法，采用非负矩阵分解方法进行人体行为特征的提取，并使用隐马尔科夫模型来进行行为的识别与分类。

一个递推过程包括两个阶段，分别为离线训练阶段和在线识别阶段。

(一)离线训练阶段包括以下步骤：

1.1，在行为数据库中选取待识别类型行为序列作为训练数据，假设共选取了NUM个行为序列，对每一行为序列进行图像预处理，包括运动目标检测，噪声处理等，得到该行为连续N帧的二值化图像。

1.2，将得到的每一帧二值化图像的像素矩阵按列拆开，并按顺序首尾相连形成一列，则一个训练行为序列可以得到一个包含N列的原始矩阵A_i。

1.3，将NUM个训练行为序列所得到的原始矩阵按列方式组合在一起，得到一个具有N×NUM列的总样本数据矩阵A。

1.4，将获得的总样本数据矩阵A进行非负矩阵分解(NMF)，以获得基矩阵W和系数矩阵H，分解原理为：

A_m×n≈W_m×rH_r×n

其中，r为基向量数，其为任意值且(m+n)r＜m×n。分解方法为对W和H按下式进行迭代更新，直至||A-WH||²收敛：

$H_{\mathrm{ij}}\←H_{\mathrm{ij}}\frac{{\left(W^{T}A\right)}_{\mathrm{ij}}}{{\left(W^T\mathrm{WH}\right)}_{\mathrm{ij}}}$

$W_{\mathrm{ki}}\←W_{\mathrm{ki}}\frac{{\left({\mathrm{AH}}^T\right)}_{\mathrm{ki}}}{{\left({\mathrm{WHH}}^T\right)}_{\mathrm{ki}}}$

其中，ij和ki均为矩阵的下标，表示矩阵在第i(k)行和第j(i)列的值。

1.5，以基矩阵W的列向量为基向量构造特征子空间，将每一个训练行为序列的原始矩阵A_i投影到该特征子空间，得到该训练行为序列的特征向量e_i，计算公式为：

e_i＝W^TA_i

则可知e_i的大小为r×N，按列组合e_i可得各类训练行为特征矩阵E_i。

1.6，为每一类行为建立一个隐马尔科夫模型(HMM)，初始化各类行为的隐马尔科夫模型，并采用Baum-Welch算法根据各类训练行为特征矩阵E_i分别估计各个隐马尔科夫模型的最优参数。

(二)在线识别阶段包括以下步骤：

2.1，读取待识别的测试行为序列，对其进行图像预处理，包括运动目标检测，噪声处理等，得到该行为连续N帧的二值化图像；

2.2，将得到的每一帧二值化图像的像素矩阵按列拆开，并按顺序首尾相连形成一列，则得到一个N列的原始矩阵a；

2.3，以训练样本所得到的基矩阵W的列向量为基向量构造特征子空间，将待识别行为序列的原始矩阵a投影到该特征子空间，得到该行为序列的特征向量e_r×N，计算公式为：

e＝W^Ta

2.4，使用在离线训练阶段已经估计好最优参数的HMM，使用前向后向算法分别计算特征向量e与每一类训练行为在N个分量上的似然值。

2.5，计算待识别行为序列与每一类训练行为序列的总似然值，即将N个分量上的似然值相加，并比较总似然值大小，依最大似然原则，总似然值最大的训练行为所在的行为类别即为该行为的行为类别，从而完成人体行为识别。

本实施例通过采用以色列Weizmann科学院的人体行为数据库，将本发明和采用Hu矩和R变换进行特征提取的行为识别方法进行比较。

根据图2所示的方法，在离线训练阶段，使用数据库中7类行为共67个视频行为序列作为训练数据，每一个视频训练序列可以得到一个4000×15大小的样本数据矩阵，将这67个矩阵组合得到原始矩阵A_4000×1005；通过非负矩阵分解得到基矩阵W_4000×r和系数矩阵H_r×1005，其中

根据训练序列的样本数据矩阵和基矩阵W_4000×r计算得到各类行为的特征矩阵E；最后，根据7类行为初始化7组HMM并根据其特征矩阵E分别估计其最优参数。

在在线识别阶段，首先得到待识别视频序列的原始矩阵a_4000×15，根据基矩阵W_4000×r计算该数据的特征矩阵e_r×15，图3是当基向量数r＝10时一帧图像的特征向量获取示意图；使用在离线训练阶段已经估计好最优参数的HMM，用前向后向算法分别计算特征向量e与每一类训练行为在N个分量上的似然值；最后计算总似然值，依最大似然原则，确定行为类别。

本发明的一种基于非负矩阵分解和隐马尔科夫模型的人体行为识别方法在基向量r取不同值时的识别率如图4所示，由图4可见，本发明方法在基向量数r取350时识别效果达到最优。将本发明方法在基向量数r取最优值350时得到的识别率和采用Hu矩、R变换提取特征得到的人体行为识别率进行比较，比较结果如表1所示。从表1可以看出，本发明方法得到的识别率明显高于其他两种方法，即本发明方法的人体行为识别效果优于其他两种方法。

表1。

Claims (2)

1.一种基于非负矩阵分解和隐马尔科夫模型的人体行为识别方法，其特征在于：所述人体行为识别方法包括以下过程：

（一）、离线训练阶段，包括以下步骤：

1.1，在行为数据库中选取待识别类型行为序列作为训练数据，假设共选取了NUM个行为序列，NUM为自然数，对每一行为序列进行图像预处理，得到该行为序列连续N帧的二值化图像；

1.2，将得到的每一帧二值化图像的像素矩阵按列拆开，并按顺序首尾相连形成一列，则一个训练行为序列得到一个包含N列的原始矩阵A_i；

1.3，将NUM个训练行为序列所得到的原始矩阵按列方式组合在一起，得到一个具有N×NUM列的总样本数据矩阵A；

1.4，将获得的总样本数据矩阵A进行非负矩阵分解，以获得基矩阵W和系数矩阵H，分解原理为：

A_m×n≈W_m×rH_r×n

其中，r为基向量数，其为任意值且(m+n)r＜m×n；分解方法为对W和H按下式进行迭代更新，直至||A-WH||²收敛：

$H_{\mathrm{ij}}\←H_{\mathrm{ij}}\frac{{\left(W^{T}A\right)}_{\mathrm{ij}}}{{\left(W^T\mathrm{WH}\right)}_{\mathrm{ij}}}$

$W_{\mathrm{ki}}\←W_{\mathrm{ki}}\frac{{\left({\mathrm{AH}}^T\right)}_{\mathrm{ki}}}{{\left({\mathrm{WHH}}^T\right)}_{\mathrm{ki}}}$

其中，ij和ki均为矩阵的下标，表示矩阵在第i(k)行和第j(i)列的值；

1.5，以基矩阵W的列向量为基向量构造特征子空间，将每一个训练行为序列的原始矩阵A_i投影到该特征子空间，得到该训练行为序列的特征向量e_i，计算公式为：

e_i＝W^TA_i

则知e_i的大小为r×N，按列组合e_i可得各类训练行为特征矩阵E_i；

1.6，为每一类行为建立一个隐马尔科夫模型，初始化各类行为的隐马尔科夫模型，并采用Baum-Welch算法根据各类训练行为特征矩阵E_i分别估计各个隐马尔科夫模型的最优参数；

（二）在线识别阶段，包括以下步骤：

2.1，读取待识别的测试行为序列，对其进行图像预处理，得到该行为连续N帧的二值化图像；

2.2，将得到的每一帧二值化图像的像素矩阵按列拆开，并按顺序首尾相连形成一列，则得到一个N列的原始矩阵a；

2.3，以训练样本所得到的基矩阵W的列向量为基向量构造特征子空间，将待识别行为序列的原始矩阵a投影到该特征子空间，得到该行为序列的特征向量e_r×N，计算公式为：

e＝W^Ta

2.4，使用在离线训练阶段已经估计好最优参数的HMM，使用前向后向算法分别计算特征向量e与每一类训练行为在N个分量上的似然值；

2.5，计算待识别行为序列与每一类训练行为序列的总似然值，即将N个分量上的似然值相加，并比较总似然值大小，依最大似然原则，总似然值最大的训练行为所在的行为类别即为该行为的行为类别，完成人体行为识别。

2.如权利要求1所述的基于非负矩阵分解和隐马尔科夫模型的人体行为识别方法，其特征在于：所述步骤1.1和步骤2.1中，预处理包括运动目标检测、噪声处理和二值化处理。

Images