CN103544503B - 一种基于多实例马尔科夫模型的行为识别方法 - Google Patents

Abstract

本发明公开了一种基于多实例马尔科夫模型的行为识别方法。该方法包括以下步骤：对每个视频提取局部特征，用一个局部视频块的特征直方图来表示行为的某个局部运动；通过随机采样的方式得到许多局部视频块，这些局部视频块将形成多个马尔科夫链，这些马尔科夫链表示为某些局部运动在时间上的连续动作；在多实例学习的框架下，模型选择最具有判别性能的马尔科夫链表示行为；测试时，以同样的方式构成多个马尔科夫链表示视频，然后计算出这些马尔科夫链的分数，大于某个阈值为这种行为，反之不属于这种行为。本发明通过多实例马尔科夫模型，达到复杂场景下行为识别的目的，并可以减少对视频的标注。

Description

一种基于多实例马尔科夫模型的行为识别方法

技术领域

本发明属于智能视频监控技术领域，具体涉及一种基于多实例马尔科夫模型的行为识别方法。

背景技术

行为识别在视频智能监控方面有着广泛的应用。例如在某些特定的场合，机场，广场，街道，商店等，对个人的危险行为以及群体的危险行为的预警对于公共安全有着重要的应用价值。目前，主流的行为识别主要是通过构建基于局部特征的词包来进行识别。该方法没有考虑行为特征点在时间和空间上的分布信息和语义信息，而且这些局部特征检测子从背景中检测到许多噪声特征点。为了解决这些问题，Sadanand等人提出一种新的行为表示方法，该方法融入了语义信息用来弥补局部特征的不足，并且在复杂数据库上具有较好的泛化性能。Liu等人定义一种新的高层语义特征：属性来表示行为。Chakraborty等人利用图像的语义信息来去除那些噪声特征点，在复杂数据库上达到了较好的效果。Raptis等人利用静态特征和动态特征来表示部分结构，然后利用这些部分结构之间的空间和时间关系来进行行为识别。但是这些方法都没有对复杂行为的时间结构进行建模。为了解决这个问题，Shi等人利用马尔科夫模型对这些复杂的时间结构进行建模，将行为表示成各部分结构之间的状态转移过程，通过计算概率来进行行为分类。

发明内容

本发明的目的是为了解决复杂场景下行为识别的问题，为此，本发明提供一种基于多实例马尔科夫模型的行为识别方法。

为了实现所述目的，本发明基于多实例马尔科夫模型行为识别方法包含以下步骤：

步骤S1，建立训练集，所述训练集包含某个动作A的正样本和负样本视频；对训练集中的每个视频提取其局部时空兴趣点；对提取得到的时空兴趣点进行第一次聚类，得到这些时空兴趣点对应于第一聚类中心的类别；

步骤S2，对于所述训练集中的每个原始视频，分别提取其局部视频块及基于所述步骤S1得到的聚类中心的类别，得到用于表示局部视频块的直方图特征向量，基于所述局部视频块得到相应原始视频的马尔科夫链集合B；

步骤S3，对所述步骤S2得到的用于表示局部视频块的直方图特征向量进行第二次聚类得到相应局部视频块状态变量的初始值，以及这些局部视频块对应于第二聚类中心的类别，并将这些类别作为这些局部视频块的初始状态；

步骤S4，将所述局部视频块的直方图特征向量按照状态变量的不同拼接得到用于描述所述局部视频块所属马尔科夫链的特征向量；

步骤S5，构建一分类器，并得到相应马尔科夫链的权重；

步骤S6，根据所述步骤S5得到的相应马尔科夫链的权重w，更新马尔科夫链上所有局部视频块的状态变量，直到所述状态变量不再变化，或者达到设置的循环次数；

步骤S7，对于待测试视频，与所述步骤S2类似，通过随机采样的方式，得到多个马尔科夫链；

步骤S8，与所述步骤S6类似，得到这些马尔科夫链的状态变量；

步骤S9，与所述步骤S4类似得到相应马尔科夫链的特征向量；

步骤S10，利用所述步骤S5得到的分类器对所述步骤S9得到的特征向量计算得分，如果该分数大于某个预定阈值则判断该待测试视频属于训练集中定义的行为A，否则不属于该种行为。

本发明的有益效果：通过多实例马尔科夫模型，达到复杂场景下行为识别的目的；通过多实例马尔科夫模型可以减少对视频的标注。

附图说明

图1是本发明提出的基于多实例马尔科夫模型的行为识别方法流程图；

图2是本发明方法在KTH数据库上学习得到的状态转移示意图；

图3是本发明方法在KTH数据库上的识别结果示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1是本发明提出的基于多实例马尔科夫模型的行为识别方法流程图，如图1所示，所述基于多实例马尔科夫模型的行为识别方法包括以下步骤：

步骤S1，建立训练集，所述训练集包含某个动作A的正样本和负样本视频；对训练集中的每个视频提取其局部时空兴趣点；对提取得到的时空兴趣点进行第一次聚类，得到这些时空兴趣点对应于第一聚类中心的类别；

比如对提取得到的时空兴趣点进行聚类可以得到2400个类别；

步骤S2，对于所述训练集中的每个原始视频，分别提取其局部视频块及基于所述步骤S1得到的聚类中心的类别，得到用于表示局部视频块的直方图特征向量，基于所述局部视频块得到相应原始视频的马尔科夫链集合B；

所述步骤S2进一步包括以下步骤：

步骤S21，按照时间顺序多次随机从所述训练集中的每个原始视频中采样得到一些局部视频块；

步骤S22，通过统计局部视频块的时空兴趣点相对于所述步骤S1得到的聚类中心的类别，形成用以表示相应局部视频块的直方图特征向量；

步骤S23，对于每个局部视频块定义一个状态变量，每次随机采样得到的局部视频块按照时间顺序排列形成一条马尔科夫链，经过多次随机采样，得到用以表示相应原始视频的多条马尔科夫链，这些马尔科夫链表示为某些局部运动在时间上的连续动作。

在本发明一实施例中，局部视频块的大小为40*40*6。

步骤S3，对所述步骤S2得到的用于表示局部视频块的直方图特征向量进行第二次聚类得到相应局部视频块状态变量的初始值，以及这些局部视频块对应于第二聚类中心的类别，并将这些类别作为这些局部视频块的初始状态；

在本发明一实施例中，对于所述直方图特征向量进行第二次聚类得到7个类别。

步骤S4，将所述局部视频块的直方图特征向量按照状态变量的不同拼接得到用于描述所述局部视频块所属马尔科夫链的特征向量；

所述步骤S4进一步包括以下步骤：

步骤S41，将相应马尔科夫链上状态变量为s_k（k=1,..,L）的局部视频块的直方图特征向量相加得到一多维向量，其中，L为聚类类别数量；

步骤S42，将属于所有状态的直方图特征向量拼接成一个向量x₀=[x₁,..,x_k]，其中x_k表示状态变量等于s_k的直方图特征向量；

步骤S43，统计所述马尔科夫链上各种状态之间的转移频率t_ij，其中，t_ij为从i状态转移到j状态的频率；

步骤S44，将直方图特征向量和转移概率合成一个特征向量来描述该马尔科夫链γ(I,s)=[x₀,t₁₁,…,t_ij,t_kk]，其中，I表示一条马尔科夫链，s表示马尔科夫链的状态变量，x₀表示为步骤S42中拼接形成的特征向量。

根据本发明方法在KTH数据库上学习得到的状态转移示意图如图2所示。

步骤S5，构建分类器其中，s表示马尔科夫链的状态变量，I表示一条马尔科夫链，B表示所述步骤S2得到的原始视频的马尔科夫链集合，表示学习得到的相应马尔科夫链的权重，其中表示从状态s_k转移到状态s_t情况下的权重，γ(I,s)表示某一马尔科夫链的特征向量；

该步骤中，在所述训练集上通过多实例学习框架迭代算法来学习权重w，具体为：首先利用局部视频块的初始状态来形成如步骤S4所述的马尔科夫链的特征向量，通过特征学习得到所述权重w；其次通过所述权重w从多个马尔科夫链中选择一条马尔科夫链，直到所选择的马尔科夫链标号不再发生变化时终止迭代算法。其中，所述迭代算法对权重和所选择的马尔科夫链标号进行迭代更新。

所述步骤S5中权重w的学习进一步包括以下步骤：

步骤S51，随机从一个马尔科夫包Bⁱ（该包中含有多条马尔科夫链）中选择一个实例，然后对于这些选取的实例根据其初始状态变量形成特征向量，在这些特征向量上通过最小化目标函数得到权重w，所述目标函数为：

$\underset{w,\mathrm{\ϵ}}{\min }\frac{1}{2}{\left|\right|w\left|\right|}^2+C\underset{B^i}{\mathrm{\Σ}}{\mathrm{\ϵ}}_{B^i}$

$s.t.\∀B^i:Y_{B^i}\underset{I_l^i\∈B^i}{\max }\left(\mathrm{w\γ}(I_l^i,s)\right)\≥1-{\mathrm{\ϵ}}_{B^i},$

$\underset{t}{\mathrm{\Σ}}{w}_k^t=1,w_k^t\≥0,{\mathrm{\ϵ}}_{B^i}\≥0,$

k=1,...,K,i=1,...,N.

其中，表示对于每个样本分类错误的损失，C表示平衡因子，用于控制正则项和损失之间的平衡，Bⁱ表示多条马尔科夫链的集合，表示该样本的标签，用于指示该视频是否属于某个行为，表示采样得到的一条马尔科夫链，表示如步骤S4得到的特征向量，s表示该马尔科夫链的状态变量，表示分配给状态从s_k转移到s_t情况下的权重，K表示状态变量的个数，N表示训练集中视频的个数。

步骤S52，用所述步骤S51学习得到的权重重新计算值如果得到的所有k和随机选择的实例的标号相同，则停止循环，否则选择标号为k的实例，重复所述步骤S4，重新学习得到权重。

步骤S6，根据所述步骤S5得到的相应马尔科夫链的权重w，更新马尔科夫链上所有局部视频块的状态变量，直到所述状态变量不再变化，或者达到设置的循环次数；

该步骤中，利用下式来对所述局部视频块的状态变量进行更新：

${\mathrm{Score}}_j^k=\underset{i\∈S}{\max }{w}_k{x}_j+w_{\mathrm{ik}}^t+{\mathrm{Score}}_{j-1}^i,$

${\mathrm{Index}}_j^k=\arg \underset{i\∈S}{\max }{w}_k{x}_j+w_{\mathrm{ik}}^t+{\mathrm{Score}}_{j-1}^i$

${\mathrm{Score}}_1^k=w_k{x}_1$

其中，表示在第j-1个视频块被分配给状态i的情况下，第j个视频块被分配给状态k的分数，w_k表示分配给状态变量为k的直方图特征的权重，x_j表示局部视频块的直方图特征，S表示状态变量的集合，表示从状态i转移到状态k的概率；存储了使得当前分数最大的前一状态变量，目的是为了快速的找到所有的状态变量，表示第一个视频块分配给状态k的分数。

以上就在多实例学习的框架下，选择得到了最具有判别性能的马尔科夫链来表示某一行为。

步骤S7，对于待测试视频，与所述步骤S2类似，通过随机采样的方式，得到多个马尔科夫链来表示所述待测试视频；

步骤S8，与所述步骤S6类似，得到这些马尔科夫链的状态变量；

步骤S9，与所述步骤S4类似得到相应马尔科夫链的特征向量γ(I,s)；

步骤S10，利用所述步骤S5得到的分类器对所述步骤S9得到的特征向量γ(I,s)计算得分，如果该分数大于某个预定阈值则判断该待测试视频属于训练集中定义的行为A，否则不属于该种行为。

图3是本发明方法在KTH数据库上的识别结果示意图，从图3中看出，本发明方法的行为识别结果是非常有效的。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于多实例马尔科夫模型的行为识别方法，其特征在于，该方法包括以下步骤：

步骤S1，建立训练集，所述训练集包含某个动作A的正样本和负样本视频；对训练集中的每个视频提取其局部时空兴趣点；对提取得到的时空兴趣点进行第一次聚类，得到这些时空兴趣点对应于第一聚类中心的类别；

步骤S2，对于所述训练集中的每个原始视频，分别提取其局部视频块及基于所述步骤S1得到的聚类中心的类别，得到用于表示局部视频块的直方图特征向量，基于所述局部视频块得到相应原始视频的马尔科夫链集合B；

步骤S3，对所述步骤S2得到的用于表示局部视频块的直方图特征向量进行第二次聚类得到相应局部视频块状态变量的初始值，以及这些局部视频块对应于第二聚类中心的类别，并将这些类别作为这些局部视频块的初始状态；

步骤S4，将所述局部视频块的直方图特征向量按照状态变量的不同拼接得到用于描述所述局部视频块所属马尔科夫链的特征向量；

步骤S5，构建一分类器，并得到相应马尔科夫链的权重；

步骤S6，根据所述步骤S5得到的相应马尔科夫链的权重w，更新马尔科夫链上所有局部视频块的状态变量，直到所述状态变量不再变化，或者达到设置的循环次数；

步骤S7，对于待测试视频，与所述步骤S2类似，通过随机采样的方式，得到多个马尔科夫链；

步骤S8，与所述步骤S6类似，得到这些马尔科夫链的状态变量；

步骤S9，与所述步骤S4类似得到相应马尔科夫链的特征向量；

步骤S10，利用所述步骤S5得到的分类器对所述步骤S9得到的特征向量计算得分，如果该分数大于某个预定阈值则判断该待测试视频属于训练集中定义的动作A，否则不属于该种动作；

所述步骤S2进一步包括以下步骤：

步骤S21，按照时间顺序多次随机从所述训练集中的每个原始视频中采样得到一些局部视频块；

步骤S22，通过统计局部视频块的时空兴趣点相对于所述步骤S1得到的聚类中心的类别，形成用以表示相应局部视频块的直方图特征向量；

步骤S23，对于每个局部视频块定义一个状态变量，每次随机采样得到的局部视频块按照时间顺序排列形成一条马尔科夫链，经过多次随机采样，得到用以表示相应原始视频的多条马尔科夫链。

2.根据权利要求1所述的方法，其特征在于，所述步骤S4进一步包括以下步骤：

步骤S41，将相应马尔科夫链上状态变量为s_k(k＝1，..，L)的局部视频块的直方图特征向量相加得到一多维向量，其中，L为聚类类别数量；

步骤S42，将属于所有状态的直方图特征向量拼接成一个向量x₀＝[x₁，..，x_k]，其中x_k表示状态变量等于s_k的直方图特征向量；

步骤S43，统计所述马尔科夫链上各种状态之间的转移频率t_ij，其中，t_ij为从i状态转移到j状态的频率；

步骤S44，将直方图特征向量和转移频率合成一个特征向量来描述该马尔科夫链γ(I，s)＝[x₀，t₁，…，t_ij，t_kk]，其中，I表示一条马尔科夫链，s表示马尔科夫链的状态变量，x₀表示为步骤S42中拼接形成的特征向量。

3.根据权利要求1所述的方法，其特征在于，所述步骤S5中的分类器表示为：

$f=\underset{I\∈B}{max}\underset{s}{max}w\mathrm{\γ}(I,s),$

其中，s表示马尔科夫链的状态变量，I表示一条马尔科夫链，B表示所述步骤S2得到的原始视频的马尔科夫链集合，表示学习得到的权重，其中表示从状态s_k转移到状态s_t情况下的权重，γ(I，s)表示某一马尔科夫链的特征向量。

4.根据权利要求3所述的方法，其特征在于，所述权重w的学习进一步包括以下步骤：

步骤S51，随机从一个含有多条马尔科夫链的马尔科夫包Bⁱ中选择一个实例，然后对于这些选取的实例根据其初始状态变量形成特征向量，在这些特征向量上通过最小化目标函数得到权重w；

步骤S52，用所述步骤S51学习得到的权重重新计算值k，如果得到的所有k和随机选择的实例的标号相同，则停止循环，否则选择标号为k的实例，重复所述步骤S4，重新学习得到权重。

5.根据权利要求4所述的方法，其特征在于，所述目标函数表示为：

$\underset{w,\mathrm{\ϵ}}{min}\frac{1}{2}{||w||}^2+C\underset{B^i}{\Σ}{\mathrm{\ϵ}}_{B^i}$

$s.t.\∀B^i:Y_{B^i}\underset{I_l^i\∈B^i}{max}\left(w\mathrm{\γ}\right(I_l^i,s\left)\right)\≥1-{\mathrm{\ϵ}}_{B^i},$

$\underset{t}{\Σ}{w}_k^t=1,w_k^t\≥0,{\mathrm{\ϵ}}_{B^i}\≥0,$

k＝1，...，K，i＝1，...，N.

其中，表示对于每个样本分类错误的损失，C表示平衡因子，用于控制正则项和损失之间的平衡，Bⁱ表示多条马尔科夫链的集合，表示该样本的标签，用于指示该视频是否属于某个行为，表示采样得到的一条马尔科夫链，表示如步骤S4得到的特征向量，s表示该马尔科夫链的状态变量，表示分配给状态从s_k转移到s_t情况下的权重，K表示状态变量的个数，N表示训练集中视频的个数。

6.根据权利要求4所述的方法，其特征在于，所述值k表示为：

$k=\arg \underset{I_l^i\∈B^i}{max}\left(w\mathrm{\γ}\right(I_l^i,s\left)\right).$

7.根据权利要求1所述的方法，其特征在于，所述步骤S6中，利用下式来对所述局部视频块的状态变量进行更新：

${\mathrm{Score}}_j^k=\underset{i\∈S}{max}{w}_k{x}_j+w_{ik}^t+{\mathrm{Score}}_{j-1}^i,$

${\mathrm{Index}}_J^k=\arg \underset{i\∈S}{max}{w}_k{x}_j+w_{ik}^t+{\mathrm{Score}}_{j-1}^i$

${\mathrm{Score}}_1^k=w_k{x}_1$

其中，表示在第j-1个视频块被分配给状态i的情况下，第j个视频块被分配给状态k的分数，w_k表示分配给状态变量为k的直方图特征的权重，x_j表示局部视频块的直方图特征，S表示状态变量的集合，表示从状态i转移到状态k的概率；存储了使得当前分数最大的前一状态变量，目的是为了快速的找到所有的状态变量，表示第一个视频块分配给状态k的分数。