CN108491751A - 一种基于简单动作的探索特权信息的复杂动作识别方法 - Google Patents

Abstract

本发明公开了一种基于简单动作的探索特权信息的复杂动作识别方法，该方法包括如下步骤：S1、利用改进的密集轨迹(IDT特征)对简单动作和复杂动作的视频提取特征，得到特征矩阵；S2、探索简单动作中的有效信息作为特权信息；S3、通过特权信息，建立模型，帮助复杂动作的学习。本发明对复杂动作进行分析，考虑复杂动作可以由一系列的简单动作组合而成，提出一种全新的框架，通过利用一系列的简单动作实现复杂动作的识别。本发明通过特权信息矩阵编码每个简单动作在复杂动作中发生的概率，帮助复杂动作的学习，从而提高复杂动作的识别率。

Description

一种基于简单动作的探索特权信息的复杂动作识别方法

技术领域

本发明涉及人工智能与视频处理技术领域，具体涉及一种基于简单动作的探索特权信息的复杂动作识别方法，特别是基于特权信息学习技术利用简单动作的知识帮助复杂动作的学习。

背景技术

近年来，视频监控被广泛应用，且需求仍然在不断增长，然而现有的视频监控系统其智能性还远远达不到用户的预期。人体行为的识别在视频监控中有重要的应用价值，可以作为更进一步的高层语义化的分析与理解的基础，使智能化的检测、报警、检索等成为可能。随着信息技术的发展，相关应用需求也越来越多样化，基于视频的行为识别有较高的复杂性，不同应用场景有不同问题，所以也相应有着不同的识别方法。学术界对相关问题一直在进行持续研究，但仍有诸多问题待解决。

传统的机器学习方法训练需要大量的有标签样本，但在实际情况中，有的有标签数据不容易获得，并且获取有标签的样本数据是耗时耗力的，考虑到复杂动作可以由简单动作组合而成，而简单动作可以从已有的简单动作库(KTH、Weizmann等)挑选获得，研究人员可以通过简单动作的学习帮助学习复杂动作。特权信息可以利用有标签的样本去学习有少量标签样本的学习。目前特权信息已经应用于文本，图片，视觉等领域。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于简单动作的探索特权信息的复杂动作识别方法。

本发明的目的可以通过采取如下技术方案达到：

一种基于简单动作的探索特权信息的复杂动作识别方法，所述的复杂动作识别方法包括下列步骤：

S1、利用改进的密集轨迹对简单动作和复杂动作的视频进行特征提取，得到特征矩阵；

S2、探索简单动作中的有效信息，将所有的复杂动作发生简单动作的概率组成一个矩阵，作为特权信息；

S3、通过特权信息，建立模型，实现复杂动作的学习。

进一步地，所述的改进的密集轨迹包括以下描述符：轨迹位移向量、梯度直方图、光流直方图和X及Y方向上的光流信息。

进一步地，所述的步骤S1中对提取的视频特征进行利用Fisher vector进行编码。

进一步地，所述的简单动作从KTH和Weizmann数据库中挑选，所述的复杂动作从Olympic Sport和UCF50数据库中挑选。

进一步地，所述的步骤S2具体如下：

将每一个简单动作对应一个具体的数值a，a表示简单动作在复杂动作中发生的概率，基于此规则，得到概率矩阵X^*∈R^S*M，其中，S表示简单动作的类别数，M表示复杂动作的样本数目。

进一步地，所述的步骤S3具体过程包括：

S301、利用特权信息，建立合理的目标方程式如下：

其中，c是类别数目，T是复杂动作的类别数目，N_c是每个类别中样本的数目，X_ci是特征向量，Y_ci∈{1,-1}是对应的类标签，W和W^*分别是主要特征和特权特征的权重向量，项被用来避免过度拟合，项||W||₁是表示复杂动作权值参数的l₁范数约束，用于学习稀疏参数矩阵W，表示为W＝[w₁,...,w_T]，项用来避免过度拟合，项||W^*||₁意在学习松弛变量的值，表示为γ₁,γ₂,ρ₁和ρ₂是四个正数权衡参数；

S302、采用交替迭代优化方法，更新W和W^*，由于l₁范数的存在，快速迭代收缩阈值，求得最优的W，用于复杂动作的学习。

本发明相对于现有技术具有如下的优点及效果：

(1)本发明对复杂动作进行分析，考虑复杂动作可以由一系列的简单动作组合而成，提出一种全新的框架用于复杂动作的识别通过利用一系列的简单动作。

(2)特权信息矩阵编码了每个简单动作在复杂动作中发生的概率，帮助复杂动作的学习，从而提高复杂动作的识别率。

附图说明

图1是本发明公开的基于简单动作的探索特权信息的复杂动作识别方法的流程图；

图2是简单动作和复杂动作库中的样本示例图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

图1是本发明提出的基于简单动作的探索特权信息的复杂动作识别方法的流程图，如图1所示，所述方法包括以下步骤：

步骤S1、利用改进的密集轨迹(IDT特征)对简单动作和复杂动作的视频进行特征提取，得到特征矩阵。

步骤S1中，改进的密集轨迹(IDT特征)方法在行为识别中有着非常好的效果。在改进的密集轨迹中，有四个描述符：轨迹位移向量(trajectory)、梯度直方图(histogram oforiented gradients,HOG)、光流直方图(histogram of optical flow,HOF)和X及Y方向上的光流信息(motion boundary histograms，MBH)。利用Fisher vector进行编码，高斯混合模型(GMM：Gaussian mixture model)中K的大小设为256，最后得到特征的维数是109056。

简单动作从KTH和Weizmann数据库中挑选，复杂动作是Olympic Sport和UCF50数据库中挑选。

步骤S2、探索简单动作中的有效信息作为特权信息。

具体实践中，复杂动作由一系列的简单动作组合而成，复杂动作发生简单动作的概率不一样，比如复杂动作跳高，发生简单动作跑和跳的概率分别是0.6和0.4。将所有的复杂动作发生简单动作的概率组成一个矩阵，作为特权信息。

步骤S2中，探索简单动作中的有效信息作为特权信息的具体步骤如下：

每一个简单动作有一个具体的数值a，a表示了简单动作在复杂动作中发生的概率。基于此规则，得到概率比矩阵X^*∈R^S*M，其中，S表示简单动作的类别数，M表示复杂动作的样本数目。

步骤S3、通过特权信息，建立模型，实现复杂动作的学习。

步骤S3中，具体过程包括：

S301、利用特权信息，建立合理的目标方程式如下：

其中，c是类别数目，T是复杂动作的类别数目，N_c是每个类别中样本的数目，X_ci是特征向量，Y_ci∈{1,-1}是对应的类标签。W和W^*分别是主要特征和特权特征的权重向量。项被用来避免过度拟合。项||W||₁是表示复杂动作权值参数的l₁范数约束，用于学习稀疏参数矩阵W，表示为W＝[w₁,...,w_T]。项是用来避免过度拟合的。项||W^*||₁意在学习松弛变量的值，表示为γ₁,γ₂,ρ₁和ρ₂是四个正数权衡参数。

S302、采用交替迭代优化方法，更新W和W^*，由于l₁范数的存在，快速迭代收缩阈值，求得最优的W，用于复杂动作的学习。

经在复杂动作库上测试，Olympic Sports数据库上40％的样本可以达到79.1％，取的不错的效果。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种基于简单动作的探索特权信息的复杂动作识别方法，其特征在于，所述的复杂动作识别方法包括下列步骤：

S1、利用改进的密集轨迹对简单动作和复杂动作的视频进行特征提取，得到特征矩阵；

S2、探索简单动作中的有效信息，将所有的复杂动作发生简单动作的概率组成一个矩阵，作为特权信息；

S3、通过特权信息，建立模型，实现复杂动作的学习。

2.根据权利要求1所述的一种基于简单动作的探索特权信息的复杂动作识别方法，其特征在于，

所述的改进的密集轨迹包括以下描述符：轨迹位移向量、梯度直方图、光流直方图和X及Y方向上的光流信息。

3.根据权利要求1所述的一种基于简单动作的探索特权信息的复杂动作识别方法，其特征在于，所述的步骤S1中对提取的视频特征进行利用Fisher vector进行编码。

4.根据权利要求1所述的一种基于简单动作的探索特权信息的复杂动作识别方法，其特征在于，所述的简单动作从KTH和Weizmann数据库中挑选，所述的复杂动作从OlympicSport和UCF50数据库中挑选。

5.根据权利要求1所述的一种基于简单动作的探索特权信息的复杂动作识别方法，其特征在于，所述的步骤S2具体如下：

将每一个简单动作对应一个具体的数值a，a表示简单动作在复杂动作中发生的概率，基于此规则，得到概率矩阵X^*∈R^S*M，其中，S表示简单动作的类别数，M表示复杂动作的样本数目。

6.根据权利要求1所述的一种基于简单动作的探索特权信息的复杂动作识别方法，其特征在于，所述的步骤S3具体过程包括：

S301、利用特权信息，建立合理的目标方程式如下：

其中，c是类别数目，T是复杂动作的类别数目，N_c是每个类别中样本的数目，X_ci是特征向量，Y_ci∈{1,-1}是对应的类标签，W和W^*分别是主要特征和特权特征的权重向量，项被用来避免过度拟合，项||W||₁是表示复

杂动作权值参数的l₁范数约束，用于学习稀疏参数矩阵W，表示为W＝[w₁,...,w_T]，项用来避免过度拟合，项||W^|||₁意在学习松弛变量的值，

表示为γ₁,γ₂,ρ₁和ρ₂是四个正数权衡参数；

S302、采用交替迭代优化方法，更新W和W^*，由于l₁范数的存在，快速迭代收缩阈值，求得最优的W，用于复杂动作的学习。