CN104766051B - 基于结构化的特征图的人体行为识别方法 - Google Patents

Abstract

本发明公开了一种基于结构化的特征图的人体行为识别方法，所述方法包括：从样本中提取时空兴趣点，生成特征向量；以特征向量为初始值，利用预设函数完成隐条件随机场模型的参数训练，学习到具有中级语义信息的基元及其空间连接关系；而后将样本分割为时序单元，在时序单元内构建特征图，并映射到特征空间中；通过时序关系连接时序单元，构建链状图，提出时序图核；利用时序图核，对待识别行为视频分类识别。本发明应用HCRF完成对基元及其关联关系的学习，利用特征图完成对视频序列的描述，利用时序图核完成特征图在空间‑时间上的匹配，从而可以对不同长度和速度的行为序列进行匹配，不仅可以用于单人的行为，也可以用于多人的交互行为。

Description

基于结构化的特征图的人体行为识别方法

技术领域

本发明属于视觉信息处理技术领域，具体涉及一种基于结构化的特征图的人体行为识别方法。

背景技术

现在是一个信息爆炸的时代，各种内容、形式、载体的信息接踵而来，充斥着我们的生活，而人们所获得的80％以上的信息都是视觉信息。面对如此庞大的信息量，仅仅人工处理信息，越来越无法满足需要，因此急需研究开发计算机相关方面的能替代人力的能力。基于视觉的人体行为分析是一个非常活跃的研究领域，同时人体行为识别在人机交互、智能监控、体育性能分析、内容检索等领域也具有广泛的应用价值，已经成为计算机视觉的热门研究领域。

行为分析有两大关键问题：行为描述和行为识别。其中，行为描述是通过提取有判别力的、鲁棒的特征来表达行为；行为识别则是选取与之相应的分类模型，利用所提取的特征对行为进行分类识别。

近些年来，局部特征因其对遮挡、光照、平移、旋转的不敏感性，被广泛用于行为识别中，并且取得了可观的识别率；词袋模型，利用一系列无序且相互独立的时空单词对人体行为进行建模，在构建直方图时只保留每个时空单词在词典中的类别标号，是人体行为识别领域中常用的分类模型。局部特征+词袋模型，在目标检测以及行为识别领域中经常使用。虽然，局部特征+词袋模型的方法简单有效并且不需要对人体进行跟踪，但是，这种方法忽略了局部特征在空间-时间上的关联关系。另外，目前，人体行为识别技术的研究主要集中在简单的单人行为识别，而对更具实际意义的多人交互行为分析很少涉及。

发明内容

本发明实施例的目的是提供一种基于结构化的特征图的人体行为识别方法，充分利用局部特征空间-时间的关联关系，完成单人及多人交互行为的识别。

根据本发明的一个方面，提供了一种基于结构化的特征图的人体行为识别方法，所述方法包括如下步骤：

从样本视频序列中提取时空兴趣点；

对所述时空兴趣点进行描述，生成特征向量，并通过预设算法生成时空兴趣点的空间连接关系；

为样本视频序列的每一帧学习隐条件随机场模型HCRF，将所述时空兴趣点的特征向量和空间连接关系作为HCRF的原始观测值，在样本视频的集合上利用预设函数完成HCRF的参数训练，学习到具有中级语义信息的隐状态及隐状态的空间连接关系；

将所述样本视频序列分割为时序单元；

在所述时序单元内，利用所述隐状态和隐状态的空间连接关系构建结构化的特征图；

将所述结构化的特征图映射到特征空间中；

将所述时序单元通过时序关系进行连接，构建基于结构化的特征图的链状图，提出时序图核；利用所述时序图核，对待识别行为视频进行识别。

上述方案中，所述时序单元中包含一个或一个以上的帧。

上述方案中，所述构建结构化的特征图，进一步包括：

将学习到的所述隐状态对应所述特征图的顶点，将学习到的所述隐状态的空间连接关系对应所述特征图的边，所述顶点的属性值为所述顶点所对应的隐状态在该时序单元内出现的概率，所述边的属性值为所述边所对应的隐状态在该时序单元内出现的概率。

上述方案中，所述结构化的特征图具有固定的结构。

上述方案中，所述将所述时序单元通过时序关系进行连接、构建基于结构化的特征图的链状图，进一步包括：

将所述时序单元作为所述链状图的顶点，将所述时序关系作为所述链状图的边，通过作为边的时序关系将所述作为顶点的时序单元连接起来，构建基于结构化的特征图的链状图。

上述方案中，所述时序图核是基于随机游走的。

本发明的一种人体行为识别方法，首将选取样本视频，从样本视频序列中提取时空兴趣点，生成描述兴趣点的特征向量；为样本视频序列的每一帧学习隐条件随机场模型HCRF，以所述特征向量为初始值，在样本视频的集合上利用预设函数完成HCRF的参数训练，学习到具有中级语义信息的隐状态及隐状态的空间连接关系；而后将样本视频序列分割为时序单元，并在每个时序单元内利用所学习到的基元即隐状态及其空间连接关系构建结构化的特征图；将所述结构化的特征图映射到特征空间中；将所述时序单元通过时序关系进行连接，构建一个基于特征图的链状图；利用时序图核，将待识别行为视频进行特征图空间-时间上的匹配，进行分类识别。本发明应用HCRF完成对中级基元和关联关系的学习，利用一系列结构化的特征图完成对视频序列的描述，利用时序图核完成特征图在空间-时间上的匹配，从而可以对不同长度和速度的行为序列进行匹配，不仅可以用于对单人的行为进行识别，也可以用于对多人的交互行为进行分类识别。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明第一实施例的基于结构化的特征图的人体行为识别方法流程示意图；

图2为本发明第二实施例的基于结构化的特征图的人体行为识别方法流程示意图；

图3为本发明第二实施例中所构建的结构化特征图的结构示意图。

具体实施方式

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面详细描述本发明的实施方式，通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本发明实施例利用局部特征在空间-时间上的关联关系，对人体行为进行建模和分析，从而进行分类识别。本发明实施例应用局部特征，构建一种结构化的特征图，在此基础上，提出了一种新的时序图核，完成特征图在空间-时间上的匹配，从而可以对不同长度和速度的行为视频进行匹配，不仅可以用于对单人的行为视频进行识别，也可以用于对多人的交互行为视频进行识别。以下结合附图及具体实施例对本发明作进一步的详细说明。

图1为本发明第一实施例的基于结构化的特征图的人体行为识别方法流程示意图。

如图1所示，本实施例基于结构化的特征图的人体行为识别方法包括如下步骤：

步骤1，从样本视频序列中提取时空兴趣点。

本步骤中的时空兴趣点(STIP，Space and Time Interesting Point)，是在时间域和空间域中变化剧烈的角点，如此可以更好的描述时空兴趣点所在样本视频的特征。

步骤2，利用直方图对所述时空兴趣点进行描述，生成描述时空兴趣点的特征向量，并通过预设算法生成时空兴趣点的空间连接关系。

本步骤中所述的直方图，包括梯度方向直方图(HOG，Histograms of OrientedGradient)和光流方向直方图(HOF，Histograms of Optical Flow)。优选的，本步骤中的预设算法为最小生成树算法或广度优先搜索算法。

步骤3，为样本视频序列的每一帧学习一个隐条件随机场模型(HCRF，HiddenConditional Random Field)，将所述时空兴趣点的特征向量和空间连接关系作为HCRF的原始观测值，在样本视频的集合上利用预设函数完成HCRF的参数训练，从而学习到具有中级语义信息的隐状态及隐状态的空间连接关系。

本步骤中，具有中级语义信息的隐状态被定义为基元，隐状态的空间连接关系，即为基元的空间连接关系；优选地，本步骤中的预设函数为最大似然函数，即HCRF模型通过最大似然函数估计法进行参数训练。本步骤中的最大似然函数通过势函数进行定义，通过最大化所有样本观测值的出现概率优化模型参数。势函数包括unary势函数和pairwise势函数。现有技术中，基于HCRF的行为识别方法，构建和训练HCRF仅仅为了学习到一个从观测值x到类别标号y的映射关系，而本实施例中的基于结构化的特征图的人体行为识别方法，旨在利用HCRF学习具有中级语义信息的基元(即现有技术中HCRF的隐状态，本发明中定义为基元)及其空间连接关系，更好的对局部特征及其空间关系进行建模，从而完成对人体行为视频的匹配和识别。

步骤4，将所述样本视频序列分割为时序单元。

本步骤中，所述时序单元包含一个或多个帧，在具体分割时，需要根据视频的长度和计算复杂度的需要，取不同的时序单元大小。

步骤5，在所述时序单元内，利用所述隐状态和隐状态的空间连接关系构建结构化的特征图。

对于同一个样本视频的集合，采用一个统一的具有固定结构的特征图，所述特征图的每个顶点对应一个学习到的基元，每条边对应所述基元的空间连接关系，从而构建一个全连接的属性图，特征图的每个顶点和每条边的属性值分别为所对应的基元和空间连接关系在该时序单元内出现的概率，该属性值可以在HCRF中通过预设算法计算，如置信传播算法，当某一顶点或边对应的基元或空间关联关系未在该时序单元内出现时，无需改变特征图的结构，只需将其对应的属性值置零即可。

步骤6，将所述结构化的特征图映射到特征空间中。

本步骤中的特征空间，是由结构化的特征图的所有顶点和所有边的属性的所有可能取值组成的。由于各特征图的结构都是统一的、固定的，只是特征图中顶点和边的属性值不同，因此，可以在特征空间中，将属性延展成特征向量，优选地，通过串联的方式将所述属性延展成特征向量。当进行匹配时，只需要在特征空间中比较所延展成的特征向量，衡量属性值的相似度。

步骤7，将所述时序单元通过时序关系进行连接，构建基于结构化的特征图的链状图，提出时序图核。

本步骤中，将每个时序单元作为所述链状图的顶点，前后时序关系作为链状图的边，构建一个基于特征图(SFG，Structured Feature-Graph)的链状图(SFGs)，提出时序图核(TGK，Temporal Graph Kernel)，优选的，这里的时序图核是一种基于随机游走的图核。

优选地，本步骤中游走的长度可以从0到无穷，充分考虑不同行为序列在运动时间和运动速度上的不同。

步骤8，利用所述时序图核，对待识别行为视频进行识别。

本步骤中的待识别行为视频，区别于样本视频序列。

优选地，本步骤中使用K近邻方法对所述行为视频进行识别和分类。

本实施例通过利用局部特征在空间-时间上的关联关系，对人体行为进行建模和分析，从而进行分类识别；在所构建的链状图的基础上提出了一种新的时序图核，完成特征图在空间-时间上的匹配，从而对不同长度和速度的行为序列进行匹配，不仅对单人的行为进行识别，也适用于对多人的交互行为进行分类识别。

图2是本发明第二实施例基于结构化的特征图的人体行为识别方法的流程示意图；图3是本发明第二实施例的人体行为识别方法所构建的结构化特征图的结构示意图。

本实施例所涉及到的时空兴趣点，HOG\HOF描述子，HCRF模型，随机游走，K近邻分类等均是现有技术，本实施例中不再赘述。

如图2所示，本实施例的基于结构化的特征图的人体行为识别方法，包括如下步骤：

步骤S21，在训练样本中，提取时空兴趣点X。

本步骤中的训练样本，即为样本视频序列，可以是UCF人体行为数据库、UT-interaction人体行为数据库或KTH人体行为数据库等视频数据库中的样本，所述训练样本的数量根据不同的数据库而有所不同。如，当所选训练样本为KTH人体行为数据库中的样本视频时，选取16个人体行为视频序列作为训练样本。

相应的，在通过本实施例所提出的时序图核进行识别测试时，在不同的数据库中也选取不同数量的测试样本，如，当所选训练样本为KTH人体行为数据库中的样本视频时，选取9个人体行为视频序列作为测试样本。

步骤S22，利用梯度方向直方图和光流方向直方图对所述时空兴趣点X进行描述，生成特征向量x，并通过最小生成树算法生成时空兴趣点的空间连接关系。

步骤S23，为训练样本的每一帧学习一个隐条件随机场模型(HCRF)，将时空兴趣点X的特征向量x作为HCRF的原始观测值，在训练样本集合上利用最大似然函数估计法完成HCRF的参数学习，从而学习到具有中级语义信息的基元及基元的空间连接关系。

本实施例中的HCRF为一个条件概率模型，优选地，所述HCRF表示为：

其中，h为隐状态，x为时空兴趣点X的特征向量，y为样本类别标号，w为需要学习的参数，E为势函数，Z为归一化项，p为条件概率。

将时空兴趣点X的特征向量x作为HCRF的原始观测值，提出隐状态h与所述时空兴趣点X相对应(对于每个HCRF，隐状态的个数是固定的，本实施例中设为20个)；Z用以保证模型概率测度的属性；需要学习的参数w，利用最大似然估计法进行学习，使样本类别、各观测值、各隐状态匹配的最好。本实施例中的最大似然函数通过势函数E来定义。

所述势函数E包括unary势函数(E₁与E₂)和pairwise势函数(E₃)。相应的，式(1)中的势函数E可以由式(2)表示：

在训练样本集合上利用最大似然函数估计法完成HCRF的参数学习，即通过式(1)最大化所有样本观测值出现的概率完成HCRF的参数w的学习，从而学习到具有中级语义信息的基元及基元的空间连接关系。

训练完成后，HCRF的每个底层的观测值通过训练学习，都会得到一个相对高层的隐状态h。这些隐状态h因为具备一些中级的语义信息，据此，本实施例中将所述具有中级语义信息的隐状态h定义为基元。通过式(1)所代表的HCRF模型，即可学习到具有中级语义的基元及其空间连接关系，即空间结构，这一过程完全自主学习，无需手工设置任何参数。直观上看，基元就是通过将相似的特征聚类得到，但是与其他聚类方法不同的是，本实施例的学习过程充分考虑了样本的类别y。训练HCRF的过程用到了样本的类别y，从而进行有监督的学习，现有技术中的聚类方法为无监督学习。这样就使学习到的基元不仅简洁和具有中级语义信息，更具有一定的判别力。

步骤S24，将所述训练样本分割为时序单元。

本实施例中，按照一个帧为一个时序单元进行分割，即每个时序单元包含一个帧。在实际的分割过程中，可以根据视频本身的长度和计算复杂度的需要，取不同时序单元的大小。

步骤S25，在所述时序单元内，利用所述基元和基元的空间连接关系构建结构化的特征图(SFG，Structured Feature-Graph)。

本步骤在每个时序单元内构建结构化的特征图，为了后面空间匹配的方便，所构建的特征图采用固定的结构。

图3是本实施例所构建结构化特征图的结构示意图。如图3所示，所构建的结构化特征图SFG中，a、b、c、d代表SFG的四个顶点，每个顶点对应一个学习到的基元。这里需要说明的是，在实际的结构化特征图中，顶点不仅有四个，顶点的个数与基元的个数相关，基元的个数即隐状态集合包含元素的个数，即隐状态集合的大小。这里仅仅是用四个顶点作为一个举例，说明顶点与边所代表的含义及其之间的连接关系。

如图3所示，任何两个顶点间都有一条边将其连接，每条边对应顶点间的空间连接关系，从而构建一个全连接的属性图，并且每个顶点和每条边都将分别与计算得到的顶点属性A(V)和边的属性A(E)相关联。如，A(V_a)表示顶点a的属性，A(V_b)表示顶点b的属性；A(E_a,b)表示连接顶点a和顶点b的边的属性，A(E_b,c)表示连接顶点b和顶点c的边的属性，以此类推。

当选定的隐状态h的集合的大小是M时，则特征图中，顶点集合V∈R^M且边的集合E∈R^M×M.此时，顶点属性定义如下：

边的属性定义如下：

其中，a、b为两种隐状态(基元)，attribute(v_a)表示该顶点为隐状态a时的属性值，attribute(e_a,b)表示该边为隐状态a和隐状态b的空间连接关系时的属性值，p(h_i＝a|y,x,w)和p(h_i＝a,h_j＝b|y,x,w)是两个边缘概率，所述边缘概率可以通过置信传播算法计算。

从直观上看，所述特征图的顶点和边的属性值分别为每个顶点和每条边在该时间单元内出现的概率。当所述特征图的某一顶点或边未在该时间单元内出现时，无需改变特征图的结构，只需将所述特征图的顶点或边所对应的属性值置零即可。

步骤S26，将SFG映射到特征空间中。

本步骤中的特征空间，是由SFG的所有顶点和所有边的属性的所有可能取值组成的。SFG构建完成后，将SFG映射到特征空间中，在空间匹配时只需在特征空间内衡量属性值的相似度即可，因为各图的结构固定，只是属性值不同，因此本实施例在特征空间中将属性延展成特征向量，可以通过串联的方式进行延展。

步骤S27，将所述时序单元通过时序关系进行连接，构建基于SFG的链状图(SFGs)，提出时序图核(TGK)。

本步骤中，将每个时序单元作为SFGs的顶点，前后时序关系作为SFGs的边，构建一个基于SFG的链状图SFGs，本实施例中，将所述链状图SFGs简写为G，其表达式为G＝(V,E,T)，式中V表示顶点集合，E表示边的集合，T表示时序索引。顶点数即为该训练样本包含的时序单元数(SFG的个数)。将训练样本行为视频序列表示为具有时间顺序的一系列结构化的特征图，即链状图G后，提出一种基于随机游走的时序图核(TGK，Temporal Graph Kernel)。本步骤中，随机游走是所构建的特征图的一种子图，随机游走核，就是统计两个图内相同游走的个数。例如，对两个任意的链状图G、G'，首先定义一个核函数，用以计算两个相同长度游走间的相似度。所定义的核函数如下：

其中，w为链状图G上的随机游走，L为链状图G上该游走的长度，v为链状图G上该游走内包含的顶点，e为链状图G上该游走内包含的边，为链状图G内SFG所张成的特征向量；w'为链状图G'上的随机游走，v'为链状图G'上该游走内包含的顶点，e'为链状图G'上该游走内包含的边，为链状图G'内SFG所张成的特征向量。下标k表示索引序号。

公式(5)定义了游走的核函数，用以衡量两个相同长度游走内所有对应顶点和边的相似度。公式(6)定义了顶点的核函数，用以衡量顶点属性的相似度；公式(7)定义了边的核函数，用以衡量边属性的相似度。顶点的相似度即为G中所含的SFG的所有顶点和边的所有可能属性值所构成的第一特征空间与G'中所含的SFG的所有顶点和边的所有可能属性值所构成的第二特征空间的匹配程度，边的相似度表示第一特征空间和第二特征空间的时序关系的相似程度。然后，在G、G'中累加所有长度的游走之间的相似度即为TGK核函数，TGK核函数表示为：

k_T(G,G')＝Σ_w∈W(G)Σ_w'∈W(G')k_w(w,w') (8)

其中，K_T(G，G')表示两个任意的链状图G、G'间的相似度,TGK核函数通过累加两个链状图内所有子图的相似度，计算得到两个链状图整体的匹配程度。

优选的，本实施例采用张量乘积的框架，以提高计算效率。可以证明，在两图的直积图上游走，等同于在两图上同时游走。G、G'的直积图定义为：

V_×＝{(v_i,v'_j):v_i∈V,v'_j∈V'} (9)

E_×＝{((v_i,v_a),(v'_j,v'_b)):(v_i,v_a)∈E,(v'_j,v'_b)∈E'} (10)

其中，E_×表示两图的直积图的边，V_×表示两图的直积图的顶点，v_i和v_a为图G上的顶点，v'_j和v'_b为图G'上的顶点，(v_i,v_a)为图G上的边，(v'_j,v'_b)为图G'上的边。

为直积图构建两个包含顶点核函数和边的核函数的矩阵，对角矩阵的对角元素为矩阵的元素为

因此TGK核函数可以改写为：

其中，M_×是衡量G、G'中所有子图间相似度的矩阵,是公式(8)的矩阵表示形式。

一个特例，当l＝0时，TGK就退化为卷积核，统计所有顶点的相似度。我们可以看到TGK其实就是衡量所有不同起始点，不同长度的时间子序列的相似度。因此与DTW相比，本发明中的TGK除了具有时间规整能力，还能处理未分割的视频序列以及周期的视频序列。

步骤S28，利用所述时序图核TGK，对待识别行为视频进行识别。

本实施例中采用留一交叉验证法对UCF、UT-interaction人体行为数据库中的行为进行测试实验；对KTH人体行为数据库，采用16个人的样本用于训练后，选取其他9个人体行为视频数据作为待识别行为视频，即测试样本，进行交叉验证，对所述测试样本进行识别。

本实施例的人体行为识别方法，在KTH人体行为数据库中的实验结果，准确率达到了99.67％；在UCF人体行为数据库中的实验结果，准确率达到了96.67％；在UT-interaction人体行为数据库中的实验结果，准确率达到了97.5％。可见，本实施例不仅在背景简单的单人行为库KTH上取得了将近完美的识别率，更在复杂状况下的单人行为库UCF及多人交互行为库UT-interaction上取得了很好的识别效果。

本实施例的人体行为识别方法，不仅适用于本发明实施例通过利用局部特征在空间-时间上的关联关系，对人体行为进行建模和分析，从而进行分类识别。本发明实施例中应用局部特征，构建结构化的特征图，在此基础上，提出了一种新的时序图核，完成特征图在空间-时间上的匹配，从而可以对不同长度和速度的行为序列进行匹配，不仅可以用于对单人的行为进行识别，也可以用于对多人的交互行为进行分类识别。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (4)

1.一种基于结构化的特征图的人体行为识别方法，其特征在于，所述方法包括如下步骤：

从样本视频序列中提取时空兴趣点；

对所述时空兴趣点进行描述，生成特征向量，并通过预设算法生成时空兴趣点的空间连接关系；

为样本视频序列的每一帧学习隐条件随机场模型HCRF，将所述时空兴趣点的特征向量和空间连接关系作为HCRF的原始观测值，在样本视频的集合上利用预设函数完成HCRF的参数训练，学习到具有中级语义信息的隐状态及隐状态的空间连接关系；

将所述样本视频序列分割为时序单元；

在所述时序单元内，利用所述隐状态和隐状态的空间连接关系，将学习到的所述隐状态对应所述特征图的顶点，将学习到的所述隐状态的空间连接关系对应所述特征图的边，顶点的属性值为所述顶点所对应的隐状态在该时序单元内出现的概率，边的属性值为所述边所对应的隐状态在该时序单元内出现的概率，从而构建结构化的特征图；

将所述结构化的特征图映射到特征空间中；

将所述时序单元通过时序关系进行连接，构建基于结构化的特征图的链状图，提出基于随机游走的时序图核；

利用所述时序图核，对待识别行为视频进行识别。

2.根据权利要求1所述的人体行为识别方法，其特征在于，所述时序单元中包含一个或一个以上的帧。

3.根据权利要求1所述的人体行为识别方法，其特征在于，所述结构化的特征图具有固定的结构。

4.根据权利要求1所述的人体行为识别方法，其特征在于，所述将所述时序单元通过时序关系进行连接、构建基于结构化的特征图的链状图，进一步包括：

将所述时序单元作为所述链状图的顶点，将所述时序关系作为所述链状图的边，通过作为边的时序关系将所述作为顶点的时序单元连接起来，构建基于结构化的特征图的链状图。