CN102855462A - 确定人体动作周期及识别人体动作的方法和装置 - Google Patents

Abstract

本发明公开了确定人体动作周期及识别人体动作的方法和装置。所述确定视频中人体动作周期的方法包括：在预定的搜索范围内搜索人体姿态与当前帧相似的帧；如果在搜索范围内搜索到人体姿态与当前帧相似的帧，则将当前帧与所述人体姿态与当前帧相似的帧之间的时长作为视频中的人体动作周期。通过针对不同行为、不同个体来确定相应的人体动作周期，可以更为准确地提取时空特征，并实现更为准确的人体行为识别。

Description

确定人体动作周期及识别人体动作的方法和装置

技术领域

本发明总体上涉及计算机领域，具体来说，涉及人体行为的计算机识别，更具体来说，涉及一种确定视频中人体动作周期的方法和装置以及一种识别视频中人体动作的方法和装置。

背景技术

人体行为识别技术具有广泛的应用前景并且得到越来越多的关注。利用该技术可以从视频中快速地检测出人们关注的行为。人体行为识别技术可被应用到视频监控(银行、医院、工厂等环境)、人机交互(虚拟游戏等场景)、体育自动解说等领域。

针对人体行为识别技术，目前已经提出了多种实现方法，其中基于时空特征的实现方法是一种流行且有效的方法。在这类方法中，通过时空特征来描述当前帧以及相邻数帧的信息，而后利用时空特征实现人体行为识别。在提取时空特征的处理中，对所有运动视频，设定相同长度的人体动作周期。

然而，由于不同行为、不同个体存在差异性，为了进一步提高利用时空特征实现的人体行为识别的准确性，希望可以针对不同行为、不同个体来确定相应的人体动作周期以便提取时空特征，进而实现更为准确的人体行为识别。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本发明旨在提供一种确定视频中人体动作周期的方法和装置以及相应的确定视频中人体动作的方法和装置，其可以针对不同行为、不同个体来确定相应的人体动作周期，由此可以更为准确地提取时空特征，并进而实现更为准确的人体行为识别。

为了实现上述目的，根据本发明的一个方面，提供了一种确定视频中人体动作周期的方法，包括：在搜索范围内搜索人体姿态与当前帧相似的帧；如果在搜索范围内搜索到所述人体姿态与当前帧相似的帧，则将当前帧与所述人体姿态与当前帧相似的帧之间的时长作为视频中的人体动作周期；否则，则将第一时长作为人体动作周期。

根据本发明的另一个方面，提供了一种识别视频中人体动作的方法，包括：根据上述确定视频中人体动作周期的方法来确定视频中的人体动作的周期；基于确定出的周期来提取时空特征以确定视频中的人体动作。

根据本发明的另一个方面，还提供了一种确定视频中人体动作周期的装置，包括：搜索部，被配置成在搜索范围内搜索人体姿态与当前帧相似的帧；周期确定部，被配置成：如果所述搜索部在搜索范围内搜索到所述人体姿态与当前帧相似的帧，则将当前帧与所述人体姿态与当前帧相似的帧之间的时长作为视频中的人体动作周期。

根据本发明的另一个方面，还提供了一种识别视频中人体动作的装置，包括：包括上述确定视频中人体动作周期的装置的人体动作周期确定部，被配置成确定视频中的人体动作的周期；识别部，被配置成基于确定出的周期来提取时空特征以识别视频中的人体动作。

依据本发明的其它方面，还提供了相应的计算机程序代码、计算机可读存储介质和计算机程序产品。

通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。

附图说明

本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附图中：

图1示出了根据本发明一个实施例的确定视频中人体动作周期的方法的流程图；

图2示出了根据本发明的一个实施例的搜索人体姿态与当前帧相似的帧的处理的流程图；

图3示出了根据本发明一个实施例的计算搜索范围内的每一帧中人体区域的面积的处理的流程图；

图4示出了根据本发明另一个实施例的计算搜索范围内的每一帧中人体区域的面积的处理的流程图；

图5示出了根据本发明一个实施例的计算运动直方图的处理的流程图；

图6示出了根据本发明另一个实施例的计算运动直方图的处理的流程图；

图7示出了根据本发明一个实施例的根据运动直方图和人体区域面积来搜索人体姿态与当前帧相似的帧的处理的流程图；

图8示出了根据本发明一个实施例的识别视频中人体动作的方法的流程图；

图9示出了根据本发明一个实施例的确定视频中人体动作周期的装置的示意图；

图10示出了根据本发明一个实施例的搜索部的示意图；

图11示出了根据本发明一个实施例的面积计算部的示意图；

图12示出了根据本发明另一个实施例的面积计算部的示意图；

图13示出了根据本发明一个实施例的运动直方图计算部的示意图；

图14示出了根据本发明另一个实施例的运动直方图计算部的示意图；

图15示出了根据本发明一个实施例的帧搜索部的示意图；

图16示出根据本发明一个实施例的识别视频中人体动作的装置的示意图；以及

图17是示出了其中可以实现根据本发明实施例的方法和/或装置的通用个人计算机的示例性结构的方框图。

具体实施方式

在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

图1示出了根据本发明一个实施例的确定视频中人体动作周期的方法的流程图。

如图1所示，在步骤S102处，搜索人体姿态与当前帧相似的帧。

考虑到人体动作往往具有周期性，当动作周期结束时，人体可以回到动作开始的姿态。因而，可以通过搜索人体姿态与当前帧相似的帧来确定一个完整的人体动作的周期。

接着，在步骤S104处，可以按照搜索结果来判断搜索范围内是否存在人体姿态与当前帧相似的帧。

如果搜索结果表明搜索到所述人体姿态与当前帧相似的帧，则在步骤S106处，将当前帧与所述人体姿态与当前帧相似的帧之间的时长作为视频中的人体动作周期。

如果搜索结果表明在搜索范围内没有搜索到所述人体姿态与当前帧相似的帧，则在步骤S108处，可以将预定的第一时长作为人体动作周期。

其中，所述第一时长是足以包括一个完整的人体动作的时间长度，可以根据经验值或根据不同的应用场景来合理地设置所述第一时长。

通过合理地设置所述第一时长，可以避免在搜索范围内不存在人体姿态与当前帧相似的帧的情况下的反复搜索，由此可以减少计算量，提高效率。

图1所示实施例的方法可以基于人体动作的周期性来确定人体动作周期。因而，可以准确地检测出视频中人体动作的周期。

在上述确定视频中人体动作周期的方法中，根据不同的应用场景或根据不同的需要可以设置不同的搜索范围来搜索人体姿态与当前帧相似的帧。

在本发明的一个实施例中，所述搜索范围可以是以当前帧为起点向后经过预定第二时长的时段。其中，所述第二时长可以是足以包括一个人体动作的时间长度，可以根据经验值或根据具体应用场景来合理地设置所述第二时长。所述第二时长可以和上述的第一时长相同，也可以和所述第一时长不同。

以上描述的搜索范围仅为示例，本发明不限于此，而是还可以根据其它方式来设置搜索范围。

在本发明的另一个实施例中，所述搜索范围也可以是以当前帧为起点向前经过预定的第三时长的时段。其中，所述第三时长可以是足以包括一个人体动作的时间长度，可以根据经验值或根据具体应用场景来合理地设置所述第三时长。另外，第三时长可以和第二时长相同，也可以和第二时长不同。

在根据任意上述实施例的确定视频中人体动作周期的方法中，可以根据帧中人体区域的面积和运动直方图来搜索人体姿态与当前帧相似的帧。

其中，所述运动直方图指的是与帧中的人体的运动有关的直方图，其可以反映出帧中各个位置处的人体运动或人体姿态。

例如，所述运动直方图可以反映出帧中的人体运动或人体姿态在水平方向上的分布的运动直方图，也可以是帧中的人体运动或人体姿态在垂直方向上的分布的运动直方图。

在以下的描述中，以水平方向上的运动直方图为例进行描述，但本发明不限于此，本发明的实施例也可以应用垂直方向上的运动直方图或者水平方向和垂直方向上的运动直方图的组合。

显然，如果两个帧中的人体姿态相似，则两个帧中的人体区域的面积大小也应该相似；另一方面，两个帧中的人体的运动直方图也应该相似。

因而，可以基于根据帧中人体区域的面积和运动直方图来搜索人体姿态与当前帧相似的帧。

图2示出了根据本发明的一个实施例的搜索人体姿态与当前帧相似的帧的处理的流程图。

如图2所示，可以在步骤S202处，计算帧中的人体区域的面积。

可以利用各种合适的方法来计算帧中的人体区域的面积。

例如，可以通过人体边缘来计算帧中的人体区域的面积。

再例如，也可以根据前景中的人体区域中的前景像素的数目来确定帧中的人体区域的面积。

如图2所示，接着，可以在步骤S204处，计算帧的运动直方图。

可以通过各种合适的方式来计算帧的运动直方图。

例如，可以基于帧的前景或者也可以基于帧的帧差图像来计算运动直方图。

在计算出帧中人体区域的面积和帧的运动直方图之后，在步骤S206处，可以根据运动直方图和人体区域面积在搜索范围内搜索人体姿态与当前帧相似的帧。

具体来说，在搜索范围内针对每一帧，根据每一帧的帧的运动直方图和人体区域面积与当前帧的运动直方图和人体区域面积的相似性，来搜索人体姿态与当前帧相似的帧。

由此，可以实现在搜索范围内对人体姿态与当前帧相似的帧的搜索。

如上所述，可以采用各种合适的方法来计算帧中的人体区域的面积。

图3示出了根据本发明一个实施例的计算搜索范围内的每一帧中人体区域的面积的处理的流程图。

如图3所示，在步骤S302处，可以先提取帧中的人体区域的边缘。

可以采用任意已知的人体边缘的提取方法来提取帧中的人体区域的边缘。

例如，可以利用canny算法来提取帧中的人体区域的边缘。

其中，canny算法是图像处理领域中常用的一种边缘提取方法。关于canny算法的详细内容可以参见Canny，J.发表的题为“A ComputationalApproach To Edge Detection”的文章(见IEEE Trans.Pattern Analysisand Machine Intelligence，8：679-714，1986)，该文章的全部内容通过引用合并于此，在此不再赘述以使说明书保持简洁。

接着，在步骤S304处，可以基于提取出的边缘来计算帧中的人体区域的面积。

具体来说，可以基于得到的人体区域的边缘，计算该边缘所包围的面积作为帧中的人体区域的面积。

由此，可以通过图3所示的方法计算出帧中的人体区域的面积。

在帧中场景较为复杂(例如，除了人以外还有其它运动物体的情形)的情况下，图3所示的方法可以准确地计算出帧中的人体区域的面积。

图3所示的实施例仅为示例，本发明不限于此，而是还可以通过其它方式来计算帧中的人体区域的面积。

例如，图4示出了根据本发明另一个实施例的计算帧中人体区域的面积的处理的流程图。

在图4所示的实施例中，可以直接根据帧中的前景的大小来计算人体区域的面积。

如图4所示，在步骤S402处，可以从帧中提取出前景。

可以采用各种已知的前景提取方法来从帧中提取前景。

作为一个简单的示例，可以直接将帧与相应的背景模型相减来提取出前景。

接着，在步骤S404处，可以根据提取出的前景来计算人体区域的面积。

具体来说，可以通过统计前景中为1的像素的数量来计算人体区域的面积。

由此，可以通过图4所示的方法计算出帧中的人体区域的面积。

在帧中场景较为简单(例如，帧中前景仅包括人)的情况下，图4所示的方法可以准确高效地计算出帧中的人体区域的面积。

图3、图4所示的实施例均仅为示例，本发明不限于此，而是还可以通过其它方式来计算帧中的人体区域的面积。或者，也可以基于图3和图4所示的方法的组合来计算帧中人体区域的面积。

如上所述，在根据本发明的确定视频中人体动作周期的方法中，可以基于帧的前景或者也可以基于帧的帧差图像来计算运动直方图。

图5示出了根据本发明一个实施例的计算运动直方图的处理的流程图，其中，基于帧的前景来计算运动直方图。

如图5所示，在步骤S502处，可以从帧中提取出前景。

可以采用各种已知的前景提取方式来从帧中提取前景。

例如，可以直接将帧与相应的背景模型相减来提取出前景。

接着，在步骤S504处，可以将帧划分成多个部分。

优选地，可以在水平方向上平行地将帧等分为多个矩形的小格子。

或者，也可以在垂直方向上平行地将帧等分为多个矩形的小格子。

接着，在步骤S506处，可以基于提取出的帧的前景来形成运动直方图。

具体来说，可以统计在水平方向或垂直方向上的每个小格子中前景像素的数量，由此形成了运动直方图。

通过上述的方式，可以得到能够反映出人体姿态在水平方向或垂直方向上的分布的运动直方图。

图5所示的方法仅为示例，本发明不限于此。例如，也可以利用帧差图像来计算帧的运动直方图。

图6示出了根据本发明另一个实施例的计算运动直方图的处理的流程图，其中，基于帧差图像来计算运动直方图。

如图6所示，在步骤S602处，可以计算帧的帧差图像。

在一个示例中，可以通过将所述帧与相邻帧(例如，前一帧或后一帧)进行相减的方式来得到帧差图像。显然，所述帧差图像中包含了人体的运动信息。

接着，在步骤S604处，可以将帧划分成多个部分。

优选地，可以在水平方向上平行地将帧等分为多个矩形的小格子。或者，也可以在垂直方向上平行地将帧等分为多个矩形的小格子。

接着，在步骤S606处，可以基于帧差图像来形成运动直方图。

例如，可以计算帧差图像在水平方向或垂直方向上的每个小格子中的像素的灰度值之和，由此形成了运动直方图。

尽管以上以灰度值为例进行说明，但以上描述仅为示例，本发明不限于此。事实上，也可以根据除了灰度值之外的其它合适参数来形成运动直方图。

通过上述的方式，可以计算出能够反映出人体运动在水平方向或垂直方向上的分布的运动直方图。

图7示出了根据本发明一个实施例的根据运动直方图和人体区域面积来搜索人体姿态与当前帧相似的帧的处理的流程图。

如图7所示，在步骤S702处，分别计算搜索范围内的每一帧与当前帧之间的运动直方图相似度和人体区域面积相似度。

可以采用任意已知的技术来计算搜索范围内的每一帧与当前帧之间的运动直方图相似度。

例如，可以通过直方图峰值匹配法来计算搜索范围内的每一帧与当前帧之间的运动直方图相似度。

关于直方图峰值匹配法的详细描述，参见Das M.、Riseman E.M.和Draper B.A等人发表的题为“Searching for multi-colored objects in adiverse image database”的文章(参见IEEE Conference on ComputerVision and Pattern Recognition，1997，pp 756-761)，其全部内容通过引用合并于此。

再例如，也可以基于窗口间平均差异来计算搜索范围内的每一帧与当前帧之间的运动直方图相似度。

关于基于窗口间平均差异来计算相似度的详细描述，参见于2007年公开的题为“基于窗口间平均差异的直方图相似性度量方法”的中国专利申请(CN200710042916.3)，其全部内容通过引用合并于此。

此外，也可以利用任意已知的方式来计算搜索范围内的每一帧与当前帧之间的人体区域面积的相似度。

例如，可以基于每一帧的人体区域面积与当前帧的人体区域面积的差和平均值来计算搜索范围内的每一帧与当前帧之间的人体区域面积的相似度。

在一个具体的示例中，可以按照公式(1)来进行计算：

$r=1-\frac{|A_1-A_2|}{\stackrel{\‾}{A}}---\left(1\right)$

在公式(1)中，r表示计算搜索范围内的每一帧与当前帧之间的人体区域面积相似度；A₂表示搜索范围内的每一帧的人体区域面积；A₁表示当前帧的人体区域面积；

表示搜索范围内的每一帧的人体区域面积与当前帧的人体区域面积的平均值。

在分别计算出运动直方图相似度和人体区域面积相似度之后，接着，在步骤S704处，可以分别为人体区域面积相似度和运动直方图相似度设置影响因子。

具体来说，可以根据不同的应用场景或根据经验值来设置合理的影响因子。

在一个优选示例中，可以将人体区域面积相似度和运动直方图相似度各自设置为0.5。

接着，在步骤S706处，可以计算总相似度。

其中，所述总相似度可以是表征帧中人体行为的相似程度的物理量。

在本发明的一个实施例中，可以基于人体区域面积相似度和运动直方图相似度来计算所述总相似度。

例如，可以基于人体区域面积相似度和运动直方图相似度、按照设置的影响因子来计算总相似度。

在一个具体的示例中，可以按照公式(2)来进行计算：

R＝α·r₁+β·r₂                       (2)

在公式(2)中，R表示总相似度，r₁、r₂分别表示人体区域面积相似度和运动直方图相似度，α、β分别表示用于人体区域面积相似度和运动直方图相似度的影响因子。

这样，可以针对搜索范围中的每一帧，计算出其与当前帧的总相似度。

接着，在步骤S708处，可以将最大总相似度与预定的第一阈值进行比较。

其中，所述第一阈值任意合适的值，例如可以是0.85、0.9、0.95等。

如果最大总相似度大于第一阈值，则在步骤S710处，可以将与具有最大总相似度的帧判定为与当前帧中的人体姿态相同的帧。

如果最大总相似度没有大于第一阈值，则在步骤S712处，可以判定在搜索范围内未找到与当前帧中的人体姿态相同的帧。

如上所述，通过图7所示的方法，实现了在搜索范围内搜索人体姿态与当前帧相似的帧的处理。然而，图7所示的方法仅为示例，本发明不限于此，而是还可以进行其它有益的改型。

例如，在本发明的另一个实施例中，也可以仅基于运动直方图来搜索人体姿态与当前帧相似的帧。由此，可以进一步减少计算量，提高效率。

基于上述实施例中的确定视频中人体动作周期的方法，本发明还进一步提供了一种识别视频中人体动作的方法。

图8示出了根据本发明一个实施例的确定视频中人体动作的方法的流程图。

如图8所示，在步骤S802处，可以确定视频中人体动作周期。

例如，可以根据任意上述实施例的方法来确定视频中人体动作周期。

接着，在步骤S804处，可以基于确定出的人体动作周期来识别人体动作。

具体来说，可以基于确定出的人体动作周期来提取时空特征，并基于时空特征来识别人体动作。

在上述的人体动作识别的方法中，针对不同行为、不同个体来确定相应的人体动作周期，由此可以更为准确地提取时空特征，并进而可以实现更为准确的人体行为识别。

与上述的方法对应，本发明的实施例还相应地提供了与方法对应的装置。

图9示出了根据本发明一个实施例的确定视频中人体动作周期的装置的示意图。

如图9所示，根据本发明实施例的确定视频中人体动作周期的装置900可以包括搜索部902和周期确定部904。

其中，搜索部902可以在预定的搜索范围内搜索人体姿态与当前帧相似的帧。

周期确定部904可以根据搜索部902提供的搜索结果来确定人体动作的周期。

具体来说，如果搜索部902在搜索范围内搜索到所述人体姿态与当前帧相似的帧，则周期确定部904可以将当前帧与所述人体姿态与当前帧相似的帧之间的时长确定为视频中的人体动作周期。

另一方面，如果搜索结果是在搜索范围内没有搜索到所述人体姿态与当前帧相似的帧，则周期确定部904可以将第一时长作为人体动作周期。

其中，所述第一时长是足以包括一个完整的人体动作的时间长度，可以根据经验值或根据不同的应用场景来合理地设置所述第一时长。

图9所示的确定视频中人体动作周期的装置可以基于人体动作的周期性来确定人体动作周期。因而，可以准确地检测出视频中人体动作的周期。

此外，上述的搜索范围可以根据不同的应用场景或不同的需求来设置。

在本发明的一个实施例中，所述搜索范围可以是以当前帧为起点向后经过预定第二时长的时段。其中，所述第二时长可以是足以包括一个人体动作的时间长度，可以根据经验值或根据具体应用场景来合理地设置所述第二时长。

以上描述的搜索范围仅为示例，本发明不限于此，而是还可以根据其它方式来设置搜索范围。

在本发明的另一个实施例中，所述搜索范围也可以是以当前帧为起点向前经过预定的第三时长的时段。其中，所述第三时长可以是足以包括一个人体动作的时间长度，可以根据经验值或根据具体应用场景来合理地设置所述第三时长。另外，第三时长可以和第二时长相同，也可以和第二时长不同。

在根据本发明的又一个实施例中，所述搜索范围也可以是由以当前帧为起点向前第二时长的时段与以当前帧为起点向后第三时长的时段构成。

在根据任意上述实施例的确定视频中人体动作周期的装置中，所述搜索部可以根据帧中人体区域的面积和运动直方图来搜索人体姿态与当前帧相似的帧。

图10示出了根据本发明一个实施例的搜索部的示意图。

如图10所示，搜索部1000可以包括面积计算部1002、运动直方图计算部1004和帧搜索部1006。

其中，关于运动直方图的定义，可以参照之前在方法实施例中描述的内容，在此不再赘述以使说明书保持简洁。

面积计算部1002可以利用各种合适的方法来计算当前帧中的人体区域的面积。

例如，面积计算部1002可以通过人体边缘来计算帧中的人体区域的面积。

再例如，面积计算部1002也可以根据前景中的人体区域中的前景像素的数目来确定帧中的人体区域的面积。

运动直方图计算部1004可以通过各种合适的方式来计算帧的运动直方图。

例如，运动直方图计算部1004可以基于帧的前景或者也可以基于帧的帧差图像来计算运动直方图。

在计算出帧中人体区域的面积和帧的运动直方图之后，帧搜索部1006可以根据运动直方图和人体区域面积在搜索范围内搜索人体姿态与当前帧相似的帧。

具体来说，帧搜索部1006可以在搜索范围内针对每一帧，根据每一帧的运动直方图和人体区域面积与当前帧的运动直方图和人体区域面积的相似性，来搜索人体姿态与当前帧相似的帧。

图11示出了根据本发明一个实施例的面积计算部的示意图。

如图11所示，所述面积计算部可以包括边缘确定部1102和人体区域面积计算部1104。

其中，可以采用任意已知的边缘提取方法来提取帧中的人体区域的边缘。

例如，边缘确定部1102可以利用canny算法来提取帧中的人体区域的边缘。

人体区域面积计算部1104可以基于提取出的边缘来计算帧中的人体区域的面积。

具体来说，人体区域面积计算部1104可以基于得到的人体区域的边缘，计算该边缘所包围的面积作为帧中的人体区域的面积。

在帧中场景较为复杂(例如，除了人以外还有其它运动物体的情形)的情况下，图11所示的面积计算部可以准确地计算出帧中的人体区域的面积。

图11所示的实施例仅为示例，本发明不限于此，图12示出了根据本发明另一个实施例的面积计算部的示意图。

如图12所示，面积计算部1200包括前景提取部1202和人体区域面积计算部1204。

前景提取部1202可以采用各种已知的前景提取方法来从帧中提取前景。

作为一个简单的示例，前景提取部1202可以直接将帧与相应的背景模型相减来提取出前景。

人体区域面积计算部1204可以根据提取出的前景来计算人体区域的面积。

具体来说，人体区域面积计算部1204可以通过统计前景中为1的像素的数量来计算人体区域的面积。

由此，可以通过图12所示的面积计算部计算出帧中的人体区域的面积。

在帧中场景较为简单(例如，帧中前景仅包括人)的情况下，图12所示的面积计算部可以准确高效地计算出帧中的人体区域的面积。

图11、图12所示的实施例均仅为示例，本发明不限于此，面积计算部也可以以其它合适的方式实现，例如，面积计算部也可以基于图11和图12所示的面积计算部的组合来实现。

图13示出了根据本发明一个实施例的运动直方图计算部的示意图。

如图13所示，运动直方图计算部1300可以包括前景提取部1302、帧划分部1304和直方图生成部1306。

前景提取部1302可以采用各种已知的前景提取方法来从帧中提取前景。

作为一个简单的示例，前景提取部1302可以直接将帧与相应的背景模型相减来提取出前景。

帧划分部1304可以将帧划分成多个部分。

优选地，帧划分部1304可以在水平方向上平行地将帧等分为多个矩形的小格子。

或者，帧划分部1304也可以在垂直方向上平行地将帧等分为多个矩形的小格子。

直方图生成部1306可以基于提取出的帧的前景来形成运动直方图。

具体来说，直方图生成部1306可以统计在水平方向或垂直方向上的每个小格子中前景像素的数量，由此形成了运动直方图。

通过上述的方式，可以得到能够反映出人体姿态在水平方向或垂直方向上的分布的运动直方图。

图13所示的直方图计算部仅为示例，本发明不限于此。例如，直方图计算部也可以根据帧差图像来计算帧的运动直方图。

图14示出了根据本发明另一个实施例的运动直方图计算部的示意图。

如图14所示，运动直方图计算部1400可以包括帧差图像计算部1402、帧划分部1404和直方图生成部1406。

帧差图像计算部1402可以计算帧的帧差图像。

在一个示例中，帧差图像计算部1402可以通过将帧与相邻帧(例如，前一帧或后一帧)进行相减的方式来得到帧差图像。显然，所述帧差图像中包含了人体的运动信息。

帧划分部1404可以将帧划分成多个部分。

优选地，帧划分部1404可以在水平方向上平行地将帧等分为多个矩形的小格子。或者，帧划分部1404也可以在垂直方向上平行地将帧等分为多个矩形的小格子。

直方图生成部1406可以基于帧差图像来形成运动直方图。

例如，直方图生成部1406可以计算帧差图像在水平方向或垂直方向上的每个小格子中的像素的灰度值之和，由此形成了运动直方图。

尽管以上以灰度值为例进行说明，但以上描述仅为示例，本发明不限于此。事实上，直方图生成部也可以根据除了灰度值之外的其它合适参数来形成运动直方图。

通过上述的方式，运动直方图计算部1400可以计算出能够反映出人体运动在水平方向或垂直方向上的分布的运动直方图。

图15示出了根据本发明一个实施例的可以根据运动直方图和人体区域面积来搜索人体姿态与当前帧相似的帧的帧搜索部的示意图。

如图15所示，帧搜索部1500包括计算部1502、影响因子设置部1504、总相似度计算部1506和搜索结果生成部1508。

计算部1502可以分别计算搜索范围内的每一帧与当前帧之间的运动直方图相似度和人体区域面积相似度。

计算部1502可以采用任意已知的技术来计算搜索范围内的每一帧与当前帧之间的运动直方图相似度。

例如，计算部1502可以通过直方图峰值匹配法来计算搜索范围内的每一帧与当前帧之间的运动直方图相似度。

再例如，计算部1502也可以基于窗口间平均差异来计算搜索范围内的每一帧与当前帧之间的运动直方图相似度。

此外，计算部1502也可以利用任意已知的方式来计算搜索范围内的每一帧与当前帧之间的人体区域面积的相似度。

例如，计算部1502可以基于每一帧的人体区域面积与当前帧的人体区域面积的差和平均值来计算搜索范围内的每一帧与当前帧之间的人体区域面积的相似度。

影响因子设置部1504可以分别为人体区域面积相似度和运动直方图相似度设置影响因子。

具体来说，影响因子设置部1504可以根据不同的应用场景或根据经验值来设置合理的影响因子。

在一个优选示例中，影响因子设置部1504可以将人体区域面积相似度和运动直方图相似度各自设置为0.5。

总相似度计算部1506可以计算总相似度。

其中，所述总相似度可以是表征帧中人体行为的相似程度的物理量。在本发明的一个实施例中，可以基于人体区域面积相似度和运动直方图相似度来计算所述总相似度。

例如，可以基于人体区域面积相似度和运动直方图相似度、按照设置的影响因子来计算总相似度。

这样，总相似度计算部1506可以针对搜索范围中的每一帧，计算出其与当前帧的总相似度。

搜索结果生成部1508可以基于计算出的总相似度来得到搜索结果。

具体来说，搜索结果生成部1508可以先将最大总相似度与预定的第一阈值进行比较。

如果最大总相似度大于第一阈值，则搜索结果生成部1508可以将与具有最大总相似度的帧作为与当前帧中的人体姿态相同的帧。

如果最大总相似度没有大于第一阈值，则搜索结果生成部1508可以

判定在搜索范围内未找到与当前帧中的人体姿态相同的帧。

这样，帧搜索部1500可以实现在搜索范围内搜索人体姿态与当前帧相似的帧的处理。

然而，图15所示的方法仅为示例，本发明不限于此，帧搜索部还可以进行其它有益的改型。

例如，在本发明的另一个实施例中，帧搜索部也可以仅基于运动直方图来搜索人体姿态与当前帧相似的帧。由此，可以进一步减少计算量，提高效率。

基于上述实施例中的确定视频中人体动作周期的装置，本发明还进一步提供了一种识别视频中人体动作的方法。

图16示出根据本发明一个实施例的识别视频中人体动作的装置的示意图。

如图16所示，根据本发明实施例的识别视频中人体动作的装置1600可以包括人体动作周期确定部1602和识别部1604。

人体动作周期确定部1602可以确定视频中人体动作周期。

例如，人体动作周期确定部1602可以包括根据任意上述实施例的确定人体动作周期的装置以确定视频中人体动作周期。

识别部1604可以基于确定出的人体动作周期来识别人体动作。

具体来说，识别部1604可以基于确定出的人体动作周期来提取时空特征，并基于时空特征来识别人体动作。

上述识别人体动作的装置可以针对不同行为、不同个体来确定相应的人体动作周期，由此可以更为准确地提取时空特征，并进而可以实现更为准确的人体行为识别。

关于所述确定视频中人体动作周期的装置、所述识别视频中人体动作的装置以及其中所包括的部件的更为详细的技术细节，可以参见之前结合方法进行的描述，在此不再赘述以使说明书保持简洁。

另外，应理解，本文所述的各种示例和实施例均是示例性的，本发明不限于此。在本说明书中，“第一”、“第二”等表述仅仅是为了将所描述的特征在文字上区分开，以清楚地描述本发明。因此，不应将其视为具有任何限定性的含义。

上述装置中各个组成模块、单元可通过软件、固件、硬件或其组合的方式进行配置。配置可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。在通过软件或固件实现的情况下，从存储介质或网络向具有专用硬件结构的计算机(例如图17所示的通用计算机1700)安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。

在图17中，中央处理单元(CPU)1701根据只读存储器(ROM)1702中存储的程序或从存储部分1708加载到随机存取存储器(RAM)1703的程序执行各种处理。在RAM 1703中，也根据需要存储当CPU 1701执行各种处理等等时所需的数据。CPU 1701、ROM 1702和RAM 1703经由总线1704彼此连接。输入/输出接口1705也连接到总线1704。

下述部件连接到输入/输出接口1705：输入部分1706(包括键盘、鼠标等等)、输出部分1707(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分1708(包括硬盘等)、通信部分1709(包括网络接口卡比如LAN卡、调制解调器等)。通信部分1709经由网络比如因特网执行通信处理。根据需要，驱动器1710也可连接到输入/输出接口1705。可拆卸介质1711比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器1710上，使得从中读出的计算机程序根据需要被安装到存储部分1708中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1711安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图17所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1711。可拆卸介质1711的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 1702、存储部分1708中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

本发明还提出一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时，可执行上述根据本发明实施例的方法。

相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。

最后，还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。此外，在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上虽然结合附图详细描述了本发明的实施例，但是应当明白，上面所描述的实施方式只是用于说明本发明，而并不构成对本发明的限制。对于本领域的技术人员来说，可以对上述实施方式作出各种修改和变更而没有背离本发明的实质和范围。因此，本发明的范围仅由所附的权利要求及其等效含义来限定。

通过以上的描述可以看出，本申请至少提供了以下的技术方案：

1.一种确定视频中人体动作周期的方法，包括：

在搜索范围内搜索人体姿态与当前帧相似的帧；

如果搜索到所述人体姿态与当前帧相似的帧，则将当前帧与所述人体姿态与当前帧相似的帧之间的时长作为视频中的人体动作周期。

2.根据技术方案1所述的确定视频中人体动作周期的方法，其中，所述搜索范围是：以当前帧为起点向后经过第二时长或向前经过第三时长的时段中的帧。

3.根据技术方案2所述的确定视频中人体动作周期的方法，其中，搜索人体姿态与当前帧相似的帧的处理包括：

计算所述搜索范围内的每一帧中人体区域的面积；

计算所述每一帧的运动直方图；

根据所述运动直方图和所述人体区域面积来搜索所述人体姿态与当前帧相似的帧。

4.根据技术方案3所述的确定视频中人体动作周期的方法，其中，计算

搜索范围内的每一帧中人体区域的面积的处理包括：

确定所述每一帧中人体区域的边缘；

根据人体区域的边缘来计算人体区域的面积。

5.根据技术方案3所述的确定视频中人体动作周期的方法，其中，计算搜索范围内的每一帧中人体区域的面积的处理包括：

从所述每一帧中提取出前景；

根据所述前景来计算人体区域的面积。

6.根据技术方案3所述的确定视频中人体动作周期的方法，其中，计算每一帧的运动直方图的处理包括：

从所述每一帧中提取出前景；

将所述每一帧在水平方向或垂直方向上分为多个小格子；

根据前景来计算在每个小格子中前景像素的数量，由此得到所述运动直方图。

7.根据技术方案3所述的确定视频中人体动作周期的方法，其中，计算每一帧的运动直方图的处理包括：

计算所述每一帧与相邻帧的帧差图像；

将所述每一帧在水平方向和/或垂直方向上分为多个小格子；

计算所述帧差图像在每个小格子中的像素的灰度值之和，由此得到所述运动直方图。

8.根据技术方案3所述的确定视频中人体动作周期的方法，其中，根据所述运动直方图和所述人体区域面积来搜索人体姿态与当前帧相似的帧的处理包括：

分别计算当前帧和所述每一帧的运动直方图相似度和人体区域面积相似度；

分别为所述运动直方图相似度和所述人体区域面积相似度设置影响因子；基于所述影响因子来计算总相似度；

如果最大总相似度低于预定阈值，则判定所述搜索范围内不存在人体姿态与当前帧相似的帧；

如果最大总相似度大于预定阈值，则将具有最大总相似度的帧作为人体姿态与当前帧相似的帧。

9.一种识别视频中人体动作的方法，包括：

根据技术方案1-8中任意一项所述的方法来确定视频中人体动作的周期确定视频中的人体动作的周期；

基于确定出的周期来提取时空特征以识别视频中的人体动作。

10.一种确定视频中人体动作周期的装置，包括：

搜索部，被配置成在搜索范围内搜索人体姿态与当前帧相似的帧；

周期确定部，被配置成：在所述搜索部在搜索范围内搜索到所述人体姿态与当前帧相似的帧的情况下，将当前帧与所述人体姿态与当前帧相似的帧之间的时长作为视频中的人体动作周期。

11.根据技术方案10所述的确定视频中人体动作周期的装置，其中，所述搜索范围是：以当前帧为起点向后经过第二时长或向前经过第三时长的时段中的帧。

12.根据技术方案11所述的确定视频中人体动作周期的装置，其中，所述搜索部包括：

面积计算部，被配置成计算所述搜索范围内的每一帧中人体区域的面积；

运动直方图计算部，被配置成计算所述每一帧的运动直方图；

帧搜索部，被配置成根据所述运动直方图和上述人体区域面积来搜索人体姿态与当前帧相似的帧。

13.根据技术方案12所述的确定视频中人体动作周期的装置，其中，所述面积计算部包括：

边缘确定部，被配置成确定所述每一帧中人体区域的边缘；

人体区域面积计算部，被配置成根据人体区域的边缘来计算人体区域的面积。

14.根据技术方案12所述的确定视频中人体动作周期的装置，其中，所述面积计算部包括：

前景提取部，被配置成从所述每一帧中提取出前景；

人体区域面积计算部，被配置成根据所述前景来计算人体区域的面积。

15.根据技术方案12所述的确定视频中人体动作周期的装置，其中，所述运动直方图计算部包括：

前景提取部，被配置成从所述每一帧中提取出前景；

帧划分部，被配置成将所述每一帧在水平方向或垂直方向上分为多个小格子；

直方图生成部，被配置成根据前景来计算在每个小格子中前景像素的数量，由此得到所述运动直方图。

16.根据技术方案12所述的确定视频中人体动作周期的装置，其中，所述运动直方图计算部包括：

帧差图像计算部，被配置成计算所述每一帧与相邻帧的帧差图像；

帧划分部，被配置成将所述每一帧在水平方向和/或垂直方向上分为多个小格子；

直方图生成部，被配置成计算所述帧差图像在每个小格子中的像素的灰度值之和，由此得到所述运动直方图。

17.根据技术方案12所述的确定视频中人体动作周期的装置，其中，所述帧搜索部包括：

计算部，被配置成分别计算当前帧和所述每一帧的运动直方图相似度和人体区域面积相似度；

影响因子设置部，被配置成分别为所述运动直方图相似度和所述人体区域面积相似度设置影响因子；

总相似度计算部，被配置成基于所述影响因子来计算总相似度；

搜索结果生成部，被配置成如果最大总相似度低于预定阈值，则判定所述搜索范围内不存在人体姿态与当前帧相似的帧；如果最大总相似度大于预定阈值，则将具有最大总相似度的帧作为人体姿态与当前帧相似的帧。

18.一种识别视频中人体动作的装置，包括：

包括根据技术方案10-17中任意一项所述的确定视频中人体动作周期的装置人体动作周期确定部，被配置成确定视频中的人体动作的周期；

识别部，被配置成基于确定出的周期来提取时空特征以识别视频中的人体动作。

Claims (10)

1.一种确定视频中人体动作周期的方法，包括：

在搜索范围内搜索人体姿态与当前帧相似的帧；

在搜索到所述人体姿态与当前帧相似的帧的情况下，将当前帧与所述人体姿态与当前帧相似的帧之间的时长作为视频中的人体动作周期。

2.根据权利要求1所述的确定视频中人体动作周期的方法，其中，所述搜索范围是：以当前帧为起点向后经过第二时长或向前经过第三时长的时段中的帧。

3.根据权利要求2所述的确定视频中人体动作周期的方法，其中，在搜索范围内搜索人体姿态与当前帧相似的帧的处理包括：

计算所述搜索范围内的每一帧中人体区域的面积；

计算所述每一帧的运动直方图；

根据所述运动直方图和所述人体区域面积来搜索所述人体姿态与当前帧相似的帧。

4.根据权利要求3所述的确定视频中人体动作周期的方法，其中，计算所述搜索范围内的每一帧中人体区域的面积的处理包括：

确定所述每一帧中人体区域的边缘；

根据人体区域的边缘来计算人体区域的面积。

5.根据权利要求3所述的确定视频中人体动作周期的方法，其中，计算每一帧的运动直方图的处理包括：

从所述每一帧中提取出前景；

将所述每一帧在水平方向或垂直方向上分为多个小格子；

根据前景来计算在每个小格子中前景像素的数量，由此得到所述运动直方图。

6.根据权利要求3所述的确定视频中人体动作周期的方法，其中，计算每一帧的运动直方图的处理包括：

计算所述每一帧与相邻帧的帧差图像；

将所述每一帧在水平方向和/或垂直方向上分为多个小格子；

计算所述帧差图像在每个小格子中的像素的灰度值之和，由此得到所述运动直方图。

7.根据权利要求3所述的确定视频中人体动作周期的方法，其中，根据所述运动直方图和所述人体区域面积来搜索人体姿态与当前帧相似的帧的处理包括：

分别计算当前帧和所述每一帧的运动直方图相似度和人体区域面积相似度；

分别为所述运动直方图相似度和所述人体区域面积相似度设置影响因子；基于所述影响因子来计算总相似度；

如果最大总相似度低于预定阈值，则判定所述搜索范围内不存在人体姿态与当前帧相似的帧；

如果最大总相似度大于预定阈值，则将具有最大总相似度的帧作为人体姿态与当前帧相似的帧。

8.一种识别视频中人体动作的方法，包括：

根据权利要求1-7中任意一项所述的方法来确定视频中的人体动作的周期；

基于确定出的周期来提取时空特征以识别视频中的人体动作。

9.一种确定视频中人体动作周期的装置，包括：

搜索部，被配置成在搜索范围内搜索人体姿态与当前帧相似的帧；

周期确定部，被配置成：在所述搜索部在搜索范围内搜索到所述人体姿态与当前帧相似的帧的情况下，将当前帧与所述人体姿态与当前帧相似的帧之间的时长作为视频中的人体动作周期。

10.一种识别视频中人体动作的装置，包括：

人体动作周期确定部，其包括根据权利要求9所述的确定视频中人体动作周期的装置；

识别部，被配置成基于确定出的周期来提取时空特征以识别视频中的人体动作。

Images