CN102855635A - 确定人体动作周期及识别人体动作的方法和装置 - Google Patents

Abstract

本发明公开了确定人体动作周期及识别人体动作的方法和装置。所述确定视频中人体动作周期的方法包括：将搜索范围内的每个帧的人体区域划分成多个人体部分；确定当前帧中每个人体部分的局部动作周期；根据所述局部动作周期来确定当前帧中的人体动作周期。通过针对不同行为、不同个体来确定相应的人体动作周期，可以更为准确地提取时空特征，并实现更为准确的人体行为识别。

Description

确定人体动作周期及识别人体动作的方法和装置

技术领域

本发明总体上涉及计算机领域，具体来说，涉及人体行为的计算机识别，更具体来说，涉及一种确定视频中人体动作周期的方法和装置以及识别视频中人体动作的方法和装置。

背景技术

人体行为识别技术具有广泛的应用前景并且得到越来越多的关注。利用该技术可以从视频中快速地检测出人们关注的行为。人体行为识别技术可被应用到视频监控(银行、医院、工厂等环境)、人机交互(虚拟游戏等场景)、体育自动解说等领域。

针对人体行为识别技术，目前已经提出了多种实现方法，其中基于时空特征的实现方法是一种流行且有效的方法。在这类方法中，通过时空特征来描述当前帧以及相邻数帧的信息，而后利用时空特征实现人体行为识别。在提取时空特征的处理中，对所有运动视频，设定相同长度的人体动作周期。

然而，由于不同行为、不同个体存在差异性，为了进一步提高利用时空特征实现的人体行为识别的准确性，希望可以针对不同行为、不同个体来确定相应的人体动作周期以便提取时空特征，进而实现更为准确的人体行为识别。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本发明旨在提供一种确定视频中人体动作周期的方法和装置以及相应的确定视频中人体动作的方法和装置，其可以针对不同行为、不同个体来确定相应的人体动作周期，由此可以更为准确地提取时空特征，并进而实现更为准确的人体行为识别。

为了实现上述目的，根据本发明的一个方面，提供了一种确定视频中人体动作周期的方法，包括：将搜索范围内的每个帧的人体区域划分成多个人体部分；确定当前帧中每个人体部分的局部动作周期；根据所述局部动作周期来确定当前帧中的人体动作周期。

根据本发明的一个方面，提供了一种识别视频中人体动作的方法，包括：根据上述的方法来确定视频中的人体动作周期；基于所述人体动作周期来提取时空特征以识别视频中的人体动作。

根据本发明的另一个方面，还提供了一种确定视频中人体动作周期的装置，包括：人体部分划分部，被配置成将搜索范围内的每个帧的人体区域划分成多个人体部分；局部动作周期确定部，被配置成确定当前帧中每个人体部分的局部动作周期；人体动作周期确定部，被配置成根据所述局部动作周期来确定当前帧中的人体动作周期。。

根据本发明的另一个方面，还提供了一种识别视频中人体动作的装置，包括：人体动作周期确定部，包括上述确定视频中人体动作周期的装置以确定视频中的人体动作周期；识别部，被配置成基于所述人体动作周期来提取时空特征以识别视频中的人体动作。

依据本发明的其它方面，还提供了相应的计算机程序代码、计算机可读存储介质和计算机程序产品。

通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。

附图说明

本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附图中：

图1示出了根据本发明一个实施例的确定视频中人体动作周期的方法的流程图；

图2示出了根据本发明的一个实施例的将帧中的人体区域划分成多个人体部分的处理的流程图；

图3示出了根据本发明一个实施例的确定局部动作周期的流程图；

图4示出了根据本发明一个实施例的识别视频中人体动作的方法的流程图；

图5示出了根据本发明一个实施例的确定视频中人体动作周期的装置的示意图；

图6示出了根据本发明一个实施例的人体部分划分部的示意图；

图7示出了根据本发明一个实施例的局部动作周期确定部的示意图；

图8示出根据本发明一个实施例的识别视频中人体动作的装置的示意图；以及

图9是示出了其中可以实现根据本发明实施例的方法和/或装置的通用个人计算机的示例性结构的方框图。

具体实施方式

在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

图1示出了根据本发明一个实施例的确定视频中人体动作周期的方法的流程图。

在图1所示的确定人体动作周期的方法中，可以利用人体动作的周期性来确定视频中的人体动作周期。

具体来说，人体动作往往具有周期性，当动作周期结束时，人体各个部分都可以回到动作开始的姿态。因而，可以根据视频中人体各个部分的动作周期来确定视频中的人体动作周期。

如图1所示，在步骤S102处，可以对视频中的人体区域进行划分以形成多个人体部分。

具体来说，可以对预定搜索范围内的每个帧进行人体区域的划分，由此在每个帧中得到多个人体部分。

接着，在步骤S104处，可以确定当前帧中的每个人体部分的局部动作周期。

具体来说，可以基于当前帧中的每个人体部分的运动矢量来确定所述每个部分的局部动作周期。

接着，在步骤S106处，可以根据当前帧中多个人体部分的局部动作周期来确定视频中当前帧的人体动作周期。

具体来说，可以将当前帧中多个人体部分的局部动作周期中的最大局部动作周期确定为视频中当前帧的人体动作周期。

由此，通过上述利用人体动作周期性的基于人体部分的确定视频中人体动作周期的方法，可以基于人体动作的周期性来准确地确定出视频中的人体动作周期。

在上述确定视频中人体动作周期的方法中，根据不同的应用场景或根据不同的需求可以设置不同的搜索范围。

在本发明的一个实施例中，所述搜索范围可以是以当前帧为起点向后经过预定第一时长的时段中的帧。其中，所述第一时长可以是足以包括一个人体动作的时间长度，可以根据经验值或根据具体应用场景来合理地设置所述第一时长。

以上描述的搜索范围仅为示例，本发明不限于此，而是还可以根据其它方式来设置搜索范围。

在本发明的另一个实施例中，所述搜索范围也可以是以当前帧为起点向前经过预定的第二时长的时段中的帧。其中，所述第二时长可以是足以包括一个人体动作的时间长度，可以根据经验值或根据具体应用场景来合理地设置所述第二时长。

另外，第二时长可以和第一时长相同，也可以和第一时长不同。

在上述的方法中，将帧中的人体区域划分成多个人体部分处理可以通过各种合适的技术手段来实现。

图2示出了根据本发明的一个实施例的将帧中的人体区域划分成多个人体部分的处理的流程图。

如图2所示，在步骤S202处，可以提取出帧中的人体区域的轮廓线。

可以采用任意已知的边缘提取方法来提取帧中的人体区域的轮廓线。

例如，可以利用canny算法来提取帧中的人体区域的轮廓线。

其中，canny算法是图像处理领域中常用的一种边缘提取方法。关于canny算法的详细内容可以参见Canny，J.发表的题为“A ComputationalApproach To Edge Detection”的文章(见IEEE Trans.Pattern Analysisand Machine Intelligence，8：679-714，1986)，该文章的全部内容通过引用合并于此，在此不再赘述以使说明书保持简洁。

接着，在步骤S204处，可以根据提取出的人体区域的轮廓线来进一步确定出轮廓线上的连接点。

其中，所述连接点可以是在轮廓线上连接两个不同人体部分的连接点，例如，手臂与肢体的连接点等。

具体来说，考虑到轮廓线上连接两个不同人体部分的区域往往呈现为凹谷的形态而轮廓线上的连接点应处于凹谷的底点，因而可以通过确定凹谷底点的方式来确定连接点。

例如，手臂与肢体相接处在轮廓线上呈现为一个凹谷，而该凹谷的底点则为需要确定的连接点(即手臂与肢体相接的连接点)。

在本发明的一个实施例中，可以通过计算轮廓线上各个像素点的曲率的方式来确定出人体轮廓线上的连接点。

接着，在步骤S206处，可以基于连接点来进一步将人体区域分割成多个人体部分。

具体来说，在确定出连接点之后，可以根据人特有的一些信息(例如，头的形状近似为圆形、四肢形状可以近似为矩形等)来完成人的分割，由此得到多个人体部分。

关于上述基于轮廓线上连接点来将人体划分为多个人体部分的具体技术细节，例如可以参见Rafael C.Gonzalez和Richard E.Woods所著的“数字图像处理”(电子工业出版社，2002)，其全部内容通过引用合并与此，在此不再进行赘述以使说明书保持简洁。

这样，通过图2所示的实施例，可以高效准确地将帧中的人体区域划分成多个人体部分。

图2所示的实施例仅为示例，本发明不限于此，例如，也可以通过其它已知的人体划分方法(例如，基于区域的方法等)来将帧中的人体区域划分成多个人体部分。

在上述的方法中，在将人体分割成多个人体部分后，可以进一步来分别确定各个人体部分的局部动作周期。

图3示出了根据本发明一个实施例的确定人体部分的局部动作周期的流程图。

如图3所示，在步骤S302处，可以计算人体部分的运动矢量。

其中，所述运动矢量是可以表示人体部分的运动速度以及方向的参量。

可以基于人体部分中的全部或部分像素的运动来计算所述人体部分的运动矢量。

在本发明的一个实施例中，可以根据人体部分中的部分像素的运动来得出整个人体部分的运动矢量。

例如，在所述人体部分是头部的情况下，可以先根据特征像素(例如，与眼睛、鼻子、嘴巴位置对应的像素)的运动，来分别计算这些特征像素的运动矢量。

具体来说，可以通过特征像素在相邻两帧(例如，前一帧或后一帧)之间的位置差来得到各个特征像素的运动矢量。

然后，对人体部分的各特征像素的运动矢量求和，由此可以得到所述人体部分的运动矢量。

尽管在以上示例性描述中根据部分特征像素来计算人体部分的运动矢量，但是本发明不限于此，而是还可以进行其它的改型。

例如，在本发明的另一个实施例中，也可以计算人体部分中所有像素的运动矢量，然后对所有的运动矢量求和，由此得到所述人体部分的运动矢量。

回到图3，接着在步骤S304处，可以基于人体部分的运动矢量在搜索范围内搜索人体动作的动作结束帧。

在搜索出人体动作的动作结束帧的情况下，在步骤S306处，可以将当前帧与动作结束帧之间的时长确定为人体部分的局部动作周期。

此外，如果没有在搜索范围内搜索到动作结束帧，则在步骤S308处可以将预定的第三时长确定为所述人体部分的局部动作周期。

其中，所述第三时长是足以包括一个完整的人体动作的时间长度，可以根据经验值或根据不同的应用场景来合理地设置所述第三时长。

由此，可以确定出当前帧中每个人体部分的局部动作周期。

在上述的实施例中，在搜索范围内搜索人体部分的动作结束帧的处理可以基于所述人体部分的运动矢量来实现。

在本发明的一个实施例中，可以通过在搜索范围内搜索可以使各个帧中的所述人体部分的运动矢量的矢量和趋于零的帧，来确定人体部分的动作结束帧。

具体来说，例如在实时确定视频帧序列中的人体动作周期的情况下，可以以当前帧为起点，在预定的搜索范围内，依次向前对帧中的人体部分的运动矢量进行累加。

在发现运动矢量的累加值趋近于零时(例如，在累加值已经小于预设的第一阈值时)，则可以将当运动矢量的累加值小于第一阈值时的帧确定为人体部分的动作结束帧。

其中，所述第一阈值可以是根据经验值或根据实际应用情景而预设的接近零的值。

另一方面，如果在预定的搜索范围内，运动矢量的累加值始终没有小于第一阈值，则可以判定在所述预定的搜索范围内没有搜索到所述动作结束帧。

由此，可以实现在搜索范围内搜索人体部分的动作结束帧的处理。

尽管在以上描述中，以实时确定视频帧序列中的人体动作周期的情况(向前依次搜索)为例进行说明，但是以上描述仅为示例，本发明不限于此。

例如，在本发明的另一个实施例中，例如，在针对已有视频进行分析来确定视频帧序列中的人体动作周期的情况下，也可以以当前帧为起点，在预定的搜索范围内，依次向后对帧中的人体部分的运动矢量进行累加来搜索人体部分的动作接收帧。

由此，也可以实现在搜索范围内搜索人体部分的动作结束帧的处理。

基于上述实施例中的确定视频中人体动作周期的方法，本发明还进一步提供了一种识别视频中人体动作的方法。

图4示出了根据本发明一个实施例的识别视频中人体动作的方法的流程图。

如图4所示，在步骤S402处，可以确定视频中人体动作周期。

例如，可以根据任意上述实施例的方法来确定视频中人体动作周期。

接着，在步骤404处，可以基于确定出的人体动作周期来识别人体动作。

具体来说，可以基于确定出的人体动作周期来提取时空特征，并基于时空特征来识别人体动作。

在上述的人体动作识别的方法中，针对不同行为、不同个体来确定相应的人体动作周期，由此可以更为准确地提取时空特征，并进而可以实现更为准确的人体行为识别。

与上述的方法对应，本发明的实施例还相应地提供了与方法对应的装置。

图5示出了根据本发明一个实施例的确定视频中人体动作周期的装置的示意图。

如图5所示，确定视频中人体动作周期的装置500可以包括人体部分划分部502、局部动作周期确定部504和人体动作周期确定部506。

人体部分划分部502可以对视频中的人体区域进行划分以形成多个人体部分。

具体来说，人体部分划分部502可以对预定搜索范围内的每个帧进行人体区域的划分，由此在每个帧中得到多个人体部分。

局部动作周期确定部504可以确定当前帧中的每个人体部分的局部动作周期。

具体来说，局部动作周期确定部504可以基于当前帧中的每个人体部分的运动矢量来确定所述每个部分的局部动作周期。

人体动作周期确定部506可以根据当前帧中多个人体部分的局部动作周期来确定视频中当前帧的人体动作周期。

具体来说，人体动作周期确定部506可以将当前帧中多个人体部分的局部动作周期中的最大局部动作周期确定为视频中当前帧的人体动作周期。

由此，通过上述利用人体动作周期性的基于人体部分来确定视频中人体动作周期的装置，可以基于人体动作的周期性来准确地确定出视频中的人体动作周期。

在上述确定视频中人体动作周期的方法中，根据不同的应用场景或根据不同的需求可以设置不同的搜索范围。

在本发明的一个实施例中，所述搜索范围可以是以当前帧为起点向后经过预定第一时长的时段中的帧。其中，所述第一时长可以是足以包括一个人体动作的时间长度，可以根据经验值或根据具体应用场景来合理地设置所述第一时长。

以上描述的搜索范围仅为示例，本发明不限于此，而是还可以根据其它方式来设置搜索范围。

在本发明的另一个实施例中，所述搜索范围也可以是以当前帧为起点向前经过预定的第二时长的时段中的帧。其中，所述第二时长可以是足以包括一个人体动作的时间长度，可以根据经验值或根据具体应用场景来合理地设置所述第二时长。

另外，第二时长可以和第一时长相同，也可以和第一时长不同。

在上述的装置中，人体部分划分部可以通过各种合适的技术手段来将帧中的人体区域划分成多个人体部分。

图6示出了根据本发明一个实施例的人体部分划分部的示意图。

如图6所示，人体部分划分部600可以包括轮廓提取部602、连接点提取部604和分割部606。

轮廓提取部602可以采用任意已知的边缘提取方法来提取帧中的人体区域的轮廓线。

例如，可以利用canny算法来提取帧中的人体区域的轮廓线。

连接点提取部604可以根据提取出的人体区域的轮廓线来进一步确定出轮廓线上的连接点。

具体来说，考虑到轮廓线上连接两个不同人体部分的区域往往呈现为凹谷的形态而轮廓线上的连接点应处于凹谷的底点，因而可以通过确定凹谷底点的方式来确定连接点。

在本发明的一个实施例中，可以通过计算轮廓线上各个像素点的曲率的方式来确定出人体轮廓线上的连接点。

分割部606可以基于连接点来进一步将人体区域分割成多个人体部分。

具体来说，在确定出连接点之后，可以根据人特有的一些信息(例如，头的形状近似为圆形、四肢形状可以近似为矩形等)来完成人的分割，由此得到多个人体部分。

以上结合图6所示的人体部分划分部的实施例仅为示例，本发明不限于此，例如，人体部分划分部也可以通过其它已知的人体划分方法(例如，基于区域的方法等)来将帧中的人体区域划分成多个人体部分。

在上述的装置中，在人体部分划分部将人体分割成多个人体部分后，局部动作周期确定部可以分别确定各个人体部分的局部动作周期

图7示出了根据本发明一个实施例的局部动作周期确定部的示意图。

如图7所示，局部动作周期确定部700可以包括运动矢量计算部702、动作结束帧搜索部704以及时长确定部706。

运动矢量计算部702可以计算人体部分的运动矢量。

运动矢量计算部702可以基于人体部分中的全部或部分像素的运动来计算所述人体部分的运动矢量。

在本发明的一个实施例中，运动矢量计算部702可以根据人体部分中的部分像素的运动来得出整个人体部分的运动矢量。

例如，在所述人体部分是头部的情况下，运动矢量计算部可以先根据特征像素(例如，与眼睛、鼻子、嘴巴位置对应的像素)的运动，来分别计算这些特征像素的运动矢量。

具体来说，运动矢量计算部702可以通过特征像素在相邻两帧(例如，前一帧或后一帧)之间的位置差来得到各个特征像素的运动矢量。

然后，对人体部分的各特征像素的运动矢量求和，由此可以得到所述人体部分的运动矢量。

尽管在以上示例性描述中根据部分特征像素来计算人体部分的运动矢量，但是本发明不限于此，而是还可以进行其它的改型。

例如，在本发明的另一个实施例中，运动矢量计算部702也可以计算人体部分中所有像素的运动矢量，然后对所有的运动矢量求和，由此得到人体部分的运动矢量。

动作结束帧搜索部704可以基于动作矢量计算部计算出的人体部分的运动矢量在搜索范围内搜索人体动作的动作结束帧。

在动作结束帧搜索部704搜索出人体动作的动作结束帧的情况下，时长确定部706可以将当前帧与动作结束帧之间的时长确定为人体部分的局部动作周期。

此外，如果动作结束帧搜索部704没有在搜索范围内搜索到动作结束帧，时长确定部706可以将预定的第三时长确定为所述人体部分的局部动作周期。

其中，所述第三时长是足以包括一个完整的人体动作的时间长度，可以根据经验值或根据不同的应用场景来合理地设置所述第三时长。

由此，局部动作周期确定部700可以确定出当前帧中每个人体部分的局部动作周期。

在上述的实施例中，动作结束帧搜索部在搜索范围内搜索人体部分的动作结束帧的处理可以基于所述人体部分的运动矢量来实现。

在本发明的一个实施例中，动作结束帧搜索部可以通过在搜索范围内搜索可以使所述人体部分的运动矢量的矢量和趋于零的帧，来确定人体部分的动作结束帧。

具体来说，例如在实时确定视频帧序列中的人体动作周期的情况下，动作结束帧搜索部可以以当前帧为起点，在预定的搜索范围内，依次向前对帧中的人体部分的运动矢量进行累加。

在发现运动矢量的累加值趋近于零时(例如，在累加值已经小于预设的第一阈值时)，动作结束帧搜索部可以将当运动矢量的累加值小于第一阈值时的帧确定为人体部分的动作结束帧。

其中，所述第一阈值可以是根据经验值或根据实际应用情景而预设的接近零的值。

另一方面，如果在预定的搜索范围内，运动矢量的累加值始终没有小于第一阈值，则动作结束帧搜索部可以判定在所述预定的搜索范围内没有搜索到所述动作结束帧。

由此，动作结束帧搜索部可以实现在搜索范围内对人体部分的动作结束帧的搜索。

尽管在以上描述中，以实时确定视频帧序列中的人体动作周期的情况(向前依次搜索)为例对动作结束帧搜索部的操作进行说明，但是以上描述仅为示例，本发明不限于此。

例如，在本发明的另一个实施例中，例如，在针对已有视频进行分析来确定视频帧序列中的人体动作周期的情况下，动作结束帧搜索部也可以以当前帧为起点，在预定的搜索范围内，依次向后对帧中的人体部分的运动矢量进行累加来搜索人体部分的动作接收帧。

由此，动作结束帧搜索部也可以实现在搜索范围内对人体部分的动作结束帧的搜索。

基于上述实施例中的确定视频中人体动作周期的装置，本发明还进一步提供了一种识别视频中人体动作的装置。

图8示出根据本发明一个实施例的识别视频中人体动作的装置的示意图。

如图所示，根据本发明实施例的识别视频中人体动作的装置800可以包括人体动作周期确定部802和识别部804。

人体动作周期确定部802可以确定视频中人体动作周期。

例如，人体动作周期确定部802可以包括根据任意上述实施例的确定人体动作周期的装置以确定视频中人体动作周期。

识别部804可以基于确定出的人体动作周期来识别人体动作。

具体来说，识别部804可以基于确定出的人体动作周期来提取时空特征，并基于时空特征来识别人体动作。

上述识别人体动作的装置可以针对不同行为、不同个体来确定相应的人体动作周期，由此可以更为准确地提取时空特征，并进而可以实现更为准确的人体行为识别。

关于所述确定视频中人体动作周期的装置、所述识别视频中人体动作的装置以及其中所包括的部件的更为详细的技术细节，可以参见之前结合方法进行的描述，在此不再赘述以使说明书保持简洁。

另外，应理解，本文所述的各种示例和实施例均是示例性的，本发明不限于此。在本说明书中，“第一”、“第二”等表述仅仅是为了将所描述的特征在文字上区分开，以清楚地描述本发明。因此，不应将其视为具有任何限定性的含义。

上述装置中各个组成模块、单元可通过软件、固件、硬件或其组合的方式进行配置。配置可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。在通过软件或固件实现的情况下，从存储介质或网络向具有专用硬件结构的计算机(例如图9所示的通用计算机900)安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。

在图9中，中央处理单元(CPU)901根据只读存储器(ROM)902中存储的程序或从存储部分908加载到随机存取存储器(RAM)903的程序执行各种处理。在RAM 903中，也根据需要存储当CPU 901执行各种处理等等时所需的数据。CPU 901、ROM 902和RAM 903经由总线904彼此连接。输入/输出接口905也连接到总线904。

下述部件连接到输入/输出接口905：输入部分906(包括键盘、鼠标等等)、输出部分907(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分908(包括硬盘等)、通信部分909(包括网络接口卡比如LAN卡、调制解调器等)。通信部分909经由网络比如因特网执行通信处理。根据需要，驱动器910也可连接到输入/输出接口905。可拆卸介质911比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器910上，使得从中读出的计算机程序根据需要被安装到存储部分908中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质911安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图9所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质911。可拆卸介质911的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 902、存储部分908中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

本发明还提出一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时，可执行上述根据本发明实施例的方法。

相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。

最后，还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。此外，在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上虽然结合附图详细描述了本发明的实施例，但是应当明白，上面所描述的实施方式只是用于说明本发明，而并不构成对本发明的限制。对于本领域的技术人员来说，可以对上述实施方式作出各种修改和变更而没有背离本发明的实质和范围。因此，本发明的范围仅由所附的权利要求及其等效含义来限定。

通过以上的描述可以看出，本申请至少提供了以下的技术方案：

1.一种确定视频中人体动作周期的方法，包括：

将搜索范围内的每个帧的人体区域划分成多个人体部分；

确定当前帧中每个人体部分的局部动作周期；

根据所述局部动作周期来确定当前帧中的人体动作周期。

2.根据技术方案1所述的确定视频中人体动作周期的方法，其中，所述搜索范围是：以当前帧为起点向后经过第一时长或向前经过第二时长的时段中的帧。

3.根据技术方案2所述的确定视频中人体动作周期的方法，其中，将搜索范围内的每个帧的人体区域划分成多个人体部分的处理包括：

提取出帧中人体区域的轮廓线；

根据轮廓线来确定人体区域的连接点；

基于连接点来将人体区域分割成多个人体部分。

4.根据技术方案2所述的确定视频中人体动作周期的方法，其中，确定当前帧中每个人体部分的局部动作周期的处理包括：

计算所述人体部分的运动矢量；

在所述搜索范围内搜索所述人体部分的动作结束帧；

如果搜索到所述动作结束帧，则将所述动作结束帧和所述当前帧之间的时长确定所述人体部分的局部动作周期。

5.根据技术方案4所述的确定视频中人体动作周期的方法，其中，在所述搜索范围内搜索所述人体部分的动作结束帧的处理包括：在所述搜索范围内搜索可以使所述人体部分的运动矢量之和小于第一阈值的帧作为所述动作结束帧。

6.根据技术方案4所述的确定视频中人体动作周期的方法，其中，计算所述人体部分的运动矢量的处理包括：基于所述人体部分中的全部或部分像素的运动来计算所述人体部分的运动矢量。

7.根据技术方案2所述的确定视频中人体动作周期的方法，其中，根据所述局部动作周期来确定当前帧中的人体动作周期的处理包括：

将所述多个人体部分的局部动作周期中的最大的局部动作周期确定为人体动作周期。

8.一种识别视频中人体动作的方法，包括：

根据技术方案1-7中任意一项所述的方法来确定视频中的人体动作周期；

基于所述人体动作周期来提取时空特征以识别视频中的人体动作。

9.一种确定视频中人体动作周期的装置，包括：

人体部分划分部，被配置成将搜索范围内的每个帧的人体区域划分成多个人体部分；

局部动作周期确定部，被配置成确定当前帧中每个人体部分的局部动作周期；

人体动作周期确定部，被配置成根据所述局部动作周期来确定当前帧中的人体动作周期。

10.根据技术方案9所述的确定视频中人体动作周期的装置，其中，所述搜索范围是：以当前帧为起点向后经过第一时长或向前经过第二时长的时段中的帧。

11.根据技术方案10所述的确定视频中人体动作周期的装置，其中，所述人体部分划分部包括：

轮廓提取部，被配置成提取出帧中人体区域的轮廓线；

连接点提取部，被配置成根据轮廓线来确定人体区域的连接点；

分割部，被配置成基于连接点来将人体区域分割成多个人体部分。

12.根据技术方案10所述的确定视频中人体动作周期的装置，其中，所述局部动作周期确定部包括：

运动矢量计算部，被配置成计算所述人体部分的运动矢量；

动作结束帧搜索部，被配置成在所述搜索范围内搜索所述人体部分的动作结束帧；

时长确定部，被配置成如果搜索到所述动作结束帧，则将所述动作结束帧和所述当前帧之间的时长确定所述人体部分的局部动作周期。

13.根据技术方案12所述的确定视频中人体动作周期的装置，其中，所述动作结束帧搜索部被进一步配置成：在所述搜索范围内搜索可以使所述人体部分的运动矢量之和小于第一阈值的帧作为所述动作结束帧。

14.根据技术方案12所述的确定视频中人体动作周期的装置，其中，所述运动矢量计算部被进一步配置成：基于所述人体部分中的全部或部分像素的运动来计算所述人体部分的运动矢量。

15.根据技术方案10所述的确定视频中人体动作周期的装置，其中，所述人体动作周期确定部被进一步配置成在所述多个人体部分的局部动作周期中确定出最大的局部动作周期，并将所述最大的局部动作周期确定为人体动作周期。

16.一种识别视频中人体动作的装置，包括：

人体动作周期确定部，包括根据技术方案9-15中任意一项所述的装置以确定视频中的人体动作周期；

识别部，被配置成基于所述人体动作周期来提取时空特征以识别视频中的人体动作。

Claims (10)

1.一种确定视频中人体动作周期的方法，包括：

将搜索范围内的每个帧的人体区域划分成多个人体部分；

确定当前帧中每个人体部分的局部动作周期；

根据所述局部动作周期来确定当前帧中的人体动作周期。

2.根据权利要求1所述的确定视频中人体动作周期的方法，其中，所述搜索范围是：以当前帧为起点向后经过第一时长或向前经过第二时长的时段中的帧。

3.根据权利要求2所述的确定视频中人体动作周期的方法，其中，将搜索范围内的每个帧的人体区域划分成多个人体部分的处理包括：

提取出帧中人体区域的轮廓线；

根据轮廓线来确定人体区域的连接点；

基于连接点来将人体区域分割成多个人体部分。

4.根据权利要求2所述的确定视频中人体动作周期的方法，其中，确定当前帧中每个人体部分的局部动作周期的处理包括：

计算所述人体部分的运动矢量；

在所述搜索范围内搜索所述人体部分的动作结束帧；

如果搜索到所述动作结束帧，则将所述动作结束帧和所述当前帧之间的时长确定所述人体部分的局部动作周期。

5.根据权利要求4所述的确定视频中人体动作周期的方法，其中，在所述搜索范围内搜索所述人体部分的动作结束帧的处理包括：在所述搜索范围内搜索可以使所述人体部分的运动矢量之和小于第一阈值的帧作为所述动作结束帧。

6.根据权利要求4所述的确定视频中人体动作周期的方法，其中，计算所述人体部分的运动矢量的处理包括：基于所述人体部分中的全部或部分像素的运动来计算所述人体部分的运动矢量。

7.根据权利要求2所述的确定视频中人体动作周期的方法，其中，根据所述局部动作周期来确定当前帧中的人体动作周期的处理包括：

将所述多个人体部分的局部动作周期中的最大的局部动作周期确定为人体动作周期。

8.一种识别视频中人体动作的方法，包括：

根据权利要求1-7中任意一项所述的方法来确定视频中的人体动作周期；

基于所述人体动作周期来提取时空特征以识别视频中的人体动作。

9.一种确定视频中人体动作周期的装置，包括：

人体部分划分部，被配置成将搜索范围内的每个帧的人体区域划分成多个人体部分；

局部动作周期确定部，被配置成确定当前帧中每个人体部分的局部动作周期；

人体动作周期确定部，被配置成根据所述局部动作周期来确定当前帧中的人体动作周期。

10.一种识别视频中人体动作的装置，包括：

人体动作周期确定部，其包括根据权利要求9所述的装置，，被配置成确定视频中的人体动作周期；

识别部，被配置成基于所述人体动作周期来提取时空特征以识别视频中的人体动作。

Images