CN102224526A - 基于有效的运动分析识别人的行为意图的系统和方法 - Google Patents

Abstract

随着警备区域内视频监控设备市场的不断增长，需要一种自动化系统，其提供一种基于人的特定运动追踪和检测人的意图的方法。本发明涉及一种基于有效的运动分析识别人的行为意图的系统和方法，其中，该系统从实况录像提取获得原始图像序列，并在动作分析构件中处理这些原始图像。动作分析构件还设有动作注册构件和动作检测构件。

Description

基于有效的运动分析识别人的行为意图的系统和方法

技术领域

本发明涉及一种基于有效的人的运动分析来识别人的行为意图的系统和方法。

背景技术

由于对不仅仅识别简单的目标的自动化程度更高的视频监控系统存在很大需求，人们对于基于人的运动而进行的动作分析或预测人的意图越来越感兴趣。对于保安人员来说，例如警察和军人，最感兴趣的是能够在诸如机场、边境及建筑物大厅等警备敏感区域，具有使用计算机自动监控人的运动的能力。

来自IMS调研机构的近年来市场研究已经发现从模拟CCTV到网络视频监控的趋势非常活跃。网络视频监控产品的世界市场交易量在2006年以41.9％令人震惊地增长，并且预测将继续强势增长多年。到2010年，预测网络摄像机、视频服务器和NVR的组合市场交易量将超过26亿美元。

根据一篇来自IMS调研机构的标题为“CCTV和视频监控设备在中国的市场”的报告，在中国，用于警备应用中的视频服务器(视频编码器)在2007年增长了60％。预测市场交易量在未来几年还会继续增长，到2011年将超过1.5亿美元。在中国这种显著的增长主要归因于对于基于IP的视频监控系统的强烈需求。越来越多的警备系统用户选择基于视频服务器的网络技术方案，以代替传统的模拟CCTV系统。

IMS调研机构还预测到2011年用于火车和电车的车载视频监控设备的世界市场交易将达到价值约1亿美元。铁路运输机构不得不应对在火车车厢中日常发生的破坏、偷窃及暴力犯罪等问题。车载安全摄像机对于罪犯来说为可视的威慑，同时也有助于给公众以安全感。

到2011年，对于手机视频监控设备的世界市场交易量将达到约5亿美元。恐怖分子袭击的威胁、破坏行为以及诉讼等促使政府及运输部门使用警备摄像机来保护其运输工具及乘客的安全。

在欧洲，网络视频监控设备(IP监控设备)的市场交易目前正经历爆炸式增长。IMS调研机构预测网络摄像机制造商的收益在未来五年将以28.4％(CAGR)的速度增长，而对于视频摄像机服务器则预测将达到30.3％的甚至更快速的增长。到2008年，这些市场交易量将总共达到价值约1.511亿欧元。

在表1中进行概括。

	设备	地区	规模	年份
					1	网络视频监控	全球	26亿美元	2010
2	视频服务器	中国	1.5亿美元	2011

3	全球监控设备	全球	1亿美元	2011
					4	手机监控设备	全球	5亿美元	2011
5	网络化视频监控	欧洲	1.511亿欧元	2008

通常，人的运动分析需要使用附接于人体适当部位的标记，以突出这些点的活动并突出它们如何与各运动序列相关。这些广泛地应用于运动领域以提高运动员的成绩。在特定的结构标记处，将被动反射标记放置在目标上，在这里，所述目标为人。随着目标走过实验室，由多功能红外摄像机监测各个标记的三维位置。将生物力学模型应用于标记系列，以计算身体各部分的三维运动。处理后的数据在三维平面中生成每个关节点的图像表示，并以步态周期的方式来表示。

如前面所讨论的，标记附接于身体的多个部位，例如，肩、臂、腰和腿等。然而，在自动化运动分析中，仅使用与躯干和腿相关的信息。在人的运动分析的一般方法中，仅有三种普遍有效的方法来分析人的运动，所述三种方法为：人的运动的追踪、人的动作的识别、以及基于人体结构的分析。然而，已知知道，人的运动的动作分析基于下肢的活动，或者更熟知为步态分析。

在复杂的环境中自动保持对人、车辆及它们之间互相作用的追踪是一件富有挑战性的任务，其具有巨大的商业潜力。因此需要一种智能系统，其能够从实况录像图像中检测出人的意图，由此该智能系统的第一步涉及从实况录像的原始视频中检测感兴趣的目标。然后，使用形状和颜色分析将检测到的目标分类为语义类，诸如人、人群、汽车或卡车。形状和颜色信息用作附加的约束条件来改善贯穿视频帧的目标追踪。已知当视频序列中相邻帧之间的相互关联的约束条件(contextual constraints)被加强，并且不仅在帧之间，而是将经过相对长的瞬时窗口的特征迹象结合时，目标跟踪性能可以有很大程度地改善-跟踪运算能够从有缺陷的短期特征匹配所导致的错误中恢复，如IEEE计算机协会出版社1997年7月出版的加州的洛阿拉米托斯(Los Alamitos)的IEEE关于计算机视觉(Computer Vision)以及图像识别(Pattern Recognition)会议论文集中，第697-703页，作者S.S.Intille、J.W.Davis及A.F.Bobick，题目为《实时封闭世界追踪(Real-time closed-world tracking)》中所描述的。

所有这些需要在人的动作分析开始之前进行。人的动作的此类分析的重要部分涉及理解人的运动-步态分析。常规的明智方法主要集中在对腿和躯干(身体)-腿的角度、躯干角度等的分析。并不利用与上肢也就是臂相关的信息。

发明内容

因此，本发明提供了一种基于有效的运动分析识别人的行为意图的系统，该系统包括：图像获取构件，其中，图像获取构件获得连续的多个目标图像；动作注册构件，其包括背景和前景检测构件、目标检测构件、目标划分构件、关键点提取构件、步态特征提取构件、动作登记构件和动作存储装置；以及，动作检测构件包括背景和前景检测构件、目标检测构件、目标划分构件、关键点提取构件、步态特征提取构件、动作匹配构件和动作存储装置，其特征在于，步态特征提取构件计算涉及与步态周期内的下肢活动相关的人的上肢活动的特征，其中，步态周期包括站立期和迈步期。

此外，本发明还涉及一种基于有效的运动分析识别人的行为意图的方法，该方法包括：获取连续的多个目标图像；在背景和前景检测构件、目标检测构件、目标划分构件、关键点提取构件、步态特征提取构件、动作登记构件和动作存储装置中注册数据；以及，使用背景和前景检测构件、目标检测构件、目标划分构件、关键点提取构件、步态特征提取构件、动作匹配构件和动作存储装置来检测特征并匹配特征，其特征在于，该方法进一步包括，使用步态特征提取构件计算涉及与步态周期内的下肢活动相关的人的上肢活动的特征，其中，步态周期包括站立期和迈步期。

本发明包括一些新颖的特征和部件的组合，将在下文结合说明书和附图进行详细说明和阐述，可以理解，在不背离本发明的范围或不牺牲本发明的任何优点的基础上，可对细节做出多种变化。

附图说明

接下来，结合附图以及下面将给出的详细说明，将更加充分地理解本发明，所述附图仅以示例方式示出，并不构成对本发明的限制，其中：

图1为根据本发明优选实施例的基于有效的运动分析来识别人的行为意图的系统和方法的结构图表示；

图2示出步态周期的站立期内的上肢运动的表示；

图3示出步态周期的迈步期内的上肢运动的表示；

图4是典型的步态周期内上肢活动和下肢活动之间的对照表；

图5是动作注册构件的流程图；

图6是动作检测构件的流程图；

图7示出一个步态周期内的上肢和下肢之间的相互作用；

图8为站立期内的上肢活动的距离的计算过程的示意图；

图9为站立期内的下肢活动的距离的计算过程的示意图；

图10为迈步期内的上肢活动的距离的计算过程的示意图；

图11为迈步期内的下肢活动的距离的计算过程的示意图。

具体实施方式

本发明涉及基于有效的人的运动分析来识别人的行为意图的系统和方法。下文中，本说明书将根据本发明的优选实施例描述本发明。然而，可以理解，将本发明限制为描述本发明的优选实施例仅是为了便于讨论本发明的目的，本领域技术人员在不背离所附权利要求的范围的基础上，可以对本发明进行多种变型和等效替换。

对优选实施例的下列详细说明将根据附图单独地或结合地进行描述。

术语“行为意图”是指基于他/她的四肢活动的人的意图。以下贯穿整个说明书，术语“臂”与“上肢”可替换使用，以及术语“腿”与“下肢”可替换使用。

本发明描述了基于有效的人的运动分析以检测或预测与人的运动一致的动作。在本发明中，将人的运动描述为基于上肢段和下肢段的活动的步态特征。从上肢段和下肢段中提取的步态特征概括人实施的动作。

图1示出动作分析构件的结构图表示。通过图像获取构件，从系统的环境中获取实况视频图像，并将原始的视频图像提供给动作分析构件。基于动作检测，对于动作是否基于视频图像序列而被检测做出决定。

动作分析构件包括动作注册构件和动作检测构件。动作注册过程以离线模式执行。动作注册构件的目的是收集相关的步态特征，以及将相关步态特征登记为动作数据库中的特定动作或特定意图。在可利用动作数据库的情况下，动作检测构件从视频图像序列中提取步态特征，并从动作数据库中相应地匹配该特征，以确定特定动作或特定意图的存在。动作检测构件实时操作。

图5描述了可从图像获取构件获得原始视频图像57以用于进一步处理的情况下，动作注册构件的具体结构。将视频图像序列提供至背景和前景检测构件50，以确定移动目标的存在。目标检测构件51突出感兴趣目标，尤其是出于移动目标的人。

目标划分构件52将来自检测的感兴趣目标的感兴趣目标划分为四个主要部分：头、躯干、臂和腿。关键点提取构件53计算来自臂和腿的这两部分上的重要点，以用于步态特征提取构件54。重要点可包括从臂和腿的轮廓检测到的拐角点、高曲率点和关节点。

步态特征提取构件54计算与臂和腿的活动有关的特征。通过动作登记构件55将来自图像序列的计算出的步态特征登记为特定动作或意图。步态特征和登记的动作或意图都存储在动作数据库56中。

图6描述了可从图像获取构件实时获得原始视频图像68的情况下动作检测构件的具体结构。除了动作登记构件55由动作匹配构件65代替以外，将视频图像68提供至与动作注册构件(参见图5)中描述的构件相似的构件中。在动作匹配构件65中，将计算出的来自视频图像68序列的步态特征与在动作数据库67中登记的步态特征进行比较。执行匹配处理，以将已登记的动作或意图与检测的步态特征进行匹配，反之亦然。

本发明的优选实施例将进一步描述步态特征提取构件54、64。在这些构件中，除了通常已知的腿部活动之外，臂部活动也被考虑作为步态信息。

在典型的两阶段式步态周期内，将臂部活动与腿部活动进行比较。如图4所示，典型的两阶段分为站立期和迈步期。显然，臂部活动紧跟腿部活动(尽管以相反的方向)，并且以重复的模式。在典型的行走周期内，臂遵循与两阶段式步态周期(参见图2和图3)一致的重复模式。图7示出了一个完整的步态周期内的上肢和下肢活动。

如表2中所示，在步态特征提取构件54、64中，从每个完整的步态周期的上肢和下肢中提取了六个主要特征。

表2：步态提取构件中的六个主要特征：

特征	描述
		1	站立期内的臂部活动的距离
2	站立期内的腿部活动的距离
		3	迈步期内的臂部活动的距离

4	迈步期内的腿部运动的距离
		5	一个步态周期内的臂部活动的距离
6	一个步态周期内的腿部活动的距离

图8描述了特征1的计算过程，其中，以从站立期结束时的臂的位置到站立期开始时的臂的位置之间的圆周长度的差值的形式对站立期的臂部活动的距离进行计算。

图9描述了特征2的计算过程，其中，以从站立期结束时的腿的位置到站立期开始时的腿的位置之间的水平长度的差值的形式对站立期的腿部活动的距离进行计算。

图10描述了特征3的计算过程，其中，以从迈步期结束时的臂的位置到迈步期开始时的臂的位置之间的圆周长度的差值的形式对迈步期的臂部活动的距离进行计算。

图11描述了特征4的计算过程，其中，以从迈步期结束时的腿的位置到迈步期开始时的腿的位置之间的水平长度的差值的形式对迈步期的腿部活动的距离进行计算。

对于特征5，一个步态周期内的臂部活动的距离通过将特征1与特征3的圆周距离相加来计算。基本地，

特征 $5=D_{\mathrm{st}}^{\mathrm{arm}}+D_{\mathrm{sw}}^{\mathrm{arm}}$

其中，

站立期的臂部活动的距离

迈步期的臂部活动的距离

对于特征6，一个步态周期内的腿部活动的距离通过将特征2与特征4的水平距离相加来计算。基本地，

特征 $6=D_{\mathrm{st}}^{\mathrm{leg}}+D_{\mathrm{sw}}^{\mathrm{leg}}$

其中，

站立期的腿部活动的距离

迈步期的腿部活动的距离

Claims (15)

1.一种基于有效的运动分析识别人的行为意图的系统，所述系统包括：

a.图像获取构件，其中，所述图像获取构件获得连续的多个目标图像；

b.动作注册构件，其包括背景和前景检测构件(50)、目标检测构件(51)、目标划分构件(52)、关键点提取构件(53)、步态特征提取构件(54)、动作登记构件(55)和动作存储装置(56)；以及

c.动作检测构件，其包括背景和前景检测构件(60)、目标检测构件(61)、目标划分构件(62)、关键点提取构件(63)、步态特征提取构件(64)、动作匹配构件(65)和动作存储装置(67)；

其特征在于：

步态特征提取构件(54，64)计算涉及与步态周期内的下肢活动相关的人的上肢活动的特征，其中，所述步态周期包括站立期和迈步期。

2.根据权利要求1所述的系统，其特征在于，所述背景和前景检测构件(50，60)确定移动目标的存在。

3.根据权利要求2所述的系统，其特征在于，所述目标检测构件(51，61)突出所述移动目标作为感兴趣目标。

4.根据权利要求3所述的系统，其特征在于，所述目标划分构件(52，62)将所述感兴趣目标分为四个主要部分：1)头；2)躯干；3)上肢；和4)下肢。

5.根据权利要求1所述的系统，其特征在于，所述关键点提取构件(53，63)计算由所述目标划分构件划分的目标的所述四个主要部分的重要点。

6.根据权利要求1所述的系统，其特征在于，所述步态特征提取构件(54，64)提取一个或多个下列特征：

a.站立期的上肢活动的距离；

b.站立期的下肢活动的距离；

c.迈步期的上肢活动的距离；

d.迈步期的下肢活动的距离；

e.一个步态周期内的上肢活动的距离；或

f.一个步态周期内的下肢活动的距离。

7.根据权利要求1所述的系统，其特征在于，由视频摄像机或静态摄像机获取连续的多个目标图像。

8.根据权利要求1所述的系统，其特征在于，利用计算装置例如计算机来执行所述计算过程。

9.一种基于有效的运动分析识别人的行为意图的方法，所述方法包括：

a.获取连续的多个目标图像；

b.在背景和前景检测构件(50)、目标检测构件(51)、目标划分构件(52)、关键点提取构件(53)、步态特征提取构件(54)、动作登记构件(55)和动作存储装置(56)中注册数据；以及

c.使用背景和前景检测构件(60)、目标检测构件(61)、目标划分构件(62)、关键点提取构件(63)、步态特征提取构件(64)、动作匹配构件(65)和动作存储装置(67)来检测特征并匹配特征；

其特征在于：

所述方法进一步包括，使用所述步态特征提取构件(54，64)计算涉及与步态周期内的下肢活动相关的人的上肢活动的特征，其中，所述步态周期包括站立期和迈步期。

10.根据权利要求9所述的方法，其特征在于，所述背景和前景检测构件(50，60)确定移动目标的存在。

11.根据权利要求9所述的方法，其特征在于，所述目标检测构件(51，61)突出所述移动目标作为感兴趣目标。

12.根据权利要求9所述的方法，其特征在于，所述目标划分构件(52，62)将所述感兴趣目标分为四个主要部分：1)头；2)躯干；3)上肢；和4)下肢。

13.根据权利要求9所述的方法，其特征在于，所述关键点提取构件(53，63)计算由所述目标划分构件划分的目标的所述四个主要部分的重要点。

14.根据权利要求9所述的方法，其特征在于，所述动作注册构件以离线模式执行操作。

15.根据权利要求9所述的方法，其特征在于，所述步态特征提取构件(54，64)提取一个或多个下列特征：

a.站立期的上肢活动的距离；

b.站立期的下肢活动的距离；

c.迈步期的上肢活动的距离；

d.迈步期的下肢活动的距离；

e.一个步态周期内的上肢活动的距离；或

f.一个步态周期内的下肢活动的距离。

Images