CN103106394A

CN103106394A - 一种视频监控中的人体行为识别方法

Info

Publication number: CN103106394A
Application number: CN2012105668104A
Authority: CN
Inventors: 张洪博; 苏松志; 李绍滋; 林贤明; 郭锋; 曹冬林; 吕艳萍
Original assignee: Xiamen University; Shenzhen Research Institute of Xiamen University
Current assignee: Xiamen University; Shenzhen Research Institute of Xiamen University
Priority date: 2012-12-24
Filing date: 2012-12-24
Publication date: 2013-05-15

Abstract

一种视频监控中的人体行为识别方法，涉及计算机视觉领域。提供能够对视频中连续不同的行为进行识别的一种视频监控中的人体行为识别方法。包括检测和表示局部时空特征、计算局部时空特征与类别相关性、计算视频帧与类别相关性、检测和识别人体行为。基于该人体行为识别方法的人体行为监控系统包括视频采集单元、存储单元、特征抽取单元、相关性分析单元、行为识别单元、视频输出单元和预警单元。能够对视频中连续不同的行为进行识别。

Description

一种视频监控中的人体行为识别方法

技术领域

本发明涉及计算机视觉领域，尤其是涉及一种视频监控中的人体行为识别方法。

背景技术

目前，大多数的视频监控系统都是将采集到的视频数据存储到设备中，然后由人工判断视频中是否有异常情况。而人工判断方式需要耗费大量人力资源，同时无法24小时连续地工作，因此让计算机自行对视频进行监控和分析具有广泛的应用价值。

人体行为识别是视频智能监控的核心技术。目前，许多模式识别的方法被应用于人体行为识别方法。首先将视频表示为局部模式的集合，例如局部时空特征点、三维局部块以及视频帧。在时空特征检测和描述的基础上，最常见的是基于“词袋”模式的方法。首先将局部时空特征量化为“时空视觉词”，然后结合SVM等机器学习方法进行行为识别。同时Niebles等人（J.C.Niebles,H.Wang,and F.-F.Li,“Unsupervised learning of human action categoriesusing spatial-temporal words,”Intl.J.Computer Vision,vol.79,no.3,pp.299-318,2008.）提出在“时空特征词”的基础上使用概率潜在语义分析的无监督人体行识别方法。然而这些人体行为识别方法都是基于学习的方法，即需要一个训练和学习的过程。尤其是在新增样本数据之后需要重新训练，同时会产生参数过学习的问题。针对这些问题，Yuan等人（J.Yuan,S.Liu,andY.Wu,“Discriminative video pattern search for efficient action detection,”IEEE Tran.PatternAnalysis and Machine Intelligence,vol.33,no.9,pp.1728–1743,2011.）提出了基于朴素贝叶斯的互信息最大化算法，通过计算局部时空特征与类别的互信息表示这两者之间的关系，从而进行人体行为分类。

尽管目前有许多对视频中人体行为进行识别的方法，但是大多数方法都是针对视频中仅有一种行为的视频分类问题，然而在真实场景中不同行为总是连续出现的，例如在监控场景中，一个人扔下包裹的过程总是“走进来-放下包裹-走出去”这样一个过程。在这个过程中多个不同的行为连续出现，需要进行有效的分割，并不能简单认为是一个分类问题，所以目前大多数的人体行为识别方法均不能解决这个问题。对于视频中包括连续不同行为的识别问题并没有除了滑动窗口之外更好的方法。而滑动窗口方法的计算复杂度高，并不能很好的应用于实际的场景中。因此需要能够有效对连续多实例人体行为识别的方法。

发明内容

本发明的目的在于提供能够对视频中连续不同的行为进行识别的一种视频监控中的人体行为识别方法。

本发明包括以下步骤：

步骤一、检测和表示局部时空特征：对视频采集单元采集到的视频，使用三维Harris局部特征检测方法，将视频转化为局部时空特征集合；

步骤二、计算局部时空特征与类别相关性：对于步骤一检测到的时空特征，使用类别比对互信息方法计算每个时空特征属于各个类别的相关性得分；

步骤三、计算视频帧与类别相关性：根据步骤二所求得的时空特征属于各个类别的相关性得分，视频帧与类别的相关性得分表示为该帧上所有时空特征得分的平均值；

步骤四、检测和识别人体行为：根据步骤三所求得视频帧与类别的相关性得分，使用最大值子序列搜索方法定位和识别人体行为。

在步骤一中，所述检测方法，由人体行为监控系统中的特征抽取单元实现。

在步骤二中，所述类别比对互信息方法，由人体行为监控系统中的相关性分析单元实现。

在步骤三中，所述视频帧与类别的相关性得分表示为该帧上所有时空特征得分的平均值，由人体行为监控系统中的相关性分析单元实现。

在步骤四中，所述使用最大值子序列搜索方法定位和识别人体行为，由人体行为监控系统中的行为识别单元实现。

基于本发明所提出的人体行为识别方法的人体行为监控系统设有：

视频采集单元：用于采集当前场景的信息。

存储单元：用于存储视频信息、特征信息以及视频识别结果。

视频输出单元：用于显示采集的视频和视频检测结果。

预警单元：用于对视频中的异常人体行为发出警报。

特征抽取单元：用于对视频进行特征检测和表示，将视频转换为特征文本。此单元完成本发明所提供的人体行为识别方法中的检测和表示局部时空特征步骤，使用三维Harris特征点检测方法检测局部时空特征点；并且将梯度方向直方图和光流方向直方图串联起来作为局部时空特征点的描述子。

相关性分析单元：用于对特征和类别的相关性计算，将特征文本转换为相关性文本。此单元完成本发明所提供的人体行为识别方法中的计算局部时空特征与类别相关性和计算视频帧与类别相关性步骤。对于计算局部时空特征与类别相关性。本发明提供类别比对互信息计算方法，用于描述特征与类别的相关性，如下：

\approx \log \frac{K}{Σ_{j = 1}^{K} \frac{| {NN}_{ϵ}^{c_{i}} (d_{q}) \underset{d_{j}^{m_{j}} &Element; {NN}_{ϵ}^{c_{j}} (d_{q})}{Σ} \exp [- \frac{1}{2 σ^{2}} ({| | d_{q} - d_{j}^{m_{j}} | |}^{2})]}{| {NN}_{ϵ}^{c_{j}} (d_{q}) | \underset{d_{i}^{m_{i}} &Element; {NN}_{ϵ}^{c} (d_{q})}{Σ} \exp [- \frac{1}{2 σ^{2}} ({| | d_{q} - d_{i}^{m_{i}} | |}^{2})]}}

其中，d_q表示局部时空特征检测和表示模块得到的局部时空特征；c_i表示某个特定的行为类别；K表示类别的总个数；

表示c_i类别的训练视频中所有与局部时空特征d_q的距离小于ε的局部特征集合。

对于计算视频帧与类别相关性。本发明提出视频中视频帧与类别的相关性

计算方法，而是仅计算包含局部时空特征的视频帧。视频帧与类别的相关性得分计算方法如下所示：

{RS}_{t}^{c} = RL (C = c, f_{t}) = \frac{1}{| f_{t} |} \underset{d_{t}^{j} &Element; f_{t}}{Σ} CMI (C = c, d_{t}^{j})

其中，f_t表示第t帧上的时空特征点集。

行为识别单元：用于对视频中的人体行为进行定位和识别。在此单元完成本发明所提供的人体行为识别方法中的人体行为检测和识别步骤。在此步骤中，本发明提出用最大值子序列搜索方法定位和识别人体行为。通过前面模块的计算，视频帧表示为对特定类别行为的相关性得分，而整个视频可以表示为对特定类别的相关性分数的序列，同时这个序列一维的。那么对于视频中特定类别行为的定位和识别，可以转换成视频对特定类别的相关性序列的最大值子序列搜索问题。那么对于这个问题，本发明使用J.Bently（J.Bently，“Programmingpearls,”Algorithm Design Techniques,vol.27,no.9,pp.865-871,1984.）提出的Kadane算法进行求解，算法的伪代码如下：

对于一个视频中多个行为的定位和搜索，本发明提出了多实例行为的定位和识别算法，伪代码具体如下：

在算法2中，多次不同行为的检测得到的结果在可能会在同一视频序列中有不同行为的冲突问题，为了解决这个问题，本发明提出冲突解决算法，伪代码具体如下：

本发明所述系统，预先在存储单元中保存了人体行为的样本数据。在处理输入时，当视频采集单元采集到视频后，通过特征抽取单元对视频进行特征抽取和表示，将其转换为特征文本。然后在相关性分析单元中，先分析各个特征与行为类别的相关性，然后将其转化为视频帧与类别的相关性文本。接着，通行为识别单元得到当前视频中发生行为的位置和类别信息，根据该信息在视频输出单元中，将检测到的人体行为标注并且显示出来，并且同时通过预警单元，在发生预定行为时提供警报信息。

本发明主要包括以下4个步骤：检测和表示局部时空特征、计算局部时空特征与类别相关性、计算视频帧与类别相关性、检测和识别人体行为。同时本发明提供了基于该人体行为识别方法的人体行为监控系统包括视频采集单元、存储单元、特征抽取单元、相关性分析单元、行为识别单元、视频输出单元和预警单元。

附图说明

图1为本发明所述的一种连续多实例人体行为识别方法的框架图。

图2为本发明所述的方法中人体行为检测和识别模块的示意图。

图3为本发明所述视频中的人体行为监控系统各单元关系图。

具体实施方式

本发明提供一种视频监控中的人体行为识别方法，用于对视频中连续不同的多种行为的定位和识别。

为了使本技术领域的技术人员更好的理解本发明方案，下面结合附图和具体实施方案对本发明作进一步的详细说明。

图1给出本发明所述的视频监控中的人体行为方法的框架图。

数据准备阶段，收集每个行为类别的视频作为已知数据，这些数据要求每个视频只包含一种行为。

第一步骤中，用户输入要检测行为的视频，然后检测三维Harris局部时空特征点，以及计算梯度方向直方图和光流方向直方图，将视频转化为对应的特征点集合。该集合包括特征点的位置，即图像上的坐标和所在的视频帧的帧号；特征向量，在本发明中使用梯度方向直方图和光流梯度直方图串联向量，得到的是162维的特征向量。在此步骤中，首先将数据准备阶段所准备的已知行为类别的视频转化为特征点集合，每个行为类别对应一个特征点集合。同样对于要识别的视频，也先将其转换为时空特征点集合。

第二步骤中，对于要识别视频中的每个时空特征，从各个类别对应的时空特征点集合中找出距离小于ε的特征点，其中ε表示时空特征点之间距离的阈值。例如对于待识别的视频中的时空特征点d1，从A1类别的行为对应的时空特征点集合中找出与d1点距离小于2.2的特征点集合；同理在A2～An行为类别对应的特征点集合中找出相应的时空特征点集合。然后使用类别比对互信息计算特征点d1与各个类别A1～An的相关性分数，例如，待识别的行为类别一共有6类，通过计算可以得到特征d1与6个行为类别的相关性分数为<0.15,0.77,0.62,-142,-1.43,-1.04>，同样，可以得到特征d2到dm分别与6个行为类别的相关性分数。

第三步骤中，将步骤二得到的特征点与行为类别的相关性分数转化为视频帧与行为类别的相关性分数。每帧与类别的相关性分数等于该帧上时空特征点与类别的相关性分数的均值，使用视频帧与类别相关性

计算。同样以步骤二的6类行为为范例，在步骤二计算的结果上，通过计算可以得到视频帧f1与6个行为类别的相关性分数为<0.61,-0.18,0.09,-0.47,-0.52,-0.28>，同样，可以得到视频帧f2到发fn分别与6个行为类别的相关性分数。

第四步骤中，在步骤三得到的视频帧与类别的相关性序列中，对于每个类别的检测和识别分别使用最大值子序列搜索算法搜索目标，如果得到子序列的相关性序列的总分数大于Rthe，则将该子序列对应的视频剪辑作为行为类别的候选目标，添加到目标候选集A，其中Rthe表示视频帧序列属于某个行为类别得分的阈值。以图2为例，在待识别视频中，检测和识别行为“走路”，通过最大值子序列搜索算法搜索相关性序列的总分数大于15的所有子序列，在图2所示的范例中，得到帧序列[229,305]为走路的目标；同样对于其他类别的行为，分别使用最大值子序列搜索算法得到相应的结果，如图2以6类行为为例所示。然后在候选集A的结果中，会出现相同序列多个类别重叠的情况，例如图2所示的范例中，帧序列[240,290]同时被判定为“走路”、“跑步”和“慢跑”三个类别。为了解决这个问题，本发明提供行为候选集的冲突解决算法。在冲突的帧序列阶段选择帧序列的平均相关性分数最大的类别作为该序列的类别。以图2为例，帧序列[240,290]最终被判定为“走路”。

参见图3，本发明提供一种视频中的人体行为监控系统，该系统包括视频采集单元、特征抽取单元、存储单元、相关性分析单元、行为识别单元、视频输出单元和预警单元。

视频采集单元，通过普通摄像头拍摄视频，将采集到的视频信息保存到存储单元中。

特征抽取单元，以视频采集单元采集到的数据为输入，通过使用三维Harris局部时空特征点检测方法，将每个视频转换为特征文本，保存到存储单元。

存储单元，存储视频采集单元，特征抽取单元输出的数据。

相关性分析单元，以特征抽取单元的输出和存储单元中已知样本的特征文本为输入，计算特征与类别的相关性，输出视频与各个类别的相关性分数序列。

行为识别单元，以相关性分析单元输出的相关性分数序列为输入，使用最大值子序列搜索算法和冲突解决算法，定位和识别行为，输出视频中各个行为的位置和类别信息。

视频输出单元，以行为识别单元输出的行为的位置和类别信息，在视频中将目标标注，并且显示屏。

预警单元，以行为识别单元输出的行为的位置和类别信息，判断是否出现了预定的需报警行为，并通过声音提示的方式放出警报。

Claims

1.一种视频监控中的人体行为识别方法，其特征在于包括以下步骤：

2.如权利要求1所述一种视频监控中的人体行为识别方法，其特征在于在步骤一中，所述检测方法，由人体行为监控系统中的特征抽取单元实现。

3.如权利要求1所述一种视频监控中的人体行为识别方法，其特征在于在步骤二中，所述类别比对互信息方法，由人体行为监控系统中的相关性分析单元实现。

4.如权利要求1所述一种视频监控中的人体行为识别方法，其特征在于在步骤三中，所述视频帧与类别的相关性得分表示为该帧上所有时空特征得分的平均值，由人体行为监控系统中的相关性分析单元实现。

5.如权利要求1所述一种视频监控中的人体行为识别方法，其特征在于在步骤四中，所述使用最大值子序列搜索方法定位和识别人体行为，由人体行为监控系统中的行为识别单元实现。

6.用于人体行为识别方法的人体行为监控系统，其特征在于设有：

视频采集单元：用于采集当前场景的信息；

存储单元：用于存储视频信息、特征信息以及视频识别结果；

视频输出单元：用于显示采集的视频和视频检测结果；

预警单元：用于对视频中的异常人体行为发出警报；

特征抽取单元：用于对视频进行特征检测和表示，将视频转换为特征文本；

相关性分析单元：用于对特征和类别的相关性计算，将特征文本转换为相关性文本；

行为识别单元：用于对视频中的人体行为进行定位和识别。