CN101853388A - 一种基于几何不变量的视角不变的行为识别方法 - Google Patents

Abstract

本发明提出一种基于几何不变量的视角不变的行为识别方法，包括训练和识别两个过程；步骤如下：对已标注行为类别的轨迹数据进行特征提取，对提取的特征进行训练，得到行为模型的参数；对未知行为类别人的行为轨迹测试数据进行特征提取，将提取的特征输入到训练得到的模型，输出视频中人的行为的类别。可用于智能视觉监控系统，帮助监控系统识别场景中人的行为，使得监控系统能更好地理解场景中正在发生什么。基于几何不变量的视角不变的行为识别对于提高下一代智能监控系统对监控场景中人的行为的理解能力具有很重要的意义。

Description

一种基于几何不变量的视角不变的行为识别方法

技术领域

本发明属于模式识别领域，涉及计算机视觉和图像处理等技术，特别是涉及视角不变的行为识别。

背景技术

随着技术的发展以及硬件设备价格的逐渐降低，大量的监控摄像头被安装到各种场合，特别是那些对安全要求敏感的场合，如机场、社区、银行、停车场、军事基地等。动态场景的视觉监控是近年来备受关注的前沿研究方向，它从摄像机捕捉的图像序列中检测、识别、跟踪目标并对其行为进行理解。尽管目前作为人类视觉延伸的监控摄像机在商业应用中已经普遍存在，但目前的监控系统在稍复杂的监控场景下，系统的性能远远达不到人们所预期的效果。因此，开发出具有实际意义的自动性、智能性的视觉监控系统日益变得迫切和必要。这就要求不仅能用摄像机代替人眼，而且能用计算机协助人、代替人，以完成监视或控制任务。

人的行为分析是计算机视觉领域的一个重要研究方向。它的目的是让计算机能够像人一样理解人的行为。为了解决这一问题，首先必须找到能够表达人的行为的有效的信息，然后对所获取的信息利用数据挖掘方法以及机器学习方法建立数据信息与语义之间的关系。

人的行为分析不仅是理论的研究热点，更是一个有着广阔的应用前景的研究方向。

人的行为分析在智能视觉监控中的作用主要有以下几点：

1.理解人的行为，对违规行为自动报警；

2.预测人的行为，采取有效的防御措施；

3.视频数据的自动化处理和理解，将海量的视频数据进行自动检索。视角的变化会带来图像的投影失真。同一动作在不同视角拍下的图片中呈现不同的外观。视角的变化带来的直接后果是图像信息的减少，噪声增多，所以传统的利用人体轮廓特征，然后对图像序列进行时间序列分析的方法已经不适合视角变化的要求。现有的视角不变的技术大多需要精确的人体的三维模型，然而获取人体三维模型的不仅要付出很大的代价，而且计算得到的人体三维模型与真实的人体存在很大的误差，不适合实际应用。

发明内容

要解决的技术问题：

本发明的目的是解决视角的变化会带来图像的投影失真，为了避免失真导致无法正确识别出图像中人的行为，为此，本发明提出一种基于几何不变量的视角不变的行为识别方法。

为了实现上述目的，本发明提供的基于几何不变量的视角不变的行为识别方法，基于人的行为轨迹，包括行为训练和行为识别两个过程，如下：

步骤S1：对已标注人的行为类别的视频图像提取人体运动轨迹，对运动轨迹数据提取视角不变的行为特征，对已标注人行为类别的视频图像中人的运动轨迹的视角不变的特征进行训练得到分类模型的参数，生成并建立人的行为分类模型；

步骤S2：对未标注人的行为类别的被测试的视频数据提取人体运动轨迹，对轨迹数据提取视角不变的行为特征，将提取的视角不变的特征输入到训练得到的人的行为分类模型进行分类识别，得到人的行为类别。

优选地，所述人体运动部位的运动轨迹是从视频数据库提取出人体运动部位头、手和脚的轨迹。

优选地，所述人的行为分类模型参数的获取步骤如下：

步骤S11：对已标注人的行为类别的视频数据的人体运动轨迹上相邻的点，构造视角不变量-交比，计算并获取已标注人的行为类别的视频数据的人体运动轨迹的交比的值；

步骤S12：将从每条人体运动轨迹数据上计算出的交比值进行量化，并向直方图的每个分量投票，得到已经标注人的行为类别的视频数据人体运动轨迹的交比直方图；

步骤S13：将得到的已标注人的行为类别视频数据的行为轨迹的交比直方图作为特征向量输入到支持向量机进行训练，获得基于支持向量机的行为分类模型参数并将参数保存。

优选地，所述识别模块的识别步骤：

步骤S21：对未标注人的行为类别的被测试视频数据的运动轨迹上相邻的点，构造被测试视频数据人体运动轨迹上的视角不变量-交比，并计算出被测试视频数据人体运动轨迹的交比值；

步骤S22：将从被测试视频数据的每条人体运动轨迹上计算出的交比进行量化，并向直方图的每个分量投票，得到被测试视频数据的人体运动轨迹的交比直方图；

步骤S23：利用训练得到的支持向量机模型，对被测试视频的人体运动轨迹数据的交比直方图进行分类，得到当前人的行为类别。

优选地，所述行为轨迹是使用轨迹上的每相邻的五个点构造出一对交比。

优选地，所述交比，是指同一直线上四点间线段长度之比的比是所要采用的一种视角不变量，交比具有投影不变性。

优选地，在行为分类中，以交比直方图作为特征向量。

优选地，在行为分类中，是使用支持向量机对特征进行训练，获得能够分辨行为的模型。

本发明的方法的有益效果，该方法能够在不同的视角下，仍能够识别人的行为。克服了之前所述传统方法的种种不足。本发明的方法与其他的基于标记点的视角不变的方法不同，本发明的方法以视频为输入源，对视频中的行人提取关键部位(头、手和脚)的轨迹，然后从轨迹上提取视角不变的特征，达到视角不变的行为识别的目的。本发明基于几何不变量的视角不变的行为识别方法不需要手工标记出精确的人体的骨架模型，易于实现和应用。基于几何不变量的视角不变的行为识别可以应用于如下方面：用于智能视觉监控系统，帮助监控系统识别场景中不同视角下人的行为，使得监控系统能更好地理解场景中正在发生什么。

附图说明

图1示出基于几何不变量的视角不变的行为识别算法的流程框图，包括训练和识别两个部分。

图2示出人体头、手和脚的行为轨迹示例。

图3示出在不同视角下的视频中提取人手的轨迹示例。

图4示出利用轨迹上点构造交比的方法。

图5示出轨迹点的交比直方图示例。

具体实施方式

下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

基于几何不变量的视角不变的行为识别对于提高监控系统对监控场景的理解能力，提升行为识别系统的识别能力具有很重要的作用。利用行为轨迹，本发明实现了一个基于几何不变量的视角不变的行为识别系统。如图1示出基于几何不变量的视角不变的行为识别方法的流程框图，包括训练和识别两个部分：

所述的训练过程包括步骤：对已标注人的行为类别的视频图像序列，即用来做训练的数据，提取头、手和脚的运动轨迹；构造出运动轨迹上点的交比，并计算交比的值；计算轨迹点交比的直方图；使用支持向量机进行训练，生成并建立人的行为分类模型；

所述的识别过程包括步骤：对未标注人的行为类别的被测试视频数据提取人体头、手和脚的运动轨迹；构造出运动轨迹上点的交比，并计算交比的值；计算轨迹点交比的直方图并载入训练阶段得到的人的行为分类模型进行行为识别，得到人的行为类别。

本发明的方法需要的硬件最低配置为：P43.0G CPU，512M内存的计算机；在此配置水平的硬件上，采用C++语言编程实现本方法。下面对本发明的方法涉及的关键步骤进行逐一详细说明，具体形式如下所述：

首先，是人体关键运动部位轨迹的提取：

在轨迹数据库中选取人体关键运动部位头、手和脚的行为轨迹作为数据对象，图2示例行为跳在某一视角下的头、手和脚的运动轨迹。运动轨迹由一序列的离散点在时间轴上的位置分布构成。由于将要提取的特征具有尺度不变性，所以运动轨迹的不必做归一化处理。图3示例在17个不同视角下行为跳的手的运动轨迹。

其二，是轨迹点的视角不变量的构造和计算：

交比定义为直线上四点间线段长度的比的比。用数学公式表达为：

$[X_1,X_2,X_3,X_4]=\frac{(X_1-X_3)(X_2-X_4)}{(X_1-X_4)(X_2-X_3)}---\left(1\right)$

X₁，X₂，X₃，X₄是同一直线上的四点，用向量表示。X_i-X_j表示点i和j之间的距离，i、j代表1、2、3、4。

交比具有投影不变的特性，即对空间中共线的四点向图像平面投影时，交比的值保持不变。根据这一特性，应用到智能视觉监控上，可以解决不同视角下行为识别的问题。

但是，直线上的四点的交比很难应用到图像中去。为了解决这一问题，可以将直线上的四点的交比扩展到曲线上去。

对空间中的平面曲线(是指曲线上所有的点都共面)上的5个点，可以构造出一对视角不变量-交比。如图4所示，X₁，X₂，X₃，X₄，X₅为平面曲线上的5个点，分别过X₁，X₂和X₄，X₅作直线交于P点，分别过X₂，X₃和X₄，X₃作直线分别交直线X₁P和直线X₅P于Q、R点，于是得到一对共线的四点(X₁，X₂，Q，P)和(X₅，X₄，R，P)。由于共线的四点构成一个交比，所以五个点得到一对交比。

对于图像中人的行为轨迹，可以认为是由很多段空间中的平面曲线投影而成，利用上述构造曲线上五点的交比的原则，就可以得到图像中行为轨迹上点的交比。交比的值在投影前后保持不变。对轨迹上每相邻的五个点如上述方法计算交比，就可以得到轨迹的视角不变的表达方法，可以记为：

T(X₁，X₂，X₃，X₄，X₅)→I(CR₁，CR₂)         (2)

在计算交比的时候，通过简化，可以直接通过X₁，X₂，X₃，X₄，X₅的坐标来计算CR₁，CR₂，计算公式为：

${\mathrm{CR}}_1\left(X_1{X}_2\mathrm{PQ}\right)=\frac{\left(\right|X_1{X}_4|+|X_4{X}_5|+|X_5{X}_1\left|\right)}{\left(\right|X_2{X}_4|+|X_4{X}_5|+{|X}_5{X}_2|)}\×\frac{\left(\right|X_2{X}_4|+|X_4{X}_3|+{|X}_3{X}_2|)}{\left(\right|X_1{X}_4|+|X_4{X}_3|+|X_3{X}_1\left|\right)}---\left(3\right)$

${\mathrm{CR}}_1\left(X_1{X}_2\mathrm{PQ}\right)=\frac{\left(\right|X_1{X}_4|+|X_4{X}_5|+|X_5{X}_1\left|\right)}{\left(\right|X_2{X}_4|+|X_4{X}_5|+{|X}_5{X}_2|)}\×\frac{\left(\right|X_2{X}_4|+|X_4{X}_3|+{|X}_3{X}_2|)}{\left(\right|X_1{X}_4|+|X_4{X}_3|+|X_3{X}_1\left|\right)}---\left(4\right)$

其中|X₁X₄|表示二阶矩阵[X₁X₄]的行列式。

其三，是轨迹点的交比直方图的计算：

对每条轨迹所计算出的交比，用直方图的方法描述交比的统计特性。经过试验，计算出的交比的值分布在(0，2)区间，将此区间平均划分为50等分，得到直方图的50个分量(bin)，每个bin的值由轨迹点的交比投票得到，用数学表达式记为：

$H\left(i\right)=\frac{1}{C}\underset{i=1}{\overset{C}{\mathrm{\Σ}}}{X}_i,---\left(5\right)$

其中

计算出轨迹的直方图如图5所示。

由于轨迹上每五个点可以得到两个交比，所以一条轨迹可由50×2＝100维的特征向量来描述。分别将头、手和脚的轨迹的交比直方图向量拼接起来就得到了300维的特征向量，该向量就是最终用来训练和识别的特征向量。

最后，是利用支持向量机训练和识别：

支持向量机(Support Vector Machines)是在统计学习理论上发展起来的一种新的方法。支持向量机的基本思想是通过非线性映射，把样本空间映射到一个高维乃至无穷维的特征空间，使得在特征空间中可以应用线性学习机的方法解决样本空间中的高度非线性的分类和回归问题。支持向量机能较好地解决小样本、非线性、高维数和局部极小点等实际问题。

首先将计算出的交比直方图作为支持向量机的特征向量，输入到将要学习的模型中。

使用支持向量机的关键步骤是选择核函数，有多种核函数可以选择，比如线性、多项式、径向基函数和sigmod等。通过比较实验，发现径向基函数(RBF)具有最好的识别率，因此选用径向基函数进行训练和识别。

为了验证算法有效性，使用CMU Motion Capture database(Mocap：mocap.cs.cmu.edu)步态数据库对提出的算法进行了测试。Mocap数据库是由卡耐基梅隆大学创建的一个共享数据库，被广泛应用于人的行为分析研究。测试中从数据库中选取了五种行为在17个视角下做试验，这17个视角由平均分布在场景的四周17台摄像机实现，所选五种行为分别为走、跑、跳、爬阶梯和打高尔夫球，每类行为共选取了200个样本，其中走为100个，跑为41个，跳为57个，爬阶梯为12个，打高尔夫球为10个，用每个视角下的数据样本训练得到的行为模型去测试其他16个视角下的数据样本，最后得到平均正确识别率为92.38％。该算法的识别率优于其他一些机器学习方法和基于模型的识别方法。

实施例子如下：

整个基于几何不变量的视角不变的行为识别方案主要包含训练和识别两个过程，为了详细说明该发明的具体实施方式，以某一个视角不变的行为识别系统说明。这个系统可以记录下监控场景里出现的每一个人的轨迹，并识别出他们在做什么动作。

训练的目的是学习不同的行为规律。首先我们要收集大量轨迹数据，并标注出所属行为类别。这些标注了行为类别的轨迹数据用于训练行为识别模型。

训练步骤如下：

步骤S1a：对已标注人的行为视频图像数据库提取出人体头、手和脚的运动轨迹；

步骤S1b：对人体运动轨迹上相邻的点，构造视角不变量-交比，计算出并获取已经标注人的行为类别的视频数据的人体运动轨迹的交比的值；

步骤S1c：将从每条人体行为轨迹上计算出的交比进行量化，并向直方图的每个分量投票，得到已经标注人的行为类别的视频数据的人体运动轨迹的交比直方图；

步骤S1d：将得到的交比直方图作为特征向量，用支持向量机进行训练，获得基于支持向量机的行为分类模型参数并将参数保存。

在识别阶段，将人体运动轨迹测试数据输入计算机，初始阶段的处理跟训练阶段一致，然后将得到的特征向量输入到训练阶段所获得的基于支持向量机的行为模型进行分类，输出分类结果。程序将分类结果记录下来，或者传给其他的程序。具体识别步骤如下：

步骤S2a：对被测试视频数据提取出人体头、手和脚的轨迹；

步骤S2b：对被测试视频数据人体运动轨迹上相邻的点，构造视角不变量-交比，并计算出交比的值；

步骤S2c：将从每条人体运动轨迹上计算出的交比进行量化，并向直方图的每个分量投票，得到交比直方图；

步骤S2d：利用步骤S1d中获得的行为分类模型，对被测试视频数据的人体运动轨迹计算出的交比直方图特征进行分类，得到被测试视频数据中当前人的行为类别。

总之，本发明提出了一种简单有效的基于几何不变量的视角不变的行为识别方法。CMU Mocap数据库上的试验结果验证了该算法的有效性。本发明易于实现、性能稳定。本发明能够提高智能监控系统对监控场景的理解能力，是下一代智能监控系统里的关键技术。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (8)

1.一种基于几何不变量的视角不变的行为识别方法，其特征在于：

基于人的行为轨迹，包括训练和识别两个过程，如下：

步骤S1：对已标注人的行为类别的视频图像提取人体运动部位的运动轨迹，对运动轨迹数据提取视角不变的行为特征，对已标注人的行为类别视频图像中人的行为轨迹的视角不变的特征进行训练得到分类模型的参数，生成并建立人的行为分类模型；

步骤S2：对未标注人的行为类别的被测试的视频数据提取人体运动部位的运动轨迹，对运动轨迹数据提取视角不变的行为特征，将提取的视角不变的特征输入到训练得到的人的行为分类模型进行分类识别，得到人的行为类别。

2.按权利要求1所述的基于几何不变量的视角不变的行为识别方法，其特征在于：所述人体运动部位的运动轨迹是从视频数据库提取出人体头、手和脚的轨迹。

3.按权利要求1所述的基于几何不变量的视角不变的行为识别方法，其特征在于：所述人的行为分类模型参数的获取步骤如下：

步骤S11：对已标注人的行为类别视频数据的人体运动轨迹上相邻的点，构造视角不变量-交比，计算并获取已标注人的行为类别的视频数据的人体运动轨迹的交比的值；

步骤S12：将从每条人体行为轨迹数据上计算出的交比值进行量化，并向直方图的每个分量投票，得到已经标注人的行为类别的视频数据的人体运动轨迹的交比直方图；

步骤S13：将得到的已标注人的行为类别的视频数据的人体运动轨迹的交比直方图作为特征向量输入到支持向量机进行训练，获得基于支持向量机的行为分类模型参数并将参数保存。

4.按权利要求1所述的基于几何不变量的视角不变的行为识别方法，其特征在于：所述识别模块的识别步骤：

步骤S21：对未标注人的行为类别的被测试视频数据的人体运动轨迹上相邻的点，构造被测试视频数据人体运动轨迹上的视角不变量-交比，并计算出被测试视频数据人体运动轨迹的交比值；

步骤S22：将从被测试视频数据的每条人体运动轨迹上计算出的交比进行量化，并向直方图的每个分量投票，得到被测试视频数据的人体运动轨迹的交比直方图；

步骤S23：利用训练得到的支持向量机模型，对被测试视频的人体运动轨迹数据的交比直方图进行分类，得到当前人的行为类别。

5.按权利要求3所述的基于几何不变量的视角不变的行为识别方法，其特征在于：所述交比是使用轨迹上的每相邻的五个点构造出一对交比。

6.按权利要求3所述的基于几何不变量的视角不变的行为识别方法，其特征在于：所述交比是指同一直线上四点间线段长度之比的比，交比是视角不变量，交比具有投影不变性。

7.按权利要求1所述的基于几何不变量的视角不变的行为识别方法，其特征在于：在行为分类中，以交比直方图作为特征向量。

8.按权利要求1所述的基于几何不变量的视角不变的行为识别方法法，其特征在于：在行为分类中，是使用支持向量机对特征进行训练，获得能够分辨行为的模型。

Images