CN102799873A

CN102799873A - 一种人体异常行为识别方法

Info

Publication number: CN102799873A
Application number: CN2012102543431A
Authority: CN
Inventors: 王传旭; 刘云; 闫春娟
Original assignee: Qingdao University of Science and Technology
Current assignee: Qingdao Machine Vision Technology Co Ltd
Priority date: 2012-07-23
Filing date: 2012-07-23
Publication date: 2012-11-28
Anticipated expiration: 2032-07-23
Also published as: CN102799873B

Abstract

本发明公开了一种人体异常行为识别方法，包括利用训练样本集获得分类器和分类模板的训练过程及利用分类器和分类模板识别测试样本的识别过程。训练过程包括：对训练视频流逐帧计算每帧灰度图像中每个像素点的Hessian矩阵响应的步骤；根据矩阵响应确定特征点的步骤；用多维向量对特征点进行描述、获得描述符的步骤；对描述符进行聚类获得分类器的步骤；以及利用概率值向量获得异常行为模板的步骤。本发明所提出的方法无需进行人体分割和背景建模，通过聚类人体运动剧烈区域的时空特征，实现对运动的建模，进而实现人体异常行为的识别。

Description

一种人体异常行为识别方法

技术领域

本发明涉及视频识别技术领域，具体地说，是涉及视频图像中的人体异常行为识别方法。

背景技术

随着各国对公共场合下安全水平提高的需要及视频监控技术的广泛推广，智能视频分析成为了计算机视觉中一个非常活跃的领域，尤其是视频中人的异常行为检测，更是成为了智能视频分析领域研究的热点。因此，它同时具备了科研及商业价值，对其进行深入的研究及发展具有理论及现实意义。

公共场景下的视频监控一般体现为异常行为检测。异常行为检测技术研究处于发展阶段，但有其重要的意义。在广场、医院、超市等公共场所内，人群较为集中，有可能发生突发事件，如打架斗殴、摔倒、攀爬等，但监控摄像头的数量庞大，监控中心的监控人员数量有限，且不可能频繁地逐个查阅摄像头监控信息，因此可能无法及时地发现场景中的异常行为，导致采取措施较为滞后，延误了最佳处理时间。如果视频监控系统可以自动对异常行为进行检测，并及时提醒监控中心，则能保证相关部门快速采取应对措施，避免异常事件的激化。

申请号为201010101153.7的中国专利申请《基于运动周期分析的人体异常行为识别方法及装置》，按以下步骤进行人体异常行为的识别：获取人体运动行为区域，组成人体运动序列；计算序列中人体运动行为区域的一维变化曲线及曲线的频谱图；判断频谱图是否满足周期性条件，三个频谱图都不满足，则为异常行为；有一个满足则为近似周期性行为；提取近似周期性行为的一个运动周期单元；对运动周期单元进行R变换特征提取；将特征送入单状态隐马尔可夫模型分类器识别；出现异常行为时提醒。

申请号为200710179881.8的中国专利申请《基于轮廓的异常行为识别方法》，其异常行为识别方法分为如下四个步骤。首先，对摄像头采集到的图像序列进行运动目标检测与跟踪，提取目标轮廓；接着利用R变换表达每一帧中运动轮廓的空间信息；再对空间信息重新排列组合，做为行为分析的特征向量，利用主成分分析对其进行特征降维；最后利用隐马尔可夫模型表达具有空间信息的轮廓序列在时间上的变换关系，每个行为都有各自的隐马尔可夫模型参数表示。在识别过程中，将新的行为特征序列与存储的参数进行比较，依最大似然原则选择最匹配的行为。

申请号为200910254419.9的中国专利申请《基于模板匹配的运动人体异常行为识别方法》，利用计算机视觉技术分析和理解人的运动，直接基于运动区域的几何计算进行行为识别并进行记录和报警，运用了高斯滤波去噪和邻域去噪相结合实现去噪，提高了智能监控系统的自主分析性能和智能监控能力，对异常行为有较高的识别准确性，能有效去除视觉采集图像的复杂背景和噪声，提高了检测算法的效率和鲁棒性。

申请号为201010137996.2的中国专利申请《一种基于空间转换的人员异常行为识别方法》，通过下述步骤进行异常行为识别：背景建模，用来得到一个稳定的且能自适应环境的背景；前景提取，用来提取前景信息；利用背景建模得到的背景帧做为背景，用当前帧和其做比较，根据阈值的设定，得到相应的前景二值化图像；三维空间标定，用来将二维平面转换为三维高度空间；前景行为识别，用来判别前景信息的行为异常性。

上述各方法的缺点概述如下：

（1）背景分割提取人体轮廓特征的方法易受到光照变化、人体被遮挡等因素的干扰，使得人体的运动姿态分割的不完整，影响识别精度。

（2）基于运动周期分析的异常行为方法的局限性表现为，当有人进行诸如“行走-弯腰-跑步” 等非周期行为时，序列中人体运动行为区域的一维变化曲线并不呈现明显的周期性，此时，该方法会将该行为误判为异常，导致识别率较低。

（3）上述异常行为识别方法仅仅将行为区分为正常和异常，但不能进一步区分是哪种异常行为，诸如，“摔倒”、“打架”、“攀爬”等具体的异常行为种类，识别精确度低。

发明内容

本发明的目的是针对现有技术异常行为识别存在的上述问题而提供一种人体异常行为识别方法，该方法无需进行人体分割和背景建模，通过聚类人体运动剧烈区域的时空特征，实现对运动的建模，进而实现人体异常行为的识别。

为实现上述发明目的，本发明采用下述技术方案予以实现：

一种人体异常行为识别方法，包括利用训练样本集获得分类器和分类模板的训练过程及利用分类器和分类模板识别测试样本的识别过程，所述训练过程包括下述步骤：

a1、获取包含某类型异常行为的一段训练视频流，对该段训练视频流中的每帧图像作灰度变换，获得多帧灰度图像

Figure 2012102543431100002DEST_PATH_IMAGE001

；

a2、根据下式逐帧计算每帧灰度图像中每个像素点的Hessian矩阵：

，

，，

和分别为像素点的设定空间尺度和设定时间尺度；

a3、计算上述Hessian矩阵行列式值的绝对值，作为每个像素点的Hessian矩阵响应

；

a4、将

与设定响应阈值进行比较，大于设定响应阈值的

对应的像素点作为特征点

Figure 2012102543431100002DEST_PATH_IMAGE009

，获得该段训练视频流中的所有特征点；

a5、以每个特征点为中心建立时空长方体，将长方体均分为8个子空间，对每个子空间中的所有像素点计算、

Figure 2012102543431100002DEST_PATH_IMAGE011

、

，并求和，获得3维向量

Figure 2012102543431100002DEST_PATH_IMAGE013

，然后将8个3维向量级联为24维向量，作为该特征点的描述符，所有特征点对应的描述符构成一个训练样本；

a6、重复上述步骤a1至a5，获得某类异常行为中的多个训练样本，构成训练样本集；

a7、对训练样本集中的所有描述符进行聚类，获得M个描述符子集合；

a8、采用高斯混合模型对每个描述符子集合建模构建分类器，共获得M个分类器;

a9、计算每一个描述符子集合所包含的描述符个数与训练样本集中所有描述符总个数的比值，获得M个比值构成的向量，作为该类异常行为的总模板；

a10、重复上述步骤a1至a9，获得其他类型异常行为的M个分类器及总模板；

所述识别过程包括下述步骤：

b1、获取一段待识别的视频流，按照上述步骤a1至a5获得视频流中的特征点及相应的描述符，所有描述符构成测试样本；

b2、利用某一类型异常行为的M个分类器对测试样本中的描述符进行分类，计算每一类中所包含的描述符个数与测试样本中总描述符个数的比值，获得M个比值构成的向量；

b3、计算该向量与该类型异常行为的总模板的相似度；

b4、重复步骤b2和b3，获得视频流的向量与其他类型异常行为的总模板的相似度；

b5、读取多个相似度中的最大值，并与设定相似度阈值进行比较，根据比较结果识别出视频流对应的异常行为。

本发明除了可以采用上述总模板作为识别用模板之外，为解决识别时设定相似度阈值不易统一的问题，还可以采用子模板的识别方法，具体实现方案如下：

c1、获取包含某类型异常行为的一段训练视频流，对该段训练视频流中的每帧图像作灰度变换，获得多帧灰度图像

；

c2、根据下式逐帧计算每帧灰度图像中每个像素点

的Hessian矩阵：

，

，

，

和

分别为像素点的设定空间尺度和设定时间尺度；

c3、计算上述Hessian矩阵行列式值的绝对值，作为每个像素点的Hessian矩阵响应

；

c4、将

与设定响应阈值进行比较，大于设定响应阈值的

对应的像素点作为特征点

，获得该段训练视频流中的所有特征点；

c5、以每个特征点为中心建立时空长方体，将长方体均分为8个子空间，对每个子空间中的所有像素点计算、、

，并求和，获得3维向量

c6、重复上述步骤a1至a5，获得某类异常行为中的多个训练样本，构成训练样本集；

c7、对训练样本集中的所有描述符进行聚类，获得M个描述符子集合；

c8、采用高斯混合模型对每个描述符子集合建模构建分类器，共获得M个分类器;

c9、对训练样本集中的每一个训练样本依次执行下述操作：用M个分类器对训练样本中的描述符进行分类，计算每一类中所包含的描述符个数与该训练样本中所有描述符个数的比值，获得M个比值构成的向量，作为该类异常行为的一个子模板，最后获得与训练样本个数相同的多个子模板；

c10、重复上述步骤c1至c9，获得其他类型异常行为的M个分类器及多个子模板；

所述识别过程包括下述步骤：

d1、获取一段待识别的视频流，按照上述步骤c1至c5获得视频流中的特征点及相应的描述符，所有描述符构成测试样本；

d2、利用某一类型异常行为的M个分类器对测试样本中的描述符进行分类，计算每一类中所包含的描述符个数与测试样本中总描述符个数的比值，获得M个比值构成的向量；

d3、逐一计算该向量与该类型异常行为中每一个子模板的相似度，取其中的最大值作为视频流的向量与该类型异常行为的相似度；

d4、重复上述步骤d2和d3，获得视频流的向量与其他类型异常行为的相似度；

d5、读取测试样本与各类型异常行为的相似度中的最大值，并与设定相似度阈值进行比较，根据比较结果识别出视频流对应的异常行为。

如上所述的两种识别方法，为简化识别过程、提高识别速度，在所述步骤a4或所述步骤c4中，首先将每帧图像划分为若干个子区域，获得子区域中的最大值，并将该最大值对应的像素点作为局部极值点，然后，再将局部极值点的与设定响应阈值进行比较，大于设定响应阈值的

对应的局部极值点作为特征点。

如上所述的识别方法，为保证时空特征点的尺度不变性，所述像素点的设定空间尺度

和设定时间尺度

分别为空间典型尺度和时间典型尺度，并根据下述方法获得：

取视频流中一帧图像行数的第一设定比例及第二设定比例分别为空间尺度的最小值

和最大值

Figure 2012102543431100002DEST_PATH_IMAGE015

，第一设定比例小于第二设定比例，对与

之间的数值以设定采样频率进行离散化，获得空间尺度离散值集合；设定时间尺度的最小值

和最大值

Figure 2012102543431100002DEST_PATH_IMAGE017

，对

与

之间的数值以设定采样频率进行离散化，获得时间尺度离散值集合；从空间尺度离散值集合与时间尺度离散值集合中按照排列组合方式成对选择一个空间尺度和一个时间尺度来计算像素点的Hessian矩阵响应，将Hessian矩阵响应最大值对应的空间尺度和时间尺度分别作为空间典型尺度和时间典型尺度。

如上所述的识别方法，所述第一设定比例小于0.5%，所述第二设定比例为10%，所述

为0.5，所述

为10，以进一步保证典型尺度选择的准确性。

如上所述的识别方法，优选采用基于自相关相似度矩阵的非监督聚类方法对多个训练样本中的所有描述符进行聚类，以降低聚类过程对初始化条件及样本数据的依赖性。

如上所述的识别方法，所述时空长方体的长、宽、高优选分别为6

、6

。

与现有技术相比，本发明的优点和积极效果是：本发明基于聚类人体运动剧烈区域的时空特征实现对运动的建模，并根据训练样本聚类满足特定场景要求的多种异常行为模板，进而利用模板达到对异常行为识别的目的，整个过程无需对背景建模，也无需对运动的人体进行分割，可有效解决外界环境因素的干扰和非周期性行为的影响，而且算法简单，实时性高，可广泛应用于敬老院、偏僻街道、监狱等特定场合的视频安防。

结合附图阅读本发明的具体实施方式后，本发明的其他特点和优点将变得更加清楚。

附图说明

图1是本发明人体异常行为识别方法一个实施例训练过程的流程图；

图2是图1实施例识别过程的流程图；

图3是本发明人体异常行为识别方法另一个实施例训练过程的流程图；

图4是图3实施例识别过程的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明的技术方案作进一步详细的说明。

请参考图1和图2所示的本发明人体异常行为识别方法的一个实施例，其中，图1为该实施例中的训练过程的流程图，图2为识别过程的流程图。

如图1所示的训练过程，是指利用训练样本集获得分类器及分类模板的一个过程，是进行识别之前预先进行的工作。其具体流程如下：

步骤101：流程开始。

步骤102：执行训练过程。

步骤103：获取包含某类型异常行为的一段训练视频流，对视频流中的每帧图像作灰度变换，获得多帧灰度图像。

对于人体异常行为识别来说，主要是指对视频监控设备（如摄像机）所采集的视频流进行分析，识别出是否存在“摔倒”、“打架”、“攀爬”、“摔打东西”等人体异常行为，以便于监控人员及时获得监控场景的异常信息。由于异常行为存在多种类型，需要对每种可能发生的异常行为类型进行训练。为保证训练过程所获得的分类器及分类模板的全面性和有效性，对每类异常行为均需要采集多段训练视频流，每段训练视频流中包含着一个行为，构成一个训练样本。

在获得包含有某类型异常行为的一段训练视频流之后，视频流中会包括有多帧视频图像，先对视频流中的每帧图像作灰度变换，获得多帧灰度图像

。其中，为

灰度图像的灰度值矩阵，、

为某一帧图像中的两维坐标值，表示视频流中的第

帧。图像的灰度变换为图像处理领域中的公知技术，在此不作具体描述。

步骤104：逐帧计算每帧灰度图像中每个像素点的Hessian矩阵。

获取图像中时空特征点的一个关键问题是使用有效的响应函数，该实施例采用了Hessian矩阵。由于异常行为对应的时空特征点是时间上和空间上发生剧烈变化的点，而Hessian矩阵表征的是局部曲率，因此，利用曲率突变来捕捉这种时空上的剧烈变化准确性较高。

具体来说，采用下述公式计算每帧灰度图像中每个像素点像素点

的Hessian矩阵：

，

，

，

其中，矩阵中的元素为二阶偏导数，例如，表示对

求

和

的偏导数，也即求的二阶偏导数，表示对

求

和

的偏导数，其余偏导数与之类似。

在上式中，

和

分别为像素点的设定空间尺度和设定时间尺度，可以根据实际需要或经验给出相应的设定值。或者，为保证时空特征点的尺度不变性，像素点的设定空间尺度和设定时间尺度

优选分别为空间典型尺度和时间典型尺度，其获得方法请参考下述的描述。

步骤105：计算步骤104中的Hessian矩阵行列式值的绝对值，将该值作为每个像素点的Hessian矩阵响应

，也即。

步骤106：将每个

分别与设定响应阈值进行比较，将大于设定响应阈值的矩阵响应对应的像素点作为特征点，获得该段训练视频流中的所有特征点，所有的特征点构成特征点集合。设定响应阈值可以根据识别精度要求、视频监控设备分辨率等因素确定，例如，选择为20。

步骤107：构建特征点的描述符，所有特征点的描述符构成一个训练样本。

为进一步提取出训练样本的特征，将采用描述符的形式对特征点作进一步处理，以获得与位置相关的运动特征，更能准确表示异常行为的特征。具体构建过程如下：

以每个特征点为中心建立时空长方体，将长方体均分为8个子空间，对每个子空间中的所有像素点计算

、

、

，并求和，获得3维向量

，然后将8个3维向量级联为24维向量，将这24维向量作为该特征点的描述符。其中，时空长方体的长、宽、高优选为6

、6

、6，这样构成的时空长方体既充分反映了特征点的位置，又不会造成复杂的计算量。

步骤108：判断该类型异常行为的训练样本是否获取完毕。若获取完毕，执行步骤109；若还未获取完毕，则转至步骤103，继续获取该类型异常行为的其他训练样本，直至获取到所有的训练样本。

训练样本的数量可以根据识别精度要求及计算速度合理设定。

步骤109：在获取完某类异常行为的所有训练样本之后，将多个训练样本构成该类型异常行为的训练样本集。

步骤110：对训练样本集中的所有描述符进行聚类，获得M个描述符子集合。

现有技术中存在有多种聚类方法，这些聚类方法均可以应用在该实施例中，对所有描述符进行聚类。而为降低聚类过程对初始化条件及样本数据的依赖性，优选采用基于自相关相似度矩阵的非监督聚类方法对多个训练样本中的所有描述符进行聚类。具体聚类过程如下：

首先，根据下述计算所有描述符的自相关相似度矩阵：

式中，和

分别代表两个24维的描述符，

为自相关系数，

Figure 2012102543431100002DEST_PATH_IMAGE033

为描述符的个数。

然后，以自相关相似度矩阵为

输入数据，设定聚类数量为M，采用非监督的聚类方法对所有描述符进行聚类，共获得M个描述符子集合。非监督聚类方法是本领域的公知技术，在此不再详细描述。其中，聚类数量M根据实际应用场景进行合理设定。

步骤111：采用高斯混合模型对每个描述符子集合建模来构建分类器，这样共可获得M个分类器。利用高斯混合模型构建分类器的方法和过程也是本领域的公知技术，在此不再详细描述。

步骤112：构建该类型异常行为的总模板。

计算上述每一个描述符子集合所包含的描述符个数与训练样本集中所有描述符总个数的比值，获得M个比值构成的向量，将该向量作为该类异常行为的总模板。这里，比值表示了某个描述符子集合的出现概率，因此，将表示概率值的比值构成的向量作为识别的总模板是合理、有效的。

步骤113：判断所有类型异常行为是否训练完毕。若训练完毕，执行步骤114；若未训练完毕，则转至步骤103，对其他类型异常行为执行训练样本集获取、分类器及总模板的构建的过程，直至所有类型异常行为均训练完毕。

步骤114：在所有类型异常行为都训练完毕后，训练过程结束。

在此，还需要对上述流程中的两个问题进行说明：

其一，在上述步骤106中，直接将像素点的Hessian矩阵响应与设定响应阈值进行比较，并将大于设定响应阈值的矩阵响应对应的像素点作为特征点。但并不局限于此。从计算复杂度、训练和识别速度方面考虑，同时结合异常行为的特点，也可以采用下述方法来确定特征点：

首先将每帧图像划分为若干个子区域，例如，对于240*320的图像，划分为多个5*5的子区域；然后，获得子区域中

Figure 2012102543431100002DEST_PATH_IMAGE035

的最大值，将该最大值对应的像素点作为局部极值点；最后，再将局部极值点的

与设定响应阈值进行比较，大于设定响应阈值的

对应的局部极值点作为特征点。

其二，对于计算Hessian矩阵时采用的设定空间尺度

和设定时间尺度

来说，为保证时空特征点的尺度不变性，优选分别为空间典型尺度和时间典型尺度，可以采用下述方法来获得：

首先，取视频流中一帧图像行数的第一设定比例及第二设定比例分别为空间尺度的最小值

和最大值，第一设定比例小于第二设定比例，对

与

之间的数值以设定采样频率进行离散化，例如，以

为采用频率，获得空间尺度离散值集合；

然后，设定时间尺度的最小值

Figure 2012102543431100002DEST_PATH_IMAGE039

和最大值

，对

与之间的数值以设定采样频率进行离散化，例如，也以

为采用频率，获得时间尺度离散值集合；

最后，从空间尺度离散值集合与时间尺度离散值集合中按照排列组合方式成对选择一个空间尺度和一个时间尺度来计算像素点的Hessian矩阵响应，将Hessian矩阵响应最大值对应的空间尺度和时间尺度分别作为空间典型尺度和时间典型尺度。

其中，第一设定比例、第二设定比例及和

，可以根据视频监控设备的分辨率及经验来设定，例如，对于分辨率为240*320的视频图像，第一设定比例小于0.5%，第二设定比例为10%，为0.5，

为10，以进一步保证典型尺度选择的准确性。

在经过上述的训练过程之后，获得了所有不同类型异常行为对应的分类器和总模板，然后，就可以利用这些结果对测试样本进行识别，识别过程请参考图2所示。

如图2所示，对待识别的视频流中的测试样本进行人体异常行为识别的过程如下：

步骤201：流程开始。

步骤202：执行识别过程。

步骤203：获取一段待识别的视频流，计算视频流中的特征点及相应的描述符，所有描述符构成测试样本。

特征点及描述符的计算过程与图1训练过程中的计算过程相同，可参考上述对图1的描述，在此不再赘述。

步骤204：利用某一类型异常行为的M个分类器对测试样本中的描述符进行分类。

步骤205：计算每一类中所包含的描述符个数与测试样本中总描述符个数的比值，获得M个比值构成的向量。

步骤206：计算该向量与该类型异常行为的总模板的相似度。

也即计算两个向量的相似度，可以采用欧式距离计算方法、直方图相加计算方法等来计算两个向量的相似度，这些方法均为现有技术中的常用方法，在此不作具体阐述。

步骤207：判断是否已经获得了待识别的视频流的向量与所有类型异常行为总模板的相似度。若是，执行步骤208；若否，转至步骤204，再利用其他类型异常行为的分类器及总模板进行处理。

步骤208：在获得与所有类型异常行为总模板的相似度之后，读取多个相似度中的最大值，并与设定相似度阈值相比较。

这里，相似度阈值是根据实际识别精度及应用场景等所提供的一个设定值，例如为0.8。

步骤209：判断最大相似度是否大于设定相似度阈值。若是，执行步骤211；若否，执行步骤210。

步骤210：如果最大相似度不大于设定相似度阈值，则判定视频流未出现异常行为。

当然，这里并不能排除识别错误、或未识别的情况，这些都可以当作是识别误差，只要识别误差在允许范围内即可。

步骤211：如果最大相似度大于设定相似度阈值，则判定视频流对应的异常行为是相似度最大值所对应的异常行为。例如，如果待识别的视频流的向量与“摔倒”行为的总模板的相似度最大、且大于设定相似度阈值，则判定该视频流中包含着“摔倒”的异常行为。在识别出异常行为之后，可以通过语音等报警信号进行提示，以便相关人员及时进行处理。

步骤212：识别过程结束。

上述实施例采用总模板进行异常行为的识别，虽然也能够获得较高的识别准确率，但由于异常行为存在较大的个性差异，在识别测试样本时，不便于确定一个统一的设定相似度阈值，会带来识别过程复杂、计算量大、识别速度慢等问题。鉴于该问题，可以考虑用子模板代替总模板作为识别模板的方法进行识别，具体请参考图3和图4所示及下述的描述。

请参考图3和图4所示的本发明人体异常行为识别方法的另一个实施例，其中，图3为该实施例中的训练过程的流程图，图4为识别过程的流程图。

如图3所示的训练过程，是指利用训练样本集获得分类器及分类模板的一个过程，是进行识别之前预先进行的工作。其具体流程如下：

步骤301：流程开始。

步骤302：执行训练过程。

步骤303：获取包含某类型异常行为的一段训练视频流，对视频流中的每帧图像作灰度变换，获得多帧灰度图像。

步骤304：逐帧计算每帧灰度图像中每个像素点的Hessian矩阵。

步骤305：计算步骤304中的Hessian矩阵行列式值的绝对值，将该值作为每个像素点的Hessian矩阵响应

，也即

Figure 2012102543431100002DEST_PATH_IMAGE041

。

步骤306：将每个

分别与设定响应阈值进行比较，将大于设定响应阈值的矩阵响应对应的像素点作为特征点，获得该段训练视频流中的所有特征点，所有的特征点构成特征点集合。

步骤307：构建特征点的描述符，所有特征点的描述符构成一个训练样本。

步骤308：判断该类型异常行为的训练样本是否获取完毕。若获取完毕，执行步骤309；若还未获取完毕，则转至步骤303，继续获取该类型异常行为的其他训练样本，直至获取到所有的训练样本。

步骤309：在获取完某类异常行为的所有训练样本之后，将多个训练样本构成该类型异常行为的训练样本集。

步骤310：对训练样本集中的所有描述符进行聚类，获得M个描述符子集合。

步骤311：采用高斯混合模型对每个描述符子集合建模来构建分类器，这样共可获得M个分类器。

上述各步骤的具体方法及需要注意的问题与图1实施例类似，在此不再复述。

步骤312：构建该类型异常行为的子模板。

用M个分类器分别对训练样本集中的每一个训练样本的描述符集合进行分类，计算分类出的每一类中所包含的描述符个数与该训练样本中所有描述符个数的比值，获得M个比值构成的向量，作为该类异常行为的一个子模板，最后获得与训练样本个数相同的多个子模板。

步骤313：判断所有类型异常行为是否训练完毕。若训练完毕，执行步骤314；若未训练完毕，则转至步骤303，对其他类型异常行为执行训练样本集获取、分类器及子模板的构建过程，直至所有类型异常行为均训练完毕。

步骤314：在所有类型异常行为都训练完毕后，训练过程结束。

在经过上述的训练过程之后，获得了所有不同类型异常行为对应的分类器和多个子模板，然后，就可以利用这些结果对测试样本进行识别，识别过程请参考图4所示。

如图4所示，对待识别的视频流中的测试样本进行人体异常行为识别的过程如下：

步骤401：流程开始。

步骤402：执行识别过程。

步骤403：获取一段待识别的视频流，计算视频流中的特征点及相应的描述符，所有描述符构成测试样本。

特征点及描述符的计算过程与图3训练过程中的计算过程相同，可参考上述对图3的描述，在此不再赘述。

步骤404：利用某一类型异常行为的M个分类器对测试样本中的描述符进行分类。

步骤405：计算每一类中的描述符个数与测试样本中总描述符个数的比值，获得M个比值构成的向量。

步骤406：逐一计算该向量与该类型异常行为中每一个子模板的相似度，并取其中的最大值作为视频流的向量与该类型异常行为的相似度。

同样，该步骤也是计算两个向量的相似度，可以采用欧式距离计算方法、直方图相加计算方法等来计算两个向量的相似度，这些方法均为现有技术中的常用方法，在此不作具体阐述。

步骤407：判断是否已经获得了待识别的视频流的向量与所有类型异常行为的相似度。若是，执行步骤408；若否，转至步骤404，再利用其他类型异常行为的分类器及子模板进行处理。

步骤408：在获得与所有类型异常行为的相似度之后，读取多个相似度中的最大值，并与设定相似度阈值相比较。

步骤409：判断最大相似度是否大于设定相似度阈值。若是，执行步骤411；若否，执行步骤410。

步骤410：如果最大相似度不大于设定相似度阈值，则判定视频流未出现异常行为。

步骤411：如果最大相似度大于设定相似度阈值，则判定视频流对应的异常行为是相似度最大值所对应的异常行为。例如，如果待识别的视频流的向量与“摔倒”行为的总模板的相似度最大、且大于设定相似度阈值，则判定该视频流中包含着“摔倒”的异常行为。在识别出异常行为之后，可以通过语音等报警信号进行提示，以便相关人员及时进行处理。

步骤412：识别过程结束。

上述各步骤中，没有具体描述的过程可以参考上述对图2的描述。

该实施例利用子模板作为进行相似度计算的模板，可以有效避免训练样本的不完整导致的识别误差，还有利于设置一个统一的阈值来进行相似度的比较，识别速度快，识别精度高。

以上实施例仅用以说明本发明的技术方案，而非对其进行限制；尽管参照前述实施例对本发明进行了详细的说明，对于本领域的普通技术人员来说，依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明所要求保护的技术方案的精神和范围。