CN103310233A - 同类行为多视图间相似度挖掘方法及行为识别方法 - Google Patents

Abstract

本发明公开了一种同类行为多视图间相似度挖掘方法及行为识别方法，所述行为识别方法基于所述相似度挖掘方法。所述相似度挖掘方法包括：对同类行为不同视图的视频流逐帧计算每帧灰度图像中每个像素点的Hessian矩阵响应的步骤；根据矩阵响应确定特征点的步骤；构建特征点的时空特征描述符、降维后获得姿态描述向量的步骤；以姿态描述向量为底层特征，计算相似度递归图矩阵的步骤；根据递归图矩阵获得递归性描述符的步骤以及对递归性描述符聚类的步骤。本发明通过时空特征点方法实现姿态建模，并通过递归图挖掘多视图间的递归相似度，避免了依赖于背景分割而容易导致人体姿态失真的问题，提高了相似度挖掘的精度及行为识别的鲁棒性。

Description

同类行为多视图间相似度挖掘方法及行为识别方法

技术领域

本发明属于视图图像处理技术领域，具体地说，是涉及同类行为多视图间相似度挖掘方法及基于该相似度挖掘方法的行为识别方法。

背景技术

视觉识别和理解人类行为仍然是计算机视觉中的一个活跃的研究领域，很好解决这个问题有许多应用潜力，如视频检索、大型视频结构化档案、视频监控、人机交互、手势识别和视频编辑等。近年来，行为理解已有很多不同的方法。由于人体姿态轮廓具有鲜明的语义，可以鲜明地表述行为类别，因此，人体姿态轮廓的时间转化关系常常作为有效的行为描述。在行为识别过程中，同一种行为由于摄像机的方位不同会得到不同的姿态视图。而在实际应用中，常常并不能预先知道摄像相机位置，或者云台上摄像机通常是旋转角度不断变化的，因此，一个可靠和通用的行为识别系统，应该对摄像机参数和不同视图的观察角度具有鲁棒性，也即实现视角无关性的行为识别。

申请号为200910081092.X的中国发明专利，公开了一种基于几何不变量的视角不变的行为识别方法，该方法是在轨迹数据库中选取人体关键运动部位头、手和脚的行为轨迹作为数据对象，运动轨迹由一序列的离散点在时间轴上的位置分布构成。然后，利用具有投影不变性的交比作为不同角度的同类行为的共性构造和计算轨迹点的视角不变量，然后训练支持向量机，进行行为识别。该方法存在着下述缺点：（a）提取关键人体运动部位头、手和脚的行为轨迹，会受到遮挡、光照变化、分割这些部位不准确等因素的干扰，在实际应用中会导致行为方法不具有鲁棒性，错误几率增大；（b）由于实际应用中的干扰，会导致运动部位头、手和脚的“质心”位置错误，导致行为轨迹出现偏差，使得轨迹点的交比计算也会出现较大误差，影响识别精度。

申请号为200810232110.5的中国发明专利，公开了一种视角无关的动作识别方法，该方法按照以下步骤实施：首先同步采集正面、倾斜、侧面３个方向下的人体视频数据，预处理采集到的视频数据得到二值人体轮廓信息，根据３个方向下的二值人体轮廓信息进行人体３维体态的雕刻重建；然后提取人体运动过程的动态部分形成运动动态能量体及３维体态的运动权值模型，采用３维伪Ｚｅｒｎｉｋｅ矩进行比例不变、位移不变、旋转不变的特征描述；最后使用条件随机场为每一个动作建立概率图模型，并进行识别。该识别方法的缺点是：（a）在实际应用中提取二值人体轮廓的方法，会受到遮挡、光照变化等因素的干扰，使得人体轮廓失真；（b）根据正面、倾斜、侧面３个方向下的二值人体轮廓信息进行人体３维体态的雕刻重建时，需要计算三种视图间的对应配点，不仅运算量较大，而且由于对应点特征不突出，易造成匹配错误。

发明内容

本发明的目的之一是提供一种同类行为多视图间相似度挖掘方法，利用时空特征点方法实现姿态建模，并通过递归图挖掘多视图间的递归相似度，避免了依赖于背景分割而容易导致人体姿态失真的问题，提高了相似度挖掘的精度。

为实现上述发明目的，本发明采用下述技术方案予以实现：

一种同类行为多视图间相似度挖掘方法，所述方法包括下述步骤：

a1、获取同类行为不同视角下的多段视频流，每段视频流对应于一个视角下的视图，对每个视图中的每帧图像作灰度变换，获得多帧灰度图像；

a2、逐帧计算每帧灰度图像中每个像素点的Hessian矩阵，对每个Hessian矩阵计算矩阵行列式值的绝对值，作为每个像素点的Hessian矩阵响应；

a3、将Hessian矩阵响应与设定响应阈值进行比较，大于设定响应阈值的Hessian矩阵响应对应的像素点作为特征点，获得每个视图中的所有特征点；

a4、构建每个特征点的时空特征描述符，将每个视图中每帧图像所包含的所有特征点的时空特征描述符进行降维，获得该帧图像的姿态描述向量；

a5、将每个视图内每帧图像的姿态描述向量作为底层特征，根据下式计算相似度递归图矩阵                                               

：

式中，

、

为该同类行为下的第

个和第

个视图，

是第个或第

个视图内第帧图像和第

帧图像的姿态描述向量的自相似度距离、或是第

个视图内第

帧图像和第

个视图内第

帧图像的姿态描述向量的互相似度距离，

，

，

为每个视图中所包含的视频帧数；

a6、以相似度递归图矩阵

中对角线上的每个矩阵元素为圆心，依次划定半径为r的

个半圆形邻域； 

a7、计算每个邻域内所包含的矩阵元素的梯度方向分布向量，作为一个递归性描述符，

个半圆形邻域共获得

个递归性描述符；

a8、按照上述步骤a5至步骤a7依次获得所有相似度递归图矩阵的递归性描述符，所有递归性描述符构成不同视图下该同类行为的相似度特征集； 

a9、对相似度特征集进行聚类，获得M个相似度特征子集合。

如上所述的相似度挖掘方法，为提高挖掘速度，简化计算过程，在所述步骤a7中，在计算每个邻域内所包含的矩阵元素的梯度方向分布向量时，首先将每个半圆形邻域划分为若干个子区域，计算每个子区域内所包含的矩阵元素的梯度方向分布向量，将360°范围内的梯度方向分为若干个方向区域，计算位于每个方向区域内的分布向量的个数与该子区域内所有矩阵元素的比值，将各比值构成一个子向量，各子区域的子向量级联为一个向量，构成该半圆形邻域的递归性描述符，

个半圆形邻域共获得

个递归性描述符。

优选的，在所述步骤a5中，

，所述相似度递归图矩阵

为自相似度递归图矩阵。

优选的，在所述步骤a3中，首先将每帧图像划分为若干个单元区域，获得每个单元区域所含像素点的Hessian矩阵响应的极大值，并将该极大值对应的像素点作为局部极值点，然后，再将局部极值点的Hessian矩阵响应与设定响应阈值进行比较，大于设定响应阈值的Hessian矩阵响应对应的局部极值点作为特征点。

本发明的目的之一是提供一种行为识别方法，该识别方法基于上述所述的相似度挖掘方法来获得角度无关的行为描述符，提高了行为识别的鲁棒性。

为实现上述技术目的，本发明提供的行为识别方法采用下述方案来实现：

一种基于同类行为多视图间相似度挖掘方法的行为识别方法，包括利用训练样本获得分类器和分类模板的训练过程及利用分类器和分类模板识别测试样本的识别过程，所述训练过程包括下述步骤：

b1、获取已知类型的某类行为的多视图对应的训练样本视频流，挖掘该训练样本视频流多视图间的相似度特征集；

b2、对相似度特征集中的所有递归性描述符进行聚类，获得M个相似度特征子集合；

b3、采用高斯混合模型对每个相似度特征子集合建模构建分类器，共获得M个分类器;

b4、计算每一个相似度特征子集合所包含的描述符个数与相似度特征集中所有描述符总个数的比值，获得M个比值构成的向量，作为该类行为的模板；

b5、重复上述步骤b1至b4，获得其他已知类型的行为的M个分类器及模板；

所述识别过程包括下述步骤：

c1、获取一段待识别行为的测试样本视频流，挖掘该测试样本视频流多视图间的相似度特征集；

c2、利用某已知类型的行为的M个分类器对测试样本中的相似度特征集进行分类，计算每一类中所包含的描述符个数与测试样本相似度特征集中描述符总个数的比值，获得M个比值构成的向量；

c3、计算该向量与该已知类型行为的模板的匹配相似度；

c4、重复步骤c2和c3，获得测试样本视频流的向量与其他已知类型行为的模板的匹配相似度；

c5、读取多个匹配相似度中的最大值，并与设定匹配相似度阈值进行比较，根据比较结果识别出识别视频流对应的行为。

与现有技术相比，本发明的优点和积极效果是：本发明采用基于尺度不变性的时空特征点方法实现姿态建模，采用递归图分析方法，通过建立与系统原相空间等价的相空间递归图，并根据递归图对角线方向具有发育较好的混动递归线条纹理的属性挖掘同类行为不同视图间的递归相似性，实现不同视图的相似度挖掘，有效避免了现有技术中依赖于背景分割的相似度挖掘容易导致人体姿态失真的问题，提高了相似度挖掘的精度。而且，将本发明的相似度挖掘方法应用到人体行为识别中，能够实现不同视图下的同类行为的鲁棒性识别，可有效解决外界环境因素的干扰和非周期性行为的影响，且算法简单，实时性高。

结合附图阅读本发明的具体实施方式后，本发明的其他特点和优点将变得更加清楚。

附图说明

图1是本发明同类行为多视图间相似度挖掘方法一个实施例的流程图；

图2是本发明行为识别方法一个实施例训练过程的流程图；

图3是图2实施例的识别过程的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明的技术方案作进一步详细的说明。

首先，简要说明本发明的设计思路和原理：

为挖掘同类行为不同视图间的相似度，首先需要获取视图中有关行为的底层运动特征，进而达到姿态分类的目的。本发明为解决现有底层运动特征获取过程中需要进行背景分割而受光照、遮挡等影响的问题，提出采用基于尺度不变性的时空特征点描述符来表征视图中的姿态描述向量、并作为底层运动特征的技术方案。经过研究和验证，相同姿态的时空特征点具有相似的分布特征，因此，为多视图间相似度挖掘提供了可靠的基础信息。

而在获取底层运动特征后，还需要进一步对底层运动特征作进一步结构化处理，以获得运动特征相关性，使得多视图间的共性特征更加突显化，并以显性特征体现出来。为此，本发明采用非线性动力学系统的递归图分析方法，通过建立与系统原相空间等价的相空间递归图，根据递归图对角线方向具有发育较好的混动递归线条纹理的属性挖掘其递归相似性。

请参考图1，该图1所示为本发明同类行为多视图间相似度挖掘方法一个实施例的流程图。

如图1所示，该实施例挖掘同类行为多视图间相似度的过程如下：

步骤101：流程开始。

步骤102：获取同类行为不同视角下的多段视频流，每段视频流对应于一个视角下的视图，对每个视图中的每帧图像作灰度变换，获得多帧灰度图像。

首先，获取同类行为的多个视图，每个视图对应着一段视频流，视频流中包含有多帧图像。为方便处理，需要将每帧图像作灰度变换，获得相应的灰度图像。图像的灰度变换为图像处理领域中的公知技术，在此不作具体描述。

步骤103：逐帧计算每帧灰度图像中每个像素点的Hessian矩阵及Hessian矩阵响应。

获取图像中时空特征点的一个关键问题是使用有效的响应函数，该实施例采用了Hessian矩阵。由于行为对应的时空特征点是时间上和空间上发生剧烈变化的点，而Hessian矩阵表征的是局部曲率，因此，利用曲率突变来捕捉这种时空上的剧烈变化准确性较高。

具体来说，采用下述公式计算每帧灰度图像中每个像素点

的Hessian矩阵：

，

 ，

，

其中，矩阵中的元素为二阶偏导数，例如，

表示对求

和

的偏导数，也即求

的二阶偏导数，

表示对求

和

的偏导数，其余偏导数与之类似。

在上式中，和

分别为像素点的设定空间尺度和设定时间尺度，可以根据实际需要或经验给出相应的设定值。或者，为保证时空特征点的尺度不变性，像素点的设定空间尺度

和设定时间尺度

优选分别为空间典型尺度和时间典型尺度。

具体来说，空间典型尺度和时间典型尺度可以采用下述方法来获得：

 首先，取视频流中一帧图像行数的第一设定比例及第二设定比例分别为空间尺度的最小值

和最大值

，第一设定比例小于第二设定比例，对

与

之间的数值以设定采样频率进行离散化，例如，以

为采用频率，获得空间尺度离散值集合；

然后，设定时间尺度的最小值

和最大值

，对与

之间的数值以设定采样频率进行离散化，例如，也以

为采用频率，获得时间尺度离散值集合；

最后，从空间尺度离散值集合与时间尺度离散值集合中按照排列组合方式成对选择一个空间尺度和一个时间尺度来计算像素点的Hessian矩阵响应，将Hessian矩阵响应最大值对应的空间尺度和时间尺度分别作为空间典型尺度和时间典型尺度。

其中，第一设定比例、第二设定比例及

和

，可以根据视频监控设备的分辨率及经验来设定，例如，对于分辨率为240*320的视频图像，第一设定比例小于0.5%，第二设定比例为10%，

为0.5，

为10，以进一步保证典型尺度选择的准确性。

获得Hessian矩阵之后，计算Hessian矩阵行列式值的绝对值，将该值作为每个像素点的Hessian矩阵响应

，也即

。

步骤104：将大于设定响应阈值的矩阵响应对应的像素点作为特征点，获得每个视图中的所有特征点。

设定响应阈值可以根据识别精度要求、视频监控设备分辨率等因素确定，例如，选择为20。

步骤105：构建每个特征点的时空特征描述符，将每个视图中每帧图像所包含的所有特征点的时空特征描述符进行降维，获得该帧图像的姿态描述向量。

在获得特征点之后，将采用描述符的形式对特征点作进一步处理，以获得与位置相关的运动特征，更能准确表示行为的特征。具体构建过程如下：

以每个特征点为中心建立时空长方体，将长方体均分为8个子空间，对每个子空间中的所有像素点计算

、

、

，并求和，获得3维向量

，然后将8个3维向量级联为24维向量，将这24维向量作为该特征点的描述符。其中，时空长方体的长、宽、高优选为6

、6

、6

，这样构成的时空长方体既充分反映了特征点的位置，又不会造成复杂的计算量。

然后，对每帧图像所包含的所有特征点的时空特征描述符进行降维，获得精简的低维向量，该向量作为该帧图像的姿态描述向量。

步骤106：将每个视图内每帧图像的姿态描述向量作为底层特征，计算相似度递归图矩阵。

对于包括有

帧图像的各视图，相似度递归图矩阵计算公式为：

式中，

、

为该同类行为下的第

个和第

个视图，

是第

个或第

个视图内第

帧图像和第

帧图像的姿态描述向量的自相似度距离，或是第

个视图内第

帧图像和第

个视图内第

帧图像的姿态描述向量的互相似度距离，

，，

为每个视图中所包含的视频帧数。

也即，在计算时，如果

，也即第

帧图像和第

帧图像来自同一视图，则所计算出的

为自相似度递归图矩阵。如果

，则第

帧图像和第

帧图像来自不同视图，所计算出的

为互相似度递归图矩阵。在该实施例中，为简化计算过程，优选采用自相似度递归图矩阵。

在计算相似度距离时，可以采用相关系数来计算。设第

帧图像的姿态描述向量为

，第帧图像的姿态描述向量为

，两个向量的维数均为30，则相似度距离

采用下式来计算：

。

步骤107：以相似度递归图矩阵中对角线上的每个矩阵元素为圆心，依次划定半径为r的T个半圆形邻域。

其中，半径r实际上是时间尺度窗口参数，一般的，r越大越好，但会带来运算上的繁琐。在该实施例中，r可根据能够完整描述一个行为的视频流中的视频帧数来确定，例如，选择r=80。

步骤108：依次计算每个邻域内所包含的矩阵元素的梯度方向分布向量，一个向量作为一个递归性描述符。

可以直接计算邻域内所包含的矩阵元素的梯度方向分布向量。这样直接计算的过程比较复杂，耗时较长。在该实施例中，优选采用下述方法来计算：

首先，将每个半圆形邻域划分为若干个子区域。

然后，按照下式计算每个子区域内所包含的矩阵元素的梯度方向分布向量：

对于矩阵元素（

，

），其梯度方向分布向量为

，

，梯度方向是

与

轴的夹角。

再然后，将360°范围内的梯度方向分为若干个方向区域；计算位于每个方向区域内的分布向量的个数与该子区域内所有矩阵元素的比值，实现归一化；将各比值构成一个子向量，各子区域的子向量级联为一个向量，构成该半圆形邻域的递归性描述符，

个半圆形邻域共获得

个递归性描述符。

例如，如果将每个半圆形邻域划分为11个子区域，360°范围内的梯度量化为8个方向区域，子向量将为一个8维的向量，11个子区域共产生11个8维的子向量。然后，将11个8维的子向量按照一定顺序进行级联，形成一个88维的向量，该向量作为一个递归性描述符，一个相似度矩阵共有

个半圆形邻域，共获得

个递归性描述符。

步骤109：依次获得所有相似度递归图矩阵的递归性描述符，所有递归性描述符构成不同视图下该同类行为的相似度特征集。

步骤110：对相似度特征集进行聚类，获得M个相似度特征子集合。

这M个相似度特征子集合就表征了该同类行为多视图间的相似度模式，从而实现了对同类行为多视图间的相似度挖掘。

现有技术中存在有多种聚类方法，这些聚类方法均可以应用在该实施例中，对所有描述符进行聚类。而为降低聚类过程对初始化条件及样本数据的依赖性，优选采用基于自相关相似度矩阵的非监督聚类方法对多个训练样本中的所有描述符进行聚类。非监督聚类方法是本领域的公知技术，在此不再详细描述。其中，聚类数量M根据实际应用场景进行合理设定。

步骤111：流程结束。

对于步骤103中计算Hessian矩阵响应的过程，除了采用该实施例中直接将像素点的Hessian矩阵响应与设定响应阈值进行比较、将大于设定响应阈值的矩阵响应对应的像素点作为特征点之外，从计算复杂度、计算速度等方面考虑，同时结合人体行为的特点，也可以采用下述方法来确定特征点：

首先将每帧图像划分为若干个子区域，例如，对于240*320的图像，划分为多个5*5的子区域；然后，获得子区域中

的极大值，将该极大值对应的像素点作为局部极值点；最后，再将局部极值点的

与设定响应阈值进行比较，大于设定响应阈值的

对应的局部极值点作为特征点。

采用上述方法聚类后所获得的M个相似度特征子集合将构成角度无关的行为描述符，可以用来对具有多视图的视频流进行识别，以判断视频流中是否存在某类行为。

图2和图3示出了本发明行为识别方法的一个实施例，其中，图2为该实施例中训练过程的流程图，图3为识别过程的流程图。

如图2所示的训练过程，是指利用训练样本获得分类器及分类模板的一个过程，是进行识别之前预先进行的工作。其具体流程如下：

步骤201：流程开始。

步骤202：执行训练过程。

步骤203：获取已知类型的某类行为的多视图对应的训练样本视频流，挖掘该训练样本视频流多视图间的相似度特征集。

对于人体行为识别来说，主要是指对视频监控设备（如摄像机）所采集的视频流进行分析，识别出是否存在“摔倒”、“打架”、“攀爬”、“摔打东西”等人体行为，以便于监控人员及时获得监控场景的异常信息。由于行为存在多种类型，需要对每种可能发生的行为类型进行训练。一般情况下，视频监控设备采集图像的视角是随机的，而同一行为不同视角下的视频差异较大，增加了行为识别的难度。因此，需要对同类行为多视图下的样本进行不同视图间的相似度挖掘，以期建立角度无关的行为模板。因此，首先按照图1实施例的步骤挖掘出训练样本视频流多视图间的相似度特征集。

步骤204：对相似度特征集中的所有递归性描述符进行聚类，获得M个相似度特征子集合。

步骤205：采用高斯混合模型对每个相似度特征子集合建模构建分类器，共获得M个分类器。

利用高斯混合模型构建分类器的方法和过程是本领域的公知技术，在此不再详细描述。

步骤206：计算每一个相似度特征子集合所包含的描述符个数与相似度特征集中所有描述符总个数的比值，获得M个比值构成的向量，作为该类行为的模板。

这里，比值表示了某个描述符子集合的出现概率，因此，将表示概率值的比值构成的向量作为识别的模板是合理、有效的。

步骤207：判断所有类型行为是否训练完毕。若是，执行步骤208；否则，转至步骤203，继续对其他类型的异常形成进行训练，以获得该类行为的模板。

步骤208：训练过程结束。

在经过上述的训练过程之后，获得了所有不同类型行为对应的分类器和模板，然后，就可以利用这些分类器及模板对测试样本进行识别，识别过程请参考图3所示。

如图3所示，对待识别的测试样本视频流进行行为识别的过程如下：

步骤301：流程开始。

步骤302：执行识别过程。

步骤303：获取一段待识别行为的测试样本视频流，挖掘该测试样本视频流多视图间的相似度特征集。

测试样本视频流相似度特征集的获取过程与图2中训练样本视频流相似度特征集的获取过程类似，可参考图2以及图1的有关描述。

步骤304：利用某已知类型行为的M个分类器对测试样本中的相似度特征集进行分类，计算每一类中所包含的描述符个数与测试样本相似度特征集中描述符总个数的比值，获得M个比值构成的向量。

步骤305：计算该向量与该已知类型行为的模板的匹配相似度。

也即计算两个向量的相似度，可以采用欧式距离计算方法、直方图相加计算方法等来计算两个向量的相似度，这些方法均为现有技术中的常用方法，在此不作具体阐述。

步骤306：判断是否获得与所有已知类型行为模板的匹配相似度。若是，执行步骤307；否则，转至步骤304，再利用其他类型行为的分类器及模板进行处理。

步骤307：在获得与所有类型行为模板的匹配相似度之后，读取多个匹配相似度中的最大值，并与设定匹配相似度阈值相比较。

这里，匹配相似度阈值是根据实际识别精度及应用场景等所提供的一个设定值，例如为0.8。

步骤308：判断最大匹配相似度是否大于设定匹配相似度阈值。若是，执行步骤310；若否，执行步骤309。

步骤309：如果最大匹配相似度不大于设定匹配相似度阈值，则判定视频流未出现已知类型的行为。

当然，这里并不能排除识别错误或未识别的情况，这些都可以当作是识别误差，只要识别误差在允许范围内即可。

步骤310：如果最大匹配相似度大于设定匹配相似度阈值，则判定视频流对应的行为是匹配相似度最大值所对应的行为类型。例如，如果待识别的视频流的向量与“摔倒”行为的模板的匹配相似度最大、且大于设定匹配相似度阈值，则判定该视频流中包含着“摔倒”的行为。在识别出行为之后，可以通过语音等报警信号进行提示，以便相关人员及时进行处理。

步骤311：识别过程结束。

以上实施例仅用以说明本发明的技术方案，而非对其进行限制；尽管参照前述实施例对本发明进行了详细的说明，对于本领域的普通技术人员来说，依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明所要求保护的技术方案的精神和范围。

Claims (5)

1.一种同类行为多视图间相似度挖掘方法，其特征在于，所述方法包括下述步骤：

a1、获取同类行为不同视角下的多段视频流，每段视频流对应于一个视角下的视图，对每个视图中的每帧图像作灰度变换，获得多帧灰度图像；

a2、逐帧计算每帧灰度图像中每个像素点的Hessian矩阵，对每个Hessian矩阵计算矩阵行列式值的绝对值，作为每个像素点的Hessian矩阵响应；

a3、将Hessian矩阵响应与设定响应阈值进行比较，大于设定响应阈值的Hessian矩阵响应对应的像素点作为特征点，获得每个视图中的所有特征点；

a4、构建每个特征点的时空特征描述符，将每个视图中每帧图像所包含的所有特征点的时空特征描述符进行降维，获得该帧图像的姿态描述向量；

a5、将每个视图内每帧图像的姿态描述向量作为底层特征，根据下式计算相似度递归图矩阵                                                

：

式中，、

为该同类行为下的第个和第

个视图，是第

个或第

个视图内第帧图像和第

帧图像的姿态描述向量的自相似度距离、或是第

个视图内第

帧图像和第

个视图内第

帧图像的姿态描述向量的互相似度距离，，

，

为每个视图中所包含的视频帧数；

a6、以相似度递归图矩阵

中对角线上的每个矩阵元素为圆心，依次划定半径为r的

个半圆形邻域； 

a7、计算每个邻域内所包含的矩阵元素的梯度方向分布向量，作为一个递归性描述符，

个半圆形邻域共获得

个递归性描述符；

a8、按照上述步骤a5至步骤a7依次获得所有相似度递归图矩阵的递归性描述符，所有递归性描述符构成不同视图下该同类行为的相似度特征集； 

a9、对相似度特征集进行聚类，获得M个相似度特征子集合。

2.根据权利要求1所述的相似度挖掘方法，其特征在于，在所述步骤a7中，在计算每个邻域内所包含的矩阵元素的梯度方向分布向量时，首先将每个半圆形邻域划分为若干个子区域，计算每个子区域内所包含的矩阵元素的梯度方向分布向量，将360°范围内的梯度方向分为若干个方向区域，计算位于每个方向区域内的分布向量的个数与该子区域内所有矩阵元素的比值，将各比值构成一个子向量，各子区域的子向量级联为一个向量，构成该半圆形邻域的递归性描述符，

个半圆形邻域共获得

个递归性描述符。

3.根据权利要求1所述的相似度挖掘方法，其特征在于，在所述步骤a5中，

，所述相似度递归图矩阵

为自相似度递归图矩阵。

4.根据权利要求1至3中任一项所述的相似度挖掘方法，其特征在于，在所述步骤a3中，首先将每帧图像划分为若干个单元区域，获得每个单元区域所含像素点的Hessian矩阵响应的极大值，并将该极大值对应的像素点作为局部极值点，然后，再将局部极值点的Hessian矩阵响应与设定响应阈值进行比较，大于设定响应阈值的Hessian矩阵响应对应的局部极值点作为特征点。

5.一种基于上述权利要求1至4中任一项所述的相似度挖掘方法的行为识别方法，包括利用训练样本获得分类器和分类模板的训练过程及利用分类器和分类模板识别测试样本的识别过程，其特征在于，所述训练过程包括下述步骤：

b1、获取已知类型的某类行为的多视图对应的训练样本视频流，挖掘该训练样本视频流多视图间的相似度特征集；

b2、对相似度特征集中的所有递归性描述符进行聚类，获得M个相似度特征子集合；

b3、采用高斯混合模型对每个相似度特征子集合建模构建分类器，共获得M个分类器;

b4、计算每一个相似度特征子集合所包含的描述符个数与相似度特征集中所有描述符总个数的比值，获得M个比值构成的向量，作为该类行为的模板；

b5、重复上述步骤b1至b4，获得其他已知类型的行为的M个分类器及模板；

所述识别过程包括下述步骤：

c1、获取一段待识别行为的测试样本视频流，挖掘该测试样本视频流多视图间的相似度特征集；

c2、利用某已知类型行为的M个分类器对测试样本中的相似度特征集进行分类，计算每一类中所包含的描述符个数与测试样本相似度特征集中描述符总个数的比值，获得M个比值构成的向量；

c3、计算该向量与该已知类型行为的模板的匹配相似度；

c4、重复步骤c2和c3，获得测试样本视频流的向量与其他已知类型行为的模板的匹配相似度；

c5、读取多个匹配相似度中的最大值，并与设定匹配相似度阈值进行比较，根据比较结果识别出测试样本视频流对应的行为。

Images