CN103577804B - 基于sift流和隐条件随机场的人群异常行为识别方法 - Google Patents

Abstract

本发明公开了一种基于SIFT流和隐条件随机场的人群异常行为识别方法，包括了建立相邻帧的SIFT流场，获取行为视频序列的每一帧像素点的运动矢量信息，训练隐条件随机场模型（HCRF）参数，建立隐条件随机场模型，进而识别视频序列中的人群群体异常行为。本发明的目的在于解决传统的基于条件随机场的异常行为识别方法中对人群运动信息特征提取不够准确以及模型识别能力不够丰富的缺点，大大提高了异常行为识别的准确度，可用于公共场所人群群体异常行为的识别。

Description

基于SIFT流和隐条件随机场的人群异常行为识别方法

技术领域

本发明属于图像处理领域，具体是一种基于SIFT流和隐条件随机场的异常行为识别方法，是目前计算机视觉领域中结合SIFT流场和隐条件随机场参数训练并对异常行为进行识别的方法。

背景技术

近些年来，人群行为识别作为计算机视觉的重要课题之一，已经在智能视频监控中应用和普及于公共安全、金融安全、运输、和其他领域中。现有的人群行为识别方法可以分为基于统计的方法和基于描述方法。SIFT流是最近兴起的计算机视觉领域的特征提取方法，对于几何变换、光照变换具有不变性，对于噪声、遮挡、以及背景干扰均具有良好的鲁棒性，并且特征间具有很高的区分度。但是现有技术中缺少基于SIFT流的人群异常行为识别方法。

发明内容

为了解决现有技术中存在的上述技术问题，本发明提出一种基于SIFT流和隐条件随机场的人群异常行为识别方法，包括如下步骤：

步骤（1）输入包含正常行为的训练视频和包含打架、斗殴、恐慌的人群行为的测试视频，提取视频序列中每一帧图像每一个像素点的SIFT 描述子，优化SIFT流场；

步骤（2）匹配相邻帧图像像素点，通过SIFT流获取运动矢量信息，统计归类每帧图像的像素点的运动矢量信息，生成加权方向直方图；

步骤（3）将训练视频每一帧的加权方向直方图集合作为输入隐条件随机场模型的一个观察值序列，用于训练隐条件随机场模型的参数；

步骤（4）输入测试视频的加权方向直方图集合，用训练得到的隐条件随机场模型识别，输出该段序列属于正常行为的概率，作为最终的识别结果。

进一步的，步骤（1）通过如下方式实现：计算此帧图像中每一个像素点的SIFT 局部特征描述子，建立SIFT金字塔{S(k)}，对图像进行自顶而下进行匹配。

进一步的，步骤（2）通过如下方式实现：根据相邻帧的像素点SIFT描述子的匹配，生成像素点运动流场，将每帧所有像素点运动矢量信息归类为12个方向，得到每帧图像的加权方向直方图。

进一步的，SIFT描述子采用如下方式计算：

计算每个像素点梯度值及梯度方向：

， 。

进一步的，对于任意点像素，取其周围n×n 像素为局部区域。对局部区域内每一点，计算其梯度值m(x, y)和梯度方向θ (x, y)后，将n×n的局部区域均分成m×m 个区块，每个区块内部分别计算加权梯度直方图，其中方向角量化为k个区间，权值由Gauss 函数给出。

进一步的，生成运动流场W=(u,v)时有如下限制：

相邻两帧的像素点p 按照SIFT 描述子s1(p)，s2(p)的相似程度进行匹配；

考虑实际情况，流速u2(p)+v2(p)应加以限制，不能过大；

考虑运动的连续性，必须优先匹配像素点的邻近区域N：

此方程通过双平面上的序列置信度传递方法（BP-S）求解。

进一步的，对SIFT流场采用如下方式优化：

建立SIFT 金字塔{S (k) }，其中：S (1) =S，对S (k)进行平滑和下采样得到S (k+1)；在层k，令Pk 表示要匹配的像素的坐标，Ck 为搜索窗口的中心， W (Pk)为最佳匹配；在图像金字塔最顶层S (3)，搜索窗口中心在P3，其大小为m×m（m 为图像S (3)的宽）；对下一层的搜索时，只需要对这一层的最优流向量W (Pk)所对应的部分进行搜索即可：即：对图像进行自顶而下进行匹配，即对于同一尺度的，按照计算像素点的流场，则在尺度搜索时，只需计算S (k)尺度匹配点p 的领域W (P\)即可。

进一步的，分析整段视频序列时，设置滑动窗口的大小为10，即选取10帧的加权方向直方图作为一个观察值，滑动窗口一帧一帧移动，形成观察值序列输入到隐条件随机场中用于训练模型参数；

其中，假设每个观察值X对应一个潜在的变量S，一组观察序列对应的变量集合为，隐条件随机场模型通过输入一段行为的观察值序列给出该行为属于正常行为的概率，公式如下：

势函数由θ参数化获得。

本发明的基于SIFT流和隐条件随机场的人群异常行为识别方法，分别输入正常行为和包含恐慌、打架、斗殴的异常行为的视频序列，通过SIFT流场获取像素点运动矢量信息，统计归类加权方向直方图作为观察值序列输入到隐条件随机场中训练模型参数，然后输入测试视频观察值序列到训练得到的模型中来识别人群异常行为。

附图说明

图1是本发明的模型参数训练和识别的流程图；

图2是像素点SIFT描述子的结果图；

图3是SIFT流场优化过程图；

图4是隐条件随机场模型示意图。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1所示，本发明提供的基于SIFT流和隐条件随机场的人群异常行为识别方法包括以下具体步骤：

步骤1、输入包含正常行为的训练视频和包含打架、斗殴、恐慌的人群行为的测试视频，提取视频序列中每一帧图像每一个像素点的SIFT 描述子，优化SIFT流场，实现方式是计算此帧图像中每一个像素点的SIFT 局部特征描述子，建立SIFT金字塔{S(k)}，对图像进行自顶而下进行匹配。

步骤2、匹配相邻帧图像像素点，通过SIFT流获取运动矢量信息，统计归类每帧图像的像素点的运动矢量信息，生成加权方向直方图，实现方式是根据相邻帧的像素点SIFT描述子的匹配，生成像素点运动流场，将每帧所有像素点运动矢量信息归类为12个方向，得到每帧图像的加权方向直方图。

步骤3、将训练视频每一帧的加权方向直方图集合作为输入隐条件随机场模型的一个观察值序列，用于训练隐条件随机场模型的参数。

步骤4、输入测试视频的加权方向直方图集合，用训练得到的隐条件随机场模型识别，输出该段序列属于正常行为的概率，作为最终的识别结果。

其中，无论是用于训练的视频序列还是用于测试的视频序列，都先需要建立该段视频序列的SIFT流场，获取像素点的运动矢量信息W=(u,v)，然后将视频序列中每帧图像的的运动矢量信息归类为12个方向，生成加权方向直方图，作为输入隐条件随机场的观察值序列。其步骤如下：

（1）提取视频序列每帧图像上像素点的SIFT描述子：

计算每个像素点梯度值及梯度方向：

，

（2）建立像素区域直方图：

对于任意点像素，取其周围n×n 像素为局部区域。对局部区域内每一点，计算其梯度值m(x, y)和梯度方向θ (x, y)后，将n×n的局部区域均分成m×m 个区块，每个区块内部分别计算加权梯度直方图，其中方向角量化为k 个区间，权值由Gauss 函数给出（σ =1.5）。SIFT 局部特征描述子的生成原理如图2所示。

（3）建立SIFT流场获取运动矢量信息：

提取每一像素点SIFT 描述子后，我们需要通过匹配相邻两帧的同一像素点，从而生成运动流场W=(u,v)。考虑三个因素：

相邻两帧的像素点p 按照SIFT 描述子s1(p)，s2(p)的相似程度进行匹配。

考虑实际情况，流速u2(p)+v2(p)应加以限制，不能过大。

考虑运动的连续性，必须优先匹配像素点的邻近区域N。

此方程通过双平面上的序列置信度传递方法（BP-S）求解。

（4）SIFT流场的优化：

建立SIFT 金字塔{S (k) }，其中：S (1) =S，对S (k)进行平滑和下采样得到S (k+1)。在层k，令Pk 表示要匹配的像素的坐标，Ck 为搜索窗口的中心， W (Pk)为最佳匹配。在图像金字塔最顶层S (3)，搜索窗口中心在P3，其大小为m×m（m 为图像S (3)的宽）。对下一层的搜索时，只需要对这一层的最优流向量W (Pk)所对应的部分进行搜索即可。即：对图像进行自顶而下进行匹配，即对于同一尺度的，按照计算像素点的流场，则在尺度搜索时，只需计算S (k)尺度匹配点p 的领域W (P\)即可，这样可以大大加速计算。金字塔的生成原理如图3所示。

其中，获取了像素点的运动矢量信息之后，我们将一帧图像中像素点的运动矢量信息统计生成加权方向直方图；

将每一帧的所有像素点的运动矢量通过以下公式统计为12个方向：

我们通过一个直观的加权方向直方图来表示一帧图像的运动矢量向量场，将一段视频序列的加权方向直方图集合作为输入隐条件随机场的观察值序列。

其中，为了能够分析整段视频序列，我们设置滑动窗口的大小为10，即选取10帧的加权方向直方图作为一个观察值，滑动窗口一帧一帧移动，形成观察值序列输入到隐条件随机场中用于训练模型参数。

其中，我们假设每个观察值X对应一个潜在的变量S，一组观察序列对应的变量集合为，隐条件随机场模型通过输入一段行为的观察值序列给出该行为属于正常行为的概率，如图4所示，公式如下：

势函数由θ参数化获得。

我们输入一段视频序列的观察值，得出一个关于正常序列的概率，即可判断是否为异常行为。

Claims (9)

1.一种基于SIFT流和隐条件随机场的人群异常行为识别方法，包括如下步骤：

步骤（1）输入包含正常行为的训练视频和包含打架、斗殴、恐慌的人群行为的测试视频，提取视频序列中每一帧图像每一个像素点的SIFT 描述子，优化SIFT流场；

步骤（2）匹配相邻帧图像像素点，通过SIFT流获取运动矢量信息，统计归类每帧图像的像素点的运动矢量信息，生成加权方向直方图；

步骤（3）将训练视频每一帧的加权方向直方图集合作为输入隐条件随机场模型的一个观察值序列，用于训练隐条件随机场模型的参数；

步骤（4）输入测试视频的加权方向直方图集合，用训练得到的隐条件随机场模型识别，输出该视频序列属于正常行为的概率，作为最终的识别结果。

2.如权利要求1所述的基于SIFT流和隐条件随机场的人群异常行为识别方法，其特征在于：步骤（1）通过如下方式实现：计算此帧图像中每一个像素点的SIFT 局部特征描述子，建立SIFT金字塔{S(k)}，对图像进行自顶而下进行匹配。

3.如权利要求2所述的基于SIFT流和隐条件随机场的人群异常行为识别方法，其特征在于：步骤（2）通过如下方式实现：根据相邻帧的像素点SIFT描述子的匹配，生成像素点运动流场，将每帧所有像素点运动矢量信息归类为12个方向，得到每帧图像的加权方向直方图。

4.如权利要求3所述的基于SIFT流和隐条件随机场的人群异常行为识别方法，其特征在于：SIFT局部特征描述子采用如下方式计算：

计算每个像素点梯度值及梯度方向：

， 。

5.如权利要求4所述的基于SIFT流和隐条件随机场的人群异常行为识别方法，其特征在于：对于任意点像素，取其周围n×n 像素为局部区域。

6.如权利要求4所述的基于SIFT流和隐条件随机场的人群异常行为识别方法，其特征在于：对局部区域内每一点，计算其梯度值m(x, y)和梯度方向θ (x, y)后，将n×n的局部区域均分成m×m 个区块，每个区块内部分别计算加权梯度直方图，其中方向角量化为k个区间，权值由Gauss 函数给出。

7.如权利要求3所述的基于SIFT流和隐条件随机场的人群异常行为识别方法，其特征在于：生成像素点运动流场W=(u,v)时有如下限制：

相邻两帧的像素点p 按照SIFT 局部特征描述子s1(p)，s2(p)的相似程度进行匹配；

考虑实际情况，流速u2(p)+v2(p)应加以限制；

考虑运动的连续性，必须优先匹配像素点的邻近区域N：

此方程通过双平面上的序列置信度传递方法（BP-S）求解。

8.如权利要求1所述的基于SIFT流和隐条件随机场的人群异常行为识别方法，其特征在于：对SIFT流场采用如下方式优化：

建立SIFT 金字塔{S (k) }，其中：S (1) =S，对S (k)进行平滑和下采样得到S (k+1)；在层k，令Pk 表示要匹配的像素的坐标，Ck 为搜索窗口的中心， W (Pk)为最佳匹配；在图像金字塔最顶层S (3)，搜索窗口中心在P3，其大小为m×m（m 为图像S (3)的宽）；对下一层的搜索时，只需要对这一层的最优流向量W (Pk)所对应的部分进行搜索即可：即：对图像进行自顶而下进行匹配，即对于同一尺度的，按照计算像素点的流场，则在尺度搜索时，只需计算S (k)尺度匹配点p 的领域W (P\)即可。

9.如权利要求3所述的基于SIFT流和隐条件随机场的人群异常行为识别方法，其特征在于：分析整段视频序列时，设置滑动窗口的大小为10，即选取10帧的加权方向直方图作为一个观察值，滑动窗口一帧一帧移动，形成观察值序列输入到隐条件随机场中用于训练模型参数；

其中，假设每个观察值X对应一个潜在的变量S，一组观察序列对应的变量集合为，隐条件随机场模型通过输入一段行为的观察值序列给出该行为属于正常行为的概率，公式如下：

势函数由θ参数化获得。