CN105574489A - 基于层次级联的暴力群体行为检测方法 - Google Patents

Abstract

本发明提供了一种基于层次级联的暴力群体行为检测方法，其特征在于，包括：对原始监控视频进行预处理；对于预处理后的监控视频进行分块，对每一视频块提取时空不变性特征；选择特征量化的训练样本，训练获得视频字典；利用训练得到的视频字典，对待检测样本特征进行量化；选择量化后的特征作为支持向量机SVM分类器的训练样本，训练SVM分类器；利用训练完成的SVM分类器对待检测样本进行分类，判断待检测视频中是否包含暴力群体行为。本发明中的方法与其他同类方法相比，速度更快，准确率更高，特征更加具有区分性，此外在暴力群体行为的检测中能够区分大部分暴力行为和正常行为，有效提升了计算机辅助检测分析的能力。

Description

基于层次级联的暴力群体行为检测方法

技术领域

本发明涉及群体行为识别领域，具体地，涉及利用分层特征和字典学习的一种基于层次级联的暴力群体行为检测方法。

背景技术

近年来，国内外公共区域频发各类安全事件，在这些安全事件中踩踏、斗殴等暴力行为频频发生，给社会安全带来了极其严重的影响。在大型公共场所，诸如歌剧院、体育馆、火车站、地铁站等地的安全保障极为重要，为了保障这些地方的安全，视频监控摄像头被大量运用在日常安保上。但是，视频监控摄像头的作用效果十分有限，在大部分情况下这些摄像头并没能得到充分利用，其主要原因在于缺少一种合理的自动化视频分析手段，暴力群体事件属于小概率事件，传统依靠人工监视的分析方式，投入和回报往往很难成正比。

利用计算机视觉技术进行群体行为分析能够帮助视频监控分析人员更有效地利用监控视频录像，提升整体的分析效率，起到辅助分析和及时预警群体暴力事件的作用，具有较高的研究价值。然而由于监控视频内容复杂，想要做到实时或准实时分析监控视频内容依然十分困难。

经过对现有技术的检索，如2014年2月5日公开的，专利公开号为：CN103559510A，名称为“一种利用相关主题模型识别社会群体行为的方法”中提到利用相关主题模型对视频数据集中的视频进行建模，并基于相关主题模型和视频训练集得到优化目标函数，在使得优化目标函数最大的情况下计算相关主题模型中的各个参数，训练得到包括分类器的相关主题模型；通过该主题模型来实现群体行为的分类。该发明针对的主要场景为日常生活场景，包括的群体行为限定在结婚舞会，生日聚会以及毕业典礼等，对暴力群体行为并不能获得有意义的结果。此外，2013年8月21日，专利公开号：CN103258193A，名称为“一种基于KOD(KineticOrientationDistance,即运动方向距离)能量特征的群体异常行为识别方法”中首先对运动目标进行检测，获得运动目标区域；然后提取群体行为KOD能量特征，并进行归一化；最后通过训练隐马尔可夫模型实现群体异常行为识别。该项发明使用的特征表示方法单一，在异常请群体行为和正常行为速度变化差异不大的情况下，很难识别出这些行为，并且该发明的关注点更偏重于人群的逃离，不包含暴力群体行为的研究。

目前，很多研究者投入了大量时间和精力对个体行为的识别和暴力检测问题进行了研究，并得到了许多经典的算法。但是，群体行为的识别与检测更加复杂，其主要有以下三个原因：

1)传统的基于人体关键点的轨迹跟踪算法在人群密度较高时，不能有效地获得每个个体的关键点。同时，对高密度人群进行跟踪本身在计算机视觉领域就是一个极其困难的问题。

2)传统的动作特征描述子不能有效表征人群运动的特征。群体行为不仅包含了整个人群的运动，还包括其中的个体与个体之间的交互。

3)现有特征描述子无法做到实时或准实时要求，一些经典特征如MoSIFT(MotionScaleInvariantFeatureTransform)时空特征，虽然得到了较好的检测结果，但是其提取速度十分缓慢，无法投入到实际生产环境中。从上述分析可以看出，目前缺少一种能够高效，且能实时或准实时对暴力群体行为进行检测的算法。

面对这一难题，本发明提出了一套基于深度学习思想的暴力群体行为检测算法，将深度学习中常见的卷积(convolution)，级联(stack)思想运用到群体行为特征的提取和量化上，从而使得到的特征能够更好的表征人群复杂的变化行为。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于层次级联的暴力群体行为检测方法。

根据本发明提供的基于层次级联的暴力群体行为检测方法，包括如下步骤：

步骤1：选择用于训练支持向量机SVM分类器的训练样本，并对该训练样本进行标签的标记，其中，所述标签用于指示训练样本属于暴力视频或非暴力视频；暴力视频是指存在暴力群体行为的视频；

步骤2：通过对带有标签的所述训练样本依次执行步骤A、步骤B、步骤C、步骤D，得到与标签相对应的训练样本的量化级联卷积ISA(IndependentSubspaceAnalysis,即独立子空间分析)特征；利用所述训练样本带有标签的量化后级联卷积ISA特征对支持向量机SVM分类器进行训练；

步骤3：利用核函数将训练样本的量化级联卷积ISA映射到特征空间，在核函数映射的特征空间中得到训练完成的支持向量机SVM分类器的最优分类超平面；

步骤4：对待测样本依次执行步骤A、步骤B、步骤C、步骤D，得到待测样本的量化级联卷积ISA特征，通过判断待测样本的量化卷积级联ISA特征在所述特征空间中位于训练完成的SVM分类器最优分类超平面的哪一侧来区分所述待测样本的类别，判断出待测样本对应的整个视频是否出现存在暴力群体行为；

其中：

步骤A：对输入视频进行预处理；

步骤B：将经过预处理的输入视频进行分块，提取输入视频每一分块对应的级联卷积ISA特征，得到输入视频每一分块的运动特征；

步骤C：利用所述级联卷积ISA特征对输入视频进行字典学习，获得该输入视频的GMM模型；

步骤D：利用GMM模型对输入视频的级联卷积ISA特征进行量化。

优选地，所述步骤A包括：逐帧处理输入视频，将每一帧视频转化成320×240分辨率的灰度图像；并将所有图像数据存储于Matlab的对象中。

优选地，所述步骤B包括：

步骤B1：将经过预处理的输入视频分割成16像素×16像素×10帧的视频块，其中每一个视频块在空间域的步长为4像素，在时间域的步长为4帧；

步骤B2：ISA特征提取算法使用一个两层的ISA网络结构来提取目标特征，对于每一个视频块执行第一层ISA特征提取算法，对视频执行该算法，该算法包括步骤A～D，得到第一层ISA运动特征；

步骤B3：对第一层ISA运动特征进行级联降维；

步骤B4：将降维后的第一层ISA运动特征作为输入，执行第二层ISA特征提取，得到第二层ISA运动特征；

步骤B5：对第二层ISA运动特征进行级联降维，使用PCA(PrincipalComponentAnalysis，即主成分分析法)得到最终运动特征。

优选地，所述步骤C包括：

步骤C1：利用级联卷积ISA特征对每一个视频块进行第一层Fisher向量编码的字典学习，获得第一层GMM模型，GMM模型个数为256；具体地，可以采用VLFeat库中的vl_gmm方法获得第一层GMM模型；

步骤C2：对输入视频的级联卷积ISA特征进行第一层Fisher编码，获得第一层编码量化后的级联卷积ISA特征；具体地，使用VLFeat库中的vl_fisher函数可以获得第一层编码量化后的级联卷积ISA特征；

步骤C3：使用组分Max-pooling方法对第一层编码量化后的级联卷积ISA特征进行聚合；

步骤C4：使用成分分析法PCA对量化后的级联卷积ISA特征进行降维运算，获得将维后的级联卷积ISA特征，进行第二层Fisher编码的字典学习，使用VLFeat库中的vl_gmm方法获得第二层GMM模型，GMM模型个数为256。

优选地，所述步骤D包括：

步骤D1：利用第一层GMM模型对训练样本的级联卷积ISA特征进行量化编码；

步骤D2：使用组分Max-pooling方法，对级联卷积ISA特征编码量化后的特征进行聚合；

步骤D3：使用PCA方法将聚合后的级联卷积ISA特征进行降维，降维后的维数为400维，作为第二层GMM模型视频字典编码量化的输入；

步骤D4：使用第二层视频字典，对步骤D3得到的第一层降维后的级联卷积ISA特征进行第二层量化编码；

步骤D5：对于每一个视频块进行块级Max-pooling处理，使得每一个视频块获得一个聚合特征；

步骤D6：对于每一个输入视频，将所有的块级特征级联，使用PCA方法对级联后特征进行降维，降维后的维数为500维。

优选地，所述步骤1包括：

选择用于训练支持向量机SVM分类器的训练样本，对所有训练样本进行分类标签的标记，即将含有群体暴力行为的训练样本作为负样本，标记类标签为-1；将未含有群体暴力行为的训练样本作为正样本，标记类标签为+1。

优选地，所述步骤3包括：

在libsvm中选择χ²核进行SVM模型训练

其中χ²核函数的定义为

$k(x,y)=1-\underset{i=1}{\overset{n}{\Σ}}\frac{{(x_i-y_i)}^2}{\frac{1}{2}(x_i+y_i)}$

式中：χ²核函数表示为k(x,y)，x和y表示两个量化级联卷积特征，n表示量化级联卷积特征的维数，x_i,y_i分别表示量化级联卷积特征向量x的第i维元素、量化级联卷积特征向量y的第i维元素。

与现有技术相比，本发明具有如下的有益效果：

1、本发明提出了基于max-pooling局部特征聚合的级联Fisher编码的方法，比传统的词袋模型分类效果更好，并且分类速度快。

2、本发明提出了一种基于深度学习思想的暴力群体行为检测算法，能够做到准实时分析监控视频。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明提供的基于层次级联的暴力群体行为检测方法的算法流程图；

图2为本发明提供的基于层次级联的暴力群体行为检测方法的组分max-pooling局部特征聚合的级联Fisher编码的方法流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明提供的基于层次级联的暴力群体行为检测方法，在表征群体行为的运动模式时，使用级联卷积ISA为基础计算运动特征，以此分辨群体行为暴力与否。在得到运动特征后，使用级联Fisher编码完成对运动特征向量的量化，使量化后的特征在暴力行为的区分性上更佳显著。本发明的方法主要分为预先的训练阶段和实时的测试阶段。对于监控视频文件，将输入视频按固定步长进行分块，对所有视频块执行级联卷积ISA得到整个视频的全局运动特征，用来描述和反应视频中的运动行为。

训练过程分为两个阶段，在阶段一，计算用于训练的正负样本特征，分别训练两层GMM模型(GaussianMixtureModel，高斯混合模型)作为视频字典；在第二阶段，使用训练阶段一获得的视频字典对正负样本特征进行量化，并标记各样本对应的类别标签，选定核函数，对SVM分类器进行训练。在测试阶段，对待检测样本进行特征提取，利用训练完成的视频字典对特征进行量化，然后再利用训练完成的SVM分类模型判断该样本属于正类还是负类，当检测结果为负类，进行告警。

具体地，逐帧处理输入视频，将每一帧视频转化成320x240分辨率的灰度图像，并将所有数据存储于Matlab的对象中。对于视频级联卷积ISA特征的提取，首先将视频分割成16×16×10的视频块，在每一个维度的步长均为4像素。对于输入的小视频块，执行第一层ISA特征提取算法，得到第一层ISA运动特征。对第一层ISA运动特征进行级联降维，降维算法使用PCA。将降维后的特征作为输入，执行第二层ISA特征提取算法，得到第二层ISA运动特征。对第二层ISA运动特征进行级联降维，使用PCA得到最终运动特征。

训练过程分为两个阶段，阶段一对基于级联Fisher编码的视频字典进行训练，阶段二对暴力群体行为分类的SVM模型进行训练。

具体地，提取得到训练监控视频的级联卷积ISA特征，记从视频片段中提取获得的级联卷积ISA特征集合为X，具体如下：

X＝{x_t,t＝1…T}，

选择 $u_{\mathrm{\λ}}\left(x\right)=\underset{i=1}{\overset{256}{\Σ}}{\mathrm{\ω}}_i{u}_i\left(x\right),$

其中λ＝{ω_i,μ_i,Σ_i,i＝1…256}

式中：x_t表示集合X中第t个级联卷积ISA特征，T表示集合X中级联卷积ISA特征个数，u_λ(x)表示256个高斯混合模型，λ表示i个高斯混合模型的参数集合，ω_i表示第i个高斯混合模型的权重，u_i(x)表示第i个高斯混合模型的均值向量，第i个高斯混合模型的协方差矩阵。

对于每个级联卷积ISA特征x_t，估计特征由每个高斯函数生成的概率，令γ_t(i)为特征x_t是由第i个高斯分布生成的概率，则有

${\mathrm{\γ}}_t\left(i\right)=\frac{{\mathrm{\ω}}_i{u}_i\left(x_t\right)}{{\Σ}_{j=1}^K{\mathrm{\ω}}_j{u}_j\left(x_t\right)};$

其中 ${\mathrm{\μ}}_i=\frac{1}{N_i}{\Σ}_{t=1}^T{\mathrm{\γ}}_t\left(i\right)x_t;$

${\Σ}_i=\frac{1}{N_i}\underset{t=1}{\overset{T}{\Σ}}{\mathrm{\γ}}_t\left(i\right)(x_t-{\mathrm{\μ}}_i){(x_t-{\mathrm{\μ}}_i)}^{transposition};$

其中 $N_i=\underset{t=1}{\overset{T}{\Σ}}{\mathrm{\γ}}_t\left(i\right);$

式中：u_i(x_t)表示特征x_t对应第i个高斯混合模型的值，ω_j表示第j个高斯混合模型的权重，u_j(x_t)表示特征x_t对应第j个高斯混合模型的值，N_i表示所有特征均由第i个高斯分布生成的概率之和，(x_t-μ_i)^{transposition}表示特征向量x_t与μ_i差的转置。

重复迭代以上过程，直到似然函数的值收敛为止，就可以得到第一层的GMM模型。使用得到的第一层GMM模型进行第一次Fisher编码量化，得到经过第一次Fisher编码的级联卷积ISA特征，该特征向量表征为：

$G_{\mathrm{\λ}}^X=\frac{1}{T}\underset{t=1}{\overset{T}{\Σ}}{\▿}_{\mathrm{\λ}}\log u_{\mathrm{\λ}}\left(x_i\right);$

式中：表示表示特征集合X经过Fisher向量编码后的量化特征向量，表示对logu_λ(x_i)关于λ求偏导，u_λ(x_i)表示第i个特征对应的256个高斯模型的和；

进一步的梯度可以表示为向量和的级联，其中，是关于均值μ_i的D维梯度向量，是关于标准差σ_i的梯度向量，分别可由以下得到：

对于经过第一次Fisher编码的级联卷积ISA特征，进行组分max-pooling算法进行特征聚合，由于每个独立视频块内具有较为相近的动作特征，对每一个独立视频块进行组分max-pooling算法来提升特征区分度，每组的特征数目为10个。

具体地，令第一次输出的经过Fisher编码的特征向量为P∈R^k×N，max-pooling函数定义如下：

β_i＝max{|P_i1|,|P_i2|,…,|P_iN|}；

其中β_i为β的第i个元素，P_ij为矩阵P的第(i，j)个元素。将经过max-pooling后的聚合特征进行PCA降维作为第二次GMM训练的输入向量。重复以上GMM学习过程，学习得到第二层Fisher编码的视频字典，字典维数仍为256。

在训练阶段二，对训练阶段一中各个训练视频帧进行分类标签的标记，即将含有群体暴力行为的训练样本作为负样本，标记其类标签为-1；其余训练样本则为正样本，标记其类标签为+1。使用训练阶段一获得的两层视频字典，进行训练样本进行层次Fisher编码量化，对二层量化后的级联卷积ISA运动特征，进行块级max-pooling方法，得到每一个视频块的特征向量，将这些特征向量进行串联，得到一个高维运动向量，再一次进行PCA降维，得到最终每个训练样本对应的特征向量，则可在libsvm中选择核进行SVM模型训练。

在测试阶段，对每一个待检测的视频进行级联卷积ISA特征提取，并使用两层Fisher编码视频字典进行特征量化，将量化后特征作为训练完成的SVM分类器的输入，对该待测样本进行分类；

具体地，所述分类是指：将待检测样本进行步骤1、步骤2、步骤4的操作后，得到待检测样本的量化级联卷积ISA特征，将其作为步骤5训练完成的SVM分类器的输入，将待检测样本特征映射到高维特征空间，在该特征空间中判断此待测样本特征位于训练完成的SVM分类器最优分类超平面的哪一侧，确定待测样本所属类别，进行类标签的判定。对于分类结果为-1的检测样本，进行报警。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (7)

1.一种基于层次级联的暴力群体行为检测方法，其特征在于，包括如下步骤：

步骤1：选择用于训练支持向量机SVM分类器的训练样本，并对该训练样本进行标签的标记，其中，所述标签用于指示训练样本属于暴力视频或非暴力视频；暴力视频是指存在暴力群体行为的视频；

步骤2：通过对带有标签的所述训练样本依次执行步骤A、步骤B、步骤C、步骤D，得到与标签相对应的训练样本的量化级联卷积ISA特征；利用所述训练样本带有标签的量化后级联卷积ISA特征对支持向量机SVM分类器进行训练；

步骤3：利用核函数将训练样本的量化级联卷积ISA映射到特征空间，在核函数映射的特征空间中得到训练完成的支持向量机SVM分类器的最优分类超平面；

步骤4：对待测样本依次执行步骤A、步骤B、步骤C、步骤D，得到待测样本的量化级联卷积ISA特征，通过判断待测样本的量化卷积级联ISA特征在所述特征空间中位于训练完成的SVM分类器最优分类超平面的哪一侧来区分所述待测样本的类别，判断出待测样本对应的整个视频是否出现存在暴力群体行为；

其中：

步骤A：对输入视频进行预处理；

步骤B：将经过预处理的输入视频进行分块，提取输入视频每一分块对应的级联卷积ISA特征，得到输入视频每一分块的运动特征；

步骤C：利用所述级联卷积ISA特征对输入视频进行字典学习，获得该输入视频的GMM模型；

步骤D：利用GMM模型对输入视频的级联卷积ISA特征进行量化。

2.根据权利要求1所述的基于层次级联的暴力群体行为检测方法，其特征在于，所述步骤A包括：逐帧处理输入视频，将每一帧视频转化成320×240分辨率的灰度图像；并将所有图像数据存储于Matlab的对象中。

3.根据权利要求1所述的基于层次级联的暴力群体行为检测方法，其特征在于，所述步骤B包括：

步骤B1：将经过预处理的输入视频分割成16像素×16像素×10帧的视频块，其中每一个视频块在空间域的步长为4像素，在时间域的步长为4帧；

步骤B2：ISA特征提取算法使用一个两层的ISA网络结构来提取目标特征，对于每一个视频块执行第一层ISA特征提取算法，对视频执行该算法，该算法包括步骤A～D，得到第一层ISA运动特征；

步骤B3：对第一层ISA运动特征进行级联降维；

步骤B4：将降维后的第一层ISA运动特征作为输入，执行第二层ISA特征提取，得到第二层ISA运动特征；

步骤B5：对第二层ISA运动特征进行级联降维，使用PCA得到最终运动特征。

4.根据权利要求1所述的基于层次级联的暴力群体行为检测方法，其特征在于，所述步骤C包括：

步骤C1：利用级联卷积ISA特征对每一个视频块进行第一层Fisher向量编码的字典学习，获得第一层GMM模型，GMM模型个数为256；

步骤C2：对输入视频的级联卷积ISA特征进行第一层Fisher编码，获得第一层编码量化后的级联卷积ISA特征；

步骤C3：使用组分Max-pooling方法对第一层编码量化后的级联卷积ISA特征进行聚合；

步骤C4：使用成分分析法PCA对量化后的级联卷积ISA特征进行降维运算，获得将维后的级联卷积ISA特征，进行第二层Fisher编码的字典学习，获得第二层GMM模型，GMM模型个数为256。

5.根据权利要求4所述的基于层次级联的暴力群体行为检测方法，其特征在于，所述步骤D包括：

步骤D1：利用第一层GMM模型对训练样本的级联卷积ISA特征进行量化编码；

步骤D2：对级联卷积ISA特征编码量化后的特征进行聚合；

步骤D3：使用PCA方法将聚合后的级联卷积ISA特征进行降维，降维后的维数为400维，作为第二层GMM模型视频字典编码量化的输入；

步骤D4：使用第二层视频字典，对步骤D3得到的第一层降维后的级联卷积ISA特征进行第二层量化编码；

步骤D5：对于每一个视频块进行块级Max-pooling处理，使得每一个视频块获得一个聚合特征；

步骤D6：对于每一个输入视频，将所有的块级特征级联，使用PCA方法对级联后特征进行降维，降维后的维数为500维。

6.根据权利要求1所述的基于层次级联的暴力群体行为检测方法，其特征在于，所述步骤1包括：

选择用于训练支持向量机SVM分类器的训练样本，对所有训练样本进行分类标签的标记，即将含有群体暴力行为的训练样本作为负样本，标记类标签为-1；将未含有群体暴力行为的训练样本作为正样本，标记类标签为+1。

7.根据权利要求1所述的基于层次级联的暴力群体行为检测方法，其特征在于，所述步骤3包括：

在libsvm中选择χ²核进行SVM模型训练

其中χ²核函数的定义为

$k(x,y)=1-\underset{i=1}{\overset{n}{\Σ}}\frac{{(x_i-y_i)}^2}{\frac{1}{2}(x_i+y_i)}$

式中：χ²核函数表示为k(x,y)，x和y表示两个量化级联卷积特征，n表示量化级联卷积特征的维数，x_i,y_i分别表示量化级联卷积特征向量x的第i维元素、量化级联卷积特征向量y的第i维元素。