CN103854027A - 一种人群行为识别方法 - Google Patents

Abstract

本发明提出一种人群行为识别方法。将预定义运动模式中包含的运动轨迹分解为数据点集，将所述数据点集作为贝叶斯（Bayes）分类器的训练样本，由所述贝叶斯分类器训练得到训练模型；从视频序列中获取人群运动信息；利用滑动窗口遍历所述人群运动信息以得到运动轨迹，利用离散的轨迹点表示所述运动轨迹，并将所述轨迹点聚类，以得到检测运动模式；将所述检测运动模式分解为轨迹点集的形式，作为测试集输入到所述训练模型；所述训练模型返回测试集与预定义运动模式的匹配结果，如果匹配成功，则认定为正常行为，否则认定为异常行为。

Description

一种人群行为识别方法

技术领域

本发明属于数字图像处理技术领域，特别是一种人群行为识别方法。

背景技术

人群行为检测与识别是城市安全保障、智能视频监控的重要内容，也是实现自主性人群管理和调控的基本要求。在监控视频分析中，当前的行为检测与识别主要针对单个人的行为和少数多个人的行为进行检测与识别，由于人群具有高密度和复杂多样的运动情况的特性，在实际分析中有一定的难度，目前最为常用的方法为针对人群目标建立模型，通过模型完成人群行为识别和人群异常检测等。

当前面向人群目标的研究方法，将人群作为一个整体来研究，这种方法对特定场景下的视频进行特征提取，建立群体的模型，然后用采集到的数据训练学习模型，根据得到的学习模型进行后续的处理，如异常事件检测、估计人群的混乱程度等，其处理的大致流程图如图1所示。

在现有技术中，人群模型的建立是最为关键的步骤。一般通过大量的训练得到人群模型，但是由于视频中运动情况复杂多变，为视频序列建立具有较强适应性的人群模型具有极大的难度，很难在实际场景中广泛应用。

因此，在实际应用中，现有技术对于不同的应用场景适应性较差。当场景发生变化时，往往需要重新进行模型训练，而这会显著增加成本以及开发难度。

发明内容

本发明实施方式提出一种人群行为识别方法，以增加适应性。

本发明实施方式的技术方案如下：

一种人群行为识别方法，该方法包括：

将预定义运动模式中包含的运动轨迹分解为数据点集，将所述数据点集作为贝叶斯Bayes分类器的训练样本，由所述贝叶斯分类器训练得到训练模型；

从视频序列中获取人群运动信息；

利用滑动窗口遍历所述人群运动信息以得到运动轨迹，利用离散的轨迹点表示所述运动轨迹，并将所述轨迹点聚类，以得到检测运动模式；

将所述检测运动模式分解为轨迹点集的形式，作为测试集输入到所述训练模型；

所述训练模型返回测试集与预定义运动模式的匹配结果，如果匹配成功，则认定为正常行为，否则认定为异常行为。

所述从视频序列中获取人群运动信息包括：

将视频序列分为多个视频片段；

采用光流法计算每个视频片段的光流值，并对每个视频片段的光流值进行中值滤波；

根据各个视频片段的光流值获取该运动序列的光流值集合，并得到该运动序列光流图；

由该运动序列光流图确定人群运动信息，所述人群运动信息包含人群运动区域和人群运动方向。

所述利用滑动窗口遍历所述人群运动信息以得到运动轨迹，利用离散的轨迹点表示所述运动轨迹，并将所述轨迹点聚类，以得到检测运动模式包括：

采用滑动窗口方式，遍历所述人群运动信息的运动向量，并计算滑动窗口中所包含的运动向量的平均运动信息，再根据该平均运动信息决定下一个滑动窗口的位置，以得到运动轨迹；

利用离散的轨迹点表示所述运动轨迹，并将所述轨迹点聚类，以得到检测运动模式。

所述预定义运动模式包括直线型、环绕型、聚集型、发散性、向左转、向右转或U型。

在本发明中，将预定义运动模式中包含的运动轨迹分解为数据点集，将所述数据点集作为贝叶斯（Bayes）分类器的训练样本，由所述贝叶斯分类器训练得到训练模型；从视频序列中获取人群运动信息；利用滑动窗口遍历所述人群运动信息以得到运动轨迹，利用离散的轨迹点表示所述运动轨迹，并将所述轨迹点聚类，以得到检测运动模式；将所述检测运动模式分解为轨迹点集的形式，作为测试集输入到所述训练模型；所述训练模型返回测试集与预定义运动模式的匹配结果，如果匹配成功，则认定为正常行为，否则认定为异常行为。

由此可见，应用本发明之后，事先预定义运动模式作为模板，对视频场景进行处理得到当前场景的运动模式并可视化显示以便更好的观察和分析；然后与预定义模板进行匹配，得到匹配相似度，从而判定人群行为的异常情况，因此可以增强适应性。当场景发生变化时，无需重新进行模型训练，从而还可以显著降低成本以及开发难度。

而且，本发明提出了一种智能视频监控中基于运动模式匹配的人群行为分析方法。和现有的方法相比，本发明在人群运动场景下，能够直观地显示人群运动模式和规律，只需将需要判定的运动模式进行建模而避免建立统一的人群模型，提高了程序运行效率。

另外，本发明中，把智能视频监控中的人群行为检测和识别分成两个组成部分，每部分都由对应的算法构成，通过在大量实际场景进行实验，验证了本发明所提到的方法是有效的，能够在实际的场景中推广和应用。

附图说明

图1为现有技术的群体分析框架示意图。

图2为根据本发明人群行为识别方法流程图。

图3为本发明人群行为检测与识别的流程示意图。

图4为常见的运动模式示意图。

图5为本发明人群运动信息检测流程图。

图6为本发明人群行为判定流程示意图。

图7为本发明商场视频帧示意图。

图8为本发明视频片段运动信息图。

图9为本发明滑动窗口示意图。

图10为本发明运动轨迹示意图。

图11为本发明轨线文件（trajectory.txt）示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。

现有的人群行为检测和识别方面的工作还非常有限，而人群行为分析是智能视频监控与分析中针对视频语义上层信息捕捉和挖掘的研究重点，对智能城市管理与统筹具有广泛而深远的意义。

本发明尝试解决现有技术中存在的以下几个问题中的一个或多个：

（1）已有的人群行为检测得到的训练模型比较抽象，无法给出直观的训练结果。

（2）由于视频场景的多样性和复杂性，加之特征提取与模型训练的方法众多，得到的人群模型比较有局限性。

（3）在实际应用中，对人群行为进行分析多应用于异常行为检测。不同的应用场景，对于异常行为的判定具有差异性，现有技术在适应性方面有欠缺。

在日常生活场景中，如地铁、机场、商场等公共场所的进出口处，人群密度较高、流动性较强，需要对人群运动行为进行检测，挖掘出人群的运动规律，并进行可视化显示；另一方面，在不同的场景下，人群的运动模式有所不同，需要断定为异常的情况也有所不同，因此现有技术的方法不能较好的适应实际情况。

在本申请中，事先预定义运动模式作为模板，对视频场景进行处理得到当前场景的运动模式并可视化显示以便更好的观察和分析；然后与预定义模板进行匹配，得到匹配相似度，从而判定人群行为的异常情况。

图3为本发明人群行为检测与识别的流程示意图。

本申请提出一种在智能视频监控中基于运动模式匹配的人群行为检测和识别方法。该方法主要锁定在人群行为检测和人群行为识别这两个主要部分，其中对人群行为检测主要有以下几个部分：

1、人群运动信息和目标区域获取；

2、人群运动模式提取；

3、检测和表征人群运动模式。

在人群行为识别方面，主要采用Kullback-Leibler Divergence（简称KLD）方法完成运动模式匹配，最终识别出场景中正常或异常的人群运动行为。

图2为根据本发明人群行为识别方法流程图。

如图2所示，该方法包括：

步骤201：将预定义运动模式中包含的运动轨迹分解为数据点集，将所述数据点集作为贝叶斯（Bayes）分类器的训练样本，由所述贝叶斯分类器训练得到训练模型。

不同的场景具有不同的运动模式，要进行运动模式识别就要先对典型的运动模式进行定义和学习。

本申请可以采用基于概率统计的Bayes分类器实现运动模式的匹配判别。由于轨迹的长度不确定，将典型的运动模式包含的轨迹样本分解为数据点集的形式作为Bayes分类器的训练样本，通过大量的训练得到典型运动模式的分类模式。在人群运动过程中模式具有方向性，因此训练数据的属性要包含方向信息。

贝叶斯分类器的分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。

密集人群的运动模式大致有直线型、环绕型、聚集型、发散性、向左转、向右转、U型等，其中一些运动模式如图4所示。

图4为常见的运动模式示意图。

这些运动模式反映了人群的行为和运动规律，在监控视频中，通过对人群运动信息的获取和分析，挖掘出潜在的运动模式，一方面能够直观地反应监控视频的语义信息，另一方面能够为异常行为的判定提供依据。

以上虽然详细罗列了预定义运动模式的典型实例，本领域技术人员可以意识到，这种罗列仅仅是示范性的，并不用于对本发明实施方式进行限定。

通过将预定义运动模式中包含的运动轨迹分解为数据点集，再将所述数据点集作为贝叶斯（Bayes）分类器的训练样本，可以由所述贝叶斯分类器训练得到训练模型。

步骤202：从视频序列中获取人群运动信息。

在这里，可以针对给定视频序列捕获人群运动信息。

比如，可以采用Lucas-Kanade光流法计算视频序列的光流值，并采用中值滤波处理得到的光流（比如：对于360像素*480像素的图像尺寸，中值滤波采用40*40）。

优选地，在同一场景的不同时间段，人群运动的区域有所不同，因此可以将视频序列分为不同片段，根据不同片段的光流值获取该运动片段的整体运动信息，并得到光流图，即运动区域。

具体地，可以将监控视频序列分为若干片段，每个片段作为独立的个体进行处理。由于监控视频画面清晰度不一致，光流法在视频模糊的情况下仍能得到物体的运动信息，故可以采用LK光流法，其建立在这样一个假设上：前后两帧在一个小的空间领域Ω上运动矢量保持恒定，这非常适合高密度群体目标视频的特性。

光流法将图像上每个像素点看作一个运动点，图像中目标的变化可看作每个运动点在短时间内的移动。在一定时间内，图像中像素点位置的变化，可以看成一个瞬时的速度场，根据灰度守恒的定理，可以得到光流的基本方程。因此计算视频序列的光流值即可检测到该片段的目标人群并得到人群的运动信息。

对于给定视频片段，可以利用LK光流法计算视频片段中每一帧的光流值。

假定视频中某一帧的一点p_i，其光流向量z=(X，V)，Ｘ＝(x，y)为该点的位置向量；V=(u，v)为该点的速度向量。

计算给定视频片段所得到的所有光流向量构成了整体的运动流场，它代表了视频片段在该时间段的运动信息。由于该运动流场可能包含数以千计的光流向量，其中包含了冗余信息和噪声信息，为了方便进行后续处理，采用中值滤波去除其中的噪声信息以减少光流向量的数目。最终得到的光流向量仍能反应整个流场的几何结构，并不影响运动模式的检测。

图5为人群运动信息检测流程图。

步骤203：利用滑动窗口遍历所述人群运动信息以得到运动轨迹，利用离散的轨迹点表示所述运动轨迹，并将所述轨迹点聚类，以得到检测运动模式。

由于获取的运动信息能够大致反映该场景下的人群运动情况，并且相邻的像素点之间，其运动行为具有相似性。本申请可以采用Sink Seeking方法得到人群整体的运动轨迹，然后将得到的Sink Seeking进行聚类，最终确定场景下存在的运动模式。

Sink Seeking处理流程为采用20像素*20像素滑动窗口方式，遍历所有运动向量，根据公式（1）计算窗口中所包含的运动向量的平均运动信息即运动位置信息和运动速度

然后再根据该运动信息决定下一个滑动窗口的位置，最终得到一系列运动轨迹，每一条运动轨迹由T=(Z₁，Z₂，...，Z_n)表示，其中为得到的平均运动向量。

由于得到的运动轨迹可能间断或者分布比较混乱，因此可以采用K-Means聚类方法，将每一条运动轨迹聚类为若干类别，存在一个类别中的运动轨迹即构成了该场景的若干运动模式。

其中

为运动位置信息，

为运动速度，W_n为速度向量的权重，V_n为平均速度，h为滑动窗口的宽度。

步骤204：将所述检测运动模式分解为轨迹点集的形式，作为测试集输入到所述训练模型。

步骤205：训练模型返回测试集与预定义运动模式的匹配结果，如果匹配成功，则认定为正常行为，否则认定为异常行为。

设样本轨迹点集由K类模式β₁,β₂,L,β_k组成，那么对于一条轨迹A来说，A中个轨迹点属于模式β_i的概率可表示为

$P\left({\mathrm{\β}}_i\right|a)=\frac{P\left(a\right|{\mathrm{\β}}_i)P\left({\mathrm{\β}}_i\right)}{\underset{j=1}{\overset{K}{\mathrm{\Σ}}}P\left(a\right|{\mathrm{\β}}_j)P\left({\mathrm{\β}}_j\right)}$ 公式（2）

式2中：

a为轨迹A中的轨迹点；P(β_i)为模式β_i的先验概率，可由样本统计直接计算获得；P(a|β_i)为模式β_i下a分布的概率密度函数，假定其符合正态分布规律，则概率密度函数P(a|β_i)可表示为多为正态概率密度函数：

$P\left(a\right|{\mathrm{\β}}_i)=\frac{1}{{\left(2\mathrm{\π}\right)}^{N/2}\sqrt{\left|{\mathrm{\Σ}}_i\right|}}\exp [-\frac{1}{2}{(a-{\stackrel{\‾}{\mathrm{\μ}}}_i)}^T{\mathrm{\Σ}}_i^{-1}(a-{\stackrel{\‾}{\mathrm{\μ}}}_i)];$

上式中：

为模式β_i中样本的均值向量；

∑_i为模型的协方差矩阵；

N为轨迹点的维度，取值为4。

根据模式β_i的轨迹点样本进行各个参数求解，可获得条件密度函数P(a|β_i)的值。

在模式识别问题中，为确定轨迹点的模式归属，就必须知道该轨迹点分属不同模式的可能性P(β_i|a)，然后，可将a划入使得P(β_i|a)值最大的那个模式β_i中。

对于K类模式β₁,β₂,…,β_k，可以通过比较各个轨迹点t的模式归属概率p_i(a)来确定轨迹点a所属的运动模式。如果满足

则有a∈β_i成立，其中

为所属模式约束阈值，目的是提高模式匹配的准确性。

图6为人群行为判定流程示意图。

对监控视频中人群运动模式进行检测和识别，一方面能够更为直观地观察人群的运动规律，另一方面是为了结合实际需求，对正常或异常行为进行判定，从而预防混乱或潜在危险的发生。

根据模式匹配的方法，对未知轨迹中的每个轨迹点均可计算得到所属模式的概率值，该概率值能够反映运动轨迹的模式归属。当所有轨迹点均满足判定式时，则确定轨迹属于某一模式，即为正常行为；相反，如果对于预定义模式中的任一模式，未知轨迹均不满足匹配条件，则确定其为异常行为。

在一个实施方式中：

从视频序列中获取人群运动信息包括：

将视频序列分为多个视频片段；

采用光流法计算每个视频片段的光流值，并对每个视频片段的光流值进行中值滤波；

根据各个视频片段的光流值获取该运动序列的光流值集合，并得到该运动序列光流图；

由该运动序列光流图确定人群运动信息，所述人群运动信息包含人群运动区域和人群运动方向。

在一个实施方式中：

利用滑动窗口遍历所述人群运动信息以得到运动轨迹，利用离散的轨迹点表示所述运动轨迹，并将所述轨迹点聚类，以得到检测运动模式包括：

采用滑动窗口方式，遍历所述人群运动信息的运动向量，并计算滑动窗口中所包含的运动向量的平均运动信息，再根据该平均运动信息决定下一个滑动窗口的位置，以得到运动轨迹；

利用离散的轨迹点表示所述运动轨迹，并将所述轨迹点聚类，以得到检测运动模式。

为了能够验证程序在实际应用中的可行性，本申请选取某商场视频片段进行实例进行描述。

图7为商场视频帧示意图。

首先将视频序列分为若干片段，利用OpenCV中提供的LK光流法进行视频帧光流信息提取，并采用中值滤波对得到的全局运动信息进行滤波，最终得到视频片段中的光流信息，如图8所示。

整体的光流信息是由每一像素点处的光流速度值不断平均和更新得到的，将其转化进行可视化显示。每一像素的光流值包括水平速度u和垂直速度v，可计算得到该像素点的弧度制angle(angle=atan(v,u))，

那么，通过如下公式：

$\left\{\begin{array}{c}h=\mathrm{angle}*180/\mathrm{PI}\\ s=\mathrm{sqrt}(u^2+v^2)\\ v=0.9\end{array}\right.$

其中PI为π;

sqrt为开平方根函数；

h、s、v为该像素点的HSV颜色空间表示。

将该像素点转换为HSV表示，然后利用OpenCV中的hsv2rgb函数将HSV图像转换为RGB图像，即可将运动信息显示。

将得到的运动信息按照如图9所示的窗口滑动，以求得窗口内的平均光流信息，即平均坐标和平均速度，同时该坐标下的平均速度决定了滑动窗口的滑动方向。

滑动窗口每滑动一次求得的平均光流值，即为轨迹中一点的信息，如此往复，连接各轨迹点，即可得到场景下人群运动轨迹。

比如，在本发明中可以采用20像素*20像素的窗口进行处理。

最终可得到该场景下该片段的运动轨迹如图10所示，并记录下每一条轨迹的轨迹点，保存到trajectory.txt文件中。

图11为轨迹点文件（trajectory.txt）示意图。

读入该轨迹点文件，利用OpenCV中cvKMeans2函数对轨迹点进行聚类，得到位于不同空间位置的轨迹聚类。

针对分类器的训练，可以将预定义的模式中包含的轨迹分解为数据点集的形式，作为Bayes分类器的训练样本。如直线型、环形、发散或聚集等几类运动模式，其特点具有较大的差异性，将符合场景要求的运动模式以数据点集的形式进行分解，其中特征向量包括空间位置信息、运动方向信息等。其中分类的运动模式有直线型、环型、发散型、汇聚型、左转型、右转型、U型等七种类型，每种类型的正负样本数据分别为100个和50个。

将大量的正负样本数据和样本的类别标签（正样本的类别标签为数字1-7，负样本类别标签为正样本类别标签数字对应的负数）作为样本的特征向量，利用OpenCV中的贝叶斯分类器进行分类训练，最终得到训练模型，保存至normalBayesModel.txt中。

在此利用OpenCV中贝叶斯分类器CvNormalBayesClassifier::train(constMat&trainData,const Mat&response,const Mat&varIdx=Mat(),const Mat&sampleIdx=Mat())。其中trainData为正负样本数据，每一个行向量代表一类运动模式，response对应于trainData数据每个行向量数据对应的类别标签。

对于模式识别和异常行为判断：

将检测到的未知运动模式，同样分解为轨迹点集的形式，以与样本同样的特征向量进行表示，作为测试集输入到训练好的模型中。贝叶斯分类器的预测函数会返回该未知运动模式所匹配的运动模式类别，当类别为预定义的运动模式类别时即为正常行为，否则判定为异常行为。

将需要判定的运动模式以向量的形式表示，利用CvNormalBayesClassifier::predict和得到的模型进行判定，最终会返回一个标签类别，表明该运动模式所属类别。如返回的类别在1-7数字之间，则为正常行为；如果返回的类别为负值（-7到-1之间），则可判定为异常行为。

综上所述，将预定义运动模式中包含的运动轨迹分解为数据点集，将所述数据点集作为贝叶斯Bayes分类器的训练样本，由所述贝叶斯分类器训练得到训练模型；从视频序列中获取人群运动信息；利用滑动窗口遍历所述人群运动信息以得到运动轨迹，利用离散的轨迹点表示所述运动轨迹，并将所述轨迹点聚类，以得到检测运动模式；将所述检测运动模式分解为轨迹点集的形式，作为测试集输入到所述训练模型；所述训练模型返回测试集与预定义运动模式的匹配结果，如果匹配成功，则认定为正常行为，否则认定为异常行为。

由此可见，应用本发明之后，事先预定义运动模式作为模板，对视频场景进行处理得到当前场景的运动模式并可视化显示以便更好的观察和分析；然后与预定义模板进行匹配，得到匹配相似度，从而判定人群行为的异常情况，因此可以增强适应性，当场景发生变化时，无需重新进行模型训练，从而还可以显著降低成本以及开发难度。

而且，本发明提出了一种智能视频监控中基于运动模式匹配的人群行为分析方法。和现有的方法相比，本发明在人群运动场景下，能够直观地显示人群运动模式和规律，只需将需要判定的运动模式进行建模而避免建立统一的人群模型，提高了程序运行效率。

另外，本发明中，把智能视频监控中的人群行为检测和识别分成两个组成部分，每部分都由对应的算法构成，通过在大量实际场景进行实验，验证了本发明所提到的方法是有效的，能够在实际的场景中推广和应用。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种人群行为识别方法，其特征在于，该方法包括：

将预定义运动模式中包含的运动轨迹分解为数据点集，将所述数据点集作为贝叶斯Bayes分类器的训练样本，由所述贝叶斯分类器训练得到训练模型；

从视频序列中获取人群运动信息；

利用滑动窗口遍历所述人群运动信息以得到运动轨迹，利用离散的轨迹点表示所述运动轨迹，并将所述轨迹点聚类，以得到检测运动模式；

将所述检测运动模式分解为轨迹点集的形式，作为测试集输入到所述训练模型；

所述训练模型返回测试集与预定义运动模式的匹配结果，如果匹配成功，则认定为正常行为，否则认定为异常行为。

2.根据权利要求1所述的人群行为识别方法，其特征在于，所述从视频序列中获取人群运动信息包括：

将视频序列分为多个视频片段；

采用光流法计算每个视频片段的光流值，并对每个视频片段的光流值进行中值滤波；

根据各个视频片段的光流值获取该运动序列的光流值集合，并得到该运动序列光流图；

由该运动序列光流图确定人群运动信息，所述人群运动信息包含人群运动区域和人群运动方向。

3.根据权利要求1所述的人群行为识别方法，其特征在于，所述利用滑动窗口遍历所述人群运动信息以得到运动轨迹，利用离散的轨迹点表示所述运动轨迹，并将所述轨迹点聚类，以得到检测运动模式包括：

采用滑动窗口方式，遍历所述人群运动信息的运动向量，并计算滑动窗口中所包含的运动向量的平均运动信息，再根据该平均运动信息决定下一个滑动窗口的位置，以得到运动轨迹；

利用离散的轨迹点表示所述运动轨迹，并将所述轨迹点聚类，以得到检测运动模式。

4.根据权利要求1-3中任一项所述的人群行为识别方法，其特征在于，所述预定义运动模式包括直线型、环绕型、聚集型、发散性、向左转、向右转或U型。

Images