CN111062246A - 基于视频图像的密集人群异常行为的检测方法 - Google Patents

Abstract

本发明公开了基于视频图像的密集人群异常行为的检测方法，输入视频序列，通过离子采样获取采样图像，计算采样图像获得动态系统，利用动态系统提供的信息，计算采样点的梯度矩阵；构建样本序列，对粒子微行为进行信息提取，并将信息量化标记，构建时空立方体；采集用以训练的密集人群视频序列，通过上述步骤，提取视频序列中的样本特征序列，并将其作为训练隐条件随机场模型的观察序列，利用隐条件随机场训练，实现密集人群行为检测。本发明解决高密度环境下由于无法高效的实现单个物体的检测和跟踪而使人群行为理解具有潜在危险性问题，适用于人群行为比较复杂的场景，识别特定的人群行为，并且进行异常检测。

Description

基于视频图像的密集人群异常行为的检测方法

技术领域

本发明涉及本发明属于视频中密集人群行为识别领域，特别是涉及到一种基于微行为分析的密集人群共同行为的识别和异样处理方法，该方法可以应用于车站、商场以及应急出、入口等人群流动较大的地方。

背景技术

密集人群场景的视频分析对计算机视觉技术提出了巨大的挑战。现实生活中高密度的环境使得单个物体的识别和跟踪不切实际。在不清楚个体行为的情况下理解密集人群行为是非常危险的。密集人群行为智能检测技术有着广泛的应用，比如说，可以预言拥塞状况，避免悲剧的发生。

目前视频监控技术(主要应用在车站、道路、商场等场合)注意力主要集中在检测或者跟踪单个目标，人数的计算，识别或分割不同区域的运动，或者是人群异样检测，缺乏具体分析密集人群行为的能力。由于其复杂性，对于高密度人群场景分析中所遇到的问题的处理能力是有限的。因此如何有效识别密度人群行为是值得深入研究的技术问题。

按照常理，行为分析和场景理解涉及到目标设别、跟踪和行为识别。这种方法要求运用底层运动信息，表观特征，或者目标轨迹，在低密度的人群场景中有较好的性能，但是在现实生活中高密度场景中并不适用。目标跟踪也是一个棘手的问题，由于计算开销或者不可靠性，所适用的方法通常不适用于多目标跟踪。

因此，研究人员提出了一个整体方法来进行行为分析和场景理解，这样可以避免跟踪和直接利用特征，不需要处理呈现出来的运动轨迹。这种方法需要多分辨率直方图、时空立方体、表观或者运动描述子等等特征。另一个方法是基于动态纹理的表示方法，在这种方法中，将表观和动态性相结合建立模型，以此来检测人群场景中异常现象。虽然这种方法适合行为的识别以及行为检测和分割，但是往往需要手动标注，计算量很大。

发明内容

本发明的内容在于克服已有技术的不足，提出一种基于微行为分析的密集人群异常行为检测方法，通过建立物理模型，对局部微行为进行分析，不仅能够识别特定人群的共同行为，而且还能够检测出人群异常状况的发生，适用于人群行为比较复杂的场景，识别特定的人群行为。

为了解决上述技术问题，本发明提供了一种基于视频图像的密集人群异常行为的检测方法，包括以下步骤：

S1：输入视频序列，通过离子采样获取采样图像，计算采样图像获得动态系统F(w)，获得粒子的速度信息；

S2：利用动态系统提供的信息，计算采样点的梯度矩阵：

其中λ²-τλ+Δ＝0为J特征方程，λ₁和λ₂是其特征值，

Δ＝λ₁λ₂，τ＝λ₁+λ₂，其中，τ是矩阵的迹，Δ是矩阵的行列式，通过适当的采样，梯度矩阵能够很好的描述局部人群聚合离散趋势；

S3：通过Δ和τ分析每个采样点的梯度矩阵的特征值，根据特征值和公差ε将采样点着色；并且根据特征值谱将对应的采样点标记成对应的人群微行为；

S4：构建时空立方体:根据特征值谱的描述，统计每一立方体中五种微行为对应的采样点数目，将统计量作为样本信息，获得隐条件随机场训练样本的特征序列；

S5：采集用以训练的密度人群视频序列，通过上述步骤S1～S4提取视频序列中的样本特征序列，并将其对隐条件随机场模型进行训练；

S6：用训练获得的隐条件随机场模型来检测监控视频中密集人群的异常行为。

进一步，步骤S1中，根据视频中人的大小，按照比例将原视频图像分割成W×H个块，W代表横向分割块数，H代表纵向分割块数，将每一个图像块的中心像素作为采样点，组成尺寸大小为W×H的采样图像。

进一步，步骤S1中，动态系统

其中w(t)＝[x(t),y(t)]^T，F(w)＝[u(w),v(w)]^T，在这里x，y指的是粒子的位置，u和v分别代表在x，y方向上的速度，t表示时间；

进一步，步骤S3中，述人群微行为包括堵塞、环形、平行、瓶颈或源头。

根据权利要求4所述的基于视频图像的密集人群异常行为的检测方法，其特征在于，所述堵塞为：Δ＜0，在一些人口稠密的情况下周围的人群阻止了其他行人去他们想去的地方表现出来的特征。

进一步，所述环形为：Δ＞0,τ＝0，人群流为弧形或者圆形，采样点的梯度矩阵的特征值是共轭复数；所述平行是指：Δ＝0，在拥挤的情况下，运动方向相反或者相同的运动趋势自然形成；所述瓶颈是指：Δ＞0,τ＜0，行人们有规律通过的狭窄的通道口的行为描述；所述步骤S1，根据视频中人的大小，按照比例将原视频图像分割成W×H个块，W代表横向分割块数，H代表纵向分割块数，将每一个图像块的中心像素作为采样点，组成尺寸大小为W×H的采样图像。

进一步，步骤S4具体为：整个视频被统一分为不重叠的小片段，每个长度间隔I帧，将大小为W×H的采样图像分为块，每一块的大小为w×h，共分为

块，统计每一立方体不同特征值条件以及不同方向下每种微行为的数目作为样本信息，获得隐条件随机场训练样本的特征序列。

进一步，整个所述时空立方体特征表示为o＝{H₁,H₂,..H_i..H_w×h}，将连续N个时空立方体的特征合并成一个特征序列，并作为隐条件随机场的观察序列O＝{o¹,o²,..o^k..o^N}，统计量为H，则H为5×W的列向量。

进一步，设隐条件随机场的隐变量集为R＝{r₁,r₂,...r_i,..r_n}，其中r_i∈R是o^K对应的隐变量，R是隐状态集合，隐变量集θ及其邻域关系组成无向图G(V,E)，其中V是隐变量顶点集合，E是边集合，边表示隐变量存在邻域关系，则隐条件随机场分类模型表示为

其中，y∈Y是视频的场景类别标记，Y是所有场景类别标记的集合；势函数Ψ(y,r,o,θ)由θ参数化获得，参数θ由目标函数

决定，n表示所有的观察序列的总个数。

本发明的技术效果在于：(1)由于本发明使用底层信息，结合人群统一为流的特点，充分利用采样点的梯度矩阵，获得局部微行为特征集，因而避免密集人群目标的跟踪与检测问题。

(2)根据梯度矩阵的意义，我们按帧对视频中人群大小进行采样，选择适当的粒子点，保证矩阵的特征值谱能够真正意义上表示人群分散、聚合等特征行为信息，并且不需要对场景类型做特殊要求，有较高的精确性。

(3)使用空间立方体，将微行为特征集与时空特征块相结合，利用多个时空立方体描述整段视频，不仅实现具有某种流量特征的人群行为识别，也能实现异常香味检测。

附图说明

图1是本发明基于微行为分析的密集人群异常行为检测方法流程示意图；

图2是本发明不同条件下特征值着色说明图；

图3是本发明五种与λ有关的模型对应着相关的人群行为图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

参照图1-图3，本发明的具体实现过程如下：其过程为：根据密集视频中人的大小，按照比例对原视频图像采样，获得采样图像；计算采样图像由粒子流定义的动态系统；利用动态系统的速度、位置信息，对采样粒子进行微行为处理；构建样本序列，对粒子微行为进行信息提取，并将信息量化标记，构建时空立方体；采集用以训练的密集人群视频序列，通过上述步骤，提取视频序列中的样本特征序列，并将其作为训练隐条件随机场模型的观察序列，利用隐条件随机场训练，实现密集人群行为检测。本发明的解决高密度环境下由于无法高效的实现单个物体的检测和跟踪而使人群行为理解具有潜在危险性问题，适用于人群行为比较复杂的场景，识别特定的人群行为，并且进行异常检测。

1.输入视频序列输入视频序列，根据视频中人所占据的空间大小m×n，按照比例大小将原大小为M×N的视频图像分割成W×H个块，其中，

代表横向分割块数，

代表纵向分割块数，将每一个图像块的中心像素作为采样点，组成尺寸大小为W×H的采样图像。

根据视频中人的大小，按照比例将原视频图像分割成W×H个块，图像块的分割由视频中人所占据的空间大小决定，目的是使各个采样点的信息尽可能反映密集人群实际场景中不同的个体行为信息，由此可见，人群密度越高，采样点数越多，计算越精确。所以我们的方法对于大小人群均适用。通过以上方法获得W×H个采样点。

2.通过计算采样图像由粒子流定义的动态系统

获，得粒子的速度信息。其中w(t)＝[x(t),y(t)]^T，F(w)＝[u(w),v(w)]^T，在这里x，y指的是粒子的位置，u和v分别代表在x，y方向上的速度，t表示时间；

3.利用动态系统提供的信息，计算采样点的梯度矩阵：

得到特征值

并且Δ＝λ₁λ₂，τ＝λ₁+λ₂。λ₁和λ₂提供重要的场信息。现在考虑J所引起的如图3中所描述的五种与λ有关的模型对应着相关的人群行为图，将运动方向量化为5个方向，利用角度信息进一步区分不同的行为，然后利用时空块量化位置信息，构建具有人群行为特征的时空块，用以描述整段视频获得观察序列。其中，人群行为5个方向具体为：

堵塞：局部的粒子流动可以互相反射彼此，并且这种反射的方向在某种程度上存在随机性，并不能按照预想的方向进行，于是用Δ＜0来表示这种状况。这是在一些人口稠密的情况下周围的人群阻止了其他行人去他们想去的地方表现出来的特征，我们将此行为定义为堵塞；另外，由于人群密度的增大，从不同方向上运动过来的人群可能彼此挡住去路，此情况下，人群密度会导致交通的堵塞，致使没有质点的运动，这种情况通常出现在人群正常流动之后，也定义为堵塞。也就是说，堵塞能够很好的解释高密度人群使正常行为失效这一现象。

环形：Δ＞0,τ＝0所描述的运动是人群流为弧形或者圆形的特点。这种行为可能在人们必须绕着某一障碍物进行演习时发生，形成了拱桥形状。也有可能在特殊的场合，人们围成一圈跳舞或者开车，形成了一个源泉。在以上两种情况中，采样点的梯度矩阵的特征值是共轭复数。

平行：在拥挤的情况下，运动方向相反或者相同的运动趋势自然形成，我们将此行为成为车道。运动的人群会尽量避免碰撞，结果是大家按照大体相同的方向和速度运动。在这种情况下附近的个人运动相对于其他人群的运动是微不足道的，因为他们都是一起运动的。这种行为准确的说明了我们称之为车道的原因，并且它由非孤立的临界点很好的表示了，即在此路径中Δ＝0。很明显，如果Δ＝0场景是静止的，那么光流是0.但是我们对这种不重要的事件并不感兴趣，并且这种现象和许多行人或者车辆在同一条直线上以同样的速度，朝相同的方向运动的情况并不相同。另外，需要说明的是单个物体向唯一的方向运动并不认为是车道行为，我们注重的是整体人群的共同行为。

瓶颈：如果Δ＞0,τ＜0，从各个点而来的轨迹汇聚于一个位置，也就是说，从各个方向而来的行人和车辆进入了同一个狭窄的通道。因此我们定义瓶颈作为行人们有规律通过的狭窄的通道口的行为描述。这个定义可以考虑到很多不同的流流向同一点这一情况。但是，这并不能将正常场合和异常堵塞场合(典型的例子是在恐慌情况下，人们同时想从一个狭窄的通道通过)做出区分。尽管现在的框架暂时检测不出恐慌，但是它可以将这种情况作为阻塞行为的一个特例识别出来。

源头：当Δ＞0,τ＜0的时候从一个方向分散开来。这种行为一般会在人们离开一个狭窄的通道走向不同的方向时出现，我们称这个出口为源头。这种行为和瓶颈行为相对立。所以通常在瓶颈行为之后检测源头现象。

4.通过Δ和τ分析每个采样点的梯度矩阵的特征值。根据实验取得ε的值，判断Δ、τ以及ε之间的关系。归类总结三者之间的关系，可以分为七种情况，分别标记为不同的颜色，如图2表示，R、Y、B、G、A、C、W、K分别代表了红色、黄色、蓝色、绿色、紫色、蓝绿色、白色和黑色的数目，并且根据判断条件对不同的采样粒子点所代表的行为进行分类。通过实验发现，公差ε一般取得0.005可以获得较好的实验结果。

特征值谱

如上表所示，T代表采样点的总数目，L代表满足某种情况的比例阈值，通常L由实验经验获得，将采样点着色后，根据特征值谱对应的采样点标记成对应的特定五种密集人群微行为：

5.构建时空立方体。整个视频被统一分为不重叠的小片段，每个长度间隔I帧。在我们的视频序列中，这样的帧序选取也是充分考虑行为时长的样本数据量。将大小为W×H的采样图像分为w×h块，每一块的大小为根据特征值谱的描述，统计每一立方体中五种微行为对应的采样点数目，将统计量作为样本信息，获得隐条件随机场训练样本的特征序列。

为了能够分析整段视频序列，设置滑动窗口的大小为W，相邻的不重叠的W帧构成时空立方体。首先根据特征值谱的描述，统计视频中同一立方体的每一时空块五种微行为对应的采样点数目，另统计量为H，则H为5×W的列向量；整个时空立方体特征表示为o＝{H₁,H₂,..H_i..H_w×h}，将连续N个时空立方体的特征合并成一个特征序列，并作为隐条件随机场的观察序列O＝{o¹,o²,..o^k..o^N}。

样本特征序列，并将其作为训练隐条件随机场模型的观察序列O＝{o¹,o²,..o^k..o^N}，设隐条件随机场的隐变量集为R＝{r₁,r₂,...r_i,..r_n}，其中r_i∈R是o^K对应的隐变量，R是隐状态集合，隐变量集θ及其邻域关系组成无向图G(V,E),其中V是隐变量顶点集合，E是边集合，边表示隐变量存在邻域关系，则隐条件随机场分类模型表示为

其中，y∈Y是视频的场景类别标记，Y是所有场景类别标记的集合；势函数Ψ(y,r,o,θ)由θ参数化获得，参数θ由目标函数

决定，n表示所有的观察序列的总个数。

7.给定一个测试序列O”和训练得到的参数θ”，将根据目标函数

获得视频序列类别。

本发明对于场景类型并不做要求，只是要求是有流量特征；能够充分利用底层局部运动特征信息，将其和时空立方体高层次信息相结合，获得表达人群行为信息的特征序列，通过训练模型，不仅能够识别统一的密集人群行为，还可以检测异常行为的发生。在一些情况下，在高密度人群场景中进行目标的检测和跟踪缺乏可靠性。而我们提出的这种方法避免了目标的检测和跟踪，所以在各种高密度人群识别中有良好的性能，对于大小群体均适合。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (8)

1.一种基于视频图像的密集人群异常行为的检测方法，其特征在于，包括以下步骤：

S1：输入视频序列，通过离子采样获取采样图像，计算采样图像获得动态系统F(w)，获得粒子的速度信息；

S2：利用动态系统提供的信息，计算采样点的梯度矩阵：

其中λ²-τλ+Δ＝0为J特征方程，λ₁和λ₂是其特征值，

Δ＝λ₁λ₂，τ＝λ₁+λ₂，其中，τ是矩阵的迹，Δ是矩阵的行列式，通过适当的采样，梯度矩阵能够很好的描述局部人群聚合离散趋势；

S3：通过Δ和τ分析每个采样点的梯度矩阵的特征值，根据特征值和公差ε将采样点着色，判断Δ、τ以及ε之间的关系；并且根据特征值谱将对应的采样点标记成对应的人群微行为；

S4：构建时空立方体:根据特征值谱的描述，统计每一立方体中五种微行为对应的采样点数目，将统计量作为样本信息，获得隐条件随机场训练样本的特征序列；

S5：采集用以训练的密度人群视频序列，通过上述步骤S1～S4提取视频序列中的样本特征序列，并将其对隐条件随机场模型进行训练；

S6：用训练获得的隐条件随机场模型来检测监控视频中密集人群的异常行为。

2.根据权利要求1所述的基于视频图像的密集人群异常行为的检测方法，其特征在于，步骤S1中，根据视频中人的大小，按照比例将原视频图像分割成W×H个块，W代表横向分割块数，H代表纵向分割块数，将每一个图像块的中心像素作为采样点，组成尺寸大小为W×H的采样图像。

3.根据权利要求1所述的权利要求1所述的基于视频图像的密集人群异常行为的检测方法，其特征在于，步骤S1中，动态系统

其中w(t)＝[x(t),y(t)]^T，F(w)＝[u(w),v(w)]^T，在这里x，y指的是粒子的位置，u和v分别代表在x，y方向上的速度，t表示时间。

4.根据权利要求1所述的基于视频图像的密集人群异常行为的检测方法，其特征在于，步骤S3中，所述人群微行为包括堵塞、环形、平行、瓶颈或源头。

5.根据权利要求4所述的基于视频图像的密集人群异常行为的检测方法，其特征在于，所述堵塞为：Δ＜0，在一些人口稠密的情况下周围的人群阻止了其他行人去他们想去的地方表现出来的特征；所述环形为：Δ＞0,τ＝0，人群流为弧形或者圆形，采样点的梯度矩阵的特征值是共轭复数；所述平行是指：Δ＝0，在拥挤的情况下，运动方向相反或者相同的运动趋势自然形成；所述瓶颈是指：Δ＞0,τ＜0，行人们有规律通过的狭窄的通道口的行为描述；所述步骤S1，根据视频中人的大小，按照比例将原视频图像分割成W×H个块，W代表横向分割块数，H代表纵向分割块数，将每一个图像块的中心像素作为采样点，组成尺寸大小为W×H的采样图像；源头是指：当Δ＞0,τ＜0的时候从一个方向分散开来。

6.根据权利要求1所述的基于视频图像的密集人群异常行为的检测方法，其特征在于，步骤S4具体为：整个视频被统一分为不重叠的小片段，每个长度间隔I帧，将大小为W×H的采样图像分为块，每一块的大小为w×h，共分为

块，统计每一立方体不同特征值条件以及不同方向下每种微行为的数目作为样本信息，获得隐条件随机场训练样本的特征序列。

7.根据权利要求1所述的基于视频图像的密集人群异常行为的检测方法，其特征在于，整个所述时空立方体特征表示为o＝{H₁,H₂,..H_i..H_w×h}，将连续N个时空立方体的特征合并成一个特征序列，并作为隐条件随机场的观察序列O＝{o¹,o²,..o^k..o^N}，统计量为H，则H为5×W的列向量。

8.根据权利要求7所述的基于视频图像的密集人群异常行为的检测方法，其特征在于，设隐条件随机场的隐变量集为R＝{r₁,r₂,...r_i,..r_n}，其中r_i∈R是o^K对应的隐变量，R是隐状态集合，隐变量集θ及其邻域关系组成无向图G(V,E)，其中V是隐变量顶点集合，E是边集合，边表示隐变量存在邻域关系，则隐条件随机场分类模型表示为

其中，y∈Y是视频的场景类别标记，Y是所有场景类别标记的集合；势函数Ψ(y,r,o,θ)由θ参数化获得，参数θ由目标函数

决定，n表示所有的观察序列的总个数。

Images