CN104933412A - 中高密度人群的异常状态检测方法 - Google Patents

Abstract

本发明公开了一种中高密度人群的异常状态检测方法，首先对特征点提取和跟踪，根据特征点在前一帧和当前帧监控视频图像的坐标计算特征点的速度，然后采用图分析得到特征点间的行为一致性，基于行为一致性剔除离散点，对剩余特征点进行聚类，然后计算聚类中所有特征点的人群聚集度、人群运动强度、人群运动方向方差，然后根据若干帧监控视频图像中这三个参数以及人群聚类数量的大小和增幅判断人群的异常状态。本发明基于图分析法进行人群状态分析，实现对人群疏散状态、人群聚集状态和人群骚乱状态三种人群状态的检测。

Description

中高密度人群的异常状态检测方法

技术领域

本发明属于人群聚集状态检测领域，更为具体地讲，涉及一种中高密度人群的异常状态检测方法。

背景技术

随着人们生活水平的提高以及精神文化需求的发展，规模大而高度密集的人群随处可见：商场、寺庙、火车站以及各种各样庆祝活动中。这些公共场所具有的空间有限，却常常出现人山人海、熙熙攘攘的景象，其背后隐藏着巨大的安全隐患，其中，游行、群殴、踩踏等性质严重的人群异常状态发生频率更是在迅速增加，给人们的生命财产安全带来了严重的损害。因此面对严峻的形势，如何有效的预防人群异常状态的发生、控制事故发展是一个重大的科研课题和社会课题，此外，中高密度人群异常状态的检测具有极大的现实意义，可以应用到公共安全领域中，及时发现检测区域的异常状态，最大限度减少公众的人身与财产损失。

中高密度人群的异常状态检测与低密度或个体的异常行为检测有着显著的不同。中高密度场景中大量的人相互影响导致冲突、碰撞发生的频率更高，运动目标目标模糊、相互遮挡，并且不同人员的行为方式也更为复杂，这些都使得中高密度人群状态的检测更为复杂。

目前，传统的人群异常状态检测算法主要存在以下不足：1)检测的群体对象非常局限。一方面，局限于某个或某种场景下的人群异常状态检测；另一方面，局限于小群体聚集研究，如场景中整体或局部的人群目标人数不多于50个，且经常性人群密度小于1p/m²。2)算法本身参数复杂，参数的选择是否得当，直接影响算法的检测结果。3)算法往往受限于行人间的遮挡、拥挤、低分辨率等因素，并且忽视了行人间的相互作用。

发明内容

本发明的目的在于克服现有技术的不足，提供一种中高密度人群的异常状态检测方法，基于图分析法进行人群状态分析，实现对人群疏散状态、人群聚集状态和人群骚乱状态三种人群状态的检测。

为实现上述发明目的，本发明中高密度人群的异常状态检测方法，包括以下步骤：

S1：获取被检测场所的监控视频图像作为检测样本，将其中若干张图像的平均图像作为背景图像；

S2：根据步骤S1得到的背景图像对每帧监控视频图像提取特征点并进行跟踪，记当前监控视频图像t中和前一帧监控视频图像t-1匹配的有效特征点数量为n，特征点集C＝[p₁,p₂…p_n]；根据n个特征点在监控视频图像t和前一帧监控视频图像t-1中的坐标计算得到第i个特征点p_i的速度)，i的取值范围为i＝1,2,…,n；

S3：对步骤S2得到的特征点进行图分析，得到特征点的行为一致性，具体步骤为：

S3.1：根据特征点坐标之间的距离，采用KNN算法得到聚类中每个特征点的K个邻接特征点集合；

S3.2：根据步骤S3.1中得到的各个特征点的邻接特征点集合建立的人群网络图G，每个特征点作为人群网络图中的节点，特征点与其邻接特征点连接，与其非邻接特征点不连接；

S3.3：计算各个特征点之间的行为相似度，对于特征点p_i，特征点p_j与其行为相似度ω_t(i,j)的计算公式为：

${\mathrm{\ω}}_t(i,j)=\left\{\begin{array}{cc}\max (C_t(i,j),0),& j\∈\left(i\right)\\ 0& j\∉N\left(i\right)\end{array}\right.$

其中，C_t(i,j)是特征点p_i和p_j的速度夹角余弦值，N(i)指特征点p_i的K个邻接特征点集合；

将行为相似度ω_t(i,j)作为人群网络图G中对应两个特征点连线的权重，从而得到加权邻接矩阵W；

S3.4：计算得到矩阵Ζ＝(I-zW)^-1-I，其中I为单位矩阵，z为预设的常数，取值范围为0＜z＜1/ρ(W_k)，ρ(W_k)表示W_k的谱半径；矩阵Ζ中的元素z(i,j)为特征点p_i与p_j的行为一致性；

S4：对矩阵Z进行阈值化处理，得到二值矩阵Y，其方法为：

$y(i,j)=\left\{\begin{array}{cc}1,& z(i,j)\&GreaterEqual;\mathrm{\&epsiv;}\\ 0,& z(i,j)<\mathrm{\&epsiv;}\end{array}\right.$

其中，y(i,j)表示二值化的一致性，ε表示预设的阈值；

S5：基于一致性进行特征点聚类，具体步骤包括：

S5.1：从二值矩阵Y中剔除与其他所有特征点的元素y(i,j)＝0的特征点，将剩余的特征点构成集合P′；

S5.2：令特征点类的序号M＝1；

S5.3：初始化类集合C_M为空集，从P′中取出一个特征点记为p₁′加入类C_M，遍历P′中其他所有特征点，判断各特征点与p₁′的二值化一致性是否等于1，如果是，则此特征点属于类C_M，否则不属于类C_M；然后继续以类C_M中新增特征点为基准，判断集合P′中其他所有特征点与新增特征点的二值化一致性是否等于1，如果是，则此特征点属于类C_M，否则不属于类C_M；如此循环，直到类C_M不再有新增特征点为止；

S5.4：令P′＝P′-C_M，判断P′是否为空集，如果是，聚类结束，此时的M即为聚类数量，如果不是，令M＝M+1，返回步骤S5.3。

S6：计算人群聚集度Φ，计算公式为：

$\mathrm{\&Phi;}=\frac{1}{n^{\&prime;}}{e}^T({(I-z{W}^{\&prime;})}^{-1}-I)e$

其中，W′表示M个聚类中所有特征点的邻接矩阵，e表示单位列向量，n′表示M个聚类中包含的特征点的总数；

计算M个聚类中所有特征点的平均运动速度大小，作为人群运动强度V；然后计算M个聚类中所有特征点的运动方向方差，作为人群运动方向方差σ，

S7：如果人群聚集度、人群运动强度、人群运动方向方差和人群聚类数量分别满足以下条件，则该监控视频图像中的人群状态为人群疏散状态：监控视频图像t-α到当前监控视频图像t的人群聚集度增加幅度ΔΦ＝Φ_t-Φ_t-α＞Φ_T1，Φ_T1为人群聚集度增幅阈值，α表示预设的监控视频图像间隔帧数；监控视频图像t-α到当前监控视频图像t中平均人群运动强度V_τ表示监控视频图像τ的人群运动强度，V_T表示预设的人群运动强度阈值；监控视频图像t-α到当前监控视频图像t中平均人群运动方向方差σ_τ表示监控视频图像τ的人群运动方向方差，σ_T1表示预设的人群运动方向方差阈值；监控视频图像t-α到当前监控视频图像t中平均人群聚类数量M_τ表示监控视频图像τ的人群聚类数量，M_T表示预设的人群聚类数量阈值；

如果人群聚集度、人群运动强度、人群运动方向方差和人群聚类数量分别满足以下条件，则该监控视频图像中的人群状态为人群聚集状态：监控视频图像t-α到当前监控视频图像t的人群聚集度增加幅度ΔΦ＞Φ_T1；监控视频图像t-α到当前监控视频图像t中平均人群运动强度监控视频图像t-α到当前监控视频图像t中平均人群运动方向方差监控视频图像t-α到当前监控视频图像t中平均人群聚类数量

如果人群聚集度、人群运动强度、人群运动方向方差和人群聚类数量分别满足以下条件，则该监控视频图像中的人群状态为人群骚乱状态：监控视频图像t-α到当前监控视频图像t中平均人群聚集度其中Φ_T2表示预设的人群聚集度阈值；监控视频图像t-α到当前监控视频图像t中平均人群运动强度监控视频图像t-α到当前监控视频图像t的人群聚集度增加幅度Δσ＝σ_t-σ_t-α＞σ_T2,σ_T2表示人群运动强度增幅阈值；监控视频图像t-α到当前监控视频图像t中平均人群聚类数量

本发明中高密度人群的异常状态检测方法，首先对特征点提取和跟踪，根据特征点在前一帧和当前帧监控视频图像的坐标计算特征点的速度，然后采用图分析得到特征点间的行为一致性，基于行为一致性剔除离散点，对剩余特征点进行聚类，然后计算聚类中所有特征点的人群聚集度、人群运动强度、人群运动方向方差，然后根据若干帧监控视频图像中这三个参数以及人群聚类数量的大小和增幅判断人群的异常状态。

本发明具有以下有益效果：

(1)没有局限于固定场景，能够广泛应用于不同场景下的中高密度人群检测中；

(2)现有人群异常状态检测算法一般着眼于人群的个体或像素角度的分析，忽略人群行人间的相互作用，不能宏观且准确的分析人群状态，本发明采用图分析法检测人群异常状态，将人群状态检测主要问题看作是一个网络图的节点间一致性准则定义问题，该方法不仅将行人间的相互作用纳入检测中，而且不受限于行人间的遮挡、拥挤、低分辨率等因素；

(3)由于现实场景中人群的个体往往相互聚集成簇形成群体，在簇内部表现出相似的特征，簇对外表现出较为统一的特征。此外，传统聚类算法往往需要大量的训练样本，或者预先设定的聚类数目，参数复杂。本发明的聚类算法属于非监督聚类算法，简单易行。

附图说明

图1是本发明中高密度人群的异常状态检测方法的流程图；

图2是人群特征点图分析流程图；

图3是基于一致性进行特征点聚类的流程图；

图4是视频1的四个特征统计示意图；

图5是视频1中具有代表性的视频帧；

图6是视频2的四个特征统计示意图；

图7是视频2中具有代表性的视频帧；

图8是视频3的四个特征统计示意图；

图9是视频3中具有代表性的视频帧。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明中高密度人群的异常状态检测方法的流程图。如图1所示，本发明中高密度人群异常状态检测方法包括以下步骤：

S101：获取检测样本图像：

获取被检测场所的监控视频图像作为检测样本，将其中若干张图像的平均图像作为背景图像。

S102：特征点轨迹跟踪并计算速度：

根据步骤S101得到的背景图像对每帧监控视频图像提取特征点并进行跟踪，记当前监控视频图像t中和前一帧监控视频图像t-1匹配的有效特征点数量为n，即特征点集C＝[p₁,p₂…p_n]。将n个特征点在监控视频图像t和前一帧监控视频图像t-1中的坐标分别记为(x_i,t,y_i,t)、(x_i,t-1,y_i,t-1)，i的取值范围为i＝1,2,…,n，计算特征点速度其中Δx_i＝x_i,t-x_i,t-1，Δy_i＝y_i,t-y_i,t-1，Δt表示两帧监控视频图像的时间间隔。

本实施例采用基于KLT的特征点跟踪法，其具体方法为：对前一帧监控视频图像t-1筛选有效特征窗口，选取能够可靠跟踪的窗口，然后根据由KLT得到的特征窗口位移d＝(Δx,Δy)找出特征点在当前监控视频图像t中的对应特征点，并根据KLT仿射模型剔除和背景点集距离相近的特征点，从而得到有效特征点。基于KLT的特征点跟踪法的详细说明可以参见Jianbo Shi and Carlo Tomasi.Good Features to Track.IEEE Conference on Computer Vision and PatternRecognition,pages 593-600,1994。

S103：通过图分析得到特征点的行为一致性：

接下来根据步骤S102检测得到的人群特征点及其运动信息，构建人群网络图，并对人群特征点进行图分析。图2是人群特征点图分析流程图。如图2所示，本发明中人群特征点图分析包括以下步骤：

S201：获取邻接特征点集合：

根据特征点坐标之间的距离，采用KNN算法，即K近邻分类(k-nearestneighbor classification)算法，得到聚类中每个特征点的K个邻接特征点集合，即前K个距离最近的特征点，K的值根据实际情况设置。KNN算法是一种常用算法，其详细步骤在此不再赘述。

S202：生成人群网络图：

根据步骤S201中得到的各个特征点的邻接特征点集合建立人群网络图G＝(V,E,W)，每个特征点作为人群网络图中的节点，特征点与其邻接特征点连接，与其非邻接特征点不连接。V表示特征点集合，E表示边的集合，W表示加权邻接矩阵。可见，在不同时刻(即不同监控视频图像中)，步骤S201得到的各个特征点的K个邻接特征点集合是变化的，因此得到的人群网络图是时变的。

S203：计算特征点间的行为相似度：

记两个特征点分别为p_i、p_j，i、j的取值范围为i＝1,2,…,n、j＝1,2,…,n。如果p_j是p_i的邻接特征点，即p_j∈N(i)，N(i)指特征点p_i的K个邻接特征点集合，则特征点p_j与特征点p_i在当前监控视频图像t的行为相似度ω_t(i,j)的计算公式为：

ω_t(i,j)＝max(C_t(i,j),0)

C_t(i,j)是特征点p_i和p_j在当前监控视频图像t的速度相关性，即特征点p_i和p_j的速度夹角余弦值，|| ||为求模运算符，上标T表示转置，。

如果p_j不是p_i的邻接特征点(包括j＝i)，则ω_t(i,j)＝0。

行为相似度ω_t(i,j)即作为人群网络图G_k中对应两个特征点连线的权重，从而得到加权邻接矩阵W。

S204：计算特征点间的行为一致性：

两个邻接特征点的行为一致性可以用行为相似度来表征，而非邻接特征点则不能。在人群网络图中，特征点p_i与其非邻接特征点p_j间虽然不能直接计算行为相似度，但是通过人群网络图，可以得到两个非邻接特征点之间的路径，通过该路径上邻接特征点的行为相似度，可以间接得到非邻接牲点间的一致性。特征点p_i与其非邻接特征点p_j间的行为一致性可以通过下式计算：

${\stackrel{\&OverBar;}{\mathrm{\&omega;}}}_t(i,j)=\underset{l=1}{\overset{\&infin;}{\mathrm{\&Sigma;}}}{z}^l{v}_l(i,j)$

其中，z为预设的常数，取值范围为0＜z＜1/ρ(W)，ρ(W)表示W的谱半径，ν_l(i,j)表示特征点p_i与其非邻接特征点p_j所有的具有相同长度l的不同路径的行为一致性，其计算公式为：

$v_l(i,j)=\underset{{\mathrm{\&gamma;}}_l=P_l}{\mathrm{\&Sigma;}}{v}_{{\mathrm{\&gamma;}}_l}(i,j)$

$v_l(i,j)=\underset{{\mathrm{\&gamma;}}_l\&Element;P_l}{\mathrm{\&Sigma;}}{v}_{{\mathrm{\&gamma;}}_l}(i,j)$

$v_{{\mathrm{\&gamma;}}_l}(i,j)={\mathrm{\&Pi;}}_{k=0}^l{\mathrm{\&omega;}}_t(p_k,p_{k+1}),{\mathrm{\&gamma;}}_l=\{p_0\&RightArrow;p_0\&RightArrow;...\&RightArrow;p_l\},(p_0=i,p_l=j)$

其中，表示非邻接特征点p_i与p_j在长度为l的指定路径r_l下的行为一致性，Ρ_l表示特征点p_i与p_j所有的长度为l的路径的集合，路径长度l是指两个特征点间间隔的特征点个数。ν_l(i,j)就是矩阵W^l的对应边的权值，W^l表示加权邻接矩阵W的l次幂，l的取值范围是l＝1,2,…,+∞。可以证明，

各特征点的路径长度l的特征点p_i的个体聚集度为：

其中，C表示特征点集合，e为单位列向量，[W^le]_i表示矩阵[W^le]的第i个元素。

从而可以得到特征点p_i的个体聚集度其中[Ζe]_i表示矩阵[Ζe]的第i个元素，Ζ＝(I-zW)^-1-I，其中I为单位矩阵，z为预设的常数，当0＜z＜1/ρ(W)时Z矩阵收敛，ρ(W)表示W的谱半径。

人群的整体聚集度Φ为包含的个体的聚集度的均值，其计算公式为：

其中，N表示人群特征点的数量，根据实验分析，选择最鲁邦的参数K＝20，z＝0.05，即Φ上限为1。

在计算聚集度中所采用的矩阵Ζ中的每个元素z(i,j)即为需要计算的特征点p_i与p_j的行为一致性因此本发明通过计算矩阵Ζ来得到特征点间的行为一致性。

S104：一致性矩阵二值化：

对矩阵Z进行阈值化处理，得到二值矩阵Y，其方法为：

$y(i,j)=\left\{\begin{array}{cc}1,& z(i,j)\&GreaterEqual;\mathrm{\&epsiv;}\\ 0,& z(i,j)<\mathrm{\&epsiv;}\end{array}\right.$

其中，y(i,j)表示二值化的一致性，ε表示预设的阈值。即如果特征点间的行为一致性z(i,j)＜ε，则认为两个特征点不相关，设定二值矩阵Y中元素y(i,j)的值为0；反之，则认为两个特征点相关，设定二值矩阵Y中元素y(i,j)的值为1。由于那么阈值ε应当设置为：

$\mathrm{\&epsiv;}=\frac{\mathrm{\&lambda;z}}{1-\mathrm{zK}}<\frac{z}{1-\mathrm{zK}}$

其中，λ为预设的参数，取值范围为0＜λ＜1。本实施例中设置λ＝0.6。

如果一个特征点与其他所有特征点的行为一致性都较低，说明此点为离散点，通过二值矩阵Y可以很容易得到离散点。

S105：基于行为一致性进行特征点聚类：

根据二值矩阵Y中各元素的值，也就是各特征点之间的二值化的一致性，对特征点进行聚类。图3是基于行为一致性进行特征点聚类的流程图。如图3所示，基于一致性进行特征点聚类的具体步骤为：

S301：从二值矩阵Y中剔除与其他所有特征点的元素y(i,j)＝0的特征点，也就是剔除离散点，将剩余的特征点构成集合P′。

S302：令特征点类的序号M＝1。

S303：得到类C_M：

初始化类集合C_M为空集，从P′中取出一个特征点记为p₁′加入类C_M，遍历P′中其他所有特征点，判断各特征点与p₁′的二值化一致性是否等于1，如果是，则此特征点属于类C_M，否则不属于类C_M；然后继续以类C_M中新增特征点为基准，判断集合P′中其他所有特征点与新增特征点的二值化一致性是否等于1，如果是，则此特征点属于类C_M，否则不属于类C_M；如此循环，直到类C_M不再有新增特征点为止。

S304：令P′＝P′-C_M，即从集合P′中去除属于类C_M的特征点。

S305：判断P′是否为空集，如果是，聚类结束，此时的M即为聚类数量，如果不是，进入步骤S5.6。

S306：令M＝M+1，返回步骤S303。

为减小计算负担并且进一步提高人群异常状态检测准确度，可以设定阈值ζ，将特征点数量小于ζ的类剔除，并重新统计人群聚类结果，以此时的聚类数量作为M。阈值ζ的大小可以根据实际情况进行确定，本实施例中设定ζ＝2％×n，n表示为当前监控图像帧的特征点总个数。

S106：基于聚类计算人群特征：

本发明中人群特征包括四类：人群聚类数量M、人群聚集度、人群运动强度和人群运动方向方差。

本发明中用于人群状态判断的人群聚集度Φ是M个聚类中所包含的各个特征点的聚集度的均值，当前监控视频图像t的人群聚集度Φ_t的计算公式为：

其中，W′表示M个聚类中所有特征点的邻接矩阵，n′表示M个聚类中包含的特征点的总数，上标“-1”表示求逆矩阵。

人群运动强度V是人群运动速度的均值，主要由M个聚类中所有特征点的速度决定，计算公式为：

$V=\left|\right|\frac{1}{n^{\&prime;}}\underset{k=1}{\overset{n^{\&prime;}}{\mathrm{\&Sigma;}}}\frac{v_k}{\left|\right|v_k\left|\right|}\left|\right|,0<V<1$

其中，v_k代表特征点k的运动速度，n′表示M个聚类中包含的特征点的总数。

人群运动方向方差主要由聚类后的特征点角度决定。特征点的角度为特征点速度向量与x轴的夹角，取值范围为0至360度，将360度范围平均划分为Q个子区间。对于M个聚类中每个聚类，分别统计每个子区间中特征点的数量，并按特征点数量从大到小进行排序，选择前γ个子区间中的特征点，γ的取值根据实际情况确定。然后计算第m个聚类的平均运动方向A_m，计算公式为：

$A_m=\frac{1}{\mathrm{\&gamma;}}\underset{d=1}{\overset{\mathrm{\&gamma;}}{\mathrm{\&Sigma;}}}{\mathrm{Ang}}_m\left(d\right)$

其中，Ang_m(d)表示第m个聚类中所选择γ个子区间中第d个子区间中所有特征点的平均运动方向。

人群运动方向方差即为不同聚类的运动方向方差，计算公式为：

$\mathrm{\&sigma;}=\frac{1}{M}\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}{(A_m-\stackrel{\&OverBar;}{A})}^2$

其中，表示M个聚类的平均运动方向A_m的均值，即M个聚类中所有特征点的平均运动方向。

S107：人群异常状态分析：

本发明对三种人群异常状态进行检测，包括人群疏散状态、人群聚集状态和人群骚乱状态，每种状态的判别方式为：

本发明的人群疏散状态指大量的行人在某种特殊情况下方向一致性的快速行进。其特征表现为：(1)随着时间增加，人群聚集度逐渐增大；(2)人群运动强度较大；(3)运动方向统一，即运动方向方差较小；(4)人群个体人员的运动较为一致，即聚类数目非常少。对应的量化的判别标准为：监控视频图像t-α到当前监控视频图像t的人群聚集度增加幅度ΔΦ＝Φ_t-Φ_t-α＞Φ_T1，Φ_T1为人群聚集度增幅阈值，α表示预设的监控视频图像间隔帧数；监控视频图像t-α到当前监控视频图像t中平均人群运动强度V_τ表示监控视频图像τ的人群运动强度，V_T表示预设的人群运动强度阈值；监控视频图像t-α到当前监控视频图像t中平均人群运动方向方差σ_τ表示监控视频图像τ的人群运动方向方差，σ_T1表示预设的人群运动方向方差阈值；监控视频图像t-α到当前监控视频图像t中平均人群聚类数量M_τ表示监控视频图像τ的人群聚类数量，M_T表示预设的人群聚类数量阈值。

本发明的人群聚集状态指由于某个共同目标的指引，从四面八方不断的涌现人群同一时间向着同一目标行进。其特征表现为：(1)随着时间增加，人群聚集度逐渐增大；(2)人群运动强度较大；(3)运动方向杂乱，即运动方向方差较大；(4)聚类数目较多。对应的量化的判别标准为：监控视频图像t-α到当前监控视频图像t的人群聚集度增加幅度ΔΦ＞Φ_T1；监控视频图像t-α到当前监控视频图像t中平均人群运动强度监控视频图像t-α到当前监控视频图像t中平均人群运动方向方差监控视频图像t-α到当前监控视频图像t中平均人群聚类数量

本发明的人群骚乱状态指在某些特定事件发生后，引发的不可控场面。其特征表现为：(1)人群聚集度较高；(2)人群运动强度较大；(3)随着时间增加，运动方向方差逐渐增大；(4)聚类数目较多。对应的量化的判别标准为：监控视频图像t-α到当前监控视频图像t中平均人群聚集度其中Φ_T2表示预设的人群聚集度阈值；监控视频图像t-α到当前监控视频图像t中平均人群运动强度监控视频图像t-α到当前监控视频图像t的人群聚集度增加幅度Δσ＝σ_t-σ_t-α＞σ_T2,σ_T2表示人群运动强度增幅阈值；监控视频图像t-α到当前监控视频图像t中平均人群聚类数量

人群可能还存在其他的状态，本发明中仅对人群疏散状态、人群聚集状态和人群骚乱状态三种异常状态进行检测。

为验证本发明提出的算法的准确性，本发明选取了三个已知存在人群异常状态的视频，其中视频1是马路中的人群疏散，视频2是过街电梯附近的人群聚集，视频3是街道中的人群骚乱三个视频。视频组的时间序列图片大小为720*480。设置监控视频图像间隔帧数α＝50，阈值Φ_T1＝0.2，Φ_T2＝0.5，V_T＝0.6，σ_T1＝40，σ_T2＝30，M_T＝2。

图4是视频1的四个特征统计示意图。图5是视频1中具有代表性的视频帧。采用本发明方法判断得到视频1中人群状态为疏散状态。图6是视频2的四个特征统计示意图。图7是视频2中具有代表性的视频帧。采用本发明方法判断得到视频1中人群状态为聚集状态。图8是视频3的四个特征统计示意图。图9是视频3中具有代表性的视频帧。采用本发明方法判断得到视频1中人群状态为骚乱状态。可见，本发明的人群状态检测结果与三种已知状态的人群特征基本一致，从而验证了本发明技术方案的准确性和有效性。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (3)

1.一种中高密度人群的异常状态检测方法，其特征在于，包括以下步骤：

S1：获取被检测场所的监控视频图像作为检测样本，将其中若干张图像的平均图像作为背景图像；

S2：根据步骤S1得到的背景图像对每帧监控视频图像提取特征点并进行跟踪，记当前监控视频图像t中和前一帧监控视频图像t-1匹配的有效特征点数量为n，特征点集C＝[p₁,p₂…p_n]；根据n个特征点在监控视频图像t和前一帧监控视频图像t-1中的坐标计算得到第i个特征点p_i的速度m的取值范围为i＝1,2,…,n；

S3：对步骤S2得到的特征点进行图分析，得到特征点的行为一致性，具体步骤为：

S3.1：根据特征点坐标之间的距离，采用KNN算法得到聚类中每个特征点的K个邻接特征点集合；

S3.2：根据步骤S3.1中得到的各个特征点的邻接特征点集合建立的人群网络图G，每个特征点作为人群网络图中的节点，特征点与其邻接特征点连接，与其非邻接特征点不连接；

S3.3：计算各个特征点之间的行为相似度，对于特征点p_i，特征点p_j与其行为相似度ω_t(i,j)的计算公式为：

${\mathrm{\&omega;}}_t(i,j)=\left\{\begin{array}{cc}\max (C_t(i,j),0),& j\&Element;N\left(i\right)\\ 0& j\&NotElement;N\left(i\right)\end{array}\right.$

其中，C_t(i,j)是特征点p_i和p_j的速度夹角余弦值，N(i)指特征点p_i的K个邻接特征点集合；

将行为相似度ω_t(i,j)作为人群网络图G中对应两个特征点连线的权重，从而得到加权邻接矩阵W；

S3.4：计算得到矩阵Ζ＝(I-zW)^-1-I，其中I为单位矩阵，z为预设的常数，取值范围为0＜z＜1/ρ(W_k)，ρ(W_k)表示W_k的谱半径；矩阵Ζ中的元素z(i,j)为特征点p_i与p_j的行为一致性；

S4：对矩阵Z进行阈值化处理，得到二值矩阵Y，其方法为：

$y(i,j)=\left\{\begin{array}{cc}1,& z(i,j)\&GreaterEqual;\mathrm{\&epsiv;}\\ 0,& z(i,j)<\mathrm{\&epsiv;}\end{array}\right.$

其中，y(i,j)表示二值化的一致性，ε表示预设的阈值；

S5：基于一致性进行特征点聚类，具体步骤包括：

S5.1：从二值矩阵Y中剔除与其他所有特征点的元素y(i,j)＝0的特征点，将剩余的特征点构成集合P′；

S5.2：令特征点类的序号M＝1；

S5.3：初始化类集合C_M为空集，从P′中取出一个特征点记为p′₁加入类C_M，遍历P′中其他所有特征点，判断各特征点与p′₁的二值化一致性是否等于1，如果是，则此特征点属于类C_M，否则不属于类C_M；然后继续以类C_M中新增特征点为基准，判断集合P′中其他所有特征点与新增特征点的二值化一致性是否等于1，如果是，则此特征点属于类C_M，否则不属于类C_M；如此循环，直到类C_M不再有新增特征点为止；

S5.4：令P′＝P′-C_M，判断P′是否为空集，如果是，聚类结束，此时的M即为聚类数量，如果不是，令M＝M+1，返回步骤S5.3。

S6：计算当前监控视频图像t的人群聚集度Φ_t，计算公式为：

${\mathrm{\&Phi;}}_t=\frac{1}{n^{\&prime;}}{e}^T({(I-z{W}^{\&prime;})}^{-1}-I)e$

其中，W′表示M个聚类中所有特征点的邻接矩阵，e表示单位列向量，n′表示M个聚类中包含的特征点的总数；

计算M个聚类中所有特征点的平均运动速度大小，作为人群运动强度V；然后计算M个聚类中所有特征点的运动方向方差，作为人群运动方向方差σ，

S7：如果人群聚集度、人群运动强度、人群运动方向方差和人群聚类数量分别满足以下条件，则该监控视频图像中的人群状态为人群疏散状态：监控视频图像t-α到当前监控视频图像t的人群聚集度增加幅度ΔΦ＝Φ_t-Φ_t-α＞Φ_T1，Φ_T1为人群聚集度增幅阈值，α表示预设的监控视频图像间隔帧数；监控视频图像t-α到当前监控视频图像t中平均人群运动强度V_τ表示监控视频图像τ的人群运动强度，V_T表示预设的人群运动强度阈值；监控视频图像t-α到当前监控视频图像t中平均人群运动方向方差σ_τ表示监控视频图像τ的人群运动方向方差，σ_T1表示预设的人群运动方向方差阈值；监控视频图像t-α到当前监控视频图像t中平均人群聚类数量M_τ表示监控视频图像τ的人群聚类数量，M_T表示预设的人群聚类数量阈值；

如果人群聚集度、人群运动强度、人群运动方向方差和人群聚类数量分别满足以下条件，则该监控视频图像中的人群状态为人群聚集状态：监控视频图像t-α到当前监控视频图像t的人群聚集度增加幅度ΔΦ＞Φ_T1；监控视频图像t-α到当前监控视频图像t中平均人群运动强度监控视频图像t-α到当前监控视频图像t中平均人群运动方向方差监控视频图像t-α到当前监控视频图像t中平均人群聚类数量

如果人群聚集度、人群运动强度、人群运动方向方差和人群聚类数量分别满足以下条件，则该监控视频图像中的人群状态为人群骚乱状态：监控视频图像t-α到当前监控视频图像t中平均人群聚集度其中Φ_T2表示预设的人群聚集度阈值；监控视频图像t-α到当前监控视频图像t中平均人群运动强度监控视频图像t-α到当前监控视频图像t的人群聚集度增加幅度Δσ＝σ_t-σ_t-α＞σ_T2,σ_T2表示人群运动强度增幅阈值；监控视频图像t-α到当前监控视频图像t中平均人群聚类数量

2.根据权利要求1所述的异常状态检测方法方法，其特征在于，所述步骤S5中，在得到的M个聚类中，将特征点数量小于预设阈值ζ的类剔除，剩下的聚类作为聚类结果。

3.根据权利要求1所述的异常状态检测方法，其特征在于，所述步骤S6中人群运动方向方差σ的计算方法为：

定义特征点的角度为特征点速度向量与x轴的夹角，取值范围为0至360度，将360度范围平均划分为Q个子区间；对于M个聚类中每个聚类，分别统计每个子区间中特征点的数量，并按特征点数量从大到小进行排序，选择前γ个子区间中的特征点，计算第m个聚类的平均运动方向A_m，计算公式为：

$A_m=\frac{1}{\mathrm{\&gamma;}}\underset{d=1}{\overset{\mathrm{\&gamma;}}{\mathrm{\&Sigma;}}}{\mathrm{Ang}}_m\left(d\right)$

其中，Ang_m(d)表示第m个聚类中所选择γ个子区间中第d个子区间中特征点的平均运动方向。

人群运动方向方差σ的计算公式为：

$\mathrm{\&sigma;}=\frac{1}{M}\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}{(A_m-\stackrel{\&OverBar;}{A})}^2$

其中，表示M个聚类的平均运动方向A_m的均值。