CN104680140A - 基于图像的人群聚集状态检测方法 - Google Patents

Abstract

本发明公开了一种基于图像的人群聚集状态检测方法，首先对特征点提取和跟踪，根据特征点在前一帧和当前帧监控视频图像的坐标计算特征点的速度，根据速度对特征点进行聚类，对每个聚类分别计算群体聚集度，然后计算整体群体聚集度，最后根据预设的速度阈值和群体聚集度阈值得到当前人群聚集状态。本发明可以用于不同场景的人群聚集状态检测，利用时变拓扑网络图与图论模型分析人群聚集状态，能够定量衡量聚集度，并且通过结合人群聚集度和人群速度协同判断人群聚集状态，便于应对处理。

Description

基于图像的人群聚集状态检测方法

技术领域

本发明属于人群聚集状态检测领域，更为具体地讲，涉及一种基于图像的人群聚集状态检测方法。

背景技术

随着经济持续稳定发展，城市公共场所作为经济文化的主要载体承担着越来越多的商业活动、娱乐活动、文化活动、交通运输活动，体育活动、宗教活动等，每一次活动都伴随着大量的人群聚集。近年来，城市公共场所事故、灾害、突发重大事件的风险性逐步增大已成为一种客观趋势，其中，由人群聚集引发的事故发生频率也在迅速增加。

面对严峻的形势，如何有效地减少事故发生，控制事故发展，降低事故伤亡后果是一个重大的科研课题和社会课题。通过对人群聚集与人群动力学属性的研究，可以为公共场所大型人群聚集活动中的人群管理和人群疏散提供理论指导，达到预防、控制和减缓人群聚集事故的目的。因此，对该问题进行深入的研究具有重要的现实意义，同时其应用前景也十分广泛，比如公共安全领域的人群示威游行、暴乱、踩踏事故、火灾等。

聚集是指具有一定数量个体的群体同时趋向于某一地点，构成人群聚集状态需要满足两个条件，第一，要求每个个体运动趋向性保持一致，运动趋向性保持一致包括个体从四周向同一地点聚集，或个体以同样的速度趋向向同一地点聚集。第二，要求每个个体运动保持同时性。人群聚集现象的本质特征是一定数量的自主个体通过关联作用和自组织，在集体层面上呈现出有序的协同运动和行为，这种行为可以使群体表现出相同的集体的“意向”或“目的”。

在具有中高密度人群的场景中，大量的人相互碰撞会导致相互影响、相互遮挡等问题，而且视频中人群个体目标大小不一，他们所展现出的个体行为趋向也更为多样化，这些都使得人群聚集检测变得十分复杂。

目前，传统的基于轨迹或基于像素统计等人群聚集检测算法主要存在以下缺陷：1)检测的群体对象非常局限，并且主要局限于小群体聚集研究。2)不能准确判断群体状态。3)不能定量衡量群体聚集状态。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于图像的人群聚集状态检测方法，通过结合人群聚集度和人群速度协同判断人群聚集状态。

为实现上述发明目的，本发明基于图像的人群聚集状态检测方法包括以下步骤：

S1：获取被检测场所的监控视频图像作为检测样本，将其中若干张图像的平均图像作为背景图像；

S2：根据步骤S1得到的背景图像对每帧监控视频图像提取特征点并进行跟踪，记当前监控视频图像t中和前一帧监控视频图像t-1匹配的有效特征点数量为n，特征点集C＝[p₁,p₂...p_n]；根据n个特征点在监控视频图像t和前一帧监控视频图像t-1中的坐标计算得到第m个特征点的速度m的取值范围为m＝1,2,...,n；根据各个特征点的速度计算得到人群的平均速度V；

S3：根据每个特征点的速度(υ_x,m,υ_y,m)进行聚类，记聚类数量为c；

S4：对步骤S3得到的每个聚类分别计算群体聚集度，群体聚集度的计算包括以下步骤：

S4.1：根据特征点坐标之间的距离，采用KNN算法得到聚类中每个特征点的K个邻接特征点集合；

S4.2：根据步骤S4.1中得到的各个特征点的邻接特征点集合建立当前聚类的人群网络图G_k，k是聚类的序号，取值范围为k＝1,2,...,c，每个特征点作为人群网络图中的节点，特征点与其邻接特征点连接，与其非邻接特征点不连接；

S4.3：计算各个特征点之间的行为相似度，对于特征点i，特征点j与其行为相似度ω_t(i,j)的计算公式为：

${\mathrm{\ω}}_t(i,j)=\left\{\begin{array}{cc}\max (C_t(i,j),0),& j\∈N\left(i\right)\\ 0& j\∉N\left(i\right)\end{array}\right.$

其中，C_t(i,j)是特征点i和j的速度夹角余弦值，N(i)指特征点i的K个邻接特征点集合；

将行为相似度ω_t(i,j)作为人群网络图G_k中对应两个特征点连线的权重，从而得到加权邻接矩阵W_k；

S4.4：计算聚类的群体聚集度Φ_k，的计算公式为：

${\mathrm{\Φ}}_k=\frac{1}{N_k}{e}^T({(I-z{W}_k)}^{-1}-I)e$

其中，N_k表示聚类k中特征点的数量，e为单位列向量，上标T表示转置，I为单位矩阵，z为预设的常数，取值范围为0＜z＜1/ρ(W_k)，ρ(W_k)表示W_k的谱半径；

S5：计算整体群体聚集度Φ，计算公式为：

$\mathrm{\Φ}=\frac{1}{N}\underset{k=1}{\overset{c}{\mathrm{\Σ}}}{N}_k\·{\mathrm{\Φ}}_k,N=\underset{k=1}{\overset{c}{\mathrm{\Σ}}}{N}_k$

S6：设置平均速度阈值V_T、群体聚集度阈值Φ_T1和Φ_T2，并且Φ_T1＜Φ_T2，根据平均速度V和整体群体聚集度Φ得到当前人群聚集状态，分为以下六种情况：

如果V≤V_T，Φ≤Φ_T1，人群聚集状态为低速低聚集度；

如果V≤V_T，Φ_T1＜Φ≤Φ_T2，人群聚集状态为低速中聚集度；

如果V≤V_T，Φ＞Φ_T2，人群聚集状态为低速高聚集度；

如果V＞V_T，Φ≤Φ_T1，人群聚集状态为高速低聚集度；

如果V＞V_T，Φ_T1＜Φ≤Φ_T2，人群聚集状态为高速中聚集度；

如果V＞V_T，Φ＞Φ_T2，人群聚集状态为高速高聚集度。

本发明基于图像的人群聚集状态检测方法，首先对特征点提取和跟踪，根据特征点在前一帧和当前帧监控视频图像的坐标计算特征点的速度，根据速度对特征点进行聚类，对每个聚类分别计算群体聚集度，然后计算整体群体聚集度，最后根据预设的速度阈值和群体聚集度阈值得到当前人群聚集状态。

本发明具有以下有益效果：

(1)没有局限于固定场景，能够广泛应用于不同场景；

(2)现有人群聚集检测算法一般基于人群个体人员，从像素或个体行为角度分析，不能宏观且准确地分析人群聚集度。而本发明提出的方法没有局限于群体中的某个体，而是从全局出发，基于群体的聚类进行空间拓扑结构分析，自底而上从有效个体的聚集度进而得到人群聚集度；

(3)利用时变拓扑网络图与图论模型分析人群聚集状态，能够定量衡量聚集度；

(4)通过结合人群聚集度和人群速度协同判断人群聚集状态，便于监控人员选择适当方式进行应对处理。

附图说明

图1是本发明基于图像的人群聚集状态检测方法的流程图；

图2是群体聚集度计算的流程图；

图3是具体实施例的人群聚集检测算法结果图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明基于图像的人群聚集状态检测方法的流程图。如图1所示，本发明基于图像的人群聚集状态检测方法包括以下步骤：

S101：获取检测样本图像：

获取被检测场所的监控视频图像作为检测样本，将其中若干张图像的平均图像作为背景图像。

S102：特征点轨迹跟踪并计算速度：

根据步骤S101得到的背景图像对每帧监控视频图像提取特征点并进行跟踪，记当前监控视频图像t中和前一帧监控视频图像t-1匹配的有效特征点数量为n，即特征点集C＝[p₁,p₂...p_n]。将n个特征点在监控视频图像t和前一帧监控视频图像t-1中的坐标分别记为(x_m,t,y_m,t)、(x_m,t-1,y_m,t-1)，m的取值范围为m＝1,2,...,n，计算特征点速度其中Δx_m＝x_m,t-x_m,t-1，Δy_m＝y_m,t-y_m,t-1，Δt表示两帧监控视频图像的时间间隔。根据各个特征点的速度计算人群的平均速度：显然0＜V＜1。

本实施例采用基于KLT的特征点跟踪法，其具体方法为：对前一帧监控视频图像t-1筛选有效特征窗口，选取能够可靠跟踪的窗口，然后根据由KLT得到的特征窗口位移d＝(Δx,Δy)找出特征点在当前监控视频图像t中的对应特征点，并根据KLT仿射模型剔除和背景点集距离相近的特征点，从而得到有效特征点。基于KLT的特征点跟踪法的详细说明可以参见Jianbo Shi and Carlo Tomasi.Good Features to Track.IEEE Conference on Computer Vision and PatternRecognition,pages 593-600,1994。

S103：根据速度进行特征点聚类：

对有效特征点进行基于速度特征的聚类，即根据每个特征点的速度(υ_x,m,υ_y,m)进行聚类，记聚类数量为c。聚类方法可以根据实际需要进行选择，本实施例中采用Mean shift聚类算法进行聚类。

S104：计算每个聚类的群体聚集度：

接下来对步骤S103得到的聚类，对每个聚类分别计算群体聚集度。图2是群体聚集度计算的流程图。如图2所示，本发明中采用的群体聚集度计算包括以下步骤：

S201：获取邻接特征点集合：

根据特征点坐标之间的距离，采用KNN算法，即K近邻分类(k-nearestneighbor classification)算法，得到聚类中每个特征点的K个邻接特征点集合，即前K个距离最近的特征点，K的值根据实际情况设置。KNN算法是一种常用算法，其详细步骤在此不再赘述。

S202：生成人群网络图：

根据步骤S201中得到的各个特征点的邻接特征点集合建立当前聚类的人群网络图G_k＝(V_k,E_k,W_k)，k是聚类的序号，取值范围为k＝1,2,...,c，每个特征点作为人群网络图中的节点，特征点与其邻接特征点连接，与其非邻接特征点不连接。V_k表示的第k个聚类的特征点集合，E_k表示边的集合，W_k表示加权邻接矩阵。可见，在不同时刻(即不同监控视频图像中)，步骤S201得到的各个特征点的K个邻接特征点集合是变化的，因此得到的人群网络图是时变的。

S203：计算特征点间的行为相似度：

行为相似度用于表征两个特征点的行为一致性。记两个特征点分别为i、j，如果j是i的邻接特征点，即j∈N(i)，N(i)指特征点i的K个邻接特征点集合，则特征点j与特征点i在当前监控视频图像t的行为相似度ω_t(i,j)的计算公式为：

ω_t(i,j)＝max(C_t(i,j),0)

C_t(i,j)是特征点i和j在当前监控视频图像t的速度相关性，即特征点i和j的速度夹角余弦值，||||为求模运算符，上标T表示转置，。

如果j不是i的邻接特征点(包括j＝i)，则ω_t(i,j)＝0。

行为相似度ω_t(i,j)即作为人群网络图G_k中对应两个特征点连线的权重，从而得到加权邻接矩阵W_k。

S204：计算聚类的群体聚集度：

加权邻接矩阵W_k表示的是路径长度为1的两个特征点的相似度，如果两个路径之间长度为l，指定路径γ_l的两个特征点i、j的行为一致性为： $v_{\mathrm{\γl}}={\mathrm{\Π}}_{d=0}^l{\mathrm{\ω}}_t(p_d,p_{d+1}),{\mathrm{\γ}}_l=\{p_0\→p_0\→...\→p_l\},(p_0=i,p_l=j),$ 路径是指两个特征点之间间隔的特征点个数。

特征点i、j之间所有具有相同长度l的不同路径的行为一致性为：Ρ_l表示特征点i、j所有的长度为l的路径的集合。ν_l(i,j)是矩阵的对应边的权值。表示加权邻接矩阵W_k的l次幂。l的取值范围是l＝1,2,...,+∞。

与所属聚类中各特征点的路径长度l的特征点i的个体聚集度为：

其中，C_k是第k个聚类的特征点集合。其中e为单位列向量，[W^le]_i表示矩阵[W^le]的第i个元素。

从而可以得到特征点i的个体聚集度其中[Ζe]_i表示矩阵[Ζe]的第i个元素，Ζ＝(I-zW_k)^-1-I，其中I为单位矩阵，z为预设的常数，当0＜z＜1/ρ(W_k)时Z矩阵收敛，ρ(W_k)表示W_k的谱半径。

因此可以得到聚类的群体聚集度Φ_k的计算公式为：

${\mathrm{\Φ}}_k=\frac{1}{N_k}{e}^T({(I-z{W}_k)}^{-1}-I)e$

其中，N_k表示聚类k中特征点的数量，上标T表示转置，。

S105：计算整体的群体聚集度：

整体的群体聚集度Φ的计算公式为：

$\mathrm{\Φ}=\frac{1}{N}\underset{k=1}{\overset{c}{\mathrm{\Σ}}}{N}_k\·{\mathrm{\Φ}}_k,N=\underset{k=1}{\overset{c}{\mathrm{\Σ}}}{N}_k$

分析可得0≤Φ≤根据实验分析，选择最鲁邦的参数K＝20，z＝0.05，即Φ上限为1。

S106：人群聚集状态分析：

设置平均速度阈值V_T、群体聚集度阈值Φ_T1和Φ_T2，并且Φ_T1＜Φ_T2。表1是人群聚集状态分析表。

人群聚集状态	Φ≤ΦT1	ΦT1＜Φ≤ΦT2	Φ＞ΦT2
				V≤VT	低速低聚集度	低速中聚集度	低速高聚集度
V＞VT	高速低聚集度	高速中聚集度	高速高聚集度

表1

相关人员可以根据得到的人群聚集状态分析结果来进行危险预判，并采用相应措施来预防危险情况发生。一般来说，当人群状态为高聚集度状态时，就有潜在的公共安全危险，如果此时人群平均速度为高速，那么可能是有重要事件发生造成人群的快速前进，应当及时采取应对措施。

为验证本发明提出的算法的准确性，本发明选取了四个不同场景的视频，分别为视频1大厅局部，视频2公路马拉松，视频3横穿马路，视频4商场楼梯，视频组的时间序列图片大小为720*480。设置V_T＝0.7，Φ_T1＝0.3，Φ_T2＝0.5。图3是具体实施例的人群聚集检测算法结果图。如图3所示，采用本发明得到的结果为：第一组大厅局部图像的检测结果为低速低聚集度人群，第二组公路马拉松的检测结果为低速中聚集度人群，第三组横穿马路的检测结果为低速高聚集度人群，第四组商场楼梯的检测结果为高速高聚集度人群。表2是图3各个场景中3幅不同图片对应的平均速度和群体聚集度。

表2

对比每组的人类感知结果，得出算法检测与人类感知两类结果在聚集度和速度上上具有很高的一致性，验证了本发明人群聚集状态检测算法的准确性。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (4)

1.一种基于图像的人群聚集状态检测方法，其特征在于，包括以下步骤：

S1：获取被检测场所的监控视频图像作为检测样本，将其中若干张图像的平均图像作为背景图像；

S2：根据步骤S1得到的背景图像对每帧监控视频图像提取特征点并进行跟踪，记当前监控视频图像t中和前一帧监控视频图像t-1匹配的有效特征点数量为n，特征点集C＝[p₁,p₂…p_n]；根据n个特征点在监控视频图像t和前一帧监控视频图像t-1中的坐标计算得到第m个特征点的速度m的取值范围为m＝1,2,…,n；根据各个特征点的速度计算得到人群的平均速度V；

S3：根据每个特征点的速度(υ_x,i,υ_y,i)进行聚类，记聚类数量为c；

S4：对步骤S3得到的每个聚类分别计算群体聚集度，群体聚集度的计算包括以下步骤：

S4.1：根据特征点坐标之间的距离，采用KNN算法得到聚类中每个特征点的K个邻接特征点集合；

S4.2：根据步骤S4.1中得到的各个特征点的邻接特征点集合建立当前聚类的人群网络图G_k，k是聚类的序号，取值范围为k＝1,2,…,c，每个特征点作为人群网络图中的节点，特征点与其邻接特征点连接，与其非邻接特征点不连接；

S4.3：计算各个特征点之间的行为相似度，对于特征点i，特征点j与其行为相似度ω_t(i,j)的计算公式为：

${\mathrm{\ω}}_t(i,j)=\left\{\begin{array}{cc}\max (C_t(i,j),0),& j\∈N\left(i\right)\\ 0& j\∉N\left(i\right)\end{array}\right.$

其中，C_t(i,j)是特征点i和j的速度夹角余弦值，N(i)指特征点i的K个邻接特征点集合；

将行为相似度ω_t(i,j)作为人群网络图G_k中对应两个特征点连线的权重，从而得到加权邻接矩阵W_k；

S4.4：计算聚类的群体聚集度Φ_k，的计算公式为：

${\mathrm{\Φ}}_k=\frac{1}{N_k}{e}^T({(I-z{W}_k)}^{-1}-I)e$

其中，N_k表示聚类k中特征点的数量，e为单位列向量，上标T表示转置，I为单位矩阵，z为预设的常数，取值范围为0＜z＜1/ρ(W_k)，ρ(W_k)表示W_k的谱半径；

S5：计算整体群体聚集度Φ，计算公式为：

$\mathrm{\Φ}=\frac{1}{\left|N\right|}\underset{k=1}{\overset{c}{\mathrm{\Σ}}}{N}_k\·{\mathrm{\Φ}}_k,N=\underset{k=1}{\overset{c}{\mathrm{\Σ}}}{N}_k$

S6：设置平均速度阈值V_T、群体聚集度阈值Φ_T1和Φ_T2，并且Φ_T1＜Φ_T2，根据平均速度V和整体群体聚集度Φ得到当前人群聚集状态，分为以下六种情况：

如果V≤V_T，Φ≤Φ_T1，人群聚集状态为低速低聚集度；

如果V≤V_T，Φ_T1＜Φ≤Φ_T2，人群聚集状态为低速中聚集度；

如果V≤V_T，Φ＞Φ_T2，人群聚集状态为低速高聚集度；

如果V＞V_T，Φ≤Φ_T1，人群聚集状态为高速低聚集度聚集度；

如果V＞V_T，Φ_T1＜Φ≤Φ_T2，人群聚集状态为高速中聚集度；

如果V＞V_T，Φ＞Φ_T2，人群聚集状态为高速高聚集度。

2.根据权利要求1所述的人群聚集状态检测方法，其特征在于，所述步骤S2中特征点提取和跟踪采用基于KLT的特征点跟踪法。

3.根据权利要求1所述的人群聚集状态检测方法，其特征在于，所述步骤S2中平均速度V的计算公式为：

4.根据权利要求1所述的人群聚集状态检测方法，其特征在于，所述步骤S3中特征点聚类的方法为Mean shift聚类算法。