CN108470154B - 一种大规模人群显著性区域检测方法 - Google Patents

Abstract

本发明公开了一种大规模人群显著性区域检测方法，将二维人群速度矢量场中的每一个速度矢量看作人群网络节点，基于速度矢量点积公式求取速度矢量夹角，从而确定速度矢量间关联关系，并用该值定量评估速度矢量之间关联程度，从而构造速度矢量夹角加权复杂网络模型；分析人群加权复杂网络特征参数，提取能理解并表达人群显著性运动区域与主流人群运动区域的特征值，构建特征矩阵检测大规模人群显著性运动区域。

Description

一种大规模人群显著性区域检测方法

技术领域

本发明涉及视频分析与图像理解领域，尤其是涉及一种基于速度矢量夹角加权网络的大规模人群显著性区域检测。

背景技术

人群行为分析是计算机视觉领域的前沿课题与研究难点。在成百上千的稠密人群聚集的场景中，大量视频数据需要人工处理，使得监控人员工作效率十分低下。因此我们急需一种能自动分析视频信息的智能监控系统，帮助视频监控人员更多留意人群显著性区域，当有异常行为发生时能及时准确地向工作人员发出警报，从而避免不必要的损失。

在人群场景中，对什么是显著性区域在科学界引起了广大科研工作者的热烈讨论。有的研究者认为只要与一般观察到的事件有所背离就是显著性行为；有的则认为罕见或突出的事件为显著性行为。目前存在的很多显著性检测的方法几乎都针对于静态图像的显著性检测，而对于视频中的动态运动场景(特别是稠密人群运动场景)的显著性检测方法需要进一步发展与完善。

发明内容

为了实现对动态运动场景中的显著性区域进行有效检测，本发明提出了一种构建复杂网络的思路，即强调系统的结构并从结构角度分析系统的功能。主要思路是：如果将系统内部的各个元素作为节点，元素之间的关系视为连接，那么系统就构成了一个网络。节点及其连接关系可以描述人群微观特性，网络的特征参数则可以描述人群宏观特性。因此按照这个思路构建的复杂网络在人群显著性区域检测中是一个可以用微观信息反映宏观信息的有力工具。

本发明的目的是通过构造加权复杂网络模型，利用加权复杂网络模型参数，对大规模人群中显著性区域进行检测。

本发明所采用的技术方案是：将二维人群速度矢量场中的每一个速度矢量看作人群网络节点，基于速度矢量点积公式求取速度矢量夹角，从而确定速度矢量间关联关系，并用该值定量评估速度矢量之间关联程度，从而构造速度矢量夹角加权复杂网络模型。分析人群加权复杂网络特征参数，提取能理解并表达人群显著性运动区域与主流人群运动区域的特征值，构建特征矩阵检测大规模人群显著性运动区域。

与现有技术相比，本发明具有设计合理、方便实用、计算简单、准确度高的优点。

本发明提供的一种大规模人群显著性区域检测方法，包括如下步骤：

步骤1，经过光流算法对视频序列帧图像进行处理，得到一系列能清楚展现人群运动流向的规整的二维人群速度矢量场；

步骤2，将二维人群速度矢量场中每一个速度矢量看作节点，基于速度矢量点积公式求取速度矢量的夹角，并用该值定量评估节点之间的关联程度，构造描述人群行为的加权复杂网络模型；

步骤3，通过对加权复杂网络模型的特征参数进行分析，构建特征矩阵；通过分析特征矩阵中特征参数的变化来分析人群行为，检测大规模人群场景中显著性区域。

进一步的，步骤1中，使用金字塔Lucas-Kanade光流算法处理视频序列帧图像，并对得到的光流场中的速度数值进行取整操作，最终得到一系列能清楚展现人群运动流向的规整的人群速度矢量场。

进一步的，步骤2具体包括如下步骤：

步骤2.1，将二维人群速度矢量场中每一个速度矢量看作节点，速度矢量间的关系视为连边；

任选一个速度矢量

以该速度矢量为中心选取一个邻域δ，邻域大小为(x₀±ε,y₀±ε)，速度矢量

与邻域内其他速度矢量q_xy的连边关系由公式(1)判定：

E＝{e₁,e₂,…,e_m}为节点与节点之间有关联的边的集合，θ_T是角度阈值，θ为速度矢量的夹角，可由速度矢量点积公式求得：

遍历每一个速度矢量，重复上述步骤；

步骤2.2，将人群速度矢量场中速度矢量之间夹角值作为两速度矢量间连边上的权重，选用邻接矩阵定量评估节点之间的关联程度，构造描述该人群行为的加权复杂网络模型；

由速度矢量点积公式求得θ，继而便可得到连边上的权重：

we＝θ(3)

人群行为的加权复杂网络G^w(V,E,we)中节点与节点之间的连接关系，以及节点之间关联程度可用邻接矩阵A来表示：

进一步的，步骤3中，节点强度是节点度的推广，在人群加权复杂网络中，它集成了速度矢量本身与其他速度矢量间连接的边数和强度信息。步骤3中构建特征矩阵的具体步骤如下：

步骤3.1，选取加权复杂网络节点强度作为加权网络特征参数，来描述人群行为；

加权复杂网络节点强度集成了节点本身与其他节点连接的边数和强度信息，加权复杂网络中任意节点v_i的节点强度s(v_i)为：

其中n为加权网络中节点的总个数，若节点v_j(j≠i)属于节点v_i所在的邻域，则θ_ij为节点v_i与节点v_j(j≠i)间的夹角值；若节点v_j(j≠i)不属于节点v_i所在的邻域，则θ_ij在邻接矩阵A中用零表示；随后得到了加权复杂网络节点强度场S(M,N)，即二维特征矩阵，M和N是二维特征矩阵的行数和列数，节点强度场的大小与人群速度矢量场的大小一致：

步骤3.2，采用区间上的相对位置对加权复杂网络节点强度场S(M,N)归一化；

采用区间上的相对位置来归一化，归一化后的节点强度场表示为：

S_max和S_min分别是节点强度场(6)中节点强度的最大值和最小值。

附图说明

图1为本发明方法的流程图；

图2为本发明方法的具体实现步骤流程图；

图3表示的是人群逆行场景时，节点强度值在输入图像上的显示关系；

图4表示的是部分行人与主流人群运动方向不一致时的，节点强度值在输入图像上的显示关系。

具体实施方式

下面结合附图和具体实施方式，对本发明的一种基于加权网络分析的大规模人群显著性区域检测方法作进一步说明。

如图1、图2所示，所述识别方法包括以下步骤：

步骤1，经过光流算法对视频序列帧图像进行处理，得到一系列能清楚展现人群运动流向的规整的人群速度矢量场；

进一步的，所述步骤1的具体方法如下：

步骤1.1，用基于LK光流改进的金字塔Lucas-Kanade光流算法处理连续图像帧；

LK光流算法的前提假设条件是运动速度小、经过时间间隔△t后亮度不变，而实际不容易满足。当物体运动速度较快时，假设条件不成立，后续工作中会出现大量误差。本文采用一种基于LK光流改进的金字塔光流算法。

把一段视频转化成若干图像帧，光流法是给图像中每一个像素点赋予一个速度矢量，构成一个运动向量场。对于特定时间，图像上的点与真实物体上的点一一对应，根据每个像素点的速度矢量特征，就可以对图像中的运动目标进行检测分析。

步骤1.2，对所得光流场中的速度值取整后得到规整的人群速度矢量场。

步骤2，将二维人群速度场中每一个速度矢量看作节点，基于矢量点积公式求取的速度矢量的夹角作为一定条件来确定节点间关联关系，并用该值定量评估节点之间关联程度，从而构造加权复杂网络模型；

进一步的，所述步骤2具体包括如下步骤：

步骤2.1，将二维人群速度矢量场中每一个速度矢量看作节点，速度矢量间的关系视为连边；

只对人群速度矢量场中某一个速度进行研究，不能获得整体人群运动信息，而用复杂网络模型可以更好地将人群速度场中的运动信息表述出来。

任选一个速度矢量

以该速度矢量为中心选取一个邻域δ，邻域大小为(x₀±ε,y₀±ε)。速度矢量

与邻域内其他速度矢量q_xy的连边关系由公式(1)判定。

E＝{e₁,e₂,…,e_m}为节点与节点之间有关联的边的集合。θ_T是角度阈值，θ可由速度矢量点积公式求得：

遍历每一个速度矢量，重复上述步骤。

步骤2.2，将速度矢量之间夹角值作为两速度矢量间连边上的权重，并选用邻接矩阵定量评估节点之间的关联程度，构造描述该人群行为的加权复杂网络模型；；

由速度矢量点积公式求得θ，继而便可得到连边上的权重：

we＝θ (3)

人群加权复杂网络G^w(V,E,we)中节点与节点之间的连接关系，以及节点间连接程度可用邻接矩阵A来表示：

步骤3，分析人群加权复杂网络模型的特征参数，提取能理解并表达人群显著性运动区域与主流人群运动区域的特征值，构建特征矩阵；通过分析特征矩阵中特征参数的变化来分析人群行为，检测大规模人群场景中显著性区域。

进一步的，节点强度是节点度的推广，在人群加权复杂网络中，它集成了速度矢量本身与其他速度矢量间连接的边数和强度信息。步骤3中构建特征矩阵的具体步骤如下：步骤3.1，选取节点强度来描述人群加权复杂网络特征参数，来描述人群行为；

在加权复杂网络中，节点强度是节点度的推广，它集成了节点本身与其他节点连接的边数和强度信息。大规模人群场景中，越显著的运动区域处节点的强度值越大，而主流人群区域处的节点强度值则越小。节点v_i的节点强度s(v_i)为：

其中n为加权网络中节点的总个数。若节点v_j(j≠i)属于节点v_i所在的邻域，则θ_ij为节点v_i与节点v_j(j≠i)间的夹角值；若节点v_j(j≠i)不属于节点v_i所在的邻域，则θ_ij在邻接矩阵A中用零表示。随后得到了节点强度场S(M,N)，即特征矩阵，M和N是特征矩阵的行数和列数。节点强度场中节点强度与人群速度场中速度矢量是一一对应的关系。

步骤3.2，采用区间上的相对位置对节点强度场S(M,N)归一化；

速度矢量间夹角作为节点连边的权值，用弧度制表示，角度范围在0至π间波动。为了后续数据处理的方便，对节点强度进行归一化处理。本文采用区间上的相对位置来归一化，归一化后的节点强度场如下所示：

S_max和S_min分别是节点强度场(6)中节点强度的最大值和最小值。

步骤3.3，用均值滤波器模板平滑归一化后的节点强度场。

二维节点强度场如公式(7)所示，用均值滤波器模板

平滑二维节点强度场，可以去除节点强度因过大或过小对整体实验结果产生的不良影响。

实例：如图3所示，是本发明中实施例得到的结果图。如图3(a)、(d)所示人群逆流运动场景，这样的人群行为有可能会带来潜在的安全隐患。本发明提出的方法可以将逆行的人检测出来。大规模人群场景中，与主流人群运动相逆而行的运动区域处节点强度值越大，如图3(b)、(e)。图3(c)、(f)是节点强度值在输入图像上的显示，实验表明，本发明提出的方法可以检测出人群中逆行行为。

如图4所示，是本发明中实施例得到的结果图。部分行人运动方向与主流人群运动方向不一致(运动异常区域已用方框标出)，如图4(a)马拉松场景、(d)麦加朝拜场景。在与主流人群运动方向不一致的区域，节点强度值越大，如图4(b)、(e)。图4(c)、(f)是节点强度值在输入图像上的显示，实验表明，本发明提出的方法可以将与主流人群运动方向不一致的运动区域检测出来。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (2)

1.一种大规模人群显著性区域检测方法，其特征在于：包括如下步骤：

步骤1，经过光流算法对视频序列帧图像进行处理，得到一系列能清楚展现人群运动流向的规整的二维人群速度矢量场；

步骤2，将二维人群速度矢量场中每一个速度矢量看作节点，基于速度矢量点积公式求取速度矢量的夹角，并用该值定量评估节点之间的关联程度，构造描述人群行为的加权复杂网络模型；

步骤3，通过对加权复杂网络模型的特征参数进行分析，构建特征矩阵；通过分析特征矩阵中特征参数的变化来分析人群行为，检测大规模人群场景中显著性区域；

所述步骤2的具体包括如下步骤：

步骤2.1，将二维人群速度矢量场中每一个速度矢量看作节点，速度矢量间的关系视为连边；

任选一个速度矢量

以该速度矢量为中心选取一个邻域δ，邻域大小为(x₀±ε,y₀±ε)，速度矢量

与邻域内其他速度矢量q_xy的连边关系由公式(1)判定：

E＝{e₁,e₂,…,e_m}为节点与节点之间有关联的边的集合，θ_T是角度阈值，θ为速度矢量的夹角，可由速度矢量点积公式求得：

遍历每一个速度矢量，重复上述步骤；

步骤2.2，将人群速度矢量场中速度矢量之间夹角值作为两速度矢量间连边上的权重，选用邻接矩阵定量评估节点之间的关联程度，构造描述该人群行为的加权复杂网络模型；

由速度矢量点积公式求得θ，继而便可得到连边上的权重：

we＝θ (3)

人群行为的加权复杂网络G^w(V,E,we)中节点与节点之间的连接关系，以及节点之间关联程度可用邻接矩阵A来表示：

其中，V表示构建的人群加权复杂网络的所有节点构成的节点集合，w表示加权网络所有节点之间连边的权重构成的集合，G^w表示构建的加权网络模型。

2.根据权利要求1所述的一种大规模人群显著性区域检测方法，其特征在于，步骤3中构建特征矩阵的具体步骤如下：步骤3.1，选取加权复杂网络节点强度作为加权网络特征参数，来描述人群行为；

加权复杂网络节点强度集成了节点本身与其他节点连接的边数和强度信息，加权复杂网络中任意节点v_i的节点强度s(v_i)为：

其中n为加权网络中节点的总个数，若节点v_j(j≠i)属于节点v_i所在的邻域，则θ_ij为节点v_i与节点v_j(j≠i)间的夹角值；若节点v_j(j≠i)不属于节点v_i所在的邻域，则θ_ij在邻接矩阵A中用零表示；随后得到了加权复杂网络节点强度场S(M,N)，即二维特征矩阵，M和N是二维特征矩阵的行数和列数，节点强度场的大小与人群速度矢量场的大小一致：

步骤3.2，采用区间上的相对位置对加权复杂网络节点强度场S(M,N)归一化；

采用区间上的相对位置来归一化，归一化后的节点强度场表示为：

S_max和S_min分别是节点强度场(6)中节点强度的最大值和最小值。

Images