CN110020618A - 一种可用于多拍摄角度的人群异常行为监测方法 - Google Patents

Abstract

本发明公开了一种可用于多拍摄角度的人群异常行为监测方法，属于计算机视觉和计算机识别领域。所述方法结合监控设备在场景中位置对监测对象进行特征提取，包括：使用在空间上非重叠的网格结构将监控图像分割为不同尺寸的单元格；判定监控图像中各单元格是否为活跃块区域；对判定为活跃块区域的单元格进行方向－集群性特征提取，根据方向－集群性特征判断监测对象是否发生群体逃散行为。针对公共场所人群骚乱、逃散等人群行为异常状态进行特征提取与检测，通过构建多尺度分块模型区分出活跃块，解决了因摄像头拍摄角度不同而产生的人群透视问题，适用于多角度的摄像拍摄，并能以较高的准确度实现人群异常的判断。

Description

一种可用于多拍摄角度的人群异常行为监测方法

技术领域

本发明涉及一种可用于多拍摄角度的人群异常行为监测方法，属于计算机视觉和计算机识别领域。

背景技术

随着社会经济建设的不断提高，公共安全事件的发生概率也越来越高，传统对于公共场所的安全检测多依赖于基于视频的异常行为检测，而基于视频的异常行为检测所检测的对象通常是视频中单个个体或者少数目标，很少对视频中人群异常行为进行检测。

随着计算机视觉和计算机识别技术的发展，现有技术中出现了人群监控技术，比如：(1)根据人群密度与当前帧的前景像素面积近乎呈线性关系，由此提出的基于像素统计特征的人群密度估计算法，以及基于改进的混合神经网络密度估计算法；(2)基于人群运动时的能量特征对人群运动状态进行描述继而实现人群异常行为的检测；(3)采用社会力模型对人群异常进行检测；(4)同样基于人群的能量特征，同时又利用信息熵对人群的运动方向进行描述，从两个不同的角度来分析人群的异常行为从而实现人群异常行为的检测；(5)针对极度拥挤的人群场景提出基于时空运动模式的统计框架，对稠密人群中的异常行为进行检测；(6)利用光流法获取图像的整体运动信息，然后将运动方向与运动强度作为运动特征，通过学习算法建立运动特征与相对应运动模式的联系，从而对人群的运动行为进行分类，最终实现人群异常行为的检测。

由于在自然场景中，人群是多种多样的，每种人群有不同的运动轨迹和运动特性，而当前监控摄像机在安装时只会粗略根据所监控场地的大小来设置相应的拍摄角度，无法根据场景的具体拍摄内容的不同设置合适的拍摄角度，这就导致当拍摄角度过低时会带来透视形变的问题。

发明内容

为了解决目前存在的监控设备拍摄角度过低带来的透视形变问题，本发明提供了一种可用于多拍摄角度的人群异常行为监测方法，所述方法结合监控设备在场景中位置对监测对象进行特征提取，包括：

使用在空间上非重叠的网格结构将监控图像分割为不同尺寸的单元格；

判定监控图像中各单元格是否为活跃块区域；

对判定为活跃块区域的单元格进行方向－集群性特征提取，根据方向－集群性特征判断监测对象是否发生群体逃散行为。

可选的，所述使用在空间上非重叠的网格结构将监控画面分割为不同尺寸的网格单元格，包括：

从监控图像的顶部边界开始，令y_k为垂直方向上第k个单元格的高度，则与其在垂直方向相邻的单元格即第k+1个单元格的高度为：

y_k+1＝αy_k

其中，α≥1为网格增长率，从而使第k+1个单元格的尺寸大于第k个单元格的尺寸；

监控图像的垂直高度Y通过每个单元格的递归垂直维度表示如下

其中，n_y为监控图像在垂直方向单元格的数量；y₀为最小单元格的垂直高度；

设X为监控图像的水平宽度，令x₀为最小单元格的水平宽度，从图像顶部边界的X/2处开始沿水平方向填充整数个相同尺寸的单元格，随后使用相同的单元格增长率增加垂直方向上单元格的水平尺寸：

x_k+1＝αx_k。

可选的，当监控设备的拍摄视角与水平方向夹角为90°时，α的值为1，所有单元格尺寸相同。

可选的，若单元格填充后水平方向上存在间隙，则在单元格水平方向上不断添加一个像素直至在水平方向上单元格完全覆盖监控图像水平方向上的X/2到X；之后采用对称的方式填充监控图像水平方向上的的0到X/2部分。

可选的，用cell(i,j)表示位于第i行第j列的单元格，将第一行单元格舍弃，得到完整的多尺度分块结构。

可选的，所述判定监控图像中各单元格是否为活跃块区域，包括：

对多尺度分块结构中的每个单元格cell(i,j)，结合其对应的时间信息，定义其对应的三维时空单元格u_i,j

u_i,j{m_x×m_y×m_t}∈R³

其中m_x和m_y分别为单元格cell(i,j)的水平和垂直尺度；m_t为单元格cell(i,j)对应的视频帧数；

计算每个三维时空单元格u_i,j的前景占用量F(i,j)；

将前景占用F(i,j)高于阈值Th_F的三维时空单元格所对应的单元格判定为活跃块，即：

可选的，所述计算每个三维时空单元格u_i,j的前景占用量F(i,j)，包括：采用下述公式计算得到F(i,j)；

其中，N＝m_x×m_y×m_t，为u_i,j中的像素个数；B_t表示t时刻的二进制掩码。

可选的，所述对判定为活跃块区域的单元格进行方向－集群性特征提取，包括：

f时刻的活跃块cell(i,j)中的运动粒子点集k_t(i,j)表示为：

k_t(i，j)＝{k_t1(i，j)，k_t2(i，j)，....，k_tx(i，j)}

对活跃块cell(i,j)中的运动粒子的速度大小进行修正，修正后的运动粒子的速度大小为：

其中，|V_tp(i，j)|表示t时刻活跃块cell(i,j)中第p个运动粒子的运动速度大小； 分别为该运动粒子在t时刻和t-1时刻的横纵坐标；

计算活跃块cell(i,j)中的运动粒子的方向-集群性指数Direction-Collectiveness(i,j)：

其中表征从粒子点到粒子点的长度为L的所有运动路径行为的一致性；

Δθ_mean(i,j)和Δθ_max(i,j)分别表示t时刻粒子点(i,j)的方向和所有粒子平均速度方向的差值和t时刻粒子点(i,j)的速度方向与所有粒子最大速度方向的差值；是和的均方根，用来表征粒子点(i,j)的方向无序度的平均离散值，ρ为归一化因子，作用为使Direction(i,j)的值保持在0-1之间。

可选的，所述根据方向－集群性特征判断监测对象是否发生群体逃散行为，包括：计算活跃块cell(i,j)内运动粒子的速度能量特征E_speed(i,j):

其中，N_ij为活跃块cell(i,j)中的运动粒子数；

将活跃块cell(i,j)中提取的方向－集群性特征与速度能量特征组成特征点对联合表征群体运动模式：

DCE(i，j)＝{Direction-Collectiveness(i，j)，E_speed(i，j)}

本发明还提供上述方法在人群异常行为监测中的应用。

本发明有益效果是：

通过提取视频中运动人群的运动信息及前景信息；对提取到的运动信息及前景信息进行角点检测；将运动人群中的每一个人视作一个运动粒子，对运动粒子进行轨迹跟踪，并根据运动粒子坐标计算每个运动粒子的运动速度和运动方向；根据社会模型理论计算同一群体中邻间粒子的行为一致性，基于拓扑理论计算个体所在运动路径的路径行为一致性，计算个体所在群体的集群性指数，并通过特征相乘的方法将两种描述子进行特征融合建立方向－集群性模型，通过构建多尺度分块模型区分出活跃块，在活跃块中提取方向-集群性特征，最后通过阈值分割法判断是否发生群体逃散行为；本申请提供的方法针对公共场所人群骚乱、逃散等人群行为异常状态进行特征提取与检测，通过构建多尺度分块模型区分出活跃块，解决了因摄像头拍摄角度不同而产生的人群透视问题，适用于多角度的摄像拍摄，并能以较高的准确度实现人群异常的判断。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1(a)为多尺度分块结构示意图子单元一。

图1(b)为多尺度分块结构示意图子单元二。

图1(c)为多尺度分块结构示意图子单元三。

图1(d)为多尺度分块结构示意图子单元四。

图2为异常行为判断场景1。

图3为异常行为判断场景2。

图4为异常行为判断场景3。

图5为不同视角下人群异常识别的图片一。

图6为不同视角下人群异常识别的图片二。

图7为不同视角下人群异常识别的图片三。

图8为本发明使用基于多尺度分块方向-集群性模型判断异常行为侦测系统的实施例架构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一：

本实施例提供一种人群异常行为监测方法，结合监控设备在场景中位置对监测对象进行特征提取，包括：

使用在空间上非重叠的网格结构将监控图像分割为不同尺寸的单元格；

判定监控图像中各单元格是否为活跃块区域；

对判定为活跃块区域的单元格进行方向－集群性特征提取，根据方向－集群性特征判断监测对象是否发生群体逃散行为。

具体的，在监控设备获取到监控视频后，利用光流法提取视频中运动人群的运动信息及前景信息，其中的运动信息为视频中人群的运动信息(即排除了除人群之外的运动物体)，对运动信息及前景信息使用Shi-Tomasi角点检测方法进行检测；

Shi-Tomasi方法认为纯粹的平移对于仿射变换，使用了平移运动来估计块的运动随着图像帧的推进，通过确定前后两个帧图像之间的相似性，来估计图像间的运动。

距离监控设备较近的目标由于在区域面积上大于距离监控设备较远的目标，可以提供更多的特征描述信息。而丰富的特征描述信息有助于在异常检测算法训练学习阶段提供更多的支持，因此结合监控设备在场景中位置进行特征提取可以显著提升异常检测算法的检测性能。故本申请提供的人群异常行为监测方法，使用在空间上非重叠的网格结构将监控画面进行分割，从每个网格中提取需要的特征信息；

而若采用等尺寸的网格结构，将从图像的所有网格中均等地提取征，不考虑它们相对于监控设备的具体位置，该等尺度网格显然不适合处理监控设备的位置及拍摄视角的问题，常用的补偿拍摄角度造成的透视问题的解决方案为在个体目标进入和退出场景的过程中进进行个体跟踪，通过个体进入场景和退出场景时的尺寸比例来确定透视补偿率。然而，在拥挤的中高密度场景中进行个体跟踪挑战性高且计算量大。因此，本申请提供的人群异常行为监测方法，从监控图像的顶部边界开始，令y_k为垂直方向上第k个单元格的高度，则与其在垂直方向相邻的单元格即第k+1个单元格的高度为：

y_k+1＝αy_k

其中，α≥1为网格增长率，从而使第k+1个单元格的尺寸大于第k个单元格的尺寸；α值的大小与监控设备的拍摄视角有关，拍摄视角与水平方向夹角越小，则α值越大；

拍摄视角与水平方向夹角越大，则α值越小。当拍摄视角与水平方向夹角为90°时，α的值为1，即所有单元格尺寸相同。

因此，监控图像的垂直高度Y通过每个单元格的递归垂直维度表示如下：

其中，n_y为监控图像在垂直方向单元格的数量；y₀为最小单元格的垂直高度；

当确定n_y、y₀之后，使用上述公式y_k+1＝αy_k计算以y₀为起始最小单元格高度，在垂直维度Y上创建的n_y个多尺度单元格的垂直高度；

随后按照相似的方法确定单元格在水平方向上的尺寸，设X为监控图像的水平宽度，令x₀为最小单元格的水平宽度，从图像顶部边界的X/2处开始沿水平方向填充整数个相同尺寸的单元格，随后使用相同的单元格增长率增加垂直方向上单元格的水平尺寸：

x_k+1＝αx_k

若单元格填充后水平方向上存在间隙，则在单元格水平方向上不断添加一个像素直至在水平方向上单元格完全覆盖监控图像水平方向上的X/2到X；之后采用对称的方式填充监控图像水平方向上的的0到X/2部分。

用cell(i,j)表示位于第i行第j列的单元格，第一行网格由于尺寸最小，单个单元格中所包含的特征信息较少，且实验表明其会经常触发错误警报，因此将第一行单元格舍弃，得到完整的多尺度分块结构。

随后，计算每个单元格的前景占用量，对多尺度分块结构中的每个单元格cell(i,j)，结合其对应的时间信息，定义其对应的三维时空单元格u_i,j

u_i,j{m_x×m_y×m_t}∈R³

其中m_x和m_y分别为单元格cell(i,j)的水平和垂直尺度；m_t为单元格cell(i,j)对应的视频帧数；

计算每个三维时空单元格u_i,j的前景占用量F(i,j)；

其中，N＝m_x×m_y×m_t，为u_i,j中的像素个数；B_t表示第t帧的二进制掩码。

最后，提取单元格中的活跃块区域：

将前景占用F(i,j)高于阈值Th_F的三维时空单元格所对应的单元格判定为活跃块，即：

此处，令Th_F＝0.1即单元格中至少有10％的像素属于前景，则其对应的单元格被视作活跃块区域。在随后的特征提取中，只分析与活跃块区域相关的特征信息。这个操作有助于过滤无效特征，减少算法的处理时间，减少误报率

为了过滤背景噪声，只保留活跃块中的运动粒子点，将非活跃块中的运动粒子点剔除。从而构建每帧图像的运动粒子点集，f时刻的活跃块cell(i,j)中的运动粒子点集K_t(i,j)表示为：

k_t(i，j)＝{k_t1(i，j)，k_t2(i，j)，...，k_tx(i，j)}

对活跃块cell(i,j)中的运动粒子的速度大小进行修正，修正后的运动粒子的速度大小为：

其中，|V_tp(i，j)|表示t时刻活跃块cell(i,j)中第p个运动粒子的运动速度大小； 分别为该运动粒子在t时刻和t-1时刻的横纵坐标；

对群体的集群性通过数学分析进行了合适的表征，得到了集群性指数

其中表征从粒子点到粒子点的长度为L的所有运动路径行为的一致性。

使用一个全局方向描述子，用来提取全局层面的群体运动模式，并构建了群体性方向指数，群体性方向指数用一下的公式进行定义：

Δθ_mean(i,j)和Δθ_max(i,j)分别表示t时刻粒子点(i,j)的方向和所有粒子平均速度方向的差值和t时刻粒子点(i,j)的速度方向与所有粒子最大速度方向的差值。是和的均方根，用来表征粒子点(i,j)的方向无序度的平均离散值，ρ为归一化因子，作用为使Direction(i,j)的值保持在0-1之间。

计算块内粒子的方向-集群性指数Direction-Collectiveness(i,j)：

计算活跃块cell(i,j)内运动粒子的速度能量特征E_speed(i,j):

其中，N_ij为活跃块cell(i,j)中的运动粒子数；

将活跃块cell(i,j)中提取的方向－集群性特征与速度能量特征组成特征点对联合表征群体运动模式：

DCE(i，j)＝{Direction-Collectiveness(i，j)，E_speed(i，j)}

在人群异常行为的判断上，本发明选择的方法是使用阈值判断法进行判断。

算法的具体步骤如下。

(1)对视频第i帧的图像进行预处理(去噪、滤波等)，得到所需图像i。

(2)对图像i进行背景建模并提取前景目标，得到第i帧的前景图像j。

(3)对前景图像j进行形态学处理。

(4)提取人群分布信息和人群运动信息，并计算人群的特征点DCE(i，j)

(5)根据计算得到的特征点DCE(i，j)，使用混合高斯模型来对每个单元格的特征点对进行分析，并通过递归的最小化AIC度量来估计设定人群异常阈值T。

(6)比较计算出的DCE(i，j)与预设的异常阈值，若得到的DCE(i，j)小于人群异常阈值，系统判为正常人群行为，并及时报警；否则判为异常人群行为。

为了确保该阈值选择的合理性，本发明从美国明尼苏达大学UMN数据库中提取相关的视频序列进行测试。UMN数据库包括了3个不同的背景、11个不同情境的逃跑事件视频段，其中正常帧数共6369帧，异常帧数共1072帧。随机地从11个视频段中选取3段视频，共计500帧正常图像，和500帧人群异常图像作为训练集来训练阈值T。经训练后，选取该阈值T为6.0。

实施例二：

本实施提供一种在不同拍摄视角下，均可以减小透视现象带来的误差的应用方法，并结合不同的算法在识别效果上，进行具体的数据进行对比，具体包括：

本发明实施例选择对比的这四个算法分别为光流法(Optical Flow)传统社会力模型(SFM)、能量模型(BM)、Spare(weight)+LSDS。

为了评估人群异常行为检测算法的实用性，本申请利用AUC(area under ROCcurve)作为评判标准，AUC通常介于0.5～1，其值越大说明算法识别准确度越高。

首先，本发明和上述另外四种算法共同选择用于训练的视频数据库UMN，本发明所述方法与其他四种方法的识别效果对比如下；

表1在UMN数据集上本发明所述算法与四种不同算法的识别效果对比

UMN数据集中的视频，拍摄视角适中，透视效应所带来的透视误差并不明显。由表1可知，在UMN数据集上，本发明所述方法和其他四种算法相比，优于其他四种算法，但识别效果接近。

其次，选择三个不同拍摄视角下得到的视频图像，分别参考图5-图7，此三幅图分别对应视角1、视角2、视角3。这三个视角均不同，且透视现象带来的透视误差较大。使用本发明提出的方法，提取单人行走的活跃区块的特征点DCE(i,j)，并进行人群行为的识别。并使用上述四个对比算法，对上述三个不同的拍摄视角下得到的图像进行同样的人群异常行为识别判断，观察其识别效果，并进行对比。

表2三种不同视角下四种不同算法与本发明所述算法的效果对比

综合表1和表2，经分析可知，本发明所提供方法对于不同视角下的人群异常行为监测方法的AUC值均处于0.8以上，且在三个不同视角下均能保持较高的识别准确率，而其他四种算法在切换拍摄视角之后，因为透视现象带来的误差，识别准确率均达不到本发明方法的识别准确率。通过与其他四种算法在三个不同视角下的对比，可以说明本方法对于透视误差具有较好的矫正作用。

本发明实施例中的部分步骤，可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，如光盘或硬盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种人群异常行为监测方法，其特征在于，所述方法结合监控设备在场景中位置对监测对象进行特征提取，包括：

使用在空间上非重叠的网格结构将监控图像分割为不同尺寸的单元格；

判定监控图像中各单元格是否为活跃块区域；

对判定为活跃块区域的单元格进行方向－集群性特征提取，根据方向－集群性特征判断监测对象是否发生群体逃散行为。

2.根据权利要求1所述的方法，其特征在于，所述使用在空间上非重叠的网格结构将监控画面分割为不同尺寸的网格单元格，包括：

从监控图像的顶部边界开始，令y_k为垂直方向上第k个单元格的高度，则与其在垂直方向相邻的单元格即第k+1个单元格的高度为：

y_k+1＝αy_k

其中，α≥1为网格增长率，从而使第k+1个单元格的尺寸大于第k个单元格的尺寸；

监控图像的垂直高度Y通过每个单元格的递归垂直维度表示如下：

其中，n_y为监控图像在垂直方向单元格的数量；y₀为最小单元格的垂直高度；

设X为监控图像的水平宽度，令x₀为最小单元格的水平宽度，从图像顶部边界的X/2处开始沿水平方向填充整数个相同尺寸的单元格，随后使用相同的单元格增长率增加垂直方向上单元格的水平尺寸：

x_k+1＝αx_k。

3.根据权利要求2所述的方法，其特征在于，当监控设备的拍摄视角与水平方向夹角为90°时，α的值为1，所有单元格尺寸相同。

4.根据权利要求3所述的方法，其特征在于，若单元格填充后水平方向上存在间隙，则在单元格水平方向上不断添加一个像素直至在水平方向上单元格完全覆盖监控图像水平方向上的X/2到X；之后采用对称的方式填充监控图像水平方向上的的0到X/2部分。

5.根据权利要求4所述的方法，其特征在于，用cell(i,j)表示位于第i行第j列的单元格，将第一行单元格舍弃，得到完整的多尺度分块结构。

6.根据权利要求5所述的方法，其特征在于，所述判定监控图像中各单元格是否为活跃块区域，包括：

对多尺度分块结构中的每个单元格cell(i,j)，结合其对应的时间信息，定义其对应的三维时空单元格u_i,j

u_i,j{m_x×m_y×m_t}∈R³

其中m_x和m_y分别为单元格cell(i,j)的水平和垂直尺度；m_t为单元格cell(i,j)对应的视频帧数；

计算每个三维时空单元格u_i,_j的前景占用量F(i,j)；

将前景占用F(i,j)高于阈值Th_F的三维时空单元格所对应的单元格判定为活跃块，即：

7.根据权利要求6所述的方法，其特征在于，所述计算每个三维时空单元格u_i,j的前景占用量F(i,j)，包括：采用下述公式计算得到F(i,j)；

其中，N＝m_x×m_y×m_t，为u_i,j中的像素个数；B_t表示t时刻的二进制掩码。

8.根据权利要求7所述的方法，其特征在于，所述对判定为活跃块区域的单元格进行方向－集群性特征提取，包括：

f时刻的活跃块cell(i,j)中的运动粒子点集k_t(i,j)表示为：

k_t(i，j)＝{k_t1(i，j)，k_t2(i，j)，·…，k_tx(i，j)}

对活跃块cell(i,j)中的运动粒子的速度大小进行修正，修正后的运动粒子的速度大小为：

其中，|V_tp(i，j)|表示t时刻活跃块cell(i,j)中第p个运动粒子的运动速度大小； 分别为该运动粒子在t时刻和t-1时刻的横纵坐标；

计算活跃块cell(i,j)中的运动粒子的方向-集群性指数Direction-Collectiveness(i,j)：

其中，

其中表征从粒子点到粒子点的长度为L的所有运动路径行为的一致性；

Δθ_mean(i,j)和Δθ_max(i,j)分别表示t时刻粒子点(i,j)的方向和所有粒子平均速度方向的差值和t时刻粒子点(i,j)的速度方向与所有粒子最大速度方向的差值；是和的均方根，用来表征粒子点(i,j)的方向无序度的平均离散值，ρ为归一化因子，作用为使Direction(i,j)的值保持在0-1之间。

9.根据权利要求8所述的方法，其特征在于，所述根据方向－集群性特征判断监测对象是否发生群体逃散行为，包括：

计算活跃块cell(i,j)内运动粒子的速度能量特征E_speed(i,j)：

其中N_ij为活跃块cell(i,j)中的运动粒子数；

将活跃块cell(i,j)中提取的方向－集群性特征与速度能量特征组成特征点对联合表征群体运动模式：

DCE(i，j)＝{Direction-Collectiveness(i，j)，E_speed(i，j)}。

10.权利要求1-9任一所述的方法在人群异常行为监测中的应用。