CN109918995A - 一种基于深度学习的人群异常检测方法 - Google Patents

Abstract

本发明提出一种基于深度学习的人群异常检测方法，通过现有的OverFeat算法和Faster R‑CNN算法，引出了一种基于ReInspect算法的对于多个运行目标的检测方法，该算法不仅可应用于不同的场合，还对传统的重叠、遮挡等问题具有较好地抗干扰能力，方便进行更加高效以及精准的人群异常检测方法，建模时除了空间因素，还加入了时间因素，对空间和时间进行统一建模，大大提高了检测效果和检测效率。

Description

一种基于深度学习的人群异常检测方法

技术领域

本发明涉及计算机视频图像技术领域，尤其涉及一种基于深度学习的人群异常检测方法。

背景技术

随着人口数量以及其流动性的增加,密集人群现象越来越常见,这就对治理公共空间和社会安全提出了巨大的挑战。智能视频监控系统在该领域所包含内容丰富算法，人群场景分析又在现实生活中存在巨大的应用价值,近年来吸引了大量研究者的关注。人群密度高、模式变化快、场景中存在着巨大的遮挡等使得传统视频监控技术不能直接应用于人群场景。现有智能分析技术一般使用背景模型、Ka lman滤波、粒子滤波算法、Vi Be算法等算法识别和追踪人群。

但是现有技术存在缺点：在复杂场景尤其是在存在部分遮挡或者重叠情况下无法做到精准追踪。

发明内容

本发明的目的在于提出一种对传统的重叠、遮挡等问题具有较好地抗干扰能力的基于深度学习的人群异常检测方法。

为达到上述目的，本发明提出一种基于深度学习的人群异常检测方法，其特征在于，包括以下步骤：

步骤1：检测人群目标；

步骤2：获取人群行为特征；

步骤3：训练神经网络。

优选的，步骤1包括以下步骤：

步骤1.1：采用ReInspect算法构建卷积网络模型；

步骤1.2：在所述卷积网络模型上使用循环LSTM网络对同一网络生成特征序列表示遮挡目标；

步骤1.3：对所述遮挡目标进行检测完成去遮挡处理；

步骤1.4：获取运动目标。

优选的，步骤2包括以下步骤：

步骤2.1：基于光流算法获得光流场：

步骤2.2：将所述光流场每个网格中的像素量化成多尺度光流直方图；

步骤2.3：构建人群动态的时间序列表示。

优选的，步骤3包括以下步骤：

步骤3.1：建立空间以及时间维度模型；

步骤3.2：建立时间递归神经网络模型；

步骤3.3：使用BPTT训练所述时间递归神经网络模型。

优选的，在步骤1.2中，为了保留重复目标检测结果，单次移除操作中一个网格检测结果移除一个来自另一个网格的重复检测结果；考虑到一个检测结果可能会与多个不同网格的检测结果重复，检测后处理方法再一次使用了匈牙利算法实现不同网格重复检测结果的移除；考虑到同一目标可能出现多次重复检测，后处理算法采用了置信度分段的方式对检测结果进行了多次匹配移除。

优选的，在步骤2.2中，计算所述光流直方图的公式为：

其中，p表示方向数，r(x,y)和θ(x,y)分别表示光流在像素点(x,y)上的大小和方向。对于直方图的层数，采用经验值即3层的光流直方图，采用3层的光流直方图,并将p设置为8，τ设置为1，设置为3,总共有24个区间。

优选的，在步骤2.3中，在得到每个网格的所述光流直方图之后，连接各个局部的人群动态获得整体的人群动态，构建所述人群动态的时间序列表示。

优选的，在步骤3.1中，所述建立空间以及时间维度模型包括，在时间递归神经网络的每个时间段中,当前输入与上一个时刻的中间状态共同作用产生新的中间状态,这个中间状态就表示了当前时刻与过去时刻之间的相互关系,当前的输出由过去时刻与当前时刻之间的相互关系决定；为此,在本问题中,利用时间递归神经网络的上述特性来发现时间异常事件；通过网格化划分,利用时间递归神经网络的隐含节点来发现各个局部之间的相互关系以及空间异常事件；在上面工作的基础上,将网格是否异常作为目标,以此来实现空间以及时间维度的整体建模；

Gn表示每个网格的MHOF特征(多尺度光流直方图——multi-scale histogram ofoptical flow,简称MHOF),表示对应的网格是否异常；于是,当前时刻的输入可以表示为x_t＝(G₁,G₂,G₃,…,G_N)^T(N为网格数)；当前时刻的输出可以表示为对于给定的一个序列通过以下公式来计算隐含层状态和预测值

其中,W_hx,W_hh,W_yh分别为输入层到隐含层、隐含层到隐含层和隐含层到输出层的权重矩阵,而b_h,b_y分别为隐含层和输出层的偏置项,和分别为隐含层节点的输入和输出层节点的输入,e和g为激活函数,一般情况下为非线性函数.对于隐含层的激活函数e,本方法使用反正切函数tanh,对于输出层的激活函数g,本方法使用sigmoid函数。

优选的，在步骤3.2中，所述建立时间递归神经网络模型包括令θ＝ [W_hx,W_hh,W_yh,b_h,b_y]表示所有参数组成的一个大向量,则目标函数可以形式化定义为

其中,L为距离函数用来计算真实值与预测值之间的误差；L取平方误差或者是交叉熵误差该方法使用了平方误差，为了得到更好的泛化效果,在目标函数中加入了正则项；所以,最终的目标函数为

其中,λ为正则项所占权重,reg(x)为L1范式。在建模时采用屏蔽矩阵方式来刻画多尺度网络间的局部链接关系。令m_hx表示从输入层到隐含层参数的一个屏蔽矩阵，用于屏蔽掉与相应的隐含节点无关的参数，并令CEM(M₁,M₂)来表示两个相同维度矩阵对应元素相乘。整理可以得到如下模型:

与现有技术相比，本发明的优势之处在于：通过现有的OverFeat算法和Faster R-CNN算法，引出了一种基于ReInspect算法的对于多个运行目标的检测方法，该算法不仅可应用于不同的场合，还对传统的重叠、遮挡等问题具有较好地抗干扰能力，方便进行更加高效以及精准的人群异常检测方法，建模时除了空间因素，还加入了时间因素，对空间和时间进行统一建模，大大提高了检测效果和检测效率。

附图说明

图1为本发明一实施例中整体流程图；

图2为本发明一实施例中时间递归神经网络体系结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案作进一步地说明。

如图1所示，本发明提出一种基于深度学习的人群异常检测方法；其具体包括如下步骤：

步骤一：人群目标检测

首先采用ReInspect算法构建由卷积层、池化层、激活层、全连接层构成的类似卷积网络模型。使用深度卷积网络一次完成分类、定位和检测这三个机器视觉任务。我们在该模型的基础上使用LSTM网络。这使得一个网格卷积特征能够被复用，并产生多个序列特征来表征在图像中被遮挡的目标。

由于ReInspect算法采用LSTM网络结构对同一网络生成特征序列表示遮挡目标。当网络产生的m个特征序列，对应的原始图像标记有n个目标真值。在训练过程中，m个样本序列对应的目标类型将根据m个样本的预测结果与n个目标真值进行相似匹配产生的。匹配的最大数量为min(m,n)，而没有匹配的特征序列将标记为负样本类型，对应的坐标位置填0。另外，ReInspect算法还采用了一种特殊的处理方式。这种处理每次进行操作后只会移除一个重叠检测结果。这种操作能够确保同一网格卷积特征产生的重叠目标不会被认为是重复检测而被错误移除。

在ReInspect算法中一个网络特征最多能够产生“rnn_len”个目标检测结果，这就使ReInspect在训练时向前传播，单个网络将会返回多个特征和多个类型标签。在计算损失函数前网格ReInspect算法将需要将序列特征值的预测结果与真值进行匹配，再对序列样本赋予类别标签计算损失函数。所以在损失函数的计算前，有必要进行样本序列的排列次序进行调整。

通过调整循环LSTM网络结构产出特征的标签信息，能够确保特征序列能够正确反映遮挡检测目标。当循环LSTM网络的循环次数为m时，每一个网络将产出m对特征样本和标签信息组成的序列。若网络对应存在n个遮挡目标时，前n 个网络特征序列对应的具体真值信息是没有逻辑关联的。然后使用匈牙利算法完成前n个特征序列与真值间的匹配，既希望训练时前n个特征序列的预测结果与真值的总体加权匹配损失是最小的。

匹配距离计算方法如下式所示。

其中，表示真值位置。表示特征序列的一个预测位置。o_ij∈{0,1}，当b_i与的重叠区域比例大于阈值时o_ij＝0，否则o_ij＝1。r_j表示特征在序列中的序列号，越靠前的预测结果匹配代价越小。d_ij表示b_i与对应区域中心点的距离，距离越小代价越小。代价函数优先比较o_ij，其次比较r_j，最后比较d_ij。

图像检测算法需要大量的训练图像，通过损失函数计算的反向传播梯度实现模型参数优化，并最终训练得到检测模型。损失函数如下式示

其中，N表示图像数量。集合G表示单张图像标记的目标位置信息集合。集合C表示划分的图像网格集合。l_pos表示目标位置信息损失函数。它反映网格标记目标位置坐标值与预测坐标值的差异。它有两个输入参数，其中表示第i 个网格真值标记的位置区域信息。表示与对应网格特征的位置预测结果。 f(i)用于表示第i个真值位置信息对应的网格区域映射关系。在程序中f(i)由区域的中心点距离决定。l_C表示网格目标分类信息损失函数，用于度量网格类型与目标类型的一致性。它的两个输入参数，表示网格j特征的分类判断置信度张量。y_i表示[0,1]类型标签张亮。参数α和参数β用于调整位置信息和分类信息损失函数的占比权重。这里使用的参数α和参数β为经验值α＝0.1，β＝1。

ReInspect算法使用循环LSTM网络结构令单个网络单元产生多个序列特征值，并以此特征序列对遮挡目标进行检测。然后，相邻的网格特征因感知区域范围存在重叠部分，直接使用样本预处理获取的网格标签训练循环LSTM网络同样会产生冗余的检测结果。ReInspect算法使用的处理是基于网格进行处理的。若两重叠检测结果来自相同网络，则同时保留。若两重叠检测结果来自不同网络，则移除可信度较小的检测结果。

另外，为了保留重复目标检测结果，单次移除操作中一个网格检测结果最多只能移除一个来自另一个网格的重复检测结果。考虑到一个检测结果可能会与多个不同网格的检测结果重复，检测后处理方法再一次使用了匈牙利算法实现了不同网格重复检测结果的移除。考虑到同一目标可能出现多次重复检测，后处理算法采用了置信度分段的方式对检测结果进行了多次匹配移除。

步骤二：人群行为特征获取

2-1、提取多尺度光流直方图特征：

人群动态特征是人群异常事件检测的基础。在基于光流算法获得光流场后, 将每个网格中的像素量化成多尺度光流直方图。计算光流直方图公式如下：

其中，p表示方向数，r(x,y)和θ(x,y)分别表示光流在像素点(x,y)上的大小和方向。对于直方图的层数，采用经验值即3层的光流直方图。采用3层的光流直方图,并将p设置为8，τ设置为1，设置为3,总共有24个区间。

在得到每个网格的光流直方图之后，连接各个局部的人群动态获得整体的人群动态，构建人群动态的时间序列表示。具体来说，令N表示网格的数目,表示第n个网格的光流直方图特征，我们将N个网格链接成为 x_t＝(G₁,G₂,G₃,…,G_N)^T，总共N×24维的一个向量来表示当前时刻的人群动态；由多个连续时刻的人群动态x₁,x₂,…,x_T获得了人群动态的时间序列表示。

步骤三：神经网络训练

3-1、建立空间以及时间维度模型

在时间递归神经网络(recurrent neural network,简称RNN)的每个时间段中,当前输入与上一个时刻的中间状态共同作用产生新的中间状态,这个中间状态就表示了当前时刻与过去时刻之间的相互关系,当前的输出由过去时刻与当前时刻之间的相互关系决定.为此,在本问题中,利用RNN的上述特性来发现时间异常事件；通过网格化划分,利用RNN的隐含节点来发现各个局部之间的相互关系以及空间异常事件.在上面工作的基础上,将网格是否异常作为目标,以此来实现空间以及时间维度的整体建模.

Gn表示每个网格的MHOF特征(多尺度光流直方图——multi-scale histogram ofoptical flow,简称MHOF——),表示对应的网格是否异常.于是,当前时刻的输入可以表示为x_t＝(G₁,G₂,G₃,…,G_N)^T(N为网格数)；当前时刻的输出可以表示为对于给定的一个序列通过以下公式来计算隐含层状态和预测值

其中,W_hx,W_hh,W_yh分别为输入层到隐含层、隐含层到隐含层和隐含层到输出层的权重矩阵,而b_h,b_y分别为隐含层和输出层的偏置项,和分别为隐含层节点的输入和输出层节点的输入,e和g为激活函数,一般情况下为非线性函数.对于隐含层的激活函数e,本方法使用反正切函数tanh,对于输出层的激活函数g,本方法使用sigmoid函数.

3-2、如图2所示，建立时间递归神经网络模型

令θ＝[W_hx,W_hh,W_yh,b_h,b_y]表示所有参数组成的一个大向量,则目标函数可以形式化定义为

其中,L为距离函数用来计算真实值与预测值之间的误差；L取平方误差或者是交叉熵误差该方法使用了平方误差，为了得到更好的泛化效果,在目标函数中加入了正则项；所以,最终的目标函数为

其中,λ为正则项所占权重,reg(x)为L1范式。在建模时采用屏蔽矩阵方式来刻画多尺度网络间的局部链接关系。令m_hx表示从输入层到隐含层参数的一个屏蔽矩阵，用于屏蔽掉与相应的隐含节点无关的参数，并令CEM(M₁,M₂)来表示两个相同维度矩阵对应元素相乘。整理可以得到如下模型:

最后,使用BPTT来训练上述的模型,并使用随机梯度下降来更新权重

上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。

Claims (9)

1.一种基于深度学习的人群异常检测方法，其特征在于，包括以下步骤：

步骤1：检测人群目标；

步骤2：获取人群行为特征；

步骤3：训练神经网络。

2.根据权利要求1所述的一种基于深度学习的人群异常检测方法，其特征在于，步骤1包括以下步骤：

步骤1.1：采用ReInspect算法构建卷积网络模型；

步骤1.2：在所述卷积网络模型上使用循环LSTM网络对同一网络生成特征序列表示遮挡目标；

步骤1.3：对所述遮挡目标进行检测完成去遮挡处理；

步骤1.4：获取运动目标。

3.根据权利要求1所述的一种基于深度学习的人群异常检测方法，其特征在于，步骤2包括以下步骤：

步骤2.1：基于光流算法获得光流场：

步骤2.2：将所述光流场每个网格中的像素量化成多尺度光流直方图；

步骤2.3：构建人群动态的时间序列表示。

4.根据权利要求1所述的一种基于深度学习的人群异常检测方法，其特征在于，步骤3包括以下步骤：

步骤3.1：建立空间以及时间维度模型；

步骤3.2：建立时间递归神经网络模型；

步骤3.3：使用BPTT训练所述时间递归神经网络模型。

5.根据权利要求2所述的一种基于深度学习的人群异常检测方法，其特征在于，在步骤1.2中，为了保留重复目标检测结果，单次移除操作中一个网格检测结果移除一个来自另一个网格的重复检测结果；考虑到一个检测结果可能会与多个不同网格的检测结果重复，检测后处理方法再一次使用了匈牙利算法实现不同网格重复检测结果的移除；考虑到同一目标可能出现多次重复检测，后处理算法采用了置信度分段的方式对检测结果进行了多次匹配移除。

6.根据权利要求3所述的一种基于深度学习的人群异常检测方法，其特征在于，在步骤2.2中，计算所述光流直方图的公式为：

其中，p表示方向数，r(x,y)和θ(x,y)分别表示光流在像素点(x,y)上的大小和方向。对于直方图的层数，采用经验值即3层的光流直方图，采用3层的光流直方图,并将p设置为8，τ设置为1，设置为3,总共有24个区间。

7.根据权利要求3所述的一种基于深度学习的人群异常检测方法，其特征在于，在步骤2.3中，在得到每个网格的所述光流直方图之后，连接各个局部的人群动态获得整体的人群动态，构建所述人群动态的时间序列表示。

8.根据权利要求4所述的一种基于深度学习的人群异常检测方法，其特征在于，在步骤3.1中，所述建立空间以及时间维度模型包括，在时间递归神经网络的每个时间段中,当前输入与上一个时刻的中间状态共同作用产生新的中间状态,这个中间状态就表示了当前时刻与过去时刻之间的相互关系,当前的输出由过去时刻与当前时刻之间的相互关系决定；为此,在本问题中,利用时间递归神经网络的上述特性来发现时间异常事件；通过网格化划分,利用时间递归神经网络的隐含节点来发现各个局部之间的相互关系以及空间异常事件；在上面工作的基础上,将网格是否异常作为目标,以此来实现空间以及时间维度的整体建模；

Gn表示每个网格的MHOF特征,表示对应的网格是否异常；于是,当前时刻的输入可以表示为x_t＝(G₁,G₂,G₃,…,G_N)^T(N为网格数)；当前时刻的输出可以表示为对于给定的一个序列x₁,x₂,…,x_T 通过以下公式来计算隐含层状态h₁,h₂,…,h_T 和预测值

其中,W_hx,W_hh,W_yh分别为输入层到隐含层、隐含层到隐含层和隐含层到输出层的权重矩阵,而b_h,b_y分别为隐含层和输出层的偏置项,t₁,t₂,…,t_T 和s₁,s₂,…,s_T 分别为隐含层节点的输入和输出层节点的输入,e(x)和g(x)为激活函数,一般情况下为非线性函数.对于隐含层的激活函数e(x),本方法使用反正切函数tanh,对于输出层的激活函数g(x),本方法使用sigmoid函数。

9.根据权利要求4所述的一种基于深度学习的人群异常检测方法，其特征在于，在步骤3.2中，所述建立时间递归神经网络模型包括令θ＝[W_hx,W_hh,W_yh,b_h,b_y]表示所有参数组成的一个大向量,则目标函数可以形式化定义为

其中,L为距离函数用来计算真实值与预测值之间的误差；L取平方误差或者是交叉熵误差该方法使用了平方误差，为了得到更好的泛化效果,在目标函数中加入了正则项；所以,最终的目标函数为

其中,λ为正则项所占权重,reg(x)为L1范式。在建模时采用屏蔽矩阵方式来刻画多尺度网络间的局部链接关系。令m_hx表示从输入层到隐含层参数的一个屏蔽矩阵，用于屏蔽掉与相应的隐含节点无关的参数，并令XEM(M₁,M₂)来表示两个相同维度矩阵对应元素相乘。整理可以得到如下模型: