CN111062297A - 基于eann深度学习模型的暴力异常行为检测方法 - Google Patents

Abstract

本发明提出一种基于EANN深度学习模型的暴力异常行为检测方法，包括(1)获得待检测视频，基于帧差法对视频中连续两帧进行差分，得到差分图像作为EANN模型的输入；(2)基于卷积神经网络Efficentnet提取图像空间特征；(3)基于ConvLSTM对步骤(2)中提取的空间特征进行连续时间上的编码，获得视频的局部时空特征；(4)针对步骤(3)所获得的时空特征，利用注意力机制对剧烈运动部分进行加强；(5)基于全连接层对步骤(4)的输出进行分类，得到该视频暴力异常行为的概率，进而实现对暴力异常行为的检测。本发明所提出的方法在保持精度损失很小的情况下，大幅度降低了参数量，提升网络运行速度；与传统方法相比，精度提升幅度明显，鲁棒性强，具有较高的实际应用及推广价值。

Description

基于EANN深度学习模型的暴力异常行为检测方法

技术领域

本发明涉及视频中暴力异常行为检测领域，具体涉及一种基于EANN深度学习模型的暴力异常行为检测方法。

背景技术

异常行为检测在安防领域有着十分重要的价值，尤其是对暴力异常行为的检测，对国家经济发展，社会安全和稳定具有重要的意义，越来越多的研究者关注着这个研究方向。暴力异常行为检测在简单场景下的识别比较成熟，但是对于群组暴力异常行为识别具有很大的挑战性，并且人越多，情况越复杂，这种场景在游行示威和公共交通等场景下又非常常见。

暴力异常行为检测的方法大致可以分为两个大的类别，一个是基于传统手工特征的方法，另一个是基于深度学习的方法。基于传统手工特征的暴力异常行为检测方法，如总结的兴趣点，光流场，加速模式和群体纹理，由于研究时间较长，算法比较成熟，速度很快，但是这些特征过分依赖于特征工程，对研究人员的要求很高，在特定场景下可靠，但是鲁棒性不强，模型的泛化能力有限。基于深度学习的方法能够自动学习出数据的特征，把更多的精力集中在了模型设计上，现在用于暴力异常行为检测的深度学习方法，比如基于VGG的暴力异常行为检测模型，基于残差网络的暴力异常行为检测模型，基于AlexNet的暴力异常行为检测模型等等，虽然精度非常高，但是参数量巨大，这在实际应用中会消耗大量的计算资源和存储空间，这就不适合一些对时间效率要求很高的场景，限制了深度学习的应用场景。

因此，设计一个高效的暴力异常行为检测网络，不仅要保持现有网络的高精度的优势，又要使得参数量最大限度的降低，将成为未来研究的一个方向。

发明内容

本发明针对现有技术中存在的缺陷，提出一种基于EANN深度学习模型的暴力异常行为检测方法。

本发明是采用以下的技术方案实现的：一种基于EANN深度学习模型的暴力异常行为检测方法，包括以下步骤：

步骤S1、获得待检测视频，基于帧差法对视频中连续两帧图像进行差分，得到差分图像作为EANN模型的输入；

步骤S2、基于卷积神经网络Efficientnet提取差分图像的空间特征；

步骤S3、基于ConvLSTM对步骤S2提取的空间特征进行连续时间上的编码，获得视频的局部时空特征；

步骤S4、针对步骤S3所获得的局部时空特征，利用注意力机制对剧烈运动部分进行加强；

步骤S5、基于全连接层对步骤S4的输出进行分类，得到该视频暴力异常行为的概率，进而实现对暴力异常行为的检测。

进一步的，所述EANN深度学习模型包括输入层、空间特征提取层、局部时空特征编码层、注意力机制层和全连接层，所述卷积神经网络提取空间特征层基于EfficientNet实现，所述局部时空特征编码层基于ConvLSTM实现。

进一步的，所述步骤S2中，在提取空间特征时，Eficientnet基于复合缩放方法，基于一个复合系数φ来统一的缩放网络的宽度、深度和分辨率。

进一步的，所述步骤S2中，EfficientNet的搜索方式包括两步：

(1)固定

设有两倍的资源可用，做一个关于α,β,γ的网格搜索，α,β,γ是常量，且α,β,γ服从约束α·β²·γ²≈2；

(2)把α,β,γ固定为常量，用不同的φ来缩放网络，以得到EfficientNet不同层的变体网络。

进一步的，所述步骤S4中，注意力机制对剧烈运动部分进行加强时，基于按位点积的方式实现：

(1)设X＝{x₁,x₂,…,x_n}为网络层的输入，具体为Efficientnet+ConvLstm生成的局部时空特征作为输入，Y＝{y₁,y₂,…,y_n}为网络层的输出；

(2)注意力机制对Efficientnet+ConvLstm生成的局部时空特征，按照剧烈程度分配权重，再按照点积的方式对信息进行融合；

(3)最后，经过全连接+softmax实现是否是剧烈运动异常行为的判别，得到最终的输出。

与现有技术相比，本发明的优点和积极效果在于：

本方案所提出的暴力异常行为检测方法，基于EANN深度学习模型实现，首先利用AutoML的产生的网络结构，基于AutoML中的神经网络架构搜索方法(NAS)能从设计的原始网络中得到原始网络的最佳网络结构，这样避免了人工设计网络的弊端，也能够得到一个当前网络下的最佳模型；然后利用注意力机制在原有的特征的基础上产生更适合特定场景的重要特征，并且注意力机制的计算代价引入很小。该模型与其他轻量级的深度学习方法方法比较，在保持精度损失很小的情况下，大幅度降低了参数量，与传统方法相比，精度提升幅度明显，鲁棒性强，并且不依赖于手工特征。

附图说明

图1为本发明实施例所述的EANN网络模型结构示意图；

图2为本发明实施例所述的EfficientNetB0结构示意图；

图3为本发明实施例所述的ConvLSTM的内部结构示意图；

图4为本发明实施例所述的注意力机制示意图。

具体实施方式

为了能够更清楚的理解本发明的上述目的和优点，下面结合附图对本发明的具体实施方式做详细地描述：

首先，需要解释的是：本方案设计的EANN(Efficient Attention-based NeuralNetworks) 模型，包括输入层、空间特征提取层、局部时空特征编码层、注意力机制层和全连接层，卷积神经网络提取空间特征层基于EfficientNet实现，局部时空特征编码层基于ConvLSTM实现，该模型融合了AutoML(Automated Machine Learning)的高效神经网络，并结合ConvLSTM 提取空间时序特征，最后利用注意力机制来提升模型对差异化特征建模的性能，在精度和模型效率上都达到了最佳的性能。

本实施例提出一种基于EANN深度学习模型的暴力异常行为检测方法，包括以下步骤：

步骤S1、获得待检测视频，基于帧差法对视频中连续两帧进行差分，得到差分图像作为 EANN模型的输入；

步骤S2、基于卷积神经网络Efficientnet提取差分图像空间特征；

步骤S3、基于ConvLSTM对步骤S2提取的空间特征进行连续时间上的编码，获得视频的局部时空特征；

步骤S4、针对步骤S3所获得的局部时空特征，利用注意力机制对剧烈运动部分进行加强；

步骤S5、基于全连接层对步骤S4的输出进行分类，得到该视频暴力异常行为的概率，进而实现对暴力异常行为的检测。

下面结合具体的模型结构及处理原则对上述方法原理进行详细的介绍，具体的：

步骤S1中，本实施例可选用10帧或者20帧序列，基于帧差法对视频中连续两帧进行差分，这些序列在原视频中为两两相邻，作为EANN模型的输入；

步骤S2中，所述卷积神经网络选择AutoML训练出来的EfficientNet，EfficientNet分别处理每一帧图像，提取图像的空间特征，在训练期间权重是共享的，最初的权重是在ImageNet 上预训练的权重。

在提取空间特征时，Efficientnet基于复合缩放方法(compund scalingmethod)，使用一个复合系数φ来统一的缩放网络的宽度、深度和分辨率，如下列公式所示：

其中d代表深度，w代表宽度，r代表分辨率，α,β,γ是常量，这些常量可以由一个小的网格搜索决定，φ是一个用户指定的系数，控制着有多少的资源可以用于模型的缩放。

为了进一步提升模型的性能，EfficientNet通过AutoML MNAS框架来进行神经结构搜索，搜索同时能够优化精度和效率。利用MBConv并加入squeeze-and-excitation优化，得到的 EfficientNetB0的结构如图2所示，其详细参数如表1所示：

表1 EfficientNetB0的网络详细参数

网络层名称	EfficientNetB0	网络层数量
			Conv	3x3	1
MBConv1	k3x3	1
			MBConv6	k3x3	2
MBConv6	K5x5	2
			MBConv6	K3x3	3
MBConv6	k5x5	3
			MBConv6	k5x5	4
MBConv6	k3x3	1
			conv	1x1,Pooling,FC	1

EfficientNet的搜索方式分为两步：

(1)：固定住

假设有两倍的资源可用，做一个关于α,β,γ的网格搜索。特别地，发现了EfficientNet-B0的最佳参数：α＝1.2,β＝1.1,γ＝1.15α,β,γ服从约束α·β²·γ²≈2。其公式参考1；

(2)：把α,β,γ固定为常量，用不同的φ来缩放网络，以得到EfficientB1～B7这几个变体的网络。

步骤S3中，基于ConvLSTM实现，每一帧的数据从CNN进入到ConvLSTM单元里面，其中隐藏层由256个大小为3的卷积核组成。ConvLSTM的内部结构如图3所示，ConvLSTM 的关键方程如下式(2)所示，其中“*”表示的是卷积操作，

表示的是哈达码积。ConvLSTM 所有的输入X₁,...,X_t，单元输出C₁,...,C_t，隐藏状态H₁,...,H_t和门i_t,f_t,o_t都是三维的张量。

一个系统要识别一个视频是异常的还是正常的，它应该能够编码局部空间特征以及它们随时间变化的方式。CNN能够产生识别的空间特征，但现有的方法利用从全连通层提取的特征进行LSTM时间编码。而全连接层的输出表示整个图像的全局描述符。因此，现有的方法无法对局部空间变化进行编码。本实施例中采用convLSTM则可以克服这一缺陷，通过编码 CNN的卷积特征，同时训练卷积门对局部区域的时间变化进行编码，这样整个网络就能够对局部时空特征进行编码，得到局部的时空特征。

步骤S4中，基于注意力层对剧烈运动部分进行加强，考虑到使用预训练模型的原因，由于预训练模型是为了图像分类而设计的，跟视频的暴力异常行为检测还是有不一样的地方，暴力异常行为检测除了需要时间维度的特征外，还需要与暴力异常行为相关的特征，并不是图像中的每一个部分都包含着与暴力异常行为相关的特征，因此运用注意力机制，可以在一定程度上获取到图片中适用于暴力异常行为检测的重要特征，从而能够加速模型的收敛，在参数量增加很小的情况下，提高模型的准确率。

(3)本实施例注意力机制的设计图如图4所示。其中，X＝{x₁,x₂,…,x_n}为网络层的输入，Efficientnet+ConvLstm生成的局部时空特征作为输入，Y＝{y₁,y₂,…,y_n}为网络层的输出。然后注意力机制对Efficientnet+ConvLstm生成的局部时空特征，按照剧烈程度分配权重，再按照点积的方式对信息进行融合；最后，经过全连接+softmax实现是否是剧烈运动异常行为的判别，得到最终的输出，利用全连接层来学习注意力权重，然后和X进行加和处理，公式表达如下：

α_ij是一个softmax模型输出，这里用一个全连接来学习全局的权重信息，然后利用softmax 把全局的权重信息变成权重概率分布。所以c_i可以看做是输入的隐含状态的权重分布律，输出的y_i由输入、之前的输出、隐含层和权重分布律共同决定。

其中，权重的学习用一个全连接来学习全局的权重信息，然后利用softmax把全局的权重信息变成权重概率分布，最后通过按位点积的方法得到最终的输出。注意力机制能够对筛选出有用的特征，通过对重要的特征进行叠加能够使得重要的特征进一步增强，从而得到的效果会更好。

步骤S5中，分类出该视频帧的暴力异常行为，考虑到图像的特殊性，全连接层的神经元使用RELU作为激活函数。

本发明利用AutoML搜索出来的EfficientNet来进一步优化模型的参数，使得模型的参数量减少幅度非常的大，但是精度几乎没有损耗，借助注意力机制的作用，使得模型在参数量减少的情况下，通过注意力机制做特征选择，不至于使模型性能下降，精度降低。最后利用 ConvLSTM对暴力异常行为的时序进行建模，从时间维度和空间维度抽取特征，从而更好的识别出暴力异常行为，最后分别在Hockey Fights，Violent flow数据集进行实验，实验结果表明EANN模型在借助Auto ML和注意力机制的情况下，参数降低1000万以上，并且精度损失比较小具有较高的实际应用及推广价值。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (5)

1.基于EANN深度学习模型的暴力异常行为检测方法，其特征在于，包括以下步骤：

步骤S1、获得待检测视频，基于帧差法对视频中连续两帧图像进行差分，得到差分图像作为EANN模型的输入；

步骤S2、基于卷积神经网络Efficentnet提取差分图像的空间特征；

步骤S3、基于ConvLSTM对步骤S2提取的空间特征进行连续时间上的编码，获得视频的局部时空特征；

步骤S4、针对步骤S3所获得的局部时空特征，利用注意力机制对剧烈运动部分进行加强；

步骤S5、基于全连接层对步骤S4的输出进行分类，得到该视频暴力异常行为的概率，进而实现对暴力异常行为的检测。

2.根据权利要求1所述的基于EANN深度学习模型的暴力异常行为检测方法，其特征在于：所述EANN深度学习模型包括输入层、空间特征提取层、局部时空特征编码层、注意力机制层和全连接层，所述卷积神经网络提取空间特征层基于EfficientNet实现，所述局部时空特征提取层基于ConvLSTM实现。

3.根据权利要求1所述的基于EANN深度学习模型的暴力异常行为检测方法，其特征在于：所述步骤S2中，在提取空间特征时，Eficientnet采用复合缩放方法，基于一个复合系数φ来统一的缩放网络的宽度、深度和分辨率。

4.根据权利要求3所述的基于EANN深度学习模型的暴力异常行为检测方法，其特征在于：所述步骤S2中，EfficientNet的搜索方式包括两步：

(1)固定

设有两倍的资源可用，做关于α,β,γ的网格搜索，α,β,γ是常量，且α,β,γ服从约束α·β²·γ²≈2；

(2)把α,β,γ固定为常量，用不同的φ来缩放网络，以得到EfficientNet不同层的变体网络。

5.根据权利要求4所述的基于EANN深度学习模型的暴力异常行为检测方法，其特征在于：所述步骤S4中，注意力机制对剧烈运动部分进行加强时，基于按位点积的方式实现：

(1)设X＝{x₁,x₂,…,x_n}为网络层的输入，具体为Efficientnet+ConvLstm生成的局部时空特征作为输入，Y＝{y₁,y₂,…,y_n}为网络层的输出；

(2)注意力机制对Efficientnet+ConvLstm生成的局部时空特征，按照剧烈程度分配权重，再按照点积的方式对信息进行融合；

(2)最后，经过全连接+softmax实现是否是剧烈运动异常行为的判别，得到最终的输出。

Images