CN111062278A - 基于改进残差网络的异常行为识别方法 - Google Patents

Abstract

本发明公开了一种基于改进残差网络的异常行为识别方法，通过改进的残差网络对检测提取到的人体异常行为图片集进行识别，实现从视频中检测并识别人体异常行为。解决了现有技术中存在的模型计算量大、计算复杂、异常行为识别率低等问题。

Description

基于改进残差网络的异常行为识别方法

技术领域

本发明涉及图像识别领域，具体涉及一种基于改进残差网络的异常行为识别方法。

背景技术

近年来，智能视频监控系统广受政府和公众的欢迎，从政府打击犯罪到家庭的日常安全都有所应用。异常行为与人身财产安全息息相关，通过人力分析海量视频信息是非常昂贵且低效的，因此有必要自动地检测和识别可疑的异常行为，其中，在一些公共场所，比如车站，对类似于斗殴，抢劫，暴恐这样的行为就称为异常行为。由于人类行为的歧义性，准确地识别异常行为成为现今的攻克难点。于是本发明提出了一种异常行为检测技术。快速检测异常行为是非常重要的，一旦检测到异常就可以采取适当的措施以避免或减少负面结果产生。因此，许多研究工作都是为了取代手动检测异常情况而创建一个自动视频监控系统，但其中核心技术，即准确地快速检测并识别异常行为确实极具挑战性。

为了实现自动检测异常行为技术，则必须捕获人体的一些外观和动态，以便检测场景中存在的任何异常行为并确定其空间位置。目前，异常行为检测方法有很多种，如SSD，Fast R-CNN，Faster R-CNN，YOLO v3等网络结构。与检测方案(如SSD，Fast/Faster R-CNN)提出的基于深度学习模型的异常行为检测算法相比，YOLO v3网络的检测速度最快。由于本发明中要实现在视频监控系统中快速检测异常行为，即对检测速度有一定的要求，因此本发明中采用YOLO v3来完成目标检测任务。异常行为的识别方法主要有双流网络、深度卷积神经网络等。而在深度神经网络中，网络深度遇到的主要问题是梯度消失，传统的处理方法通常是数据的初始化和正则化，这样尽管解决了梯度消失的问题，但网络深度加深却带来性能退化的问题。随着网络深度的加深，错误率却呈现上升趋势，而残差网络可解决网络退化以及梯度消失问题，使得网络的性能得到提高。至此，本发明提出了采用改进的残差网络来识别异常行为，在深度网络中的识别准确率令人满意。采用本发明的多级残差网络不仅能快速地对人体进行检测，还能快速、准确地识别出异常行为，体现出其高效性和准确性。

发明内容

本发明的目的是提供一种基于改进残差网络的异常行为识别方法，解决了现有技术中存在的模型计算量大、计算复杂、异常行为识别率低等问题。

本发明所采用的技术方案是，一种基于改进残差网络的异常行为识别方法，具体按照以下步骤实施：

步骤1：收集视频数据集；

步骤2：使用YOLO v3目标检测算法检测视频中的物体，对视频中的物体进行框选、分类，若类别为人，则输出目标边框及类别，否则舍弃其目标边框；

步骤3：采用基于时空信息的视频帧提取方法提取步骤2框选、分类出人体的行为视频帧；

步骤4：使用人体目标检测的坐标对步骤3中视频帧的人体目标进行裁剪，以获得人体异常行为识别图像数据集；

步骤5：将人体异常行为识别图像数据集中的图片随机划分为训练集和测试集；

步骤6：对残差网络结构进行改进；

步骤7：用改进后的残差网络结构对异常行为图像进行识别。

本发明的特点还在于：

步骤2中的具体过程为：

步骤2.1：框选

通过特征提取网络提取输入数据的特征，得到特定大小的特征图输出：假设将输入图像划分为S×S个网格，以图像中某一目标的中心落在某个网格中，来预测该目标；

定义每个网格负责预测B个边界框，每个边界框都包含自身的位置信息和置信度，此置信度代表了所预测的框中含有目标的置信度以及这个框预测的准确度两种信息，计算如下：

若网格中包含某个目标则Pr(Object)＝1，否则Pr(Object)＝0，

表示实际边界框与预测框的交并比，用来测量预测边界框的准确性，当IOU＝1时，说明实际边界框与预测边界框重合；

步骤2.2：分类

对每个包含目标的网格同时预测C个类别概率，用Pr(Class|Object)表示，在预测阶段，将目标所属类别的概率(Pr(Class_i|Object))与边界框预测的置信度(confidence)相乘来获取预测边界框所属某一类别的置信分数(Class_i_score)，如式(2)所示：

将Class_i_score与规定的阈值相比较，若大于规定的阈值则保留相应的预测目标边界框，否则舍弃其边框，最后利用非极大值抑制法过滤剩余的预测目标边框，输出最终的目标预测位置及其所属类别。

步骤3中基于时空信息的视频帧提取方法设置视频帧数为每秒25-30帧。

步骤5中，训练集和测试集中图像数量的比例为4:1-5:1。

步骤6中残差网络结构改进的具体过程为：

先通过一个卷积核为7×7大小的conv1卷积层，然后接一个池化核为3×3大小的pool1最大池化层，再连接三层卷积核分别为1×1、3×3、1×1大小的conv2、conv3、conv4卷积层，之后连接十二组mul-res结构，每组都由3个卷积层构成，最后增加一个平均池化层。

十二组mul-res结构具体为conv5_x卷积层、conv6_x卷积层、conv7_x卷积层、conv8_x卷积层、conv9_x卷积层、conv10_x卷积层、conv11_x卷积层、conv12_x卷积层、conv13_x卷积层、conv14_x卷积层、conv15_x卷积层、conv16_x卷积层。

mul-res结构包括两个分支，其中一个分支依次为1×1的卷积层并用批量归一化算法和Relu激活函数进行处理、3×3的卷积层并用批量归一化算法和Relu激活函数进行处理、1×1的卷积层并用批量归一化算法进行处理，另一个分支是权重值为k的跳跃链接，最后对两个分支进行求和，并用Relu激活函数进行处理。

步骤7的具体流程为：

步骤7.1：利用改进的残差网络对人体异常行为图像数据集进行特征提取；

步骤7.2：在分类之前使用全连接层对人体异常行为图像在不同通道的特征信息进行整合；

步骤7.3：将整合的特征信息输入至分类层中计算其所对应的预测类的概率，输出具有最大概率的预测类作为预测结果。

本发明的有益效果是：

(1)本发明利用改进的残差网络对异常行为图像进行分类，通过调节残差网络跳跃链接的权值，使得网络能更高效地识别具有歧义性的异常行为图像；

(2)本发明对残差网络进行了改进，卷积核为1×1大小的卷积层不仅能改变卷积层的通道数，而且减少了参数量，从而在达到相同效果下用时更少。

(3)本发明改进的残差网络相比于Resnet-50网络，本网络在残差块跳跃链接分支上增加了一个可调节的权值，并减少了跳跃链接分支上有卷积层的残差块。网络在最后一个2048d的卷积层后面增加了一个卷积核为1×1大小的卷积层，降低维度，保留了空间信息。且本网络在分类层前增加了一层全连接层来对提取的特征信息进行进一步整合，使得分类器的表达更佳。

(4)本发明中采用了十二组mul-res结构，mul-res结构有效地减少了卷积的参数和计算量，且mul-res中的批量归一化算法,加快了网络的收敛，提高了训练速度并降低权值初始化的成本；

(5)本发明通过结合YOLO v3目标检测算法和改进的残差网络异常行为识别算法来快速地检测并且高效地识别视频中的异常行为。

(6)本方法在UTI数据集上的表现优于目前流行的方法，证明了YOLO v3目标检测算法和改进的残差网络在异常行为图像分类中的可行性，也为该方向的研究提供了思路。

附图说明

图1是本发明基于改进残差网络的异常行为识别方法的流程图；

图2是本发明基于改进残差网络的异常行为识别方法的YOLO v3网络结构图；

图3是本发明改进的残差网络结构图；

图4是本发明基于改进残差网络的异常行为识别方法的残差块示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明基于改进残差网络的异常行为识别方法，如图1所示，具体按照以下步骤实施：

步骤1：在网上下载含有异常行为发生的视频，得到视频数据集；

步骤2：使用YOLO v3目标检测算法检测视频中的物体，对视频中的物体进行框选、分类，若类别为人，则输出目标边框及类别，否则舍弃其目标边框；以便有效获得图片中的人体特征信息；

步骤2.1：框选

通过特征提取网络提取输入数据的特征，得到特定大小的特征图输出：将输入图像划分为S×S个网格，如果图像中某一目标的中心落在某个网格中，那么就由此网格来预测该目标。每个网格负责预测B个边界框。每个边界框都包含自身的位置信息(x,y,h,w)和置信度(confidence)。此置信度代表了所预测的框中含有目标的置信度以及这个框预测的准确度两种信息。计算如下：

若网格中包含某个目标则Pr(Object)＝1，否则Pr(Object)＝0。

表示实际边界框与预测框的交并比，用来测量预测边界框的准确性，当IOU＝1时，说明实际边界框与预测边界框重合。

步骤2.2：分类

对每个包含目标的网格同时预测C个类别概率，用Pr(Class|Object)表示。不管边界框的数量，每个网格单元仅预测一组概率。在预测阶段，将目标所属类别的概率(Pr(Class_i|Object))与边界框预测的置信度(confidence)相乘来获取预测边界框所属某一类别的置信分数(Class_i_score)，如式(2)所示：

将Class_i_score与规定的阈值相比较，若大于规定的阈值则保留相应的预测目标边界框，否则舍弃其边框(在本实验中，由于只对人进行检测且人体姿态变化较大，因此规定的阈值选定为0.6)。最后利用非极大值抑制法过滤剩余的预测目标边框，输出最终的目标预测位置及其所属类别。

YOLO v3网络模型如图2所示，其中，conv表示卷积层，BN表示批量归一化算法，Upsample表示上采样操作，concat表示合并操作，zero padding表示零填充操作。DBL层组成结构如图中左起第一个虚线框所示，res unit组成结构如左起第二个虚线框所示，resn组成结构如左起第三个虚线框所示。此模型采用了Darknet-53的网络结构(含有53个卷积层)，它借鉴了残差网络的结构，在一些直链层之间设置了跳跃链(shortcutconnections)。其卷积层包括1×1、3×3和7×7三种卷积核，不同大小的卷积核提取的特征也不尽相同，卷积层采用泄露修正函数(Leaky Relu)作为激活函数。YOLO v3网络能以快速和准确的方式检测80种目标对象，如猫、狗、车、人等等。在本实验中改变YOLO v3网络的检测目标，使其只检测出人体行为目标并框出，为接下来的异常行为识别网络提供输入。

步骤3：采用基于时空信息的视频帧提取方法提取行为视频帧；

基于时空信息的视频帧提取方法可自主设置每几帧提取一帧图像(通常国内电视式制视频每秒25-30帧)。

步骤4：使用人体目标检测的坐标对图片中的人体目标进行裁剪，以获得人体异常行为识别图像数据集；

步骤5：将人体异常行为识别图像数据集中的图片随机划分为训练集和测试集；

人体异常行为识别图像数据集中训练集和测试集的图像数量比例为4:1-5:1。

步骤6：对残差网络结构进行改进，用训练集中的图像训练改进的残差网络，通过训练来不断优化残差网络中每一层的权重，训练完成后用测试集图像测试残差网络的准确率；

步骤6中在训练中采用深度残差学习方法不断优化残差网络结构，深度残差学习方法具体为：对于输入网络的x，假设H(x)(残差块的输出)是最优解映射，构建F(x)＝H(x)-kx，使得H(x)表示为F(x)+kx，具体表达式为F(x)＝W₃σ(W₂σ(W₁x))，最后输出为H(x)＝W₃σ(W₂σ(W₁x))+kx，如图4所示。其中，F(x)表示残差块在第三层激活函数之前的输出，W1、W2、W3表示第一层、第二层和第三层的权重，σ代表线性激活函数Relu。mul-res结构中各个卷积层的步长均为1。

改进的残差网络结构图如图3所示。改进后残差网络结构具体为：先通过一个卷积核为7×7大小的conv1卷积层，然后接一个池化核为3×3大小的pool1最大池化层，再连接三层卷积核分别为1×1，3×3，1×1大小的conv2、conv3、conv4卷积层，接着是十二组mul-res结构，即conv5_x卷积层、conv6_x卷积层、conv7_x卷积层、conv8_x卷积层、conv9_x卷积层、conv10_x卷积层、conv11_x卷积层、conv12_x卷积层、conv13_x卷积层、conv14_x卷积层、conv15_x卷积层、conv16_x卷积层，每组都由3个卷积层构成，最后增加一个平均池化层(Averagepooling)。图中Fully Connected layers指全连接层，该网络用的是Softmax分类器。其中mul-res结构包括两个分支，其中一个分支依次为1×1的卷积层并用批量归一化算法和Relu激活函数进行处理、3×3的卷积层并用批量归一化算法和Relu激活函数进行处理、1×1的卷积层并用批量归一化算法进行处理，另一个分支是权重值为k的跳跃链接，最后对两个分支进行求和，并用Relu激活函数进行处理。

步骤7：用改进后的残差网络结构进行异常行为图像进行识别。

步骤7的具体流程为利用改进的残差网络对人体异常行为图像数据集进行特征提取。在分类之前使用全连接层对人体异常行为图像在不同通道的特征信息进行整合，最后，将整合的特征信息输入至分类层中计算其所对应的预测类的概率，输出具有最大概率的预测类作为预测结果。其中，提取特征的具体方法为图像矩阵经过一个卷积核的卷积操作后，得到了另一个矩阵，这个矩阵叫做特征映射。每一个卷积核都可以提取特定的特征，不同的卷积核提取不同的特征。通过调整参数和残差结构使得训练较传统的卷积神经网络方法更简易快速。

实施例

1)本例中采用UTI行为数据集。该数据集由20个视频剪辑组成，每个视频剪辑含有多个移动的人体，包含以下六种不同的行为：“握手”，“拥抱”，“踢”，“指”，“打拳”和“推”。每段视频至少包含此六种交互行为各一次，从而导致每段视频剪辑平均执行8次人体活动。分辨率图像帧对应于HD(720×480)，帧速率对应于30fps(每秒帧数)。在本实验中，将这六种行为定义为异常行为。

实验训练改进的残差网络使用Tensorflow框架，环境为Ubuntu16.04系统，CPU为Inter(R)Core(TM)i5-4210M，主频为2.60GHz，内存为8GB，GPU使用RTX 2080Ti。

2)使用YOLO v3目标检测算法快速地检测出视频中的人体，并对人体进行框选，以便获得图片中的有效信息；

3)基于时空信息的视频帧提取方法，本实验中自主设置每五帧提取一帧图像。

4)使用人体目标检测的坐标对图片中的人体目标进行裁剪，以获得人体异常行为识别图像数据集；

5)将人体异常行为识别图像数据集中的图片随机划分为训练集和测试集，本实验中随机选取每类异常行为的80％作为训练集，20％作为测试集，学习率为0.0001，训练步数为10000。

6)实验基于改进的残差网络结构，对结构中残差块的权值k的变化趋势进行了实验，分别进行了10000步的训练，实验结果表明权值k以凸形变化时，识别效果最好。

表1展示了目前流行的几种目标检测和识别网络在UTI数据库上的识别结果。可以看出，YOLO v3+vgg16网络与SSD+vgg16网络在目标检测方面的效果有些差异，YOLO v3检测效果更准确，而对于基于迁移学习的目标识别网络vgg16其识别结果是不相上下的；基于迁移学习的识别网络resnet50与vgg16相比，残差网络确实识别效果更好。本发明提出的算法与具有相同检测算法的融合网络YOLO v3+vgg16相比，识别结果提高了3.7％；而相比于SSD+resnet50网络，识别结果提高了1.5％。由此可得，本发明提出改进的残差网络是非常有价值的。

表1实验结果对比表

本发明利用改进的残差网络对异常行为图像进行分类，通过调节残差网络跳跃链接的权值，使得网络能更高效地识别具有歧义性的异常行为图像。卷积核为1×1大小的卷积层不仅能改变卷积层的通道数，而且减少了参数量，从而在达到相同效果下用时更少。实验结果表明，本方法在UTI数据集上的表现优于目前流行的方法，证明了YOLO v3目标检测算法和改进的残差网络在异常行为图像分类中的可行性，也为该方向的研究提供了思路。然而，本方法对于模糊的视频还是存在漏检的现象，下一步需要优化算法，以尽量避免漏检问题，从而进一步提升异常行为视频识别的准确率。

Claims (8)

1.一种基于改进残差网络的异常行为识别方法，其特征在于，具体按照以下步骤实施：

步骤1：收集视频数据集；

步骤2：使用YOLO v3目标检测算法检测视频中的物体，对视频中的物体进行框选、分类，若类别为人，则输出目标边框及类别，否则舍弃其目标边框；

步骤3：采用基于时空信息的视频帧提取方法提取步骤2框选、分类出人体的行为视频帧；

步骤4：使用人体目标检测的坐标对步骤3中视频帧的人体目标进行裁剪，以获得人体异常行为识别图像数据集；

步骤5：将人体异常行为识别图像数据集中的图片随机划分为训练集和测试集；

步骤6：对残差网络结构进行改进；

步骤7：用改进后的残差网络结构对异常行为图像进行识别。

2.根据权利要求1所述的基于改进残差网络的异常行为识别方法，其特征在于，所述步骤2中的具体过程为：

步骤2.1：框选

通过特征提取网络提取输入数据的特征，得到特定大小的特征图输出：假设输入图像划分为S×S个网格，以图像中某一目标的中心落在某个网格中，来预测该目标；

定义每个网格负责预测B个边界框，每个边界框都包含自身的位置信息和置信度，此置信度代表了所预测的框中含有目标的置信度以及这个框预测的准确度两种信息，计算如下：

若网格中包含某个目标则Pr(Object)＝1，否则Pr(Object)＝0，

表示实际边界框与预测框的交并比，用来测量预测边界框的准确性，当IOU＝1时，说明实际边界框与预测边界框重合；

步骤2.2：分类

对每个包含目标的网格同时预测C个类别概率Pr(Class|Object)，在预测阶段，将目标所属类别的概率Pr(Class_i|Object)与边界框预测的置信度confidence相乘来获取预测边界框所属某一类别的置信分数Class_i_score，如式(2)所示：

将Class_i_score与规定的阈值相比较，若大于规定的阈值则保留相应的预测目标边界框，否则舍弃其边框，最后利用非极大值抑制法过滤剩余的预测目标边框，输出最终的目标预测位置及其所属类别。

3.根据权利要求1所述的基于改进残差网络的异常行为识别方法，其特征在于，所述步骤3中基于时空信息的视频帧提取方法设置视频帧数为每秒25-30帧。

4.根据权利要求1所述的基于改进残差网络的异常行为识别方法，其特征在于，所述步骤5中，训练集和测试集中图像数量的比例为4:1-5:1。

5.根据权利要求1所述的基于改进残差网络的异常行为识别方法，其特征在于，所述步骤6中残差网络结构改进的具体过程为：

先通过一个卷积核为7×7大小的conv1卷积层，然后接一个池化核为3×3大小的pool1最大池化层，再连接三层卷积核分别为1×1、3×3、1×1大小的conv2、conv3、conv4卷积层，之后连接十二组mul-res结构，每组都由3个卷积层构成，最后增加一个平均池化层。

6.根据权利要求5所述的基于改进残差网络的异常行为识别方法，其特征在于，所述十二组mul-res结构具体为conv5_x卷积层、conv6_x卷积层、conv7_x卷积层、conv8_x卷积层、conv9_x卷积层、conv10_x卷积层、conv11_x卷积层、conv12_x卷积层、conv13_x卷积层、conv14_x卷积层、conv15_x卷积层、conv16_x卷积层。

7.根据权利要求6所述的基于改进残差网络的异常行为识别方法，其特征在于，所述mul-res结构包括两个分支，其中一个分支依次为1×1的卷积层并用批量归一化算法和Relu激活函数进行处理、3×3的卷积层并用批量归一化算法和Relu激活函数进行处理、1×1的卷积层并用批量归一化算法进行处理，另一个分支是权重值为k的跳跃链接，最后对两个分支进行求和，并用Relu激活函数进行处理。

8.根据权利要求7所述的基于改进残差网络的异常行为识别方法，其特征在于，所述步骤7的具体流程为：

步骤7.1：利用改进的残差网络对人体异常行为图像数据集进行特征提取；

步骤7.2：在分类之前使用全连接层对人体异常行为图像在不同通道的特征信息进行整合；

步骤7.3：将整合的特征信息输入至分类层中计算其所对应的预测类的概率，输出具有最大概率的预测类作为预测结果。

Images