CN113361370B - 一种基于深度学习的异常行为检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的异常行为检测方法，具体包括以下步骤：S1、图像获取：利用摄像机获取实际场景RGB图像，S2、行人检测：利用目标检测算法YOLOv5检测当前视频帧中行人，输出检测框的位置信息、置信度与类别，对检测结果进行筛选，去除冗余框，本发明涉及人体行为识别技术领域。该基于深度学习的异常行为检测方法，采用计算机视觉的方式，增强在实际场景中的稳定性，通过摄像头获取的RGB图像，检测得到结果后，采用随机涂鸦进行数据增强来应对场景中的遮挡问题，平衡了准确度与实时性的的需求，对存在遮挡的实际环境，具有较强的抗干扰能力。

Description

一种基于深度学习的异常行为检测方法

技术领域

本发明涉及人体行为识别技术领域，具体为一种基于深度学习的异常行为检测方法。

背景技术

近年来，社会公众的安全意识普遍提高，对一些可能产生危害的异常(这里只研究奔跑、徘徊)行为重视度也随之增长，因此如何进行高效、准确的视频监控成为了一个热点研究问题。然而，海量的视频监控在电梯、机场、银行、广场等公众场所随处可见，传统的人力方式监控逐渐显露出弊端。由于异常行为发生次数偏少，长时间手工监控将产生疲劳，发生漏检、误检；需要进行岗前培训，并且手工完成监控，产生额外的经济成本。所以，通过一种自动化的方式实时地分析视频，如果含有上述异常行为，及时引导工作人员来进行工作具有很强的实用意义。

识别徘徊与奔跑行为的关键是准确地对多个行人进行跟踪，从而获得同一个人在图像中的运动轨迹，最后进行异常行为的分类任务。国内对行人运动异常的识别主要分为传统的数字图像处理方法和近几年的神经网络算法。方法主要分为四个部分：运动目标提取、目标特征提取、目标跟踪与行为分析。对于前者，运动目标提取主要有帧间差分法、背景减除法和光流法，但是这些方法适用于较为纯净的场合，帧差法、光流法对遮挡、阴影处理困难，光流法的实时性难以保障，背景减除法则需要对背景进行实时建模与更新，难以寻找一个合适的背景模型。特征提取算法有较为成熟的SIFT、HOG、Haar等特征检测算子。运动目标跟踪算法有粒子滤波、MeanShift、非线性卡尔曼滤波算法，这些跟踪算法中，粒子滤波需要大量的样本数才能获得优秀的性能，均值漂移的初始中心点选择会对算法的迭代次数产生影响，在实际应用中，行人的运动大多是非线性的，因此使用非线性卡尔曼滤波来进行预测。在得到轨迹后，分析轨迹的方法大多是简单地手工设计物理指标来进行分类，但指标过于单一，只研究的若干种轨迹种类，在实际场景中适应性不强。近几年，由于计算机视觉的发展，基于卷积神经网络的方法层出不穷。对于跟踪算法，主要是基于目标检测，存在R-CNN、Faster R-CNN、SSD、YOLO系列等诸多优秀的算法，对于跟踪部分，则以检测结果为基础，通过一个神经网络提取目标特征，进而对这些特征进行匹配，完成目标的跟踪。有方法将跟踪问题转化为两帧间的偏移问题，也有方法同时完成目标框、特征向量的输出，进而完成数据关联。这类方法用了复杂的模块和技巧来提升精度，针对特定数据集与的检测算法，因此实时性会有所下降。

综上所述，目前的方法主要有两大缺陷：第一、传统算法对于实际场景下算法的准确性较差；第二、检测跟踪联合方法的实时性是个不可忽视的因素。因此，如何提高以检测为基础的跟踪算法的准确度仍然是个研究热点。

发明内容

针对现有技术的不足，本发明提供了一种基于深度学习的异常行为检测方法，已解决上述问题。

为实现以上目的，本发明通过以下技术方案予以实现：一种基于深度学习的异常行为检测方法，具体包括以下步骤：

S1、图像获取：利用摄像机获取实际场景RGB图像；

S2、行人检测：利用目标检测算法YOLOv5检测当前视频帧中行人，输出检测框的位置信息、置信度与类别，对检测结果进行筛选，去除冗余框；

S3、构建外观特征网络；

S4、局部级联匹配：依据外观特征网络进行相邻帧目标的级联匹配，得到三种结果：未匹配轨迹、未匹配检测与匹配轨迹；

S5、交并比(IOU)匹配：对步骤S4中未匹配轨迹，未匹配检测进行局部IOU匹配，得到三种结果：未匹配轨迹、未匹配检测与匹配轨迹；

S6、卡尔曼预测：对轨迹结果进行删除、新建、跟踪得到最终的轨迹，进行卡尔曼预测后，与下一帧的检测结果进行匹配，以此循环，完成跟踪；

S7、返回步骤S2，顺序执行，完成跟踪；

S8、行为分类：根据跟踪结果，制作行人轨迹数据集，对轨迹点序列提取特征向量，训练一个SVM分类器，进行分类行人的奔跑、徘徊异常行为与正常行为；

所述步骤S3具体包括以下步骤：

a1、数据增强处理：训练外观重识别网络时对数据进行一定概率、一定面积比例的矩形进行涂鸦处理，涂鸦颜色使用图像均值；

a2、网络结构设计：建立一个新型的行人外观提取网络，网络以检测框对于的原图区域为输入，骨干网络使用残差网络来提取特征，随后采用CBAM注意力模块使网络更关注通道、空间上的重要部分，为了应对遮挡，将经过CBAM增强后的特征图进行自适应池化成3*3的区域，对于人体外观上的9个局部区域，得到对于人体9个区域的9个特征向量，为了减少参数量，分别进行1*1卷积降维，得到9个低维特征向量，随后进行拼接，进行维度变化，得到512维向量，训练时，损失函数采用CrossEntropy Loss函数，测试时，则对512维特征向量进行标准化，从而与其他向量进行余弦距离计算；

所述步骤S5和步骤S6中为了减小计算复杂度，从可能的匹配对中进行筛选，选择前后帧存在重叠的框作为可能匹配对，来避免前后帧不可能为同一个行人的匹配计算；

所述步骤S8具体包括以下步骤：

b1、先将轨迹数据进行人工判断，得出每条轨迹样本对于的异常行为标签，制作成一个轨迹数据集，样本Trajectory(x，y)，标签为行为所属类别，对某一行人轨迹序列Trajectory_i(x，y)，i∈[1，200]，进行运动向量提取，选择最新的200个及以下轨迹点，针对轨迹点速度F_v、加速度F_acc、角度F_angle、起始点距离F_dis、起始点位移F_oudis、停止率F_sr、转向率F_hcr，由于速度、加速度、角度、起始点距离是和轨迹点长度有关的数据序列，长度的任意变化不利于分类器训练，因此进行维度压缩，对一定长度的数据提取其均值、最大值、最小值、方差、四分位数，从而一个七维的固定长度向量实现数据长度一致，最后得到运动向量总长度为5*7+2维；

b2、计算物理量，各个物理量计算公式定义如下：

速度F_v：

加速度F_acc：

角度F_angle：

起始点距离F_dis：

起始点位移F_oudis：

停止率F_sr：

转向率F_hcr：

其中Dis[A，B]为点A，B的欧式距离，acos[A，B，C]为点A，B，C构成的角∠ABC的角度；

b3、对前五个数据序列统一长度，根据F_v、F_acc、F_angle、F_dis、F_oudis，分别求其最大值、最小值、均值、方差与四分位数quartile，统一成为一个七维向量，如下：

F_v＝[max，min，mean，variance，q1，q2，q3]

F_acc＝[max，min，mean，variance，q1，q2，q3]

F_angle＝[max，min，mean，variance，q1，q2，q3]

F_dis＝[max，min，mean，variance，q1，q2，q3]

F_oudis＝[max，min，mean，variance，q1，q2，q3]

最终的37维特征向量：F＝[F_v F_acc F_angle F_dis F_oudis F_sr F_hcr]。

b4、由于特征向量中各个指标的数据分布不同，为了便于比较，将各特征向量F间对应指标进行标准化standardization：

在归一化后，使用SVM算法进行一对一训练，建立6个SVM分类器，样本由正常行走、徘徊、奔跑三部分组成，采用K-folder交叉验证进行训练与测试。

有益效果

本发明提供了一种基于深度学习的异常行为检测方法。与现有的技术相比具备以下有益效果：

(1)、该基于深度学习的异常行为检测方法，采用计算机视觉的方式，增强在实际场景中的稳定性，通过摄像头获取的RGB图像，检测得到结果后，采用随机涂鸦进行数据增强来应对场景中的遮挡问题，平衡了准确度与实时性的的需求，对存在遮挡的实际环境，具有较强的抗干扰能力。

(2)、该基于深度学习的异常行为检测方法，设计的注意力分区网络结构，利用更深的残差网络获得更具有辨识度的行人外观特征，使用注意力机制关注通道上、空间上的重要部分，并将特征图划分为9部分来进行未遮挡区域的匹配，因此，对遮挡具有更强的找回能力。

(3)、该基于深度学习的异常行为检测方法，在跟踪匹配流程中，将帧间全局匹配调整为局部匹配，去除冗余的匹配计算，提升计算速度。

(4)、该基于深度学习的异常行为检测方法，在进行行人行为时，对比先前单一指标的判断方式，本发明从运动角度出发，使用多维的特征向量来充分挖掘轨迹信息，输入进一个OVO-SVMs进行分类，能够应对更多类别的轨迹，提升算法准确度。

附图说明

图1为本发明异常行为识别方法识别流程图；

图2为本发明ROI区域截取图；

图3为本发明行人检测效果图；

图4为本发明行人检测网络图；

图5为本发明数据增强效果图；

图6为本发明跟踪流程图；

图7为本发明ConvBlock与IdentityBlock示意图；

图8为本发明重识别网络图；

图9为本发明CBAM注意力图；

图10为本发明CBAM通道注意力图；

图11为本发明CBAM空间注意力图；

图12为本发明局部匹配效果图；

图13为本发明行为分类结构图；

图14为本发明重识别网络参数表；

图15为本发明Block设置参数表。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-15，本发明提供一种技术方案：一种基于深度学习的异常行为检测方法，具体包括以下步骤：

S1、图像获取：利用摄像机获取实际场景RGB图像；

S2、行人检测：利用目标检测算法YOLOv5检测当前视频帧中行人，输出检测框的位置信息、置信度与类别，对检测结果进行筛选，去除冗余框；

S3、构建外观特征网络；

S4、局部级联匹配：依据外观特征网络进行相邻帧目标的级联匹配，得到三种结果：未匹配轨迹、未匹配检测与匹配轨迹；

S5、交并比(IOU)匹配：对步骤S4中未匹配轨迹，未匹配检测进行局部IOU匹配，得到三种结果：未匹配轨迹、未匹配检测与匹配轨迹；

S6、卡尔曼预测：对轨迹结果进行删除、新建、跟踪得到最终的轨迹，进行卡尔曼预测后，与下一帧的检测结果进行匹配，以此循环，完成跟踪；

S7、返回步骤S2，顺序执行，完成跟踪；

S8、行为分类：根据跟踪结果，制作行人轨迹数据集，对轨迹点序列提取特征向量，训练一个SVM分类器，进行分类行人的奔跑、徘徊异常行为与正常行为。

本发明中，所述步骤S3具体包括以下步骤：

a1、数据增强处理：训练外观重识别网络时对数据进行一定概率、一定面积比例的矩形进行涂鸦处理，涂鸦颜色使用图像均值；

a2、网络结构设计：建立一个新型的行人外观提取网络，网络以检测框对于的原图区域为输入，骨干网络使用残差网络来提取特征，随后采用CBAM注意力模块使网络更关注通道、空间上的重要部分，为了应对遮挡，将经过CBAM增强后的特征图进行自适应池化成3*3的区域，对于人体外观上的9个局部区域，得到对于人体9个区域的9个特征向量，为了减少参数量，分别进行1*1卷积降维，得到9个低维特征向量，随后进行拼接，进行维度变化，得到512维向量，训练时，损失函数采用CrossEntropy Loss函数，测试时，则对512维特征向量进行标准化，从而与其他向量进行余弦距离计算。

进一步的，数据增强处理包含以下步骤：

a11、设置一个初始的概率p，选择是否做数据增强；

a12、选择一块面积大小为S，作为矩形面积，面积大小设有上下限Sl，S_h；

a13、随机的长宽比r_e确定矩形形状，上下限设为r₁，r₂；

a14、以0～255间随机数作为矩形区域颜色，并保证矩形区域在图像内。

进一步的，网络结构设计包含以下步骤：

a21、网络第一部分：输入某个原始图像，将其resize至384*128*3大小，并且将维度顺序调整为通道数、高度、宽度，即3*384*128，再使用3*3的卷积核进行卷积层操作，接着对其进行BatchNorm归一化，和Relu激活函数进行激活，得到64*192*96的特征图；

卷积的计算过程为：

其中

称为卷积层l的第j个通道的净激活(Netactivation)，它通过对前一层输出特征图/>

进行卷积求和与偏置后得到的，/>

是卷积l的第j个通道的输出，f(·)称为激活函数，本文使用Relu函数，M_j表示用于计算/>

的输入特征图子集，/>

是卷积核矩阵，/>

是对卷积后特征图的偏置，对于一个输出特征图/>

每个输入特征图/>

对应的卷积核/>

可能不同，“*”是卷积符号；

所述的Relu激活函数f(x)为：f(x)＝Max(0，x)；

卷积和激活之后采用BatchNorm，将数据归一化到均值为0，方差为1的高斯分布上：

其中，X^k为特征层中的第k个特征图，E(X^k)为求取输入特征图X^k的均值，Var(X^k)为求取特征图X^k的方差，

为归一化后的输出；

a22、接着对以上特征图进行3*3的MaxPool最大值池化，得到64*96*48的特征图，最大值池化的计算过程为：

out(h，w)＝input(stride[0]×h+m，stride[1]×w+n)

m＝max(0，...，hH-1)，n＝max(0，...，hW-1)

out为池化后的输出特征图，通道数不参与计算；

a23、接着是网络第二部分采用一个ConvBlock，后面接上两个IdentityBlock，IdentityBlock的输入维度与输出维度一样，可以连续串接，而ConvBlock的输入输出维度不同，为了改变维度而设计，因此不能连续串接。为了得到深度特征图，因此用ConvBlock进行转换维度，后面连接IdentityBlock来加深网络。一个IdentityBlock由残差边x(即输入)与F(x)组成，F(x)由三层卷积组成，最后与残差边相加后经过Relu激活函数输出。一个ConvBlock由残差边H(x)与F(x)组成，H(x)为一层卷积层，F(x)为三层卷积层，最后相加后进行Relu激活得到输出，得到256*96*48的特征图；

a24、网络第三部分、第四部分与第五部分分别采用一个ConvBlock与若干个IdentityBlock组合方式组成，第三与第四部分的ConvBlock分别为一次下采样，第五部分不进行下采样。分别得到512*48*24、1024*24*12、2048*24*12的特征图；

a25、对以上特征图加入CBAM注意力机制进行卷积运算，这样可以使网络更加关注通道和空间上的关键部分；

a26、接着使用全局自适应池化将2048*24*12的特征图分成9个部分，对应人体9个区域，得到9个2048*1*1的特征向量，随后进行1*1降维成为512*1*1维，接着将这几个特征向量进行拼接，得到最终512*9的全局特征向量，接上一个全连接层，输出512维的向量。训练时，使用Circle Loss进行训练网络对权值进行调整。这里设置阈值m＝0.25，尺度因子γ＝256；

O_p＝1+m O_n＝-m

Δ_p＝1-m Δ_n＝m

其中L为L个关于类内x的相似度得分，K为K个类问关于x的相似度得分，

为类间相似度，/>

为类内相似度，这两个相似度由网络前向传播后得到。

本发明中，所述步骤S5和步骤S6中为了减小计算复杂度，从可能的匹配对中进行筛选，选择前后帧存在重叠的框作为可能匹配对，来避免前后帧不可能为同一个行人的匹配计算。

本发明中，所述步骤S8具体包括以下步骤：

b1、先将轨迹数据进行人工判断，得出每条轨迹样本对于的异常行为标签，制作成一个轨迹数据集，样本Trajectory(x，y)，标签为行为所属类别，对某一行人轨迹序列Trajectory_i(x，y)，i∈[1，200]，进行运动向量提取，选择最新的200个及以下轨迹点，针对轨迹点速度F_v、加速度F_acc、角度F_angle、起始点距离F_dis、起始点位移F_oudis、停止率F_sr、转向率F_hcr，由于速度、加速度、角度、起始点距离是和轨迹点长度有关的数据序列，长度的任意变化不利于分类器训练，因此进行维度压缩，对一定长度的数据提取其均值、最大值、最小值、方差、四分位数，从而一个七维的固定长度向量实现数据长度一致，最后得到运动向量总长度为5*7+2维；

b2、计算物理量，各个物理量计算公式定义如下：

速度F_v：

加速度F_acc：

角度F_angle：

起始点距离F_dis：

起始点位移F_oudis：

停止率F_sr：

转向率F_hcr：

其中Dis[A，B]为点A，B的欧式距离，acos[A，B，C]为点A，B，C构成的角∠ABC的角度；

b3、对前五个数据序列统一长度，根据F_v、F_acc、F_angle、F_dis、F_oudis，分别求其最大值、最小值、均值、方差与四分位数quartile，统一成为一个七维向量，如下：

F_v＝[max，min，mean，variance，q1，q2，q3]

F_acc＝[max，min，mean，variance，q1，q2，q3]

F_angle＝[max，min，mean，variance，q1，q2，q3]

F_dis＝[max，min，mean，variance，q1，q2，q3]

F_oudis＝[max，min，mean，variance，q1，q2，q3]

最终的37维特征向量：F＝[F_v F_acc F_angle F_dis F_oudis F_sr F_hcr]。

b4、由于特征向量中各个指标的数据分布不同，为了便于比较，将各特征向量F间对应指标进行标准化standardization：

在归一化后，使用SVM算法进行一对一训练，建立6个SVM分类器，样本由正常行走、徘徊、奔跑三部分组成，采用K-folder交叉验证进行训练与测试。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (1)

1.一种基于深度学习的异常行为检测方法，其特征在于：具体包括以下步骤：

S1、图像获取：利用摄像机获取实际场景RGB图像；

S2、行人检测：利用目标检测算法YOLOv5检测当前视频帧中行人，输出检测框的位置信息、置信度与类别，对检测结果进行筛选，去除冗余框；

S3、构建外观特征网络；

S4、局部级联匹配：依据外观特征网络进行相邻帧目标的级联匹配，得到三种结果：未匹配轨迹、未匹配检测与匹配轨迹；

S5、交并比(IOU)匹配：对步骤S4中未匹配轨迹，未匹配检测进行局部IOU匹配，得到三种结果：未匹配轨迹、未匹配检测与匹配轨迹；

S6、卡尔曼预测：对轨迹结果进行删除、新建、跟踪得到最终的轨迹，进行卡尔曼预测后，与下一帧的检测结果进行匹配，以此循环，完成跟踪；

S7、返回步骤S2，顺序执行，完成跟踪；

S8、行为分类：根据跟踪结果，制作行人轨迹数据集，对轨迹点序列提取特征向量，训练一个SVM分类器，进行分类行人的奔跑、徘徊异常行为与正常行为；

所述步骤S3具体包括以下步骤：

a1、数据增强处理：训练外观重识别网络时对数据进行一定概率、一定面积比例的矩形进行涂鸦处理，涂鸦颜色使用图像均值；

a2、网络结构设计：建立一个新型的行人外观提取网络，网络以检测框对于的原图区域为输入，骨干网络使用残差网络来提取特征，随后采用CBAM注意力模块使网络更关注通道、空间上的重要部分，为了应对遮挡，将经过CBAM增强后的特征图进行自适应池化成3*3的区域，对于人体外观上的9个局部区域，得到对于人体9个区域的9个特征向量，为了减少参数量，分别进行1*1卷积降维，得到9个低维特征向量，随后进行拼接，进行维度变化，得到512维向量，训练时，损失函数采用CrossEntropy Loss函数，测试时，则对512维特征向量进行标准化，从而与其他向量进行余弦距离计算；

所述步骤S5和步骤S6中为了减小计算复杂度，从可能的匹配对中进行筛选，选择前后帧存在重叠的框作为可能匹配对，来避免前后帧不可能为同一个行人的匹配计算；

所述步骤S8具体包括以下步骤：

b1、先将轨迹数据进行人工判断，得出每条轨迹样本对于的异常行为标签，制作成一个轨迹数据集，样本Trajectory(x，y)，标签为行为所属类别，对某一行人轨迹序列Trajectory_i(x，y)，i∈[1，200]，进行运动向量提取，选择最新的200个及以下轨迹点，针对轨迹点速度F_v、加速度F_acc、角度F_angle、起始点距离F_dis、起始点位移F_oudis、停止率F_sr、转向率F_hcr，由于速度、加速度、角度、起始点距离是和轨迹点长度有关的数据序列，长度的任意变化不利于分类器训练，因此进行维度压缩，对一定长度的数据提取其均值、最大值、最小值、方差、四分位数，从而一个七维的固定长度向量实现数据长度一致，最后得到运动向量总长度为5*7+2维；

b2、计算物理量，各个物理量计算公式定义如下：

速度F_v：

加速度F_acc：

角度F_angle：

i∈[1，200]∩i％5＝0

起始点距离F_dis：

起始点位移F_oudis：

停止率F_sr：

转向率F_hcr：

其中Dis[A，B]为点A，B的欧式距离，acos[A，B，C]为点A，B，C构成的角∠ABC的角度；

b3、对前五个数据序列统一长度，根据F_v、F_acc、F_angle、F_dis、F_oudis，分别求其最大值、最小值、均值、方差与四分位数quartile，统一成为一个七维向量，如下：

F_v＝[max，min，mean，variance，q1，q2，q3]

F_acc＝[max，min，mean，variance，q1，q2，q3]

F_angle＝[max，min，mean，variance，q1，q2，q3]

F_dis＝[max，min，mean，variance，q1，q2，q3]

F_oudis＝[max，min，mean，variance，q1，q2，q3]

最终的37维特征向量：F＝[F_v F_acc F_angle F_dis F_oudis F_sr F_hcr]；

b4、由于特征向量中各个指标的数据分布不同，为了便于比较，将各特征向量F间对应指标进行标准化standardization：

在归一化后，使用SVM算法进行一对一训练，建立6个SVM分类器，样本由正常行走、徘徊、奔跑三部分组成，采用K-folder交叉验证进行训练与测试。

Images