CN113569766A - 一种面向无人机巡逻的行人异常行为检测方法 - Google Patents

Abstract

本发明公开了一种面向无人机巡逻的行人异常行为检测方法，属于计算机视觉技术领域。该方法使用多层时空图卷积架构来有效地编码人类骨架之间的时空关系，并预测未来帧中的人类轨迹，从而监测人的异常行为。多层时空图卷积架构结合超像素分割对多层次的图进行表示，低层图形结构描述人体关节的空间和时间嵌入，高级图结构通过观察多重身份之间的相互作用来表示行为的不规则性。通过加权合并多个层次，提高这些层次在不同的场景中表现的灵活性和鲁棒性，最终实现多场景理解，并为异常检测服务。该方法面向无人机全自主警戒巡逻、业务巡检、环境巡查及社情巡视，为公共区域的安全治理提供创新手段，对公共场所中异常行为进行有效监测。

Description

一种面向无人机巡逻的行人异常行为检测方法

技术领域

本发明涉及计算机视觉技术领域，特别是指一种面向无人机巡逻的行人异常行为检测方法。

背景技术

使用无人机巡逻来保障公共场所行人的安全，避免由于突发事件造成人员伤亡，监测公共区域的暴力行为，对于提高公共安全具有重要的意义。因此，为了维护公共秩序，保障人民安全，可基于无人机巡逻来预警并间接扼制异常行为犯罪。在此背景下，面向公共安全的行人异常行为监测系统的建立越来越受到重视。

对行人进行异常行为检测是计算机视觉中的一个重要任务，学者们对此进行了深入研究。目前，异常行为检测方法主要分为基于姿态估计和视频理解2种方法。

基于人体姿态估计的异常行为检测方法通过人体姿态估计算法得到人体的骨架信息，即关节点位置。通过分析视频序列中人体骨架信息能够定位到视频中行为发生的时序位置，并对视频行为进行分类。然而，实现人体姿态估计面临一系列难题。首先，每个图像包含未知数量的人，且人可能以任意尺寸出现在任何位置。其次，由于人与人之间的相互作用会引起复杂的空间干扰，从而使将关节连接成完整人的过程变得困难。另外，将人体姿态估计算法移植到嵌入式设备，并应用人体姿态信息进行视频行为分析，对人体姿态估计算法实时性提出较高要求。实现无人机巡逻视角下的公共区域异常行为监测面临两项挑战。首先，传统的视频监控采用固定安装的摄像头进行监测，公共区域异常行为发生地点的不确定性使传统固定摄像头监控不能满足监测要求；其次，异常行为发生时往往存在各种不同的、难以事先预测的形式的肢体动作变化，如何在缺乏标注数据和先验信息的前提下对视频中人体行为进行分析成为了必要。

基于视频理解的异常行为检测方法根据应用场景不同可以分为以下三大类: (1)视频行为识别：主要目的是为一个视频进行分类，类别是视频中人的行为，这可以类比于二维图像领域的图片分类。但此类方法仅能用于人工剪辑好的视频，且整个视频都包含某种固定行为，无法实际部署在监控场景；(2)视频时序行为检测：与行为识别不同的是，这里的输入视频较长，可能存在一个甚至多个行为类别，因此其主要目的是，对于给定的一段未分割的长视频，检测其中的行为实例，包括它的开始时间、结束时间以及类别。这点类似于二维图像领域中的目标检测，找出图像中目标所在的区域，并给这个区域内的目标进行分类。但此类方法仅能在完成对整个视频的观察之后才能做出判断，不能实时监测；(3)视频描述：之前两个任务是对视频中层语义的理解，这里主要是去理解视频的高层语义。该任务的目的是实现用文字来描述视频内容，也就是输入一个视频，输出一段描述文字。同样这可类比于二维图像领域的图片文字描述，这两者的主要区别是，这里引入了时序信息，也就是利用了帧间的关系。此类方法也是仅能在完成整个视频的观测之后，根据前后帧线索推断某一帧的异常程度。但是，上述异常检测都是基于常规训练数据的重建，尽管它适用于许多事件，但是由于标签集的不完整以及与标签中无关信息的区别，其方法在很多情况下都表现不佳。

由于现有行为识别模型通常只能针对给定的剪辑好的仅包含某种固定行为的视频进行分类识别，且即使是专用于行为检测的模型也只能在完成对整个视频的观测之后才能对包含感兴趣行为的时间段进行提取，所以需要对实时输入的视频流进行即时分析并实时做出预测。除此之外，由于日常的无人机巡逻视频主要包含正常行为，仅有极少数视频会出现异常行为，因而通过人力将异常行为挑选出来的过程需要耗费极大的成本。

发明内容

有鉴于此，本发明提供了一种面向无人机巡逻的行人异常行为检测方法，该方法使用时空图卷积架构来完整地描述由人类骨架构成的图随时间变化的信息，进而能够根据历史轨迹预测未来帧内所有人类骨架特征的模型。

为了实现上述目的，本发明采用的技术方案为：

一种面向无人机巡逻的行人异常行为检测方法，包括以下步骤：

(1)利用图结构对行人姿态进行建模,形成图卷积模型；

(2)建立时空图卷积异常行为检测模型，所述时空图卷积异常行为检测模型包括时空图特征提取器、未来运动轨迹预测器和异常值判决器三个部分，其中，时空图特征提取器即为步骤(1)得到的图卷积模型；

(3)将行人关键节点在历史帧中的位置信息输入到时空图卷积异常行为检测模型的时空图特征提取器中，对其进行归一化处理，获得不同关键节点相对于行人中心位置的归一化坐标数值，并得到行为随时间的变化规律；

(4)将行为随时间的变化规律输入到时空图卷积异常行为检测模型的未来运动轨迹预测器中，预测未来一帧的行人姿态；

(5)通过时空图卷积异常行为检测模型的异常值判决器，将未来一帧和历史帧中的行人姿态与训练集中正常行为对应的姿态进行无监督相似度分析，输出行人异常分数。

进一步的，所述步骤(1)的具体方式为：

(101)将单个行人建模为图结构G＝{g，ε}，其中g＝{j_i∈R^C|i＝1,...,N} 表示人体关键节点坐标集合，其中j表示人体关键节点坐标，N为人体关键节点总数，R表示人体关键节点所属的特征范围，C表示每个关键节点的特征维度，ε＝{e_i|i＝1,...,N}表示g中各关键节点的关联的集合；

(102)将每个关键节点的特征、其近邻关键节点的特征以及关键节点之间的关联进行融合，形成图卷积模型GCN；所述图卷积模型GCN有两种表达形式：

1)

其中，W₀、W₁表示卷积层权重，N(j_i)表示关键节点j_i的邻域，c_i,k用于对邻域内的向量进行模值归一化，抵消邻域内关键节点及特征向量过多造成的影响，σ()是卷积层的非线性激活函数；

2)

其中，

W为卷积层权重，矩阵

表示N个人体关键节点之间的连接关系，

是连接关系的集合，I表示自身连接的单位矩阵，矩阵A中的元素A_m,n＝0时表示j_m和j_n无语义连接关系，矩阵A中的元素 A_m,n＝1时表示j_m和j_n具有语义连接关系，Λ＝∑A+α是归一化对角矩阵，α＝0.001。

进一步的，步骤(3)的具体方式为：

利用行人尺寸以及行人的中心位置，对行人关键节点的位置进行归一化处理，获得不同关键节点相对于中心位置的归一化坐标数值，得到行为随时间的变化规律。

进一步的，步骤(4)的具体方式为：

通过归一化坐标数值获得历史帧中行人姿态的运动规律线索和速度线索，预测未来一帧的行人姿态。

进一步的，步骤(5)的具体方式为：

(501)对正常姿态进行聚类，得到各聚类簇的簇中心；

(502)基于下式进行无监督相似度分析：

其中，a_j表示第j个行人的姿态特征，c_e表示对正常姿态进行聚类的第e个簇中心，E为聚类簇的总个数，Dist即为行人异常分数；

(503)在正常行为的视频中统计行人异常分数的均值和方差，然后按照 3sigma法则，以99.7％的上界作为阈值；若被检测行人的异常分数大于阈值，则判定其行为异常。

本发明的有益效果在于：

1、本发明使用的方法无需标注信息，只需要在包含正常行为的视频中进行训练，将学习到的关于正常行为的特征表达与实时采集到的行为进行比对，对差异较大的行为给出异常判断；由于无标签的训练数据可以从互联网大量获得，因而训练处的模型能够泛化到多类场景，特别适用于无人机巡逻领域。

2、本发明使用的时空图卷积异常行为检测模型对行人姿态随时间的变化进行建模，创新性的将空间关键点语义关系与多关键点随时间的位置变化信息结合，通过模型判断每一帧行人姿态与历史若干帧姿态的连贯性以及行人姿态与大量正常行为对应姿态的加权相似度来判断异常程度，获得优于当前同类方法的精度。

附图说明

图1为本发明实施例中行人动作轨迹建模示意图。

图2为本发明实施例中时空图卷积异常行为检测模型结构示意图。

具体实施方式

下面，结合附图对本发明的技术方案做进一步说明。显然，这些内容仅是本发明的一部分实施例，而不是全部的实施例。基于以下实施例，本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其他实施例，都属于本发明的保护范围。

一种面向无人机巡逻的行人异常行为检测方法，该方法包括以下步骤：

(1)针对行人肢体关键节点之间相对位置不规则、随机变化但语义相关性不变的特征，利用图结构对行人姿态进行建模；

(2)将图卷积方法对空间关联关键节点的建模扩展到对时间-空间关联节点，并形成时空图卷积异常行为检测模型；

(3)将行人关键点在多帧中的位置信息以及不同时刻关键点之间的语义关联作为时空图卷积异常行为检测模型的输入；

(4)时空图卷积异常行为检测模型还对每一帧中行人姿态与训练集中正常行为对应的姿态进行无监督相似度分析，通过时空图卷积模型输出行人异常分数表征。

具体来说，步骤(1)的具体方式为：

将单个行人建模为图结构G＝{g，ε}，其中g＝{j_i∈R^C|i＝1，...,N}表示人体关键点坐标集合，其中C表示每个关键点的特征维度，ε＝{e_i}表示上述节点的关联；

将每个关键节点的特征、其近邻关键节点的特征以及这些点之间的关联进行融合得到更丰富的语义特征并形成图卷积模型(Graph Convolutional Network, GCN)，GCN的结构可以表示为

其中W₀， W₁∈R^C×C’表示卷积层权重，N(j_i)表示关键点j_i的邻域，c_i,k用于对邻域内的向量进行模值归一化，抵消邻域内关键点及特征向量过多造成的影响，σ()是卷积层的非线性激活函数；

每个节点的邻域表示和此节点具有语义连接关系的节点集合，因此，GCN可以表示为

其中

矩阵

表示N个人体关键节点之间的连接关系，A_m,n＝0表示j_m和j_n无语义连接关系，A_m,n＝1表示j_m和j_n具有语义连接关系。

实现归一化功能。

步骤(2)的具体方式为：

时空图卷积异常行为检测模型可以表示为：

N(j_i,t)→N(j_i,t)∪{j_i,t'||t’-t|≤T₀}；

时空图卷积异常行为检测模型的输入尺寸为CP(2T₀+1)，输出尺寸为 C'P(2T₀+1)，C和C'分别代表输入和输出的特征维度，P表示每张图的人数，T₀代表第0帧，t和t′分别表示输入帧和输出帧的帧计数。

步骤(3)的具体方式为：

利用行人尺寸以及中心位置对于关键点位置进行包含归一化的预处理，获得不同关键点相对于中心位置的归一化坐标数值；

通过历史若干帧中的行人姿态预测未来一帧的姿态，预测依赖于运动规律线索和速度线索；具体方式为：

将预测的图结构分为全局图和局部图两部分，使用层级图推理的方式提供了多维且独立的损失计算方式，可以更加精确地描述预期值和真实值之间的差异；

如图1所示，需要测量不同人类骨架的大小和它们的几何中心点，其中：

人体骨架表示为：f＝(x_m,n,y_m,n)，由于行走等动作而产生较大的横向形变，因此只测量骨架的身高h及其Y坐标高低差值的绝对值，如公式：h＝max(y_n)- min(y_n)；

为了避免四肢快速变化对速度测量的影响，选取变化平稳的躯干的四个点XY 坐标均值作为其几何中心P，如公式：

k∈[5,6,11，12]

式中，k代表躯干的四个点的索引；

收集预测值和真值中所有人的关键点信息，计算其几何中心以构成全局图 f^g，其包含所有人的中心点位置信息，

每个节点表示一个人；

将几何中心映射到每个局部图f^l，其表示一个独立的归一化后的人体所有关

人群。局部图对姿态变化有更好的识别效果，例如打斗、摔倒等行为；

异常事件通常包含多种复杂因素，彼此具有一定的相关性，层级图推理打破其相关性而互不干扰，提高了方法的鲁棒性；

步骤(4)的具体方式为：

无监督相似度分析可以表达为

其中a_j表示第j个行人的姿态特征，c_e表示对正常姿态进行聚类的第e个簇中心；

通过加权获得当前行为与所有正常行为的距离；

时空图卷积异常行为检测模型主要由时空图特征提取器、未来运动轨迹预测器和异常值判决器组成，当前行为与所有正常行为的距离越大，异常值判决器得分越高，最终每个行人的异常程度通过时空图卷积模型输出的异常分数表征。

上述方法中，通过加权获得当前行为与所有正常行为的距离的具体方式为：

先构建一组空间图G_t，以表示S。G_t定义为G_t＝(g_t，ε_t)，其中

是图G_t的一组顶点，顶点的属性为坐标位置信息

ε_t是图G_t中的一组边，表示为

如

和

连接，则

否则

利用一种新颖的核函数

表示两个节点之间相互影响的强烈程度，该值由以下公式定义：

针对每个

进行赋值，从而构造出加权邻接矩阵A。

时空图卷积异常行为检测模型如图2所示，主要由时空图特征提取器、未来运动轨迹预测器和异常值判决器组成，当前行为与所有正常行为的距离越大，异常值判决器得分越高，最终每个行人的异常程度通过时空图卷积模型输出的异常分数表征包括：

时空图特征提取器由时空图卷积神经网络构成，对历史帧中的所有人类骨架的图形表示进行时空卷积运算以提取特征；

未来运动轨迹预测器由时序卷积网络构成，将这些图形特征用作输入可以通过卷积运算来推算未来的行人关键点运动轨迹；

异常值判决器通过层级图推理的方式对未来的骨架轨迹计算得到异常分数。

总之，本发明通过简单线性迭代聚类算法对异常行为检测前置处理进行综合优化，从而获得了优于当前公开行为检测分析方法的速度。此外，本发明将空间关键点语义关系与多关键点随时间的位置变化信息结合，通过模型判断每一帧行人姿态与历史若干帧姿态的连贯性以及行人姿态与大量正常行为对应姿态的加权相似度来判断异常程度，从而获得了优于当前同类方法的精度。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (5)

1.一种面向无人机巡逻的行人异常行为检测方法，其特征在于，包括以下步骤：

(1)利用图结构对行人姿态进行建模，形成图卷积模型；

(2)建立时空图卷积异常行为检测模型，所述时空图卷积异常行为检测模型包括时空图特征提取器、未来运动轨迹预测器和异常值判决器三个部分，其中，时空图特征提取器即为步骤(1)得到的图卷积模型；

(3)将行人关键节点在历史帧中的位置信息输入到时空图卷积异常行为检测模型的时空图特征提取器中，对其进行归一化处理，获得不同关键节点相对于行人中心位置的归一化坐标数值，并得到行为随时间的变化规律；

(4)将行为随时间的变化规律输入到时空图卷积异常行为检测模型的未来运动轨迹预测器中，预测未来一帧的行人姿态；

(5)通过时空图卷积异常行为检测模型的异常值判决器，将未来一帧和历史帧中的行人姿态与训练集中正常行为对应的姿态进行无监督相似度分析，输出行人异常分数。

2.根据权利要求1所述的一种面向无人机巡逻的行人异常行为检测方法，其特征在于，所述步骤(1)的具体方式为：

(101)将单个行人建模为图结构G＝{g，ε}，其中g＝{j_i∈R^C|i＝1，...，N}表示人体关键节点坐标集合，其中j表示人体关键节点坐标，N为人体关键节点总数，R表示人体关键节点所属的特征范围，C表示每个关键节点的特征维度，ε＝{e_i|i＝1，...，N}表示g中各关键节点的关联的集合；

(102)将每个关键节点的特征、其近邻关键节点的特征以及关键节点之间的关联进行融合，形成图卷积模型GCN；所述图卷积模型GCN有两种表达形式：

1)

其中，W₀、W₁表示卷积层权重，N(j_i)表示关键节点j_i的邻域，c_i，k用于对邻域内的向量进行模值归一化，抵消邻域内关键节点及特征向量过多造成的影响，σ()是卷积层的非线性激活函数；

2)

其中，/＝[j₁，j₂，...，j_N]^T，

W为卷积层权重，矩阵

表示N个人体关键节点之间的连接关系，

是连接关系的集合，I表示自身连接的单位矩阵，矩阵A中的元素A_m，n＝0时表示j_m和j_n无语义连接关系，矩阵A中的元素A_m，n＝1时表示j_m和j_n具有语义连接关系，Λ＝∑A+α是归一化对角矩阵，α＝0.001。

3.根据权利要求1所述的一种面向无人机巡逻的行人异常行为检测方法，其特征在于，步骤(3)的具体方式为：

利用行人尺寸以及行人的中心位置，对行人关键节点的位置进行归一化处理，获得不同关键节点相对于中心位置的归一化坐标数值，得到行为随时间的变化规律。

4.根据权利要求1所述的一种面向无人机巡逻的行人异常行为检测方法，其特征在于，步骤(4)的具体方式为：

通过归一化坐标数值获得历史帧中行人姿态的运动规律线索和速度线索，预测未来一帧的行人姿态。

5.根据权利要求1所述的一种面向无人机巡逻的行人异常行为检测方法，其特征在于，步骤(5)的具体方式为：

(501)对正常姿态进行聚类，得到各聚类簇的簇中心；

(502)基于下式进行无监督相似度分析：

其中，a_j表示第j个行人的姿态特征，c_e表示对正常姿态进行聚类的第e个簇中心，E为聚类簇的总个数，Dist即为行人异常分数；

(503)在正常行为的视频中统计行人异常分数的均值和方差，然后按照3sigma法则，以99.7％的上界作为阈值；若被检测行人的异常分数大于阈值，则判定其行为异常。

Images