CN116959099A - 一种基于时空图卷积神经网络的异常行为识别方法 - Google Patents
一种基于时空图卷积神经网络的异常行为识别方法 Download PDFInfo
- Publication number
- CN116959099A CN116959099A CN202310729373.1A CN202310729373A CN116959099A CN 116959099 A CN116959099 A CN 116959099A CN 202310729373 A CN202310729373 A CN 202310729373A CN 116959099 A CN116959099 A CN 116959099A
- Authority
- CN
- China
- Prior art keywords
- abnormal behavior
- convolution
- unit
- module
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 103
- 238000010586 diagram Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000002372 labelling Methods 0.000 claims abstract description 21
- 238000001514 detection method Methods 0.000 claims description 38
- 239000011159 matrix material Substances 0.000 claims description 28
- 230000006399 behavior Effects 0.000 claims description 23
- 230000009471 action Effects 0.000 claims description 22
- 230000004913 activation Effects 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000005484 gravity Effects 0.000 claims description 12
- 238000003064 k means clustering Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 238000003062 neural network model Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 7
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 238000010008 shearing Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 4
- 241001465754 Metazoa Species 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000009194 climbing Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000002401 inhibitory effect Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 3
- 238000005303 weighing Methods 0.000 claims description 3
- 230000002829 reductive effect Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 5
- 210000000988 bone and bone Anatomy 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及异常行为的识别领域，尤其是涉及一种基于时空图卷积神经网络的异常行为识别方法，包括以下步骤：获取目标对象的视频数据；标签标注视频数据的异常行为，得到数据集；构建异常行为识别模型，基于数据集在时空卷积神经网络上进行训练，得到异常行为识别模型；输入待检视频源，选取与待检视频源匹配的异常行为识别模型，并输入待检视频源的告警类型；异常行为识别模型对待检视频源进行检测，并在待检视频源发生异常行为时推送相应的告警信息。本申请通过利用视频数据训练异常行为识别模型，然后让异常行为识别模型检测待检视频源中是否存在异常行为，若存在异常行为则发送告警信息，便于工作人员获知，减少异常行为所带来的危险。
Description
技术领域
本申请涉及异常行为的识别领域，尤其是涉及一种基于时空图卷积神经网络的异常行为识别方法。
背景技术
在场景识别中，有很大一部分研究是针对于人体行为识别的，主要进行识别的也是一些家庭内的危险行为，如小孩、老人摔倒检测，外来人员闯入等，这些都可归为人体行为识别的范畴之内。行为识别，即根据视频图像完成对于人体动作的区分，这其中包括但不限于摔倒等危险动作。
行为识别研究的是视频中目标的动作，比如判断一个人是在走路，跳跃还是挥手。在视频监督，视频推荐和人机交互中有重要的应用。近几十年来，随着神经网络的兴起，发展出了很多处理行为识别问题的方法。不同于目标识别，行为识别除了需要分析目标的空间依赖关系，还需要分析目标变化的历史信息。这就为行为识别的问题增加了难度。输入一系列连续的视频帧，机器首先面临的问题是如何将这一系列图像依据相关性进行分割，比如一个人可能先做了走路的动作，接下来又做了挥手，然后又跳跃。机器要判断这个人做了三个动作，并且分离出对应时间段的视频单独进行判断。
在生活过程中，有些目标物可能会做出一些异常行为，这些异常行为可能存在着危险，但是目前的算法不容易对这些异常行为进行识别，这就导致这些异常行为容易给人们带来危险。
发明内容
为了提高更好更准确的对目标物的异常行为进行识别，并提高对目标物异常行为识别的准确率，减少异常行为所带来的危险，本申请提供了一种基于时空图卷积神经网络的异常行为识别方法，其通过利用视频数据训练异常行为识别模型，然后让异常行为识别模型检测待检视频源中是否存在异常行为，若存在异常行为则发送告警信息，便于工作人员获知，减少异常行为所带来的危险。
本申请提供一种基于时空图卷积神经网络的异常行为识别方法，采用如下的技术方案：
一种基于时空图卷积神经网络的异常行为识别方法，包括以下步骤：
S1、获取目标对象的视频数据；
S2、标签标注视频数据的异常行为，得到数据集；
S3、构建异常行为识别模型，基于数据集在时空卷积神经网络上进行训练，得到异常行为识别模型；
S4、输入待检视频源，选取与待检视频源匹配的异常行为识别模型，并输入待检视频源的告警类型；
S5、异常行为识别模型对待检视频源进行检测，并在待检视频源发生异常行为时推送相应的告警信息。
优选的，视频数据包括：
异常行为视频数据，用于数据标注和神经网络模型训练，让神经网络模型从中提取到异常行为的特征；
正常行为视频数据，用于使数据均衡，使训练模型具有更高的精确度和泛化能力。
优选的，所述S2包括以下步骤：
S21、标注视频数据中目标的边界框、然后标注目标的骨骼关键点，接着标注目标的行为类型，最后得到数据集；
S22、数据集的划分，将数据集分成训练集、测试集和验证集。
优选的，训练集、验证集和测试集的比例设置为70％、10％和20％。
优选的，所述S3包括以下步骤：
S31、输入视频数据，然后通过目标检测算法获得每一帧目标的边界框信息和置信度；
S32、输入目标检测得到的边界框信息，然后通过人体关键点检测算法获得每一帧人体骨骼节点的二维坐标数据；
S33、对二维坐标输入数据进行多层时空图卷积运算，在图上生成更高层次的特征图；然后输入到SoftMax分类器进行动作分类。
优选的，所述S31包括以下步骤：
目标检测算法采用YOLOv5，YOLOv5网络包括数据增强单元、CSPNet特征提取单元、PANet尺度单元、k-means聚类算法单元、损失计算单元；
数据增强单元包括：
①对输入的图像进行色彩空间进行转换，由RGB转换为HSV；
其中，H/S/V分量值分别为0.015/0.7/0.4；
②对输入的图像进行亮度、颜色、对比度平衡调整；
③对输入的图像进行水平和垂直平移；
④对输入的图像进行缩小或放大处理，缩放因子为0.5.
⑤对输入的图像进行剪切处理，剪切因子为0.3；
⑥对输入的图像进行上下左右翻转处理，得到增强数据；
CSPNet特征提取单元包括：
CSPNet特征提取单元包括Focus单元、CBM单元、Bottleneck单元、Conv卷积单元、连接单元、BN单元、LeakyReLU激活单元；
Focus单元，用于对增强后的源图像进行Focus操作，得到第一特征图；
CBM单元，用于对第一特征图依次进行标准卷积操作、批量归一化操作和Mish函数激活操作，得到第二特征图；
Bottleneck单元，用于对第二特征图进行Bottleneck操作，得到第三特征图；
Bottleneck单元模块表示为：Nout＝F(Ni,(Wi))+Ni,1≤i≤L-1；
其中，i为整数，F(Ni,(Wi))表示待学习且为进一步学习的映射，具体表示为：
k1＝F(0.5x)+x，k2＝F(k1)+x；
其中，ki代表i层模块的输出；
Conv卷积单元，用于对第三特征图进行标准卷积操作，得到第三特征图卷积结果；用于对第一特征图进行标准卷积操作，得到第一特征图卷积结果；
连接单元，用于对第一特征图卷积结果和第三特征图卷积结果进行连接操作，得到连接处理结果；
BN单元，用于对连接处理结果进行批量归一化操作，得到归一化特征数据；
LeakyReLU激活单元，用于对归一化特征数据进行激活函数LeakyReLU操作，得到激活特征数据；
CBM单元，用于对激活特征数据依次进行标准卷积操作、批量归一化操作和Mish函数激活操作，得到源图像特征图；
PANet尺度单元包括：
PANet尺度单元，用于融合源图像特征图，得到尺度为20的源图像特征图、尺度为32的源图像特征图、尺度为53的源图像特征图和尺度为80的源图像特征图；
K-means聚类算法单元包括：
K-means聚类算法单元，用于生成分别对应于四个尺度的源图像特征图的四组锚框，通过K-means聚类算法根据四个尺度的源图像特征图得出目标检测结果，检测结果包括目标位置信息和类别信息；操作为：
①随机选取K个点做为初始聚集的簇心(也可选择非样本点)，本发明中K＝4，最终将特征图分为四个尺度大小；
②分别计算每个样本点到K个簇核心的欧式距离，找到离样本点最近的簇核心，将它归属到对应的簇；
③将所有点M都归属到簇之后，M个点分为K个簇，重新计算每个簇的重心(平均距离中心)，将其定为新的“簇核心”；
④反复迭代②-③的计算过程，直到达到中止条件；
上述损失计算单元具体包括：
网络的损失由三部分组成：坐标误差Lcoord、交并比误差LCIoU和分类误差Lclass；
Lcoord和Lclass是由交叉熵损失函数计算，其定义为：
其中，N为类别数量，yic为符号函数，如果样本i的真实类别等于c取1，否则取0；pic为观测样本i属于类别c的预测概率；
交并比误差LCIoU的定义为：
其中，IoU代表交并比，b代表预测边界框B的中心点，bgt代表真实边界框Bgt的中心点，ρ2(b,bgt)代表b和bgt之间的欧式距离，c代表预测框与真实框的最小外接矩形对角线的长度，a是一个参数，是用来权衡长宽比的系数，v用来计算长宽比的误差；
其定义如下：
其中，A代表真实标签边界框，B代表预测边界框，A∩B为预测边界框与真实边界框的交集，A∪B为预测边界框与真实边界框的并集。
优选的，所述S32具体包括以下步骤：
人体关键点检测算法采用AlphaPose；
人体关键点检测算法AlphaPose包括：
人体关键点检测算法AlphaPose中采用RMPE框架，RMPE框架包括SSTN模块、Pose-NMS模块和PGPG模块；
SSTN模块包括STN模块、SPPE模块和SDTN模块；
STN模块包括：
STN模块定义如下：
其中，为变换后的坐标，/>为变换前的坐标，θ1,θ2,θ3为变换参数；
SPPE模块包括：
SPPE为得到估计的姿态；
SDTN模块包括：
SDTN模块定义如下：
其中，为变换后的坐标，/>为变换前的坐标，/>为变换参数；
变换参数的关系如下：
Pose-NMS模块包括：
Pose-NMS为消除额外的估计到的姿态，令第i个姿态由m个关节点组成，定义为其中，k为位置信息，c为得分，得分最高的姿态作为基准，重复消除接近基准姿态的姿态，直到剩下单一的姿态，姿态距离用于消除和其他姿态太近且太相似的姿态，假定Pi的边界框是Bi，其定义如下：
其中，为中心在/>的边界框，并且每个坐标B(ki n)为原始坐标Bi的1/10；
SPPE模块包括：
SPPE为训练阶段作为额外的正则项，避免陷入局部最优，并进一步提升SSTN的效果，包含相同的STN及SPPE，无SDTN；测试阶段不包含SPPE模块，PSPPE模块和原始的SPPE共享相同的STN参数，但是无SDTN模块，此分支的人体姿态已经中心化，和中心化后的真知标签直接比较，训练阶段，PSPPE所有层的参数均被冻结，目的是反传中心化的姿态误差到STN模块，若STN得到的姿态未中心化，会产生较大的误差，使得STN集中于正确的区域。
优选的，所述S33包括以下步骤：
对二维坐标输入数据进行多层时空图卷积运算，在图上生成更高层次的特征图；然后输入到SoftMax分类器进行动作分类；整个模型采用端对端反向传播的方式进行训练；
网络包括邻接矩阵、GCN、TCN；
邻接矩阵包括：
引入一个可学习的与邻接矩阵等大小相同的权重矩阵并与邻接矩阵按位相乘，该权重矩阵叫做“可学习的边缘重要性权重”，用来赋予邻接矩阵中重要边较大的权重且抑制非重要边的权重；
GCN包括：
将加权后的邻接矩阵与输入送至GCN中进行运算，同时引入残差结构计算获得Res，与GCN的输出按位相加，实现空间维度信息的聚合，使用的图卷积公式定义为：
aggre(x)＝D-1AX；
其中，可以理解为卷积核；
考虑到动作识别的特点，并未使用单一的卷积核，而是使用图划分，将分解成分别表达向心运动、离心运动和静止的动作特征，对于一个根节点，与它相连的边可以分为3部分：第1部分连接空间位置上比本节点更远离整个骨架重心的邻居节点，包含离心运动的特征；第2部分连接更为靠近重心的邻居节点，包含向心运动的特征；第3部分连接根节点本身，包含静止的特征，将1个图分解成3个子图，将卷积核从1个变为3个，3个卷积核的卷积结果分别表达不同尺度的动作特征对每个卷积核分别进行卷积，再进行加权平均，得到卷积的结果；
带有k个卷积核的图卷积可以定义为：
其中，n表示所有视频中的人数，k表示卷积核数，k取用3，c表示关节特征数，c的取值范围为64至128，t表示关键帧数，t的取值范围为150至38，v表示关节数，v取用25；
对v求和代表节点的加权平均，对k求和代表不同卷积核特征图的加权平均；
TCN包括：
TCN网络实现时间维度信息的聚合，TCN网络采用普通的CNN，在时间维度的卷积核>1；
GCN网络输出特征图的维度为(C,V,T)与图像特征图的形状(C,W,H)相对应，图像的通道数C对应关节的特征数C；图像的宽度W对应关键帧数V；图像的高度H对应关节数T，
在时间卷积中，卷积核的大小为时间卷积核大小×1，则每次完成1个节点，时间卷积核大小个关键帧的卷积，步长为1，则每次移动1帧，完成1个节点后进行下1个节点的卷积。
优选的，所述目标对象为人或动物；
异常行为包括翻越围栏、攀爬、违规操作、跌倒、徘徊。
综上所述，本申请包括以下至少一种有益技术效果：
1.本申请通过利用视频数据训练异常行为识别模型，然后让异常行为识别模型检测待检视频源中是否存在异常行为，若存在异常行为则发送告警信息，便于工作人员获知，减少异常行为所带来的危险。
2.本申请通过构建不同的异常行为的异常行为识别模型，并利用这些异常行为识别模型实时的对待检视频源进行异常行为检测，便于工作人员及时发现异常行为，并能够及时的对异常行为进行制止，减少异常行为所带来的的危险，提高大众的安全性。
附图说明
图1为本发明一种基于时空图卷积神经网络的异常行为识别方法流程示意图。
图2为本发明一种基于时空图卷积神经网络的异常行为识别算法示意图。
图3为本发明使用的YOLOv5网络结构图。
图4为本发明使用的人体骨骼标注点示意图。
图5为本发明使用的AlphaPose网络结构图。
图6为本发明使用的ST-GCN网络结构图。
图7为本发明提供的AI智能中台配置告警页面展示图。
图8为本发明提供的AI智能中台推理页面展示图。
实施方式
以下结合附图X-X对本申请作进一步详细说明。
本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
下面结合说明书附图对本申请实施例作进一步详细描述。
本申请实施例提供了一种基于时空图卷积神经网络的异常行为识别方法。
参照图1，基于时空图卷积神经网络的异常行为识别方法包括以下步骤：
S1、获取目标对象的视频数据；
视频数据包括：
异常行为视频数据，用于数据标注和神经网络模型训练，让神经网络模型从中提取到异常行为的特征；
正常行为视频数据，用于使数据均衡，使训练模型具有更高的精确度和泛化能力。
其中，目标对象为人或动物等活体；
异常行为包括翻越围栏、攀爬、违规操作、跌倒、徘徊等动作。
使用过程中需要采集异常行为视频并进行标注，作为神经网络模型的训练数据，具体的采集异常行为视频的实施过程包括：
步骤S11，采集用于训练异常行为识别模型的异常行为视频数据。可利用图像采集设备对异常行为的目标进行录像，从中筛选出需要识别异常行为的视频数据。
步骤S12，增加采集数据的多样化，其多样化包括但不限于视频中进光量的多少，比如在傍晚、中午、暗光环境下进行视频的采集；视频中动作的多样性，比如虽然识别的异常行为可能只包括一种行为，但是采集视频需要尽可能多的包含不同的姿势和动作幅度等；视频中目标的多样性，采集视频包含不同类别的目标，例如采集的目标为人物时，要考虑到小孩、青年、老人、性别、体态、身高等影响因素，尽可能多的采集多样化数据；视频中场景的多样性，异常行为可能质保函一种，但场景是多样的，采集视频时注意场景的多样性。
步骤S13，增加采集数据集中负样本的数量，负样本包括但不限于视频中具有相似动作，视频中无待检测异常行为，视频中无目标等一系列与待识别异常行为无关的视频。
步骤S14，对采集的视频进行格式化，例如固定视频的分辨率和码率，切割视频时长等，提升数据集的质量，同时也能加快训练时数据处理的速度。
上述视频采集可以采用监控摄像头、相机、手机等设备，本申请并不限制采集设备的硬件规格。
S2、标签标注视频数据的异常行为，得到数据集；
具体的，S2包括以下步骤：
S21、标注视频数据中目标的边界框、然后标注目标的骨骼关键点，接着标注目标的行为类型，最后得到数据集；
具体的，数据标注可采用人工标注或机器设备自动标注，下面以人工标注为例；
数据集标签的标注分为三个步骤进行：(1)标注目标边界框，(2)标注目标的骨骼关键点，(3)标注目标的行为类型。
上述数据集标注中的第1步标注目标边界框具体包括：
标注目标边界框是计算机视觉中目标检测的任务，通过labelimg或labelme等标注软件将目标框于一个矩形框内，通常标签是由5个数据组成：目标类别、矩形框左上点坐标横轴、矩形框左上点坐标纵轴、矩形框右下点坐标横轴、矩形框右下点坐标纵轴，为视频的每一帧图像进行相应的标注；
通常使用基于深度学习的目标检测器，例如YOLOv5、SSD、Faster RCNN、CenterNet等对目标进行检测并输出相应格式的标签，后期通过人工进行标签校验，相较于人工标注节省了大量时间。
上述数据集标注中的第2步标注目标的骨骼关键点具体包括：
标注目标的骨骼关键点，通过labelme等标注软件将目标的骨骼点进行标注，本发明使用25个点的标注规范，人体关键点与人体对应的是人体的关节部分：颈、肩、肘、腕、腰、膝、踝等部位关节，标注标签由25个关键点的坐标组成，为视频的每一帧图像进行相应的标注；
通常使用基于深度学习的人体关键点检测技术，例如OpenPose、AlphaPose、DensePose等对目标的关键点检测并输出相应格式的标签，后期通过人工进行标签校验，相较于人工标注节省了大量时间。
上述数据集标注中的第3步标注目标的行为类型具体包括：
标注目标的行为类型，属于分类任务，对视频每帧图像进行行为类型的标注，通常标签由单个类别标签组成，为视频的每一帧图像进行相应的标注；
通常使用基于深度学习的图像分类技术，例如ResNet、EffcientNet等对目标的行为进行分类并输出相应格式的标签，后期通过人工进行标签校验，相较于人工标注节省了大量时间。
S22、数据集的划分，将数据集分成训练集、测试集和验证集。
具体的，将数据集中的异常行为视频和标注数据划分到3个集合中，3个集合包括训练集、验证集和测试集。
上述数据集划分具体包括：
3个集合的比例可以按照数据量的大小进行调整，一般地，训练集数量>>测试集数量>验证集数量，其中训练集为网络训练所使用的集合，用途为使网络学习异常行为所具有的独有特征。验证集为网络一次训练完成进行评估使用的集合，用途为通过损失函数反向优化网络权重，使网络权重达到最优。测试集为测试训练好的模型的性能，在网络训练阶段不使用此集合，在网络训练完成后使用测试集评估网络性能。在本实施例中，训练集、验证集和测试集的比例可以设置为70％、10％和20％。
S3、构建异常行为识别模型，基于数据集在时空卷积神经网络上进行训练，得到异常行为识别模型；
参照图2，具体的，本发明实施例中，检测模型是基于时空图卷积神经网络建立的，对现有的时空图卷积神经网络进行改进，初步建立模型结构，再利用数据集进行训练，即可得出本发明用于执行异常行为识别模型。具体的建立识别模型的实施过程包括：
S31、输入视频数据，然后通过目标检测算法获得每一帧目标的边界框信息和置信度；
目标检测算法可采用以下算法：YOLOv5、SSD、Faster RCNN、CenterNet。
具体的，S31包括以下步骤：
参照图3，在本实施例中，目标检测算法采用YOLOv5，YOLOv5网络包括数据增强单元、CSPNet特征提取单元、PANet尺度单元、k-means聚类算法单元、损失计算单元；
数据增强单元包括：
①对输入的图像进行色彩空间进行转换，由RGB转换为HSV；
其中，H/S/V分量值分别为0.015/0.7/0.4；
②对输入的图像进行亮度、颜色、对比度平衡调整；
③对输入的图像进行水平和垂直平移；
④对输入的图像进行缩小或放大处理，缩放因子为0.5.
⑤对输入的图像进行剪切处理，剪切因子为0.3；
⑥对输入的图像进行上下左右翻转处理，得到增强数据；
CSPNet特征提取单元包括：
CSPNet特征提取单元包括Focus单元、CBM单元、Bottleneck单元、Conv卷积单元、连接单元、BN单元、LeakyReLU激活单元；
Focus单元，用于对增强后的源图像进行Focus操作，得到第一特征图；
CBM单元，用于对第一特征图依次进行标准卷积操作、批量归一化操作和Mish函数激活操作，得到第二特征图；
Bottleneck单元，用于对第二特征图进行Bottleneck操作，得到第三特征图；
Bottleneck单元模块表示为：Nout＝F(Ni,(Wi))+Ni,1≤i≤L-1；
其中，i为整数，F(Ni,(Wi))表示待学习且为进一步学习的映射，具体表示为：
k1＝F(0.5x)+x，k2＝F(k1)+x；
其中，ki代表i层模块的输出；
Conv卷积单元，用于对第三特征图进行标准卷积操作，得到第三特征图卷积结果；用于对第一特征图进行标准卷积操作，得到第一特征图卷积结果；
连接单元，用于对第一特征图卷积结果和第三特征图卷积结果进行连接操作，得到连接处理结果；
BN单元，用于对连接处理结果进行批量归一化操作，得到归一化特征数据；
LeakyReLU激活单元，用于对归一化特征数据进行激活函数LeakyReLU操作，得到激活特征数据；
CBM单元，用于对激活特征数据依次进行标准卷积操作、批量归一化操作和Mish函数激活操作，得到源图像特征图；
PANet尺度单元包括：
PANet尺度单元，用于融合源图像特征图，得到大小不同的四个尺度的源图像特征图，具体为尺度为20的源图像特征图、尺度为32的源图像特征图、尺度为53的源图像特征图、以及尺度为80的源图像特征图，本发明将网络尺度从三个尺度扩展到四个尺度，相比于原始算法，针对小目标检测准确率有着相对的提升。
K-means聚类算法单元包括：
K-means聚类算法单元，用于生成分别对应于四个尺度的源图像特征图的四组锚框，通过K-means聚类算法根据四个尺度的源图像特征图得出目标检测结果，检测结果包括目标位置信息和类别信息；操作为：
①随机选取K个点做为初始聚集的簇心(也可选择非样本点)，本发明中K＝4，最终将特征图分为四个尺度大小；
②分别计算每个样本点到K个簇核心的欧式距离，找到离样本点最近的簇核心，将它归属到对应的簇；
③将所有点M都归属到簇之后，M个点分为K个簇，重新计算每个簇的重心(平均距离中心)，将其定为新的“簇核心”；
④反复迭代②-③的计算过程，直到达到中止条件；
上述损失计算单元具体包括：
网络的损失由三部分组成：坐标误差Lcoord、交并比误差LCIoU和分类误差Lclass；
Lcoord和Lclass是由交叉熵损失函数计算，其定义为：
其中，N为类别数量，yic为符号函数，如果样本i的真实类别等于c取1，否则取0；pic为观测样本i属于类别c的预测概率；
交并比误差LCIoU的定义为：
其中，IoU代表交并比，b代表预测边界框B的中心点，bgt代表真实边界框Bgt的中心点，ρ2(b,bgt)代表b和bgt之间的欧式距离，c代表预测框与真实框的最小外接矩形对角线的长度，a是一个参数，是用来权衡长宽比的系数，v用来计算长宽比的误差；
其定义如下：
其中，A代表真实标签边界框，B代表预测边界框，A∩B为预测边界框与真实边界框的交集，A∪B为预测边界框与真实边界框的并集。
S32、输入目标检测得到的边界框信息，然后通过人体关键点检测算法获得每一帧人体骨骼节点的二维坐标数据；
人体关键点检测算法可采用OpenPose、AlphaPose、DensePose。
具体的，S32具体包括以下步骤：
人体关键点检测算法采用AlphaPose；
具体的，上述通过人体关键点检测算法获得每一帧人体骨骼节点的二维坐标数据具体包括：
基于骨骼的数据可以从运动捕捉设备中获得，也可以通过姿态估计算法预测获得。本发明示例以AlphaPose为例介绍，AlphaPose是一个标注人体关节连接成骨骼，进而估计人体姿态的算法。它的输入是RGB图像或视频帧序列，输出是人体关节点位置坐标。在行为识别算法中，AlphaPose总共估计人体25个关节点，关节点顺序如图4所示。一个batch的视频，AlphaPose的输出是一个5维矩阵(N，C，T，V，M)，其中N为每个批次输入视频的数量，C为关节的特征，通常一个关节包含3个特征：关节点横坐标x，关节点纵坐标y，关节点准确率acc，T为选取的关键帧的数量，V为关节的数量，本实例中关节点数量为25个，M为一帧中的人数。这也是ST-GCN的输入。
上述人体关键点检测算法AlphaPose具体包括：
人体关键点检测算法AlphaPose中主要使用了区域姿态估计(Regional Multi-Person Pose Estimation，RMPE)框架。主要包括Symmetric Spatial TransformerNetwork(SSTN)、Parametric Pose Non-Maximum-Suppression(Pose-NMS),和Pose-GuidedProposals Generator(PGPG)。并且使用SSTN、Deep Proposals Generator(DPG)、Pose-NMS技术来解决野外场景下多人姿态估计问题。
人体关键点检测算法AlphaPose包括：
人体关键点检测算法AlphaPose中采用RMPE框架，RMPE框架包括SSTN模块、Pose-NMS模块和PGPG模块；RMPE框架的流程图如图5所示。
其中输入为目标检测输出的边界框信息，输出为人体关键点信息。其中SymmetricSTN(SSTN)模块是由STN模块、SPPE模块和SDTN模块组成。
STN模块包括：
STN模块定义如下：
其中，为变换后的坐标，/>为变换前的坐标，θ1,θ2,θ3为变换参数；
SPPE模块包括：
SPPE为得到估计的姿态；
SDTN模块包括：
SDTN模块定义如下：
其中，为变换后的坐标，/>为变换前的坐标，/>为变换参数；
变换参数的关系如下：
Pose-NMS模块包括：
Pose-NMS为消除额外的估计到的姿态，令第i个姿态由m个关节点组成，定义为其中，k为位置信息，c为得分，得分最高的姿态作为基准，重复消除接近基准姿态的姿态，直到剩下单一的姿态，姿态距离用于消除和其他姿态太近且太相似的姿态，假定Pi的边界框是Bi，其定义如下：
其中，为中心在/>的边界框，并且每个坐标/>为原始坐标Bi的1/10；/>
SPPE模块包括：
SPPE为训练阶段作为额外的正则项，避免陷入局部最优，并进一步提升SSTN的效果，包含相同的STN及SPPE，无SDTN；测试阶段不包含SPPE模块，PSPPE模块和原始的SPPE共享相同的STN参数，但是无SDTN模块，此分支的人体姿态已经中心化，和中心化后的真知标签直接比较，训练阶段，PSPPE所有层的参数均被冻结，目的是反传中心化的姿态误差到STN模块，若STN得到的姿态未中心化，会产生较大的误差，使得STN集中于正确的区域。
S33、对二维坐标输入数据进行多层时空图卷积运算，在图上生成更高层次的特征图；然后输入到SoftMax分类器进行动作分类。
具体的，S33包括以下步骤：
对二维坐标输入数据进行多层时空图卷积运算，在图上生成更高层次的特征图；然后输入到SoftMax分类器进行动作分类；整个模型采用端对端反向传播的方式进行训练；
网络包括邻接矩阵、GCN、TCN；
邻接矩阵包括：
引入一个可学习的与邻接矩阵等大小相同的权重矩阵并与邻接矩阵按位相乘，该权重矩阵叫做“可学习的边缘重要性权重”，用来赋予邻接矩阵中重要边较大的权重且抑制非重要边的权重；
GCN包括：
将加权后的邻接矩阵与输入送至GCN中进行运算，同时引入残差结构计算获得Res，与GCN的输出按位相加，实现空间维度信息的聚合，使用的图卷积公式定义为：
aggre(x)＝D-1AX；
其中，可以理解为卷积核；
考虑到动作识别的特点，并未使用单一的卷积核，而是使用图划分，将分解成分别表达向心运动、离心运动和静止的动作特征，对于一个根节点，与它相连的边可以分为3部分：第1部分连接空间位置上比本节点更远离整个骨架重心的邻居节点，包含离心运动的特征；第2部分连接更为靠近重心的邻居节点，包含向心运动的特征；第3部分连接根节点本身，包含静止的特征，将1个图分解成3个子图，将卷积核从1个变为3个，3个卷积核的卷积结果分别表达不同尺度的动作特征对每个卷积核分别进行卷积，再进行加权平均，得到卷积的结果；
带有k个卷积核的图卷积可以定义为：
其中，n表示所有视频中的人数，k表示卷积核数，k取用3，c表示关节特征数，c的取值范围为64至128，t表示关键帧数，t的取值范围为150至38，v表示关节数，v取用25；
对v求和代表节点的加权平均，对k求和代表不同卷积核特征图的加权平均；
TCN包括：
TCN网络实现时间维度信息的聚合，TCN网络采用普通的CNN，在时间维度的卷积核>1；
GCN网络输出特征图的维度为(C,V,T)与图像特征图的形状(C,W,H)相对应，图像的通道数C对应关节的特征数C；图像的宽度W对应关键帧数V；图像的高度H对应关节数T，
在时间卷积中，卷积核的大小为时间卷积核大小×1，则每次完成1个节点，时间卷积核大小个关键帧的卷积，步长为1，则每次移动1帧，完成1个节点后进行下1个节点的卷积。
S4、输入待检视频源，选取与待检视频源匹配的异常行为识别模型，并输入待检视频源的告警类型；
具体的，可以人工配置待检视频源，也可通过AI智能中台配置待检视频源，待检视频源包括：本地图像、本地视频、摄像头、网络图像、网络视频、IP摄像头和视频流等类别，通过配置将其加入到待检视频源列表；上述配置的待检视频源需要添加识别的异常行为识别模型，异常行为识别模型可以人工配置，也可通过AI智能中台进行配置，并配置相应的告警类型，用于及时发现异常行为并进行告警通知。
具体的，AI智能中台配置行为识别任务主要分为三步：(1)配置待检视频源。将摄像头或者视频文件等配置到系统中，使得系统可以得到视频流，通过视频流进行推理和识别。(2)配置检测模型。通过与上述(1)中的待检视频源相匹配，配置对应的异常行为识别模型，进行相应异常行为的识别。(3)配置告警类型。通过待检视频源索引，配置相应的告警类型，包括告警频率、告警等级、告警时间段等，为告警信息提供定制化服务。配置界面如图7所示。
AI智能中台通过虚拟化容器技术搭建，拥有简单易部署、易于管理、稳定性高、高并发等优势，结合MQTT、GB28181等技术，实现全程实时检测推理，并将推理结果实时回传。实现了全链路实时检测，提供了高效稳定的实时推理能力，为行为识别算法提供了易于操作和管理的平台，促进了人工智能算法的实际落地应用。
AI智能中台的识别结果如图8所示，图中对相应的待检视频源配置了翻越围栏的模型，当检测到有人翻越围栏时，会通过告警弹出告警信息，同时可以通过预览窗口查看识别结果，系统会对识别结果进行保存和分析，以便于后期回溯。
S5、异常行为识别模型对待检视频源进行检测，并在待检视频源发生异常行为时推送相应的告警信息。
选取的异常行为识别模型对待检视频源的每一帧进行实时监测，并在待检视频源发生异常行为时推送相应的告警信息。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (9)
1.一种基于时空图卷积神经网络的异常行为识别方法，其特征在于，包括以下步骤：
S1、获取目标对象的视频数据；
S2、标签标注视频数据的异常行为，得到数据集；
S3、构建异常行为识别模型，基于数据集在时空卷积神经网络上进行训练，得到异常行为识别模型；
S4、输入待检视频源，选取与待检视频源匹配的异常行为识别模型，并输入待检视频源的告警类型；
S5、异常行为识别模型对待检视频源进行检测，并在待检视频源发生异常行为时推送相应的告警信息。
2.根据权利要求1所述的一种基于时空图卷积神经网络的异常行为识别方法，其特征在于，视频数据包括：
异常行为视频数据，用于数据标注和神经网络模型训练，让神经网络模型从中提取到异常行为的特征；
正常行为视频数据，用于使数据均衡，使训练模型具有更高的精确度和泛化能力。
3.根据权利要求2所述的一种基于时空图卷积神经网络的异常行为识别方法，其特征在于，所述S2包括以下步骤：
S21、标注视频数据中目标的边界框、然后标注目标的骨骼关键点，接着标注目标的行为类型，最后得到数据集；
S22、数据集的划分，将数据集分成训练集、测试集和验证集。
4.根据权利要求3所述的一种基于时空图卷积神经网络的异常行为识别方法，其特征在于，训练集、验证集和测试集的比例设置为70％、10％和20％。
5.根据权利要求4所述的一种基于时空图卷积神经网络的异常行为识别方法，其特征在于，所述S3包括以下步骤：
S31、输入视频数据，然后通过目标检测算法获得每一帧目标的边界框信息和置信度；
S32、输入目标检测得到的边界框信息，然后通过人体关键点检测算法获得每一帧人体骨骼节点的二维坐标数据；
S33、对二维坐标输入数据进行多层时空图卷积运算，在图上生成更高层次的特征图；然后输入到SoftMax分类器进行动作分类。
6.根据权利要求5所述的一种基于时空图卷积神经网络的异常行为识别方法，其特征在于，所述S31包括以下步骤：
目标检测算法采用YOLOv5，YOLOv5网络包括数据增强单元、CSPNet特征提取单元、PANet尺度单元、k-means聚类算法单元、损失计算单元；
数据增强单元包括：
①对输入的图像进行色彩空间进行转换，由RGB转换为HSV；
其中，H/S/V分量值分别为0.015/0.7/0.4；
②对输入的图像进行亮度、颜色、对比度平衡调整；
③对输入的图像进行水平和垂直平移；
④对输入的图像进行缩小或放大处理，缩放因子为0.5.
⑤对输入的图像进行剪切处理，剪切因子为0.3；
⑥对输入的图像进行上下左右翻转处理，得到增强数据；
CSPNet特征提取单元包括：
CSPNet特征提取单元包括Focus单元、CBM单元、Bottleneck单元、Conv卷积单元、连接单元、BN单元、LeakyReLU激活单元；
Focus单元，用于对增强后的源图像进行Focus操作，得到第一特征图；
CBM单元，用于对第一特征图依次进行标准卷积操作、批量归一化操作和Mish函数激活操作，得到第二特征图；
Bottleneck单元，用于对第二特征图进行Bottleneck操作，得到第三特征图；
Bottleneck单元模块表示为：Nout＝F(Ni,(Wi))+Ni,1≤i≤L-1；
其中，i为整数，F(Ni,(Wi))表示待学习且为进一步学习的映射，具体表示为：
k1＝F(0.5x)+x，k2＝F(k1)+x；
其中，ki代表i层模块的输出；
Conv卷积单元，用于对第三特征图进行标准卷积操作，得到第三特征图卷积结果；用于对第一特征图进行标准卷积操作，得到第一特征图卷积结果；
连接单元，用于对第一特征图卷积结果和第三特征图卷积结果进行连接操作，得到连接处理结果；
BN单元，用于对连接处理结果进行批量归一化操作，得到归一化特征数据；
LeakyReLU激活单元，用于对归一化特征数据进行激活函数LeakyReLU操作，得到激活特征数据；
CBM单元，用于对激活特征数据依次进行标准卷积操作、批量归一化操作和Mish函数激活操作，得到源图像特征图；
PANet尺度单元包括：
PANet尺度单元，用于融合源图像特征图，得到尺度为20的源图像特征图、尺度为32的源图像特征图、尺度为53的源图像特征图和尺度为80的源图像特征图；
K-means聚类算法单元包括：
K-means聚类算法单元，用于生成分别对应于四个尺度的源图像特征图的四组锚框，通过K-means聚类算法根据四个尺度的源图像特征图得出目标检测结果，检测结果包括目标位置信息和类别信息；操作为：
①随机选取K个点做为初始聚集的簇心(也可选择非样本点)，本发明中K＝4，最终将特征图分为四个尺度大小；
②分别计算每个样本点到K个簇核心的欧式距离，找到离样本点最近的簇核心，将它归属到对应的簇；
③将所有点M都归属到簇之后，M个点分为K个簇，重新计算每个簇的重心(平均距离中心)，将其定为新的“簇核心”；
④反复迭代②-③的计算过程，直到达到中止条件；
上述损失计算单元具体包括：
网络的损失由三部分组成：坐标误差Lcoord、交并比误差LCIoU和分类误差Lclass；
Lcoord和Lclass是由交叉熵损失函数计算，其定义为：
其中，N为类别数量，yic为符号函数，如果样本i的真实类别等于c取1，否则取0；pic为观测样本i属于类别c的预测概率；
交并比误差LCIoU的定义为：
其中，IoU代表交并比，b代表预测边界框B的中心点，bgt代表真实边界框Bgt的中心点，ρ2(b,bgt)代表b和bgt之间的欧式距离，c代表预测框与真实框的最小外接矩形对角线的长度，a是一个参数，是用来权衡长宽比的系数，v用来计算长宽比的误差；
其定义如下：
其中，A代表真实标签边界框，B代表预测边界框，A∩B为预测边界框与真实边界框的交集，A∪B为预测边界框与真实边界框的并集。
7.根据权利要求6所述的一种基于时空图卷积神经网络的异常行为识别方法，其特征在于，所述S32具体包括以下步骤：
人体关键点检测算法采用AlphaPose；
人体关键点检测算法AlphaPose包括：
人体关键点检测算法AlphaPose中采用RMPE框架，RMPE框架包括SSTN模块、Pose-NMS模块和PGPG模块；
SSTN模块包括STN模块、SPPE模块和SDTN模块；
STN模块包括：
STN模块定义如下：
其中，为变换后的坐标，/>为变换前的坐标，θ1,θ2,θ3为变换参数；
SPPE模块包括：
SPPE为得到估计的姿态；
SDTN模块包括：
SDTN模块定义如下：
其中，为变换后的坐标，/>为变换前的坐标，/>为变换参数；
变换参数的关系如下：
Pose-NMS模块包括：
Pose-NMS为消除额外的估计到的姿态，令第i个姿态由m个关节点组成，定义为其中，k为位置信息，c为得分，得分最高的姿态作为基准，重复消除接近基准姿态的姿态，直到剩下单一的姿态，姿态距离用于消除和其他姿态太近且太相似的姿态，假定Pi的边界框是Bi，其定义如下：
其中，为中心在/>的边界框，并且每个坐标/>为原始坐标Bi的1/10；
SPPE模块包括：
SPPE为训练阶段作为额外的正则项，避免陷入局部最优，并进一步提升SSTN的效果，包含相同的STN及SPPE，无SDTN；测试阶段不包含SPPE模块，PSPPE模块和原始的SPPE共享相同的STN参数，但是无SDTN模块，此分支的人体姿态已经中心化，和中心化后的真知标签直接比较，训练阶段，PSPPE所有层的参数均被冻结，目的是反传中心化的姿态误差到STN模块，若STN得到的姿态未中心化，会产生较大的误差，使得STN集中于正确的区域。
8.根据权利要求7所述的一种基于时空图卷积神经网络的异常行为识别方法，其特征在于，所述S33包括以下步骤：
对二维坐标输入数据进行多层时空图卷积运算，在图上生成更高层次的特征图；然后输入到SoftMax分类器进行动作分类；整个模型采用端对端反向传播的方式进行训练；
网络包括邻接矩阵、GCN、TCN；
邻接矩阵包括：
引入一个可学习的与邻接矩阵等大小相同的权重矩阵并与邻接矩阵按位相乘，该权重矩阵叫做“可学习的边缘重要性权重”，用来赋予邻接矩阵中重要边较大的权重且抑制非重要边的权重；
GCN包括：
将加权后的邻接矩阵与输入送至GCN中进行运算，同时引入残差结构计算获得Res，与GCN的输出按位相加，实现空间维度信息的聚合，使用的图卷积公式定义为：
aggre(x)＝D-1AX；
其中，可以理解为卷积核；
考虑到动作识别的特点，并未使用单一的卷积核，而是使用图划分，将分解成分别表达向心运动、离心运动和静止的动作特征，对于一个根节点，与它相连的边可以分为3部分：第1部分连接空间位置上比本节点更远离整个骨架重心的邻居节点，包含离心运动的特征；第2部分连接更为靠近重心的邻居节点，包含向心运动的特征；第3部分连接根节点本身，包含静止的特征，将1个图分解成3个子图，将卷积核从1个变为3个，3个卷积核的卷积结果分别表达不同尺度的动作特征对每个卷积核分别进行卷积，再进行加权平均，得到卷积的结果；
带有k个卷积核的图卷积可以定义为：
其中，n表示所有视频中的人数，k表示卷积核数，k取用3，c表示关节特征数，c的取值范围为64至128，t表示关键帧数，t的取值范围为150至38，v表示关节数，v取用25；
对v求和代表节点的加权平均，对k求和代表不同卷积核特征图的加权平均；
TCN包括：
TCN网络实现时间维度信息的聚合，TCN网络采用普通的CNN，在时间维度的卷积核>1；
GCN网络输出特征图的维度为(C,V,T)与图像特征图的形状(C,W,H)相对应，图像的通道数C对应关节的特征数C；图像的宽度W对应关键帧数V；图像的高度H对应关节数T，
在时间卷积中，卷积核的大小为时间卷积核大小×1，则每次完成1个节点，时间卷积核大小个关键帧的卷积，步长为1，则每次移动1帧，完成1个节点后进行下1个节点的卷积。
9.根据权利要求1所述的一种基于时空图卷积神经网络的异常行为识别方法，其特征在于，所述目标对象为人或动物；
异常行为包括翻越围栏、攀爬、违规操作、跌倒、徘徊。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310729373.1A CN116959099B (zh) | 2023-06-20 | 2023-06-20 | 一种基于时空图卷积神经网络的异常行为识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310729373.1A CN116959099B (zh) | 2023-06-20 | 2023-06-20 | 一种基于时空图卷积神经网络的异常行为识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116959099A true CN116959099A (zh) | 2023-10-27 |
| CN116959099B CN116959099B (zh) | 2024-07-02 |
Family
ID=88448271
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310729373.1A Active CN116959099B (zh) | 2023-06-20 | 2023-06-20 | 一种基于时空图卷积神经网络的异常行为识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116959099B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117831134A (zh) * | 2024-03-01 | 2024-04-05 | 广州大学 | 一种动态环境下动物异常行为的监测方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210000404A1 (en) * | 2019-07-05 | 2021-01-07 | The Penn State Research Foundation | Systems and methods for automated recognition of bodily expression of emotion |
| CN113657349A (zh) * | 2021-09-01 | 2021-11-16 | 重庆邮电大学 | 一种基于多尺度时空图卷积神经网络的人体行为识别方法 |
| CN115116133A (zh) * | 2022-06-14 | 2022-09-27 | 鹏城实验室 | 一种用于独居老人监护的异常行为检测系统及方法 |
| CN115147380A (zh) * | 2022-07-08 | 2022-10-04 | 中国计量大学 | 一种基于YOLOv5的小型透明塑料制品缺陷检测方法 |
| CN115966025A (zh) * | 2023-01-10 | 2023-04-14 | 国网江西省电力有限公司信息通信分公司 | 一种基于人体骨骼关键点的电力作业异常行为识别方法 |
-
2023
- 2023-06-20 CN CN202310729373.1A patent/CN116959099B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210000404A1 (en) * | 2019-07-05 | 2021-01-07 | The Penn State Research Foundation | Systems and methods for automated recognition of bodily expression of emotion |
| CN113657349A (zh) * | 2021-09-01 | 2021-11-16 | 重庆邮电大学 | 一种基于多尺度时空图卷积神经网络的人体行为识别方法 |
| CN115116133A (zh) * | 2022-06-14 | 2022-09-27 | 鹏城实验室 | 一种用于独居老人监护的异常行为检测系统及方法 |
| CN115147380A (zh) * | 2022-07-08 | 2022-10-04 | 中国计量大学 | 一种基于YOLOv5的小型透明塑料制品缺陷检测方法 |
| CN115966025A (zh) * | 2023-01-10 | 2023-04-14 | 国网江西省电力有限公司信息通信分公司 | 一种基于人体骨骼关键点的电力作业异常行为识别方法 |
Non-Patent Citations (5)
| Title |
|---|
| HAO-SHU FANG ET AL.: "RMPE: Regional Multi-Person Pose Estimation", 《ARXIV:1612.00137V5》, pages 3 * |
| SIJIE YAN ET AL.: "Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition", 《ARXIV:1801.07455V2》 * |
| 杨学存 等: "基于人体骨架的扶梯乘客异常行为识别方法", 《安全与环境学报》, pages 1 - 5 * |
| 点PY: "ST-GCN论文简读以及复现", 《CSDN》, pages 1 - 6 * |
| 酒酿小圆子～: "【目标检测】yolov5模型详解", 《CSDN》, pages 1 - 11 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117831134A (zh) * | 2024-03-01 | 2024-04-05 | 广州大学 | 一种动态环境下动物异常行为的监测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116959099B (zh) | 2024-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112085010B (zh) | 一种基于图像识别的口罩检测和部署系统及方法 | |
| CN109644255B (zh) | 标注包括一组帧的视频流的方法和装置 | |
| CN111813997B (zh) | 入侵分析方法、装置、设备及存储介质 | |
| CN110532970B (zh) | 人脸2d图像的年龄性别属性分析方法、系统、设备和介质 | |
| US20150262068A1 (en) | Event detection apparatus and event detection method | |
| CN113312957A (zh) | 基于视频图像的脱岗识别方法、装置、设备及存储介质 | |
| CN116959099B (zh) | 一种基于时空图卷积神经网络的异常行为识别方法 | |
| CN112464701A (zh) | 基于轻量化特征融合ssd的人员是否佩戴口罩检测方法 | |
| CA3196344A1 (en) | Rail feature identification system | |
| US20170053172A1 (en) | Image processing apparatus, and image processing method | |
| CN113780145A (zh) | 精子形态检测方法、装置、计算机设备和存储介质 | |
| CN115862113A (zh) | 陌生人异常识别方法、装置、设备及存储介质 | |
| CN115223204A (zh) | 一种人员违规穿着检测方法、装置、设备及存储介质 | |
| CN113221667B (zh) | 一种基于深度学习的人脸口罩属性分类方法及系统 | |
| CN117765348A (zh) | 目标检测模型的部署方法和目标检测方法及电子设备 | |
| JP6893812B2 (ja) | 物体検出装置 | |
| CN114067360A (zh) | 一种行人属性检测方法及装置 | |
| CN114049676A (zh) | 疲劳状态检测方法、装置、设备及存储介质 | |
| CN113743293A (zh) | 跌倒行为检测方法、装置、电子设备及存储介质 | |
| CN109670470B (zh) | 行人关系识别方法、装置、系统及电子设备 | |
| CN113837173A (zh) | 目标对象检测方法、装置、计算机设备和存储介质 | |
| CN114612810B (zh) | 一种动态自适应异常姿态识别方法及装置 | |
| CN116362627B (zh) | 改进型kcf算法模型的职工一体化疗休养信息分析方法 | |
| JP7365261B2 (ja) | コンピュータシステムおよびプログラム | |
| Saparkhojayev et al. | Abnormality Detection in Chest X-ray Images Using Uncertainty Prediction Algorithms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |