CN114782998A - 骨架关节点增强的异常行为识别方法、系统、设备及介质 - Google Patents
骨架关节点增强的异常行为识别方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN114782998A CN114782998A CN202210568679.9A CN202210568679A CN114782998A CN 114782998 A CN114782998 A CN 114782998A CN 202210568679 A CN202210568679 A CN 202210568679A CN 114782998 A CN114782998 A CN 114782998A
- Authority
- CN
- China
- Prior art keywords
- time
- space
- joint
- frame
- joint point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000011176 pooling Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000006073 displacement reaction Methods 0.000 claims abstract description 7
- 238000010586 diagram Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 8
- 230000006399 behavior Effects 0.000 description 13
- 230000009471 action Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000005192 partition Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000003416 augmentation Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于骨架关节点增强时空卷积网络的异常行为识别方法，包括：数据集预处理后生成多帧骨架序列；所述多帧骨架序列输入至若干个连续的时空卷积模块中，进行关节增强并输出时序特征；将所述时序特征输入至全局平均池化层和分类器得到异常行为识别结果。通过空间增强移位模块对各个关节点分配不同程度的权重，突出重要关节点的特征信息。本实施例训练的关节点增强时空卷积模型能有效检测人体异常行为并及时发出警报，该方法在较少计算量的情况下达到较高的准确率和召回率。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于骨架关节点增强时空卷积网络的异常行为识别方法。
背景技术
人体异常行为检测作为人体行为识别领域的研究热点之一，在智慧城市、智能监控和人机交互等领域有着重要的应用。在医疗监护领域,通过异常行为识别与检测技术，可实现对无看护病患或老人的实时监控，判断目标是否出现跌倒或其他意外并及时报警呼救，保证他们在第一时间得到治疗和帮助；在交通监管领域，有关部门可利用人体异常行为识别与检测技术监控包括驾驶员行为在内的车内、外异常情况，降低事故发生风险；在公共安全领域,该技术可用于公共场所人员异常情况检测，判断打架斗殴等违反社会治安行为。经典的视频行为识别算法多将RGB视频作为输入，但当RGB视频中背景动态干扰较多、光照不稳定、噪声严重时，传统行为识别算法的效果会受到影响。近年来，基于骨架的行为识别因其对动态环境和复杂背景的适应性强而越来越受到关注。
目前主流的基于骨架行为识别的方法是图卷积网络，将图卷积网络应用到骨架序列的时空建模中，设计邻接矩阵来表示人体的物理结构。“颜思捷，熊元骏，林达华.基于时空图卷积网络的骨架动作识别[C]//AAAI人工智能会议,2018.”提出了时空图卷积网络，将图卷积网络应用到骨架序列的时空建模中，设计邻接矩阵来表示人体的物理结构，使得网络具有更好的表达能力和更高的性能。但是该网络使用的骨架图是启发式预定义的，表达能力受到图卷积神经网络空间规则的限制，并且对时空特征提取不充分。“石磊,张一帆,程建,卢汉庆.基于双流自适应图卷积网络的骨架动作识别[C]//IEEE/CVF计算机视觉和模式识别会议(CVPR),2019.”结合了关节点和骨骼长度的信息，并且通过计算不同关节的相关性来实现邻接矩阵的自适应性,但是存在参数量过大、计算复杂度过高的问题。“程柯、张一帆、何翔宇.基于移位图卷积网络的骨架动作识别[C]//IEEE/CVF计算机视觉和模式识别(CVPR),2020.”将移位卷积与GCN结合应用于行为识别任务中,通过轻量级的移位操作为空间图与时间图提供了灵活的接收域，大大降低了计算复杂度，但是该网络不能有效的关注骨架序列中的关键信息且对时空特征提取不充分。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于骨架关节点增强时空卷积网络的异常行为识别方法。
根据本发明的一个方面，提供一种基于骨架关节点增强时空卷积网络的异常行为识别方法，包括：
数据集预处理后生成多帧骨架序列；
所述多帧骨架序列输入至若干个连续的时空卷积模块中，进行关节增强并输出时序特征；
将所述时序特征输入至全局平均池化层和分类器得到异常行为识别结果。
优选地，所述获取多帧骨架序列，包括：
归一化骨架关节点数据：
对于T帧的视频，第一帧中出现的第一个人的中心关节点作为坐标系的原点，将第一帧中每个关节点坐标减去所述中心关节点的坐标；利用其他帧和第一帧的关节点坐标差值获得关节在时间维度上的位移；
构建时空拓扑图：
通过OpenPose提取作为输入的多帧骨架序列，所述骨架序列由N个关节点和T帧骨架序列的时空图构成；
在具有N个关节点的骨架图中，每个关节点表示为位置坐标向量X＝(x,y,z)，x和y为关节点的横纵坐标，z为该关节点的置信度；
在单帧空间维度上，根据人体构造将同一帧中不同关节点连接成边，形成骨架图；
在多帧时间维度上，将相邻两帧之间的同一个关节点连接成边，形成T帧的时序图。
优选地，所述时空卷积模块的数量为9层；
每个时空卷积模块的输入是Cin×N×T，输出是Cout×N×T，Cin为输入关节点的特征(通道数)，Cout为输出关节点的特征(通道数)，N为关节点数，T为总帧数；每一层的输入特征是上一层的输出特征；
9层时空卷积模块的输入通道数、输出通道数和步长分别为：
时空卷积块B1的输入通道数为3、输出通道数为64、步长为1；
时空卷积块B2的输入通道数为64、输出通道数为64、步长为1；
时空卷积块B3的输入通道数为64、输出通道数为64、步长为1；
时空卷积块B4的输入通道数为64、输出通道数为128、步长为2；
时空卷积块B5的输入通道数为128、输出通道数为128、步长为1；
时空卷积块B6的输入通道数为128、输出通道数为128、步长为1；
时空卷积块B7的输入通道数为128、输出通道数为256、步长为2；
时空卷积块B8的输入通道数为256、输出通道数为256、步长为1；
时空卷积块B9的输入通道数为256、输出通道数为256、步长为1；
9层时空卷积模块输出的时空特征向量为Cout×N×T，其中Cout为输出通道数(256)。
优选地，所述每个时空卷积模块包括：空间增强移位模块和时间移位模块；其中，
所述空间增强移位模块包括：空间移位和关节点增强；
所述空间增强移位中的空间移位操作学习单帧关节的局部特征；
计算关节间相似性权重系数后获得每个关节点不同的权重；
利用两层感知机提取各个关节的权重，进而生成包含每个关节的权重系数的中间特征向量；
空间移位操作后的特征与中间特征相加实现关节点增强；
空间增强移位模块输出的特征与输入特征相加输入到所述时间移位模块中学习时序特征。
优选地，所述空间移位的过程，包括：
单帧骨架序列特征为
其中N为关节点数量，Cin为输入通道数，第i个通道的平移距离为i modN，节点与节点之间连接后进行平移，每个节点通过特征平移获取同一帧的其他节点的信息，再通过1×1卷积实现各个通道之间的信息交换；
优选地，所述关节点增强的过程，包括：
通过高斯函数计算各关节间的相似度；
利用Softmax函数归一化后生成关节相似性权重系数输入到全局平均池化层；
将两层全连接层分别与tanh激活函数和sigmoid激活函数结合提取关节权重分布；
通过关节权重对骨架序列中的关节加权得到中间特征向量，归一化后的中间特征与输入特征相加得到输出特征，空间增强移位模块的输出特征可表示为
优选地，时间移位模块采用时序移位卷积操作，包括：
时空卷积模块的输入特征与空间增强移位模块的输出特征相加作为时间移位模块的输入特征，表示为
在时间维度上连接连续的帧，移位操作后使得每一帧从其相邻帧中获得信息；
每个通道设有一个可学习的参数Si去学习网络的移位程度；
移位卷积操作后结合1×1卷积学习时序特征，叠加时序特征后形成的特征向量为
根据本发明的第二个方面，提供一种基于骨架关节点增强时空卷积网络的异常行为识别系统，包括：
预处理模块，原始数据集预处理后生成多帧骨架序列；
时空卷积模块，所述多帧骨架序列输入至若干个连续的时空卷积模块中，进行关节增强并输出时序特征；
识别模块，所示识别模块将所述时序特征输入至全局平均池化层和分类器得到异常行为识别结果。
根据本发明的第三个方面，提供一种电子设备，所述电子设备包括处理器和存储器，存储器用于存储执行指令，处理器用于执行存储器存储的执行指令以实现上述各实施例所述的方法。所述处理器包括但不限于计算机、服务器、网络设备、微处理器等。
根据本发明的第四个方面，提供一种计算机可读存储介质。本发明实施例的异常行为识别系统有关计算机程序可存储在该存储介质中，其中，该计算机程序运行时可执行上述任一项实施例中的步骤。上述存储介质可以是随机存取存储器(RAM)、只读存储器(ROM)、闪存存储器、光盘、磁盘，固态盘等存储器，也可以是电子设备，如移动设备、计算机、平板电脑等。
与现有技术相比，本发明具有如下的有益效果：
本发明实施例中的一种基于骨架关节点增强时空卷积网络的异常行为识别方法，通过空间增强移位模块对各个关节点分配不同程度的权重，突出重要关节点的特征信息。本实施例训练的关节点增强时空卷积模型能有效检测人体异常行为并及时发出警报，该方法在较少计算量的情况下达到较高的准确率和召回率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一实施例的关节点增强移位时空卷积网络的流程图；
图2为本发明一实施例的基于骨架关节点增强时空卷积网络的异常行为识别方法的流程图；
图3为本发明一实施例的骨架时空拓扑结构示意图；
图4为本发明一实施例的时空卷积模块的结构示意图；
图5为本发明一实施例的空间增强移位模块的结构示意图；
图6为本发明一实施例的异常行为检测的过程示意图；
图7为本发明一实施例的异常行为识别结果的可视化示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
本发明实施例方案涉及的硬件运行环境的服务器包括处理器、通信总线、网络接口、用户接口、存储器等。其中通信总线用于实现各组件之间的连接通信，用户接口用于接收用户的输入指令，网络接口用于与外部网络进行数据通信，服务器通过处理器调用存储器中存储的异常行为识别程序。
所述服务器中，处理器包括但不限于计算机、服务器、网络设备等，用户接口可以是显示屏、输入单元(键盘)、标准的有线接口和无线接口等，网络接口可以是有线接口和无线接口，存储器可以是光盘、磁盘，固态盘等。存储器作为计算机存储介质时可包括操作系统、网络通信模块、用户接口模块以及异常行为识别程序。
如图1所示，为本发明一个实施例的一种基于骨架关节点增强时空卷积网络的异常行为识别方法的框架图，包括：
S1,数据集预处理后生成多帧骨架序列；
S2,将S1中获取的多帧骨架序列输入至若干个连续的时空卷积模块中，进行关节增强并输出时序特征；
S3，将S2中得到的时序特征输入至全局平均池化层和分类器得到异常行为识别结果。
本发明的一个优选实施例中实行S1,获取多帧骨架序列，具体包括：
S101，归一化骨架关节点数据：对于T帧的视频，第一帧中出现的第一个人的中心关节点作为坐标系的原点，将第一帧中每个关节点坐标减去中心关节点的坐标；利用其他帧和第一帧的关节点坐标差值获得关节在时间维度上的位移；
S102，构建时空拓扑图：通过OpenPose提取作为输入的骨架图集，骨架图集由N个关节点和T帧骨架序列的时空图构成；在具有N个关节点的骨架图中，每个关节点表示为位置坐标向量X＝(x,y,z)，x和y为关节点的横纵坐标，z为该关节点的置信度；根据人体构造将不同关节点连接成边形成骨架图；将相邻两帧之间的同一个关节点连接形成T帧的时序图，如图3所示。
在本发明的一个优选实施例中，将S1中获得的多帧骨架序列实行S2。在本实施例中，包括9个时空卷积模块，每一层时空卷积模块的输入特征是上一层的输出特征。
每个时空卷积模块包括空间增强移位模块和时间移位模块。空间增强移位模块分别包括空间移位和关节点增强。其处理过程为:
S201,由空间增强移位模块中的空间移位操作学习单帧关节的局部特征；
S202,计算关节间相似性权重系数后生成中间特征向量；
S203,利用两层感知机提取骨架序列中的关节权重分布；
S204,最后将移位操作后的特征与中间特征相加实现关节点增强；(移位操作后的特征是计算关节权重前的特征，中间特征是计算关节权重后的特征)。
S205，空间增强移位模块输出的特征与输入特征相加输入到时间移位模块中学习时序特征，并将时序特征输出。
如图2所示，为本发明一实施例的基于骨架关节点增强时空卷积网络的异常行为识别方法的流程图，异常行为识别方法的流程包括：
S11，自制日常行为数据集，通过OpenPose方法提取人体骨架序列；
S12，基于骨架的时间序列动态建模，构建时空拓扑图；
S13，骨架数据输入到关节点增强时空卷积网络中训练；
S14，使用Softmax分类器对输出特征进行行为分类，得到对应的行为标签；
S15，获取监控视频输入到训练好的模型中进行识别，判断目标人物是否摔倒。
本发明的一实施例中，S11具体包括：数据集共七个种类，其中行走、坐下、站起、脱衣服、穿衣服以及扔取自公开行为识别数据集Northwest UCLA，每一个动作由十名受试者执行一到六次。摔倒行为数据取自公开数据集Le2i，包含家庭Home、办公室Office、咖啡屋Coffee room、课堂Lecture room 4种场景视频。数据集共有1029个视频序列，根据深度学习的划分策略，选取70％为训练集，30％为验证集，每个视频截取前300帧，若不满300帧则循环填充；
较佳实施例中，S11进一步包括：
(1)使用ffmpeg对视频进行格式转换；
通过ffmpeg算法将原始数据集中的所有视频分辨率调整为320×240，每秒传输帧数(FPS)设置为30。
(2)姿态估计算法提取视频中骨骼坐标信息；
姿态估计算法提取视频中骨架关节点的位置信息，包括：使用OpenPose算法提取数据集每一帧的18个骨架关节点的位置特征信息(2D坐标)，对于视频中出现多人时，则根据平均联合置信度选择2个人；
(3)归一化骨架关节点数据；
归一化骨架关节点数据，包括：对于T帧的视频，第一帧中出现的第一个人的中心关节点作为坐标系的原点，将第一帧中每个关节点坐标减去中心关节点的坐标；利用其他帧和第一帧的关节点坐标差值获得关节在时间维度上的位移；
在本发明的另一个实施例中，S11提取人体骨架序列之后，实行S12，基于骨架的时间序列动态建模，构建时空拓扑图。
通过OpenPose提取作为输入的多帧骨架序列由N个节点和T帧骨骼序列的时空图构成，在具有N个关节点的骨架图中，每个关节点可表示为位置坐标向量X＝(x,y,z)，x和y为关节点的横纵坐标，z为该关节点的置信度，则N个关节的特征向量集合可表示为：
V＝{Xi|i＝1,2,...,N}
其中，Xi表示第i个关节点的位置坐标向量，单帧骨架内关节点的连接关系可表示为：
Es＝{XtiXtj|i,j＝1,2,...,N}
其中,Xti表示t时刻的第i个关节点的位置坐标，Xtj表示t时刻的第j个关节点的位置坐标。
空间上，骨架图是由N个关节点以及各关节点间的连接关系组成，根据人体构造将骨架图表示为Gs＝(V,Es)。而时序图是由T帧相同的骨架图组成，故将相邻两帧之间同一关节点连接，时间维度的连接关系可表示为：
EF＝{XtiX(t+1)i|t＝1,2,...,T}
其中，Xti表示t时刻的第i个关节点的位置坐标，X(t+1)i表示t+1时刻的第i个关节点的位置坐标。将两个子集Es和EF合并构成时序图的边集E，故T帧的人体骨架序列可表示为G＝(V,E)。
骨架时空拓扑结构示意图如图3所示，同一帧(空间)上，每个关节点根据人体构造连接成边作为骨骼长度形成空间骨架图，多帧(时间)上，相邻两帧的同一个关节点连接形成时序图。
在本发明的另一个实施例，基于S11和S12获得的多帧骨架序列，实行S13，本实施例中关节点增强时空卷积网络参照图1所示，包括：归一化层、9层时空卷积模块、全局平均池化层、全连接层。
每一个时空卷积模块均包括：空间增强移位模块和时间移位模块。
经过S11和S12预处理后获得的骨架时空图可表示为N×C×T×V×M。其中，N代表视频的数量，C表示关节点包含的特征数量(位置坐标和置信度)，T代表视频帧数，V代表人体关节点的数量，M表示单帧中的人体骨架数。得到的关节点坐标数据根据视频的大小进行范围为[-1,1]的归一化处理，因此骨架数据转换为三维张量Cin×N×T输入到第一个时空卷积模块中，其中N为关节点数量，Cin为输入关节点的特征x、y和z(即通道数为3)，T为视频帧数。
如图4所示，空间增强移位模块进一步包括：第一次空间移位、1×1卷积、第二次空间移位、高斯函数+Softmax、全局平均池化层、全连接层、tanh激活函数、全连接层、Sigmoid激活函数、归一化、RELU激活函数。
空间增强移位模块进一步包括：
(1)空间移位；
空间移位操作学习单帧关节的局部特征：单帧骨架序列特征为
其中N为关节点数量，Cin为输入通道数，第i个通道的平移距离为i modN，节点与节点之间连接后进行移位卷积。对于节点v，它的相邻节点集合为
其中n表示v的相邻节点数。将节点v的通道平均划分为n+1个分区，第一个分区保留v的特征，其他部分分别从
中移位。对F的每个节点进行移位操作，公式如下：
其中，
||表示按通道连接，在移位特征中，每个节点从其感受野获取信息，再结合1×1卷积实现各个通道之间的信息交换。
即进行上述空间移位后，多帧骨架序列的每一帧都提取出空间维度上的骨架特征信息。
(2)关节点增强；
如图5所示，首先使用高斯函数计算同一帧中各关节间的相似度来判断两个关节点之间的连接强度，计算公式如下：
其中，ki和kj分别表示节点i和节点j的原始特征，θ和φ为两个高斯函数，θ(ki)＝Wθki，φ(kj)＝Wφkj，Wθ和Wφ为节点i和节点j对应的权重值，Ψ表示转置操作。然后利用softmax函数归一化后生成关节相似性权重系数：
αij＝softmax(Score(kikj))
其中，αij表示节点i与节点j间的关节相似度，基于权重系数αij加权求和关节信息
与原始特征拼接后生成中间特征Ki'＝[ki:ki']，其中ki为原始特征，ki'为加权求和后的关节信息；
将两层感知机(s,r)结合tanh与sigmoid非线性化操作提取关节权重分布，并生成关节权重矩阵，计算公式为：
V＝sigmoid(Wstanh(WrK'+br)+bs)
其中，K'是加权求和后的关节特征与原始特征相加后生成的中间特征，Wr和br为激活函数tanh的权重和偏差，Ws和bs为激活函数sigmoid的权重和偏差。基于关节权重vi对骨架序列中的关节进行加权，输入特征ki和带有权重分布的特征viki求和后得到输出特征
实现了关节点的注意力增强；
空间增强移位模块的输出特征可表示为
空间增强移位模块学习空间特征的输出与时空卷积模块的输入特征相加输入到时间移位模块中学习时序特征，时间移位模块采用时序移位卷积操作，包括：第一次时间移位操作、1×1卷积、第二次时间移位操作、归一化、RELU激活函数；
时间移位操作：时空卷积模块的输入特征与空间增强移位模块的输出特征相加作为时间移位模块的输入特征，可表示为
在时间维度上连接连续的帧，将通道平均划分为2u+1个分区，每个分区的时间移位距离为-u,-u+1,...,0,...,u-1,u，移位后的通道被截断后直接用0填充。在移位操作后每一帧都从其相邻帧获取信息，由于不同的层需要不同的时间感受野，因此每个通道都有一个可学习的时移参数Si去学习网络的移位程度，若Si是整数会导致无法传递梯度，故需要将Si的限制放宽到实数。时间移位采用线性插值法计算可得：
其中，λ＝Si-|Si|是由于时移参数Si实数化后产生余量，需要插值的方式进行弥补。移位卷积操作后结合1×1卷积学习时序特征，叠加时序特征后形成的特征向量为
在本发明的另一个实施例中，基于上述S13关节点增强时空卷积网络学习后的时空特征向量依次经过全局平均池化层和全连接层，实行S14输入到Softmax分类器中进行分类。
训练集输入到关节点增强时空卷积网络中进行训练，获得关节点增强时空卷积网络识别模型，训练过程进一步包括：
采用随机梯度下降的优化策略，迭代训练中调整网络参数，网络参数进一步包括：共100个迭代次数，初始学习率设为0.1，在迭代次数为40、60和80时除以10，权重衰减系数设为1×10-4，训练批次大小设置为32；
如图6所示的本发明一实施例实行S15异常行为检测的过程示意图，异常行为识别过程进一步包括：
异常行为检测过程中，相关实践在Pytorch深度学习框架下实现，并且使用PyCharm、CUDA、OpenCV、Caffee等框架来编译和运行异常行为识别的计算机程序。
较佳实施例中，S15进一步包括：
获取监控视频包括但不限于：通过摄像机拍摄目标对象获取动作视频样本；本地上传动作视频数据。
将获取后的视频作为训练后的关节点增强时空卷积网络识别模型的输入，得到分类结果，并判断是否存在异常行为。
本发明还提供一个具体的应用实施例，如图7所示的本发明一实施例的异常行为识别的可视化示意图，异常行为识别整体过程包括：
在深度学习Pytorch框架下调用Python库、OpenPose开源工具和OpenCV软件实现异常行为检测的可视化，包括：
利用Python的scikit-video库来处理输入的视频，通过调用skvideo.io.vread()函数将视频数据作为一个单独的ndarry加载到内存中，使得可以逐帧加载视频，调用skvideo.io.write()函数将ndarry写为视频文件，并通过skvideo.io.FFmpegWriter()函数调整相关视频参数。为了保证系统的时效性以及输入输出过程中数据不会丢失，设置视频帧输入和输出缓冲区队列。异常行为识别模型每秒可处理30帧数据，输入视频最大300帧，帧率为30fps，故设置输入缓冲区队列最大可存储30帧数据，输出缓冲区队列最大可存储10帧数据。
从OpenPose提供的WrapperPython接口获取人体运动时的连续骨架数据帧序列，运行程序后将监控视频帧数据输入OpenPose提供的Python接口，获得视频帧中人体的关节点坐标信息(包括18个关节点)，包括：以每帧图片的左上角顶点位置作为坐标原点建立平面直角坐标系，利用编号表示人体关节点所对应的位置：0-鼻子，1-脖子，2-左肩，3-右肘，4-右手，5-左肩，6-左肘，7-左手，8-右胯，9-右膝，10-右脚踝，11-左胯，12—左膝，13-左脚踝，14-左眼，15-右眼，16-左耳，17-右耳。每个关节的具体位置由x＝(x,y,z)表示：x和y为关节点的横纵坐标，z为该关节点的置信度。根据人体构造将相邻关节点连接组成完整的骨架序列，具体连接规则如下：(4，3)、(3，2)、(7，6)、(6，5)、(13，12)、(12，11)、(10，9)、(9，8)、(11，5)、(8，2)、(5，1)、(2,1)、(0,1)、(15，0)、(14，0)、(17,15)、(16,14)。例如(4，3)表示将4对应的右手和3对应的右肘这两个关节点连接，以此类推将所有相邻关节点连接后最终组成完整的人体骨架。
将多帧骨架数据整合，解析关节点坐标数据以及提取特征后输入到训练好的关节点增强时空卷积网络模型中根据分数匹配对应的行为类别标签，判断视频中的目标人物是否动作异常，并通过OpenCV绘图模块可视化呈现人物动作及判别结果，若出现异常情况(如：摔倒)及时发出警报并将最终的监测结果保存至本地。
基于相同的发明构思，本发明还提供一种基于骨架关节点增强时空卷积网络的异常行为识别系统，包括：
预处理模块，原始数据集预处理后生成多帧骨架序列；
时空卷积模块，300帧骨架序列输入至若干个连续的时空卷积模块中，进行关节增强并输出时序特征；
识别模块，所示识别模块将时序特征输入至全局平均池化层和分类器得到每个标签的分数，根据分数匹配对应的类别标签并判断动作是否异常。
基于相同的发明构思，本发明还提供一种电子设备，所述电子设备包括处理器和存储器，存储器用于存储异常行为识别程序，处理器用于执行存储器存储的异常行为识别程序以实现上述各实施例所述的软件功能模块。所述处理器包括但不限于计算机、服务器、微处理器等。
基于相同的发明构思，本发明还提供一种计算机可读存储介质。所述存储介质可存储本发明实施例的异常行为识别系统有关计算机程序，其中，该计算机程序运行时可执行上述任一项实施例中的步骤。上述存储介质可以是随机存取存储器(RAM)、只读存储器(ROM)、闪存存储器、光盘、磁盘，固态盘等存储器，也可以是电子设备，如移动设备、计算机、平板电脑等。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。上述各优选特征在互不冲突的情况下，可以任意组合使用。
Claims (10)
1.一种基于骨架关节点增强时空卷积网络的异常行为识别方法，其特征在于，包括：
数据集预处理后生成多帧骨架序列；
所述多帧骨架序列输入至若干个连续的时空卷积模块中，进行关节增强并输出时序特征；
将所述时序特征输入至全局平均池化层和分类器得到异常行为识别结果。
2.根据权利要求1所述的一种基于骨架关节点增强时空卷积网络的异常行为识别方法，其特征在于，所述数据集预处理后生成多帧骨架序列，包括：归一化骨架关节点数据和构建时空拓扑图；
所述归一化骨架关节点数据，包括：
对于T帧的视频，第一帧中出现的第一个人的中心关节点作为坐标系的原点，将第一帧中每个关节点坐标减去所述中心关节点的坐标；利用其他帧和第一帧的关节点坐标差值获得关节点在时间维度上的位移；
所述构建时空拓扑图，包括：
通过OpenPose提取作为输入的多帧骨架序列，所述骨架序列由N个关节点和T帧骨架序列的时空图构成；
在具有N个关节点的骨架图中，每个关节点表示为位置坐标向量X＝(x,y,z)，x和y为关节点的横纵坐标，z为该关节点的置信度；
空间维度上(单帧)，根据人体构造将同一帧中不同关节点连接成边形成骨架图；
时间维度上(多帧)，将相邻帧之间的同一个关节点连接成边形成T帧的时序图。
3.根据权利要求1所述的一种基于骨架关节点增强时空卷积网络的异常行为识别方法，其特征在于，所述时空卷积模块的数量为9层；
每个时空卷积模块的输入是Cin×N×T，输出是Cout×N×T，Cin为输入关节点的特征(通道数)，Cout为输出关节点的特征(通道数)，N为关节点数，T为总帧数；每一层的输入特征是上一层的输出特征；
9层时空卷积模块的输入通道数、输出通道数和步长分别为：
时空卷积块B1的输入通道数为3、输出通道数为64、步长为1；
时空卷积块B2的输入通道数为64、输出通道数为64、步长为1；
时空卷积块B3的输入通道数为64、输出通道数为64、步长为1；
时空卷积块B4的输入通道数为64、输出通道数为128、步长为2；
时空卷积块B5的输入通道数为128、输出通道数为128、步长为1；
时空卷积块B6的输入通道数为128、输出通道数为128、步长为1；
时空卷积块B7的输入通道数为128、输出通道数为256、步长为2；
时空卷积块B8的输入通道数为256、输出通道数为256、步长为1；
时空卷积块B9的输入通道数为256、输出通道数为256、步长为1；
9层时空卷积模块输出的时空特征向量为Cout×N×T，其中Cout为输出通道数(256)。
4.根据权利要求1所述的一种基于骨架关节点增强时空卷积网络的异常行为识别方法，其特征在于，所述每个时空卷积模块包括：空间增强移位模块和时间移位模块，
其中，所述空间增强移位模块包括：空间移位和关节点增强；
所述空间移位操作学习单帧关节的局部特征；计算同一帧关节间相似性权重系数后，获得每个关节点不同的权重；利用两层感知机提取各个关节点的权重，进而生成包含每个关节的权重系数的中间特征向量；
所述关节点增强操作将空间移位操作后的特征与所述中间特征相加实现关节点增强；
所述空间增强移位模块输出的特征与输入特征相加输入到所述时间移位模块中学习时序特征。
5.根据权利要求4所述的一种基于骨架关节点增强时空卷积网络的异常行为识别方法，其特征在于，所述空间移位的过程，包括：
单帧骨架序列特征为
其中N为关节点数量，Cin为输入通道大小，第i个通道的平移距离为imodN，关节点与关节点之间连接后进行平移，每个关节点通过特征平移获取同一帧中的其他关节点的特征信息，再通过1×1卷积实现各个通道之间的信息交换。
6.根据权利要求4所述的一种基于骨架关节点增强时空卷积网络的异常行为识别方法，其特征在于，所述关节点增强的过程，包括：
通过高斯函数计算各关节间的相似度；
利用Softmax函数归一化后生成的关节相似性权重系数输入到全局平均池化层；
将两层全连接层分别与tanh激活函数和sigmoid激活函数结合提取关节权重分布；
通过关节权重对骨架序列中的关节加权得到中间特征向量，归一化后的中间特征与输入特征相加得到输出特征，空间增强移位模块的输出特征可表示为
7.根据权利要求4所述的一种基于骨架关节点增强时空卷积网络的异常行为识别方法，其特征在于，所述时间移位模块采用时序移位卷积操作，包括：
时空卷积模块的输入特征与空间增强移位模块的输出特征相加作为时间移位模块的输入特征，表示为
在时间维度上连接连续的帧，移位卷积操作后使得每一帧从其相邻帧中获得信息；
每个通道设有一个可学习的参数Si去学习网络的移位程度；
移位卷积操作结合1×1卷积学习时序特征，最后经过RELU激活函数后进行BN归一化，叠加时序特征后形成的特征向量为
8.一种基于骨架关节点增强时空卷积网络的异常行为识别系统，其特征在于，包括：
预处理模块，原始数据集预处理后生成多帧骨架序列；
时空卷积模块，所述多帧骨架序列输入至若干个连续的时空卷积模块中，进行关节增强并输出时序特征；
识别模块，所示识别模块将所述时序特征输入至全局平均池化层和分类器得到异常行为识别结果。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现以下任一种方法：
-权利要求1-7任一项所述的方法，或，
-权利要求8所述的系统。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以下任一种方法：
-权利要求1-7任一项所述的方法，或，
-权利要求8所述的系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210568679.9A CN114782998A (zh) | 2022-05-24 | 2022-05-24 | 骨架关节点增强的异常行为识别方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210568679.9A CN114782998A (zh) | 2022-05-24 | 2022-05-24 | 骨架关节点增强的异常行为识别方法、系统、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114782998A true CN114782998A (zh) | 2022-07-22 |
Family
ID=82409713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210568679.9A Pending CN114782998A (zh) | 2022-05-24 | 2022-05-24 | 骨架关节点增强的异常行为识别方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114782998A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115223099A (zh) * | 2022-08-02 | 2022-10-21 | 上海三力信息科技有限公司 | 一种托育儿童在校安全智慧监护方法 |
| CN115294228A (zh) * | 2022-07-29 | 2022-11-04 | 北京邮电大学 | 基于模态引导的多图人体姿态生成方法及装置 |
| CN116019681A (zh) * | 2022-12-21 | 2023-04-28 | 力之医疗科技(广州)有限公司 | 一种基于多模态行为理解的三方共享控制康复训练系统 |
| CN116403162A (zh) * | 2023-04-11 | 2023-07-07 | 南京航空航天大学 | 一种机场场面目标行为识别方法、系统及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111652124A (zh) * | 2020-06-02 | 2020-09-11 | 电子科技大学 | 一种基于图卷积网络的人体行为识别模型的构建方法 |
| CN113343901A (zh) * | 2021-06-28 | 2021-09-03 | 重庆理工大学 | 基于多尺度注意力图卷积网络的人体行为识别方法 |
| WO2022000420A1 (zh) * | 2020-07-02 | 2022-01-06 | 浙江大学 | 人体动作识别方法、人体动作识别系统及设备 |
-
2022
- 2022-05-24 CN CN202210568679.9A patent/CN114782998A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111652124A (zh) * | 2020-06-02 | 2020-09-11 | 电子科技大学 | 一种基于图卷积网络的人体行为识别模型的构建方法 |
| WO2022000420A1 (zh) * | 2020-07-02 | 2022-01-06 | 浙江大学 | 人体动作识别方法、人体动作识别系统及设备 |
| CN113343901A (zh) * | 2021-06-28 | 2021-09-03 | 重庆理工大学 | 基于多尺度注意力图卷积网络的人体行为识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李凡甲: "基于骨架序列的人体行为识别模型研究", 《博士电子期刊》, 15 April 2022 (2022-04-15) * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115294228A (zh) * | 2022-07-29 | 2022-11-04 | 北京邮电大学 | 基于模态引导的多图人体姿态生成方法及装置 |
| CN115294228B (zh) * | 2022-07-29 | 2023-07-11 | 北京邮电大学 | 基于模态引导的多图人体姿态生成方法及装置 |
| CN115223099A (zh) * | 2022-08-02 | 2022-10-21 | 上海三力信息科技有限公司 | 一种托育儿童在校安全智慧监护方法 |
| CN116019681A (zh) * | 2022-12-21 | 2023-04-28 | 力之医疗科技(广州)有限公司 | 一种基于多模态行为理解的三方共享控制康复训练系统 |
| CN116403162A (zh) * | 2023-04-11 | 2023-07-07 | 南京航空航天大学 | 一种机场场面目标行为识别方法、系统及电子设备 |
| CN116403162B (zh) * | 2023-04-11 | 2023-10-27 | 南京航空航天大学 | 一种机场场面目标行为识别方法、系统及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114782998A (zh) | 骨架关节点增强的异常行为识别方法、系统、设备及介质 | |
| WO2021043112A1 (zh) | 图像分类方法以及装置 | |
| Muhammad et al. | Convolutional neural networks based fire detection in surveillance videos | |
| Singh et al. | A deeply coupled ConvNet for human activity recognition using dynamic and RGB images | |
| CN106407889B (zh) | 基于光流图深度学习模型在视频中人体交互动作识别方法 | |
| CN112990211B (zh) | 一种神经网络的训练方法、图像处理方法以及装置 | |
| CN111914997B (zh) | 训练神经网络的方法、图像处理方法及装置 | |
| CN108875708A (zh) | 基于视频的行为分析方法、装置、设备、系统及存储介质 | |
| CN113011562B (zh) | 一种模型训练方法及装置 | |
| WO2019227479A1 (zh) | 人脸旋转图像的生成方法及装置 | |
| CN112084917B (zh) | 一种活体检测方法及装置 | |
| CN112543936B (zh) | 用于动作识别的动作结构自注意力图卷积网络模型 | |
| CN108154236A (zh) | 用于评估群组层面的认知状态的技术 | |
| GB2584400A (en) | Processing captured images | |
| WO2022088176A1 (en) | Actional-structural self-attention graph convolutional network for action recognition | |
| CN111797881B (zh) | 图像分类方法及装置 | |
| CN110222718A (zh) | 图像处理的方法及装置 | |
| CN111444957B (zh) | 图像数据处理方法、装置、计算机设备和存储介质 | |
| CN111598032B (zh) | 一种基于图神经网络的群体行为识别方法 | |
| Sudha et al. | On-road driver facial expression emotion recognition with parallel multi-verse optimizer (PMVO) and optical flow reconstruction for partial occlusion in internet of things (IoT) | |
| Cao et al. | QMEDNet: A quaternion-based multi-order differential encoder–decoder model for 3D human motion prediction | |
| CN114708173A (zh) | 图像融合方法、计算机程序产品、存储介质及电子设备 | |
| CN111626212B (zh) | 图片中对象的识别方法和装置、存储介质及电子装置 | |
| CN117037244A (zh) | 人脸安全检测方法、装置、计算机设备和存储介质 | |
| CN113313133A (zh) | 一种生成对抗网络的训练方法、动画图像生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |