CN111985402A - 一种变电站安全围栏翻越行为识别方法、系统及设备 - Google Patents

一种变电站安全围栏翻越行为识别方法、系统及设备 Download PDF

Info

Publication number
CN111985402A
CN111985402A CN202010843388.7A CN202010843388A CN111985402A CN 111985402 A CN111985402 A CN 111985402A CN 202010843388 A CN202010843388 A CN 202010843388A CN 111985402 A CN111985402 A CN 111985402A
Authority
CN
China
Prior art keywords
video
sample
optical flow
deep learning
image sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010843388.7A
Other languages
English (en)
Other versions
CN111985402B (zh
Inventor
杨英仪
张晓晔
吴昊
麦晓明
王朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of Guangdong Power Grid Co Ltd
Original Assignee
Electric Power Research Institute of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of Guangdong Power Grid Co Ltd filed Critical Electric Power Research Institute of Guangdong Power Grid Co Ltd
Priority to CN202010843388.7A priority Critical patent/CN111985402B/zh
Publication of CN111985402A publication Critical patent/CN111985402A/zh
Application granted granted Critical
Publication of CN111985402B publication Critical patent/CN111985402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Abstract

本发明公开了一种变电站安全围栏翻越行为识别方法、系统及设备。本发明通过在正样本以及负样本的基础上构建视频数据集D1，在视频数据集D1的基础上得到骨架点图像序列集合K1以及光流视频样本集D2，对人体骨架点图像序列集合K1进行张量投票得到运动流视频样本集D3，并将光流视频样本集D2和运动流视频样本集D3输入到深度学习网络中来进行建模，最后通过训练好的深度学习网络对实时视频进行分类，判断实时视频中是否存在翻越围栏的行为。本发明实施例利用张量投票克服骨架点误差带来的不利影响，并综合考虑了光流和运动流对行为识别的影响来构建深度学习网络，提高了行为识别的准确度。

Description

一种变电站安全围栏翻越行为识别方法、系统及设备
技术领域
本发明涉及图像识别领域，尤其涉及一种变电站安全围栏翻越行为识别方法、系统及设备。
背景技术
变电站是电力网络系统重要的节点。电力网络在进行维修和维护时，经常需要在变电站进行现场作业。由于变电站环境的危险性，现场作业通常是由专业技术人员完成的。但是，由于变电站现场的设备及其间隔有较大的相似性，即便是专业素养较高的技术人员，也可能因为疏忽或误判而走错间隔。一旦在错误的设备上进行操作，不仅会对设备甚至系统造成严重的损害，也有可能对作业人员的人身安全造成伤害。在此情况下，对作业人员进行监控、防止其走错工作区域是一项非常重要的防范措施。
传统上防止变电站现场人员走错工作区域的方式通常是采用安全围栏。安全围栏对作业人员工作范围进行了界定，但有部分安全意识不强的作业人员往往会为了工作方便随意翻越安全围栏进出带电区域或施工现场，从而造成潜在的安全风险。针对这一问题，市场上存在一些电子围栏产品，对违规翻越围栏进行告警提示。但是此类产品的缺点主要是：误报率较高，易损坏，维护成本高。在变电站作业现场中，其应用效果并不理想。
近年来，以深度学习为代表的人工智能技术取得了重要进展，利用视频分析的行为识别也得到发展。目前利用深度学习的视频行为识别相对于非深度学习方法取得了较大进步，但仍存在一些不足。但现有技术的缺点主要表现在：第一，基于深度学习的行为识别，大多数方法采用单一信息作为模型输入，例如图像序列、图像光流等，没有综合考虑其他因素，导致行为识别的准确率低；第二，利用骨架点进行运动特征提取时，容易被噪声信息干扰，导致特征提取不准确，进而降低了行为识别的准确率。
综上所述，现有技术中采用深度学习对行为进行识别时，存在着行为识别准确率低的技术问题。
发明内容
本发明提供了一种变电站安全围栏翻越行为识别方法、系统及设备，用于解决现有技术中采用深度学习对行为进行识别时，存在着行为识别准确率低的技术问题。
本发明提供的一种变电站安全围栏翻越行为识别方法，其特征在于，包括以下步骤：
获取工人翻越围栏的视频作为正样本，获取工人正常行走的视频作为负样本，基于正样本和负样本构建视频数据集D1；
采用姿态估计算法对视频数据集D1进行人体骨架提取，得到人体骨架点图像序列集合K1；
对人体骨架点图像序列集合K1进行张量投票，得到骨架关联图像序列集合，基于骨架关联图像序列集合得到运动流视频样本集D3；
采用光流算法计算视频数据集D1的光流，得到光流图像序列，基于光流图像序列得到光流视频样本集D2；
构建深度学习网络，将光流视频样本集D2以及运动流视频样本集D3输入到深度学习网络中进行训练，得到训练好的深度学习网络；
获取变电站安全围栏的实时视频，将实时视频输入到训练好的深度学习网络中，通过训练好的深度学习网络对实时视频进行分类，根据分类的结果判断实时视频中是否存在翻越围栏的行为。
优选的，基于正样本和负样本构建视频数据集D1的具体过程为：
对正样本和负样本进行标注，将正样本标注为翻越，将负样本标注为未翻越；
对经过标注的正样本以及经过标注的负样本进行预处理，得到正样本的每一帧图像以及负样本的每一帧图像；
在正样本的每一帧图像以及负样本的每一帧图像上标注出工人的人体关键点，完成视频数据集D1的构建。
优选的，对经过标注的正样本以及经过标注的负样本进行预处理，得到正样本的每一帧图像以及负样本的每一帧图像的过程为：
从经过标注的正样本以及经过标注的负样本中提取出每一帧的图像；
对每一帧图像进行滤波处理，将经过处理后的每一帧图像缩放到统一尺寸，从而得到正样本的每一帧图像以及负样本的每一帧图像。
优选的，在经过预处理的正样本和经过预处理的负样本上标注出工人的人体关键点的具体过程为：
采用25点人体骨架点标注模式在正样本的每一帧图像以及负样本的每一帧图像上标注出工人的人体关键点。
优选的，采用姿态估计算法对视频数据集D1进行人体骨架提取，得到骨架点图像序列集合K1的具体过程为：
将视频数据集输入到VGG-19卷积网络中提取特征，得到关节点的特征图；
将关节点的特征图输入到两分支多阶段CNN神经网络中，两分支多阶段CNN神经网络的第一分支输出人体关键点热力图，第二分支输出人体关键点亲和场；
基于人体关键点热力图和人体关键点亲和场，采用图论的偶匹配法将同一个工人的关节点进行连接，得到工人的整体骨架；
基于人体关键点亲和场以及工人的整体骨架，采用匈牙利算法求解多人人体解析，得到骨架点图像序列集合K1。
优选的，对人体骨架点图像序列集合K1进行张量投票，得到骨架关联图像序列集合的具体过程为：
将人体骨架点图像序列集合K1转化为稀疏张量矩阵；
对投票后的稀疏张量矩阵进行特征分解，得到特征值；
将特征值从大到小进行排序，得到特征值序列，对特征值序列中的第一个特征值和第二个特征值求差并进行归一化，得到骨架点关联图，进而得到骨架点关联图序列。
优选的，深度学习网络包括图卷积网络以及三维卷积网络。
优选的，将光流视频样本集D2以及运动流视频样本集D3输入到深度学习网络中进行训练的具体过程为：
将运动流视频样本集D3输入到图卷积网络中进行运动特征提取，将光流视频样本集D2输入到三维卷积网络中进行光流特征提取，将提取到的运动特征以及光流特征进行连接，将连接后的运动特征以及光流特征输入到softmax层进行分类，得到翻越围栏视频以及未翻越围栏视频，根据分类结果对深度学习网络的参数进行调整，直至翻越围栏视频只包含正样本，未翻越围栏视频只包含负样本为止，从而得到训练好的深度学习网络。
一种变电站安全围栏翻越行为识别系统，包括视频数据集模块、骨架点图像序列集合模块、运动流视频样本集模块、光流视频样本集模块、深度学习网络训练模块以及实时行为识别模块；
视频数据集模块用于获取工人翻越围栏的视频作为正样本，获取工人正常行走的视频作为负样本，基于正样本和负样本构建视频数据集D1；
骨架点图像序列集合模块用于采用姿态估计算法对视频数据集D1进行人体骨架提取，得到骨架点图像序列集合K1；
运动流视频样本集模块用于对人体骨架点图像序列集合K1进行张量投票，得到骨架关联图像序列集合，基于骨架关联图像序列集合得到运动流视频样本集D3；
光流视频样本集模块用于采用光流算法计算视频数据集D1的光流，得到光流图像序列，基于光流图像序列得到光流视频样本集D2；
深度学习网络训练模块用于构建深度学习网络，将光流视频样本集D2以及运动流视频样本集D3输入到深度学习网络中进行训练，得到训练好的深度学习网络；
实时行为识别模块用于获取变电站安全围栏的实时视频，将实时视频输入到训练好的深度学习网络中，通过训练好的深度学习网络对实时视频进行分类，根据分类的结果判断实时视频中是否存在翻越围栏的行为。
一种变电站安全围栏翻越行为识别设备，包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行上述的一种变电站安全围栏翻越行为识别方法。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明实施例通过在正样本以及负样本的基础上构建视频数据集D1，在视频数据集D1的基础上得到骨架点图像序列集合K1以及光流视频样本集D2，对人体骨架点图像序列集合K1进行张量投票得到运动流视频样本集D3，并将光流视频样本集D2和运动流视频样本集D3输入到深度学习网络中来进行建模，最后通过训练好的深度学习网络对实时视频进行分类，判断是否存在翻越围栏的行为。本发明实施例利用张量投票克服骨架点误差带来的不利影响，并综合考虑了光流和运动流对行为识别的影响来构建深度学习网络，从而提高了行为识别的准确度，解决了现有技术采用深度学习对行为进行识别时，存在着行为识别准确率低的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种变电站安全围栏翻越行为识别方法、系统及设备的方法流程图。
图2为本发明实施例提供的一种变电站安全围栏翻越行为识别方法、系统及设备的25点人体骨架点标注模式的示意图。
图3为本发明实施例提供的一种变电站安全围栏翻越行为识别方法、系统及设备的两分支多阶段CNN神经网络的工作流程图示意图。
图4为本发明实施例提供的一种变电站安全围栏翻越行为识别方法、系统及设备的系统框架图。
图5为本发明实施例提供的一种变电站安全围栏翻越行为识别方法、系统及设备的设备框架图。
具体实施方式
本发明实施例提供了一种变电站安全围栏翻越行为识别方法、系统及设备，用于解决现有技术中采用深度学习对行为进行识别时，存在着行为识别准确率低的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明实施例提供的一种变电站安全围栏翻越行为识别方法、系统及设备的方法流程图。
如图1所示，本发明提供实施例的一种变电站安全围栏翻越行为识别方法，包括以下步骤：
分别拍摄工人翻越围栏的视频以及工人正常行走的视频，视频包含不同的天气条件以及不同的光照；将工人翻越围栏的视频作为正样本，获取工人正常行走的视频作为负样本，基于正样本和负样本构建视频数据集D1；通过获取正样本以及负样本来构建视频数据集D1，以便为后续对深度学习网络进行训练；
采用姿态估计算法对视频数据集D1进行人体骨架提取，得到人体骨架点图像序列集合K1；姿态估计算法通过对图像的观察来识别人体姿态，人体姿态由关节关键点和刚性部分组成，在本实施例中，姿态估计算法采用OpenPose算法，OpenPose是一种自底向上的算法，基于卷积神经网络和监督学习，可以实现人的面部表情、躯干和四肢甚至手指的跟踪，不仅适用于单人也适用于多人，同时具有较好的鲁棒性。
对人体骨架点图像序列集合K1进行张量投票，得到骨架关联图像序列集合，张量投票是一种提取图像特征的方法，张量投票利用张量鲁棒性强的特性，提取图像中点、线、面特征的特点，并消除图像中孤立点显著性，从而突出所提取的线、面特征并重新构建图像，达到去除噪声，突出边缘的效果；基于骨架关联图像序列集合得到运动流视频样本集D3；
采用光流算法计算视频数据集D1的光流，得到光流图像序列，基于光流图像序列得到光流视频样本集D2；光流是空间运动物体在观察成像平面上的像素运动的瞬时速度，利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息，通常将二维图像平面特定坐标点上的灰度瞬时变化率定义为光流矢量。在本实施例中，采用Lucas–Kanade光流算法计算视频数据集D1的光流。
构建深度学习网络，将光流视频样本集D2以及运动流视频样本集D3输入到深度学习网络中进行训练，通过深度学习网络对样本集进行分类，根据分类结果对深度学习网络的参数进行调整，直至翻越围栏视频只包含正样本，未翻越围栏视频只包含负样本为止，从而得到训练好的深度学习网络。
获取变电站安全围栏的实时视频，将实时视频输入到训练好的深度学习网络中，通过训练好的深度学习网络对实时视频进行分类，根据分类的结果判断实时视频中是否存在翻越围栏的行为。
实施例2
分别拍摄工人翻越围栏的视频以及工人正常行走的视频，视频包含不同的天气条件以及不同的光照；将工人翻越围栏的视频作为正样本，获取工人正常行走的视频作为负样本，基于正样本和负样本构建视频数据集D1；通过获取正样本以及负样本来构建视频数据集D1，以便为后续对深度学习网络进行训练；
需要进一步说明的是，基于正样本和负样本构建视频数据集D1的具体过程为：
分别对正样本和负样本进行标注，由于正样本为工人翻越围栏的视频，因此将正样本标注为翻越，由于负样本为工人正常行走的视频，因此将负样本标注为未翻越；
从经过标注的正样本以及经过标注的负样本中提取出视频每一帧的图像；
对每一帧图像进行滤波处理，从而去除图像中的噪音，降低噪音的干扰，将经过处理后的每一帧图像缩放到统一尺寸，如800*600像素，得到正样本的每一帧图像以及负样本的每一帧图像。
采用25点人体骨架点标注模式在正样本的每一帧图像以及负样本的每一帧图像上标注出工人的人体关键点，25点分别位于脊柱底部、脊柱中点、头、脖子、左肩、左肘、左手腕、右肩、右肘、右手腕、右手、左臀、左膝盖、左踝、左脚、右臀、右膝盖、右踝、右脚、左手尖端、左手拇指、右手尖端、右手拇指，其分布图如图2所示；至此，完成视频数据集D1的构建。
采用姿态估计算法对视频数据集D1进行人体骨架提取，得到人体骨架点图像序列集合K1；姿态估计算法通过对图像的观察来识别人体姿态，人体姿态由关节关键点和刚性部分组成，在本实施例中，姿态估计算法采用OpenPose算法，OpenPose是一种自底向上的算法，基于卷积神经网络和监督学习，可以实现人的面部表情、躯干和四肢甚至手指的跟踪，不仅适用于单人也适用于多人，同时具有较好的鲁棒性。
需要进一步说明的是，采用OpenPose算法对视频数据集D1进行人体骨架提取，得到骨架点图像序列集合K1的具体过程为：
将视频数据集D1输入到VGG-19卷积网络中提取特征，为了增加感受野，同时局部不能模糊，视频数据集D1中的图像会以四个固定尺寸缩放后进入神经网络，得到关节点的特征图；
将关节点的特征图输入到两分支多阶段CNN神经网络中，两分支多阶段CNN神经网络的第一分支输出人体关键点热力图(Part Confidence Maps)，人体关键点热力图表示像素在关节点的高斯响应，离关节点越近的像素，响应值越大；第二分支输出人体关键点亲和场(PartAffinity Fields)；人体关键点亲和场表示骨架位置和骨架上像素的方向，某骨架预测出来的人体关键点亲和场与真实的人体关键点亲和场越接近，则两两关节点联接更亲密，其具体过程如图3所示，其中，F为关节点的特征图，C为卷积层，St是t stage输出的人体关键点热力图；Lt是t stage输出的人体关键点亲和场；stage 1输入为F，之后stage t的输入为F，St-1，Lt-1；每个stage的Loss为St，Lt的预测值和groundtruth之间的L2范数。
基于人体关键点热力图和人体关键点亲和场，采用图论的偶匹配法将同一个工人的关节点进行连接，得到工人的整体骨架；要将各个关节连接成一段骨骼，并将它们组装成整体骨架，则需要将不同的关节点的集合进行唯一匹配，如：一群表示手肘的关节点的集合和手腕的关节点的集合，两关节点的集合中的点必须存在唯一匹配；关节点之间的相关性由人体关键点亲和场已知，将关键点作为图的顶点，将关键点之间的人体关键点亲和场为图的边权，则将多人检测问题转化为二分图匹配问题，采用图论的偶匹配法将同一个工人的关节点进行连接，得到工人的整体骨架。
基于人体关键点亲和场以及工人的整体骨架，采用匈牙利算法求解多人人体解析，得到骨架点图像序列集合K1。
对人体骨架点图像序列集合K1进行张量投票，得到骨架关联图像序列集合，张量投票是一种提取图像特征的方法，张量投票利用张量鲁棒性强的特性，提取图像中点、线、面特征的特点，并消除图像中孤立点显著性，从而突出所提取的线、面特征并重新构建图像，达到去除噪声，突出边缘的效果；基于骨架关联图像序列集合得到运动流视频样本集D3；
需要进一步说明的是，对人体骨架点图像序列集合K1进行张量投票，得到骨架关联图像序列集合的具体过程为：
张量投票采用二维棒形张量投票算法，本质上是通过邻近点之间传递(投票)张量(微分几何信息)的机制，从大量、不可靠(含有噪声、离群点的、微分几何信息估计不准确的)推理其隐含的几何结构，张量投票分为张量编码、张量投票和张量分解三个阶段；
在张量编码阶段中，将人体骨架点图像序列集合K1转化为稀疏张量矩阵；
在张量投票阶段中，对稀疏张量矩阵分别进行稀疏投票以及稠密投票；
在张量分解阶段中，对投票后的稀疏张量矩阵进行特征分解，在二维空间中分解为棒张量分量，获得各张量分量及其显著性，进而根据张量显著性进行结构推理，得到特征值，对投票后的稀疏张量矩阵进行特征分解，得到特征值；将特征值从大到小进行排序，得到特征值序列，对特征值序列中的第一个特征值和第二个特征值求差并进行归一化，得到骨架点关联图，进而得到骨架点关联图序列。
采用光流算法计算视频数据集D1的光流，得到光流图像序列，基于光流图像序列得到光流视频样本集D2；光流是空间运动物体在观察成像平面上的像素运动的瞬时速度，利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息，通常将二维图像平面特定坐标点上的灰度瞬时变化率定义为光流矢量。在本实施例中，采用Lucas–Kanade光流算法计算视频数据集D1的光流，具体过程如下：
假设光流(Vx,Vy,Vz)在一个较小的局部区域(m*m*m,m>1)内是保持不变的，那么从像素1...n,n＝m3中可以得到下列一组方程,然后采用最小二乘的方法来计算每一个点的光流，式中，I代表图像亮度，t是时刻标号；
Ix1Vx+Iy1Vy+Iz1Vz＝-It1
Ix2Vx+Iy2Vy+Iz2Vz＝-It2
IxnVx+IynVy+IznVz＝-Itn
简化为：
Figure BDA0002642233600000101
记作
Figure BDA0002642233600000102
使用最小二乘法ATAv＝ATb，v＝(ATA)-1ATb，求解可得：
Figure BDA0002642233600000103
其中求和是从1到n的和，即光流可通过在四维上图像导数的累加得出。
构建深度学习网络，将光流视频样本集D2以及运动流视频样本集D3输入到深度学习网络中进行训练，通过深度学习网络对样本集进行分类，根据分类结果对深度学习网络的参数进行调整，直至翻越围栏视频只包含正样本，未翻越围栏视频只包含负样本为止，从而得到训练好的深度学习网络，需要进一步说明的是，深度学习网络包括图卷积网络以及三维卷积网络，对深度学习网络进行训练的具体的过程如下：
将运动流视频样本集D3输入到图卷积网络中进行运动特征提取，将光流视频样本集D2输入到三维卷积网络中进行光流特征提取，将提取到的运动特征以及光流特征进行连接，将连接后的运动特征以及光流特征输入到softmax层进行分类，softmax层输出1表示翻越围栏视频，0表示未翻越围栏视频。得到翻越围栏视频以及未翻越围栏视频，根据分类结果对深度学习网络的参数进行调整，直至翻越围栏视频只包含正样本，未翻越围栏视频只包含负样本为止，从而得到训练好的深度学习网络。
获取变电站安全围栏的实时视频，将实时视频输入到训练好的深度学习网络中，通过训练好的深度学习网络对实时视频进行分类，若输出0，则表示实时视频中存在翻越围栏的行为；若输出1，则表示实时视频中不存在翻越围栏的行为。
实施例3
如图4所示，一种变电站安全围栏翻越行为识别系统，包括视频数据集模块201、骨架点图像序列集合模块202、运动流视频样本集模块203、光流视频样本集模块204、深度学习网络训练模块205以及实时行为识别模块206；
视频数据集模块201用于获取工人翻越围栏的视频作为正样本，获取工人正常行走的视频作为负样本，基于正样本和负样本构建视频数据集D1；
骨架点图像序列集合模块202用于采用姿态估计算法对视频数据集D1进行人体骨架提取，得到骨架点图像序列集合K1；
运动流视频样本集模块203用于对人体骨架点图像序列集合K1进行张量投票，得到骨架关联图像序列集合，基于骨架关联图像序列集合得到运动流视频样本集D3；
光流视频样本集模块204用于采用光流算法计算视频数据集D1的光流，得到光流图像序列，基于光流图像序列得到光流视频样本集D2；
深度学习网络训练模块205用于构建深度学习网络，将光流视频样本集D2以及运动流视频样本集D3输入到深度学习网络中进行训练，得到训练好的深度学习网络；
实时行为识别模块206用于获取变电站安全围栏的实时视频，将实时视频输入到训练好的深度学习网络中，通过深度学习网络对实时视频进行分类，根据分类的结果判断实时视频中是否存在翻越围栏的行为。
如图5所示，一种变电站安全围栏翻越行为识别设备30，所述设备包括处理器300以及存储器301；
所述存储器301用于存储程序代码302，并将所述程序代码302传输给所述处理器；
所述处理器300用于根据所述程序代码302中的指令执行上述的一种变电站安全围栏翻越行为识别方法中的步骤。
示例性的，所述计算机程序302可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器301中，并由所述处理器300执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序302在所述终端设备30中的执行过程。
所述终端设备30可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器300、存储器301。本领域技术人员可以理解，图5仅仅是终端设备30的示例，并不构成对终端设备30的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器300可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-ProgrammaBle GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器301可以是所述终端设备30的内部存储单元，例如终端设备30的硬盘或内存。所述存储器301也可以是所述终端设备30的外部存储设备，例如所述终端设备30上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器301还可以既包括所述终端设备30的内部存储单元也包括外部存储设备。所述存储器301用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器301还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种变电站安全围栏翻越行为识别方法，其特征在于，包括以下步骤：
获取工人翻越围栏的视频作为正样本，获取工人正常行走的视频作为负样本，基于正样本和负样本构建视频数据集D1；
采用姿态估计算法对视频数据集D1进行人体骨架提取，得到人体骨架点图像序列集合K1；
对人体骨架点图像序列集合K1进行张量投票，得到骨架关联图像序列集合，基于骨架关联图像序列集合得到运动流视频样本集D3；
采用光流算法计算视频数据集D1的光流，得到光流图像序列，基于光流图像序列得到光流视频样本集D2；
构建深度学习网络，将光流视频样本集D2以及运动流视频样本集D3输入到深度学习网络中进行训练，得到训练好的深度学习网络；
获取变电站安全围栏的实时视频，将实时视频输入到训练好的深度学习网络中，通过训练好的深度学习网络对实时视频进行分类，根据分类的结果判断实时视频中是否存在翻越围栏的行为。
2.根据权利要求1所述的一种变电站安全围栏翻越行为识别方法，其特征在于，基于正样本和负样本构建视频数据集D1的具体过程为：
对正样本和负样本进行标注，将正样本标注为翻越，将负样本标注为未翻越；
对经过标注的正样本以及经过标注的负样本进行预处理，得到正样本的每一帧图像以及负样本的每一帧图像；
在正样本的每一帧图像以及负样本的每一帧图像上标注出工人的人体关键点，完成视频数据集D1的构建。
3.根据权利要求2所述的一种变电站安全围栏翻越行为识别方法，其特征在于，对经过标注的正样本以及经过标注的负样本进行预处理，得到正样本的每一帧图像以及负样本的每一帧图像的过程为：
从经过标注的正样本以及经过标注的负样本中提取出每一帧的图像；
对每一帧图像进行滤波处理，将经过处理后的每一帧图像缩放到统一尺寸，从而得到正样本的每一帧图像以及负样本的每一帧图像。
4.根据权利要求2所述的一种变电站安全围栏翻越行为识别方法，其特征在于，在经过预处理的正样本和经过预处理的负样本上标注出工人的人体关键点的具体过程为：
采用25点人体骨架点标注模式在正样本的每一帧图像以及负样本的每一帧图像上标注出工人的人体关键点。
5.根据权利要求1所述的一种变电站安全围栏翻越行为识别方法，其特征在于，采用姿态估计算法对视频数据集D1进行人体骨架提取，得到骨架点图像序列集合K1的具体过程为：
将视频数据集输入到VGG-19卷积网络中提取特征，得到关节点的特征图；
将关节点的特征图输入到两分支多阶段CNN神经网络中，两分支多阶段CNN神经网络的第一分支输出人体关键点热力图，第二分支输出人体关键点亲和场；
基于人体关键点热力图和人体关键点亲和场，采用图论的偶匹配法将同一个工人的关节点进行连接，得到工人的整体骨架；
基于人体关键点亲和场以及工人的整体骨架，采用匈牙利算法求解多人人体解析，得到骨架点图像序列集合K1。
6.根据权利要求1所述的一种变电站安全围栏翻越行为识别方法，其特征在于，对人体骨架点图像序列集合K1进行张量投票，得到骨架关联图像序列集合的具体过程为：
将人体骨架点图像序列集合K1转化为稀疏张量矩阵；
对稀疏张量矩阵分别进行稀疏投票以及稠密投票；
对投票后的稀疏张量矩阵进行特征分解，得到特征值；
将特征值从大到小进行排序，得到特征值序列，对特征值序列中的第一个特征值和第二个特征值求差并进行归一化，得到骨架点关联图，进而得到骨架点关联图序列。
7.根据权利要求1所述的一种变电站安全围栏翻越行为识别方法，其特征在于，深度学习网络包括图卷积网络以及三维卷积网络。
8.根据权利要求7所述的一种变电站安全围栏翻越行为识别方法，其特征在于，将光流视频样本集D2以及运动流视频样本集D3输入到深度学习网络中进行训练的具体过程为：
将运动流视频样本集D3输入到图卷积网络中进行运动特征提取，将光流视频样本集D2输入到三维卷积网络中进行光流特征提取，将提取到的运动特征以及光流特征进行连接，将连接后的运动特征以及光流特征输入到softmax层进行分类，得到翻越围栏视频以及未翻越围栏视频，根据分类结果对深度学习网络的参数进行调整，直至翻越围栏视频只包含正样本，未翻越围栏视频只包含负样本为止，从而得到训练好的深度学习网络。
9.一种变电站安全围栏翻越行为识别系统，其特征在于，包括视频数据集模块、骨架点图像序列集合模块、运动流视频样本集模块、光流视频样本集模块、深度学习网络训练模块以及实时行为识别模块；
视频数据集模块用于获取工人翻越围栏的视频作为正样本，获取工人正常行走的视频作为负样本，基于正样本和负样本构建视频数据集D1；
骨架点图像序列集合模块用于采用姿态估计算法对视频数据集D1进行人体骨架提取，得到人体骨架点图像序列集合K1；
运动流视频样本集模块用于对人体骨架点图像序列集合K1进行张量投票，得到骨架关联图像序列集合，基于骨架关联图像序列集合得到运动流视频样本集D3；
光流视频样本集模块用于采用光流算法计算视频数据集D1的光流，得到光流图像序列，基于光流图像序列得到光流视频样本集D2；
深度学习网络训练模块用于构建深度学习网络，将光流视频样本集D2以及运动流视频样本集D3输入到深度学习网络中进行训练，得到训练好的深度学习网络；
实时行为识别模块用于获取变电站安全围栏的实时视频，将实时视频输入到训练好的深度学习网络中，通过训练好的深度学习网络对实时视频进行分类，根据分类的结果判断实时视频中是否存在翻越围栏的行为。
10.一种变电站安全围栏翻越行为识别设备，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1～8任一项所述的一种变电站安全围栏翻越行为识别方法。
CN202010843388.7A 2020-08-20 2020-08-20 一种变电站安全围栏翻越行为识别方法、系统及设备 Active CN111985402B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010843388.7A CN111985402B (zh) 2020-08-20 2020-08-20 一种变电站安全围栏翻越行为识别方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010843388.7A CN111985402B (zh) 2020-08-20 2020-08-20 一种变电站安全围栏翻越行为识别方法、系统及设备

Publications (2)

Publication Number Publication Date
CN111985402A true CN111985402A (zh) 2020-11-24
CN111985402B CN111985402B (zh) 2021-09-14

Family

ID=73444181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010843388.7A Active CN111985402B (zh) 2020-08-20 2020-08-20 一种变电站安全围栏翻越行为识别方法、系统及设备

Country Status (1)

Country Link
CN (1) CN111985402B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487926A (zh) * 2020-11-26 2021-03-12 电子科技大学 一种基于时空图卷积网络的景区投喂行为识别方法
CN112634233A (zh) * 2020-12-24 2021-04-09 四川电器集团中低压智能配电有限公司 基于图像检测和分析技术在配电设备中的应用方法
CN113052139A (zh) * 2021-04-25 2021-06-29 合肥中科类脑智能技术有限公司 一种基于深度学习双流网络的攀爬行为检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222578A (zh) * 2007-12-07 2008-07-16 西安电子科技大学 基于判别光流张量和hmm的视频语义单元检测方法
WO2010080121A1 (en) * 2008-12-18 2010-07-15 The Regents Of The University Of California, Santa Cruz Training-free generic object detection in 2-d and 3-d using locally adaptive regression kernels
CN103761510A (zh) * 2014-01-02 2014-04-30 华南理工大学 模拟人类视皮层感知机制的动作识别方法
CN110555368A (zh) * 2019-06-28 2019-12-10 西安理工大学 基于三维卷积神经网络的跌倒行为识别方法
CN111353509A (zh) * 2020-03-31 2020-06-30 广西大学 一种视觉slam系统的关键点提取器生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222578A (zh) * 2007-12-07 2008-07-16 西安电子科技大学 基于判别光流张量和hmm的视频语义单元检测方法
WO2010080121A1 (en) * 2008-12-18 2010-07-15 The Regents Of The University Of California, Santa Cruz Training-free generic object detection in 2-d and 3-d using locally adaptive regression kernels
CN103761510A (zh) * 2014-01-02 2014-04-30 华南理工大学 模拟人类视皮层感知机制的动作识别方法
CN110555368A (zh) * 2019-06-28 2019-12-10 西安理工大学 基于三维卷积神经网络的跌倒行为识别方法
CN111353509A (zh) * 2020-03-31 2020-06-30 广西大学 一种视觉slam系统的关键点提取器生成方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487926A (zh) * 2020-11-26 2021-03-12 电子科技大学 一种基于时空图卷积网络的景区投喂行为识别方法
CN112634233A (zh) * 2020-12-24 2021-04-09 四川电器集团中低压智能配电有限公司 基于图像检测和分析技术在配电设备中的应用方法
CN113052139A (zh) * 2021-04-25 2021-06-29 合肥中科类脑智能技术有限公司 一种基于深度学习双流网络的攀爬行为检测方法及系统

Also Published As

Publication number Publication date
CN111985402B (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
CN111985402B (zh) 一种变电站安全围栏翻越行为识别方法、系统及设备
CN110991274B (zh) 一种基于混合高斯模型和神经网络的行人摔倒检测方法
CN111062340A (zh) 一种基于虚拟姿态样本合成的异常步态行为识别方法
Gonçalves et al. Carcass image segmentation using CNN-based methods
Noe et al. Automatic detection and tracking of mounting behavior in cattle using a deep learning-based instance segmentation model
CN114550212A (zh) 一种基于轻量级模型的羊脸检测与识别方法
CN114973097A (zh) 电力机房内异常行为识别方法、装置、设备及存储介质
CN113160276A (zh) 一种目标跟踪方法、目标跟踪装置及计算机可读存储介质
Hu et al. Object detection in hospital facilities: A comprehensive dataset and performance evaluation
CN114170686A (zh) 一种基于人体关键点的屈肘行为检测方法
Sun et al. Human action recognition using a convolutional neural network based on skeleton heatmaps from two-stage pose estimation
Khavalko et al. Classification and Recognition of Medical Images Based on the SGTM Neuroparadigm.
CN113408435B (zh) 一种安全监控方法、装置、设备和存储介质
CN115019396A (zh) 一种学习状态监测方法、装置、设备及介质
Shaker et al. Cardiac MRI view classification using autoencoder
Hazra et al. A pilot study for investigating gait signatures in multi-scenario applications
Zalameda et al. Generalized Adversarial and Hierarchical Co-occurrence Network based Synthetic Skeleton Generation and Human Identity Recognition
Aiouez et al. Real-time Arabic Sign Language Recognition based on YOLOv5.
Nair et al. Fusion of Bag of Visual Words with Neural Network for Human Action Recognition
Akhtar et al. Human-based Interaction Analysis via Automated Key point Detection and Neural Network Model
Paulose et al. Recurrent neural network for human action recognition using star skeletonization
Hashem et al. Human gait identification system based on transfer learning
Dinh et al. Principal direction analysis-based real-time 3D human pose reconstruction from a single depth image
CN113516232B (zh) 一种基于自注意力机制的穿墙雷达人体姿态重构方法
CN113177442B (zh) 一种基于边缘计算的人体行为检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant