CN116311374A - 一种化工厂工人异常行为识别与预警方法及系统 - Google Patents
一种化工厂工人异常行为识别与预警方法及系统 Download PDFInfo
- Publication number
- CN116311374A CN116311374A CN202310304191.XA CN202310304191A CN116311374A CN 116311374 A CN116311374 A CN 116311374A CN 202310304191 A CN202310304191 A CN 202310304191A CN 116311374 A CN116311374 A CN 116311374A
- Authority
- CN
- China
- Prior art keywords
- workers
- model
- algorithm
- abnormal
- chemical plant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 61
- 239000000126 substance Substances 0.000 title claims abstract description 42
- 230000006399 behavior Effects 0.000 claims abstract description 33
- 230000008569 process Effects 0.000 claims abstract description 31
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 24
- 230000005484 gravity Effects 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 8
- 230000002431 foraging effect Effects 0.000 claims description 7
- 238000011423 initialization method Methods 0.000 claims description 6
- 238000013459 approach Methods 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 230000009189 diving Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- FLDSMVTWEZKONL-AWEZNQCLSA-N 5,5-dimethyl-N-[(3S)-5-methyl-4-oxo-2,3-dihydro-1,5-benzoxazepin-3-yl]-1,4,7,8-tetrahydrooxepino[4,5-c]pyrazole-3-carboxamide Chemical compound CC1(CC2=C(NN=C2C(=O)N[C@@H]2C(N(C3=C(OC2)C=CC=C3)C)=O)CCO1)C FLDSMVTWEZKONL-AWEZNQCLSA-N 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 abstract description 4
- 238000009432 framing Methods 0.000 abstract description 2
- 241000196324 Embryophyta Species 0.000 description 21
- 230000006870 function Effects 0.000 description 10
- 238000012824 chemical production Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 206010010071 Coma Diseases 0.000 description 1
- 241000587213 Litsea coreana Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 210000004916 vomit Anatomy 0.000 description 1
- 230000008673 vomiting Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种化工厂工人异常行为识别与预警方法及系统，包含化工厂工人异常行为数据集建立，工人骨骼关节点检测，工人异常行为识别，异常行为显示与预警四个部分。针对化工厂工人异常行为特点，建立异常行为数据集；将获取的视频数据进行帧化，并对图片进行处理。采用OpenPose算法获取工人骨骼关节点信息；利用改进的STGCN训练行为识别模型，通过改进的AO算法优化STGCN超参数提高模型性能；利用训练完成的模型进行工人行为识别；最终对识别得到的异常行为进行前端展示与预警，便于监管人员查看并处理。与现有技术相比，本发明可以有效的对化工厂工人异常行为进行识别，及时发现隐患，降低风险发生，对工人安全以及生产安全有着重大意义。
Description
技术领域
本发明属于化工安全领域和信息技术领域，具体涉及一种化工厂工人异常行为识别与预警方法及系统。
背景技术
随着经济的快速发展，化工企业的数量在持续的增加。化学工业作为重要的支柱企业更是基础企业，一直受到国家的重点关注。然而随着化学工业的快速发展，化学工业生产的安全问题逐渐凸显。以人为本、生命至上是安全生产必须坚守的红线，安全生产事故频发的严峻形势时刻给我们敲响警钟。因此，必须高度重视化工生产的安全工作，提高预测预警能力，着力从源头避免安全事故，减少损失，以此保障化工企业的长期稳定发展。
如何降低事故发生的概率以及减少人员的伤亡是目前化工企业所必须考虑的。很多时候事故的发生可能由于工人作业过程中不规范操作以及不安全行为，例如人为造成安全装置失效，用手代替工具操作，摔倒，奔跑等。因此对化工厂工人的行为监测与识别显得尤为重要，准确的识别系统可以更及时的发现并处理工人的不安全行为，使得工厂管理人员有着更多的时间处理突发事件，降低事故发生的概率，减少人员的伤亡。
近年来，基于深度学习方法在人体行为识别领域取得了巨大成功。深度学习方法使用图卷积神经网络GCN等自动对人体行为进行识别，不需要人工设计特征。对于传统的识别方式，人工识别成本高昂，普通监控设备也没有高效的预警能力。通过利用人工智能技术对化工厂工人的行为进行识别时，效率要高于监管人员通过肉眼观察，预期可以取得较好的监测、预警效果，更好的提高化工生产的安全性。
发明内容
发明目的：为了有效的提高化工厂工人异常行为识别效率，降低化工生产事故发生的概率，减少人员的伤亡，也为了降低监管成本，本发明公开了一种化工厂工人异常行为识别与预警方法及系统，通过改进的AO优化加入注意力机制的STGCN实现对化工厂工人异常行为识别。
技术方案：本发明提供一种化工厂工人异常行为识别与预警方法，包括如下步骤：
步骤1：针对化工厂工人异常行为特点，采集视频数据，建立异常行为数据集；
步骤2：对采集到的视频数据，将其转化为图片帧，通过OpenPose算法获取到人体骨骼数据；
步骤3：建立改进的STGCN模型，所述改进的STGCN模型为在GCN和TCN中加入Self-Attention机制；
步骤4：通过步骤2获取的数据送入改进的STGCN模型训练，并使用改进的天鹰优化器算法AO对STGCN模型中的超参数进行优化，得到化工厂工人异常行为识别模型；所述改进的AO算法为在AO算法的初始化过程中，使用拉丁超立方代替其原始初始化方法，在天鹰第三种捕食方法中引进社会自由觅食策略；
步骤5：利用步骤4中训练优化后的化工厂工人异常行为识别模型对化工厂监控下的工人行为进行识别，得到工人异常行为识别结果；
步骤6：对于步骤5中获取的工人异常行为识别结果进行前端界面展示，便于监管人员处理，并进行判断是否需要通过警铃提醒工人行为状态是否正确。
进一步地，所述步骤2中利用OpenPose算法获取到人体骨骼数据，OpenPose算法分解步骤如下：
步骤2.1：输入大小为w×h的包含人物的图像，经过VGG-19网络得到人体特征F；
步骤2.2：特征图进入平行的两分支网络对人体的关节点位置进行预测，并得到关节点置信图S和一组关节点亲和域L；
步骤2.3：根据两组信息，通过二分图匹配组成肢体的连接；
步骤2.4：最终得出所有人物的关节点及肢体形态。
进一步地，所述步骤3中建立改进的STGCN模型，具体步骤如下：
步骤3.1：在TCN中采用缩放点积注意力，查询矩阵(query)与键矩阵(key)进行点积得到对应的权重；进一步通过Softmax函数进行归一化处理，最终加权得到注意力，具体公式如下：
其中，Q为查询矩阵，K为键矩阵，V为数值矩阵，A为输入矩阵。
步骤3.2：选取人的关节点作为顶点，相邻关节点之间进行连接；在工人行为分类任务中，首先人体的骨骼点作为图的节点，骨骼点之间的物理骨架连接作为图的边，然后通过图卷积神经网络这样的模型学习不同骨骼点的位置信息和时间信息得到高阶特征，最后根据学习到的特征做行为分类；
步骤3.3：采用注意力机制实现对工人关节点之间进行不同程度的关注，选取重心点为胸口处的骨骼关节点，其余关节点到重心点连线定义为L,具体实现公式如下：
其中，
表示其余骨骼关节点到重心点的平均距离，大小表示骨骼关键点到重心点的远近；
步骤3.4：通过两个网络层结合对时间和空间特征进行提取后，利用softmax函数完成分类预测最终工人的行为，具体公式如下:
y＝softmax(Wa·Va+Wb·Vb) (4)
式中Wa和Wb分别表示两层的权重矩阵，Va和Vb表示两层的网络模型。
进一步地，所述步骤4中改进的天鹰优化器算法AO，具体步骤为：
步骤4.1：设置AO算法的目标函数为异常行为识别准确率并初始化相关参数，包括：种群规模、迭代次数、维度大小；
步骤4.2：利用拉丁超立方初始化代替原有AO算法的种群位置初始化方法；
步骤4.3：根据目标函数计算适应度值，根据计算适应度得出最优解；
步骤4.4：AO算法在优化过程中分为四种方法，具体过程如下：
步骤4.4.1：天鹰在高空中翱翔选择搜索空间X1，并在此区域寻找猎物位置，此过程由数学公式表示为：
其中，X1(t+1)表示t的下一次迭代解，Xb(t)表示第t次迭代的最优解，t，T分别表示当前迭代次数和最大迭代次数；XM(t)表示当前解在第t次迭代时的平均值，N表示种群规模，dim表示问题维度；
步骤4.4.2：通过短滑翔攻击的等高飞行在搜索空间内探索X2，天鹰在空中短暂滑行准备捕捉猎物，此过程由数学公式表示为：
X2(t+1)＝Xb(t)×Levy+XR(t)+(y-x)×rand (6)
其中，Levy表示莱维飞行分布函数，XR(t)表示[1,N]的随机解，s为0.01的常数，u，v是[0,1]之间的随机值，β为1.5的常数，y和x表示螺旋形状搜索，具体表达式如下：
其中，r1表示1到20的搜索周期指数，D1表示从1到搜索空间dim的整数矩阵，ω为0.005的常数；
步骤4.4.3：慢速下降攻击的低空飞行在收敛搜索空间中探索X3，天鹰慢速低空飞行接近猎物，对猎物发动攻击，此过程由数学公式表示为：
X3(t+1)＝(Xb(t)-XM(t))×α-rand+[(UB-LB)×rand+LB]×δ (10)
其中，UB，LB表示搜索的上界和下界，α和δ取值为0.1；
步骤4.4.4：在天鹰第三种捕食方法X3中引进社会自由觅食策略，修改后的模型由数学公式表示为：
其中，1表示当前迭代种群中天鹰个体，r2，r3为[0,1]之间的数，μ为螺旋系数；
步骤4.4.5：通过快速俯冲抓取猎物X4，天鹰向下俯冲，随着猎物的随机运动进行抓捕，此过程由数学公式表示为：
X4(t+1)＝QF×Xb(t)-(G1×X(t)×rand)-G2×Levy+rand×G1 (13)
其中，QF表示平衡搜索策略的函数，X(t)表示第t次迭代的当前解。G1表示猎物在逃跑的过程中天鹰进行的各种运动，G2表示从2到0的递减值；
步骤4.5：通过AO优化过程中四种方法不断更新当前解，并同步更新全局最优解；
步骤4.6：通过给定的最大迭代次数判断是否达到算法终止条件，若未达到则转到步骤4.3，在规定迭代次数内输出最优结果。
本发明还公开一种化工厂工人异常行为识别与预警系统，包括：
视频采集模块，包括对工人实时监控的网络摄像头；
人体骨骼数据获取模块，用于对采集到的视频数据，将其转化为图片帧，通过OpenPose算法获取到人体骨骼数据；
异常行为识别模块，用于建立改进的STGCN模型，并使用改进的天鹰优化器算法AO对STGCN模型中的超参数进行优化，得到化工厂工人异常行为识别模型；
前端显示预警界面，用于展示工人异常行为的前端界面以及预警部分，通过训练完成的模型识别得出工人行为实时上传前端展示，监管人员通过前端界面提示获取工人是否有异常行为，并进行判断是否需要需要通过警铃提醒工人行为状态是否正确。
有益效果：
(1)本发明应用OpenPose算法获取人体骨骼关节点信息，不再需要人体外貌特征信息的情况下实现行为识别，受外界环境影响较小。
(2)建立改进的STGCN的化工厂工人异常行为识别模型，加入Self-Attention机制，使得模型对工人骨骼信息有用的部分进行重点关注，提高模型准确度。
(3)在模型训练过程中使用改进的AO算法进行参数优化，针对AO算法局部开发能力较弱，易陷入局部最优的问题提出一种改进策略，通过拉丁超立方进行种群初始化，在优化过程中引进社会自由觅食策略，使得天鹰在个体最优的前提下，加强对社会个体学习的能力，提升寻优能力。
(4)通过开发简易的前端界面，实现模型识别结果的展示与预警，监管人员通过前端界面提示获取工人是否有异常行为，并进行判断是否需要需要通过警铃提醒工人行为状态是否正确。
附图说明
图1为本发明的系统流程图；
图2改进的AO算法流程图。
具体实施方式
结合以下附图对本发明作进一步详细说明。实施本发明的过程、条件以及实施方法等，除以下专门提及的内容外，均为本领域的普遍知识，本发明没有特别限制内容。
本发明提供一种化工厂工人异常行为识别与预警系统。系统由视频采集模块、人体骨骼数据获取模块、异常行为识别模块、前端显示预警界面组成，视频采集模块比如实现对工人实时监控的网络摄像头，本地服务器完成运行和训练工人异常行为模型，用于建立改进的STGCN模型，并使用改进的天鹰优化器算法AO对STGCN模型中的超参数进行优化，得到化工厂工人异常行为识别模型。前端显示预警界面，用于展示工人异常行为的前端界面以及预警部分，通过训练完成的模型识别得出工人行为实时上传前端展示，监管人员通过前端界面提示获取工人是否有异常行为，并进行判断是否需要需要通过警铃提醒工人行为状态是否正确。在本地服务器中完成OpenPose算法获取工人骨骼关节点信息，改进STGCN识别模型的训练。若干显示器用于显示识别完成的工人异常行为并进行预警。
本发明还提出了一种利用上述系统进行化工厂工人异常行为识别与预警方法，如图1为该方法的流程图，具体包括以下步骤：
步骤1：针对化工厂工人异常行为特点，建立异常行为数据集。首先进行异常行为的定义，例如工厂化危险气体泄漏导致的呕吐、昏迷或是违规用手接触化工原料、攀爬生产设备、吃东西、对化工生产设备进行破坏、用手代替工具操作等行为，进一步获取对应行为的工人视频数据集。
步骤2：对采集到的视频数据，将其转化为图片帧，采用OpenPose算法获取工人骨骼关节点信息，然后对数据进行标注整理，获取工人异常行为骨骼数据集。
(1)输入大小为w×h的包含人物的图像，经过VGG-19网络得到人体特征F。
(2)特征图进入平行的两分支网络对人体的关节点位置进行预测，并得到关节点置信图S和一组关节点亲和域L；
(3)根据两组信息，通过二分图匹配(Bipartite Matching)组成肢体的连接(PartAssociation)；
(4)最终得出所有人物的关节点及肢体形态。
步骤3：建立改进的STGCN的化工厂工人异常行为识别模型，改进具体操作为在GCN和TCN中加入Self-Attention机制，使得STGCN在对步骤2中获取的骨骼关键点的时间信息以及空间信息处理时，对有用信息进行重点关注。利用注意力机制进一步突出骨骼关键点信息的作用，提高识别精度。
TCN网络在提取时间序列方面具有优势，但是对于空间特征的提取效果较差，而图卷积网络GCN在对于空间特征的提取更有优势。通过两者结合并且在GCN和TCN中加入Self-Attention机制，使得模型对工人骨骼信息有用的部分进行重点关注，具体步骤如下：
(1)在TCN中采用缩放点积注意力，查询矩阵(query)与键矩阵(key)进行点积得到对应的权重。进一步通过Softmax函数进行归一化处理，最终加权得到注意力，具体公式如下：
其中，Q为查询矩阵，K为键矩阵，V为数值矩阵，A为输入矩阵。
(2)GCN更好的解决连续视频帧中空间特征提取不充分问题。选取人的关节点作为顶点，相邻关节点之间进行连接。在工人行为分类任务中，首先人体的骨骼点作为图的节点，骨骼点之间的物理骨架连接作为图的边；然后通过图卷积神经网络这样的模型学习不同骨骼点的位置信息和时间信息得到高阶特征；最后根据学习到的特征做行为分类。
(3)为了进一步提高识别的精度，采用注意力机制实现对工人关节点之间进行不同程度的关注，提高关键骨骼点的作用。选取重心点为胸口处的骨骼关节点，其余关节点到重心点连线定义为L,具体实现公式如下：
其中，
表示其余骨骼关节点到重心点的平均距离，大小表示骨骼关键点到重心点的远近。
(4)：通过两个网络层结合对时间和空间特征进行提取后，利用softmax函数完成分类预测最终工人的行为，具体公式如下:
y＝softmax(Wa·Va+Wb·Vb) (4)
其中，Wa和Wb分别表示两层的权重矩阵，Va和Vb表示两层的网络模型。
步骤4：通过步骤3获取的数据送入改进的STGCN训练，并使用改进的天鹰优化器算法AO对STGCN中的超参数进行优化，得到化工厂工人异常行为识别模型。改进的AO算法如图2所示，在AO算法的初始化过程中，使用拉丁超立方代替其原始初始化方法，使得初始化种群覆盖范围更广。在天鹰第三种捕食方法中引进社会自由觅食策略，使得天鹰在个体最优的前提下，加强对社会个体学习的能力，提升寻优能力。
改进的天鹰优化器算法AO，具体步骤为：
步骤4.1：设置AO算法的目标函数为异常行为识别准确率并初始化相关参数，包括：种群规模、迭代次数、维度大小。
步骤4.2：利用拉丁超立方初始化代替原有AO算法的种群位置初始化方法。
步骤4.3：根据目标函数计算适应度值，根据计算适应度得出最优解。
步骤4.4：AO算法在优化过程中分为四种方法，具体过程如下：
(1)天鹰在高空中翱翔选择搜索空间(X1)，并在此区域寻找猎物位置，此过程由数学公式表示为：
其中，X1(t+1)表示t的下一次迭代解，Xb(t)表示第t次迭代的最优解，t，T分别表示当前迭代次数和最大迭代次数。XM(t)表示当前解在第t次迭代时的平均值，N表示种群规模，dim表示问题维度。
(2)通过短滑翔攻击的等高飞行在搜索空间内探索(X2)，天鹰在空中短暂滑行准备捕捉猎物，此过程由数学公式表示为：
X2(t+1)＝Xb(t)×Levy+XR(t)+(y-x)×rand (6)
其中，Levy表示莱维飞行分布函数，XR(t)表示[1,N]的随机解，s为0.01的常数，u，v是[0,1]之间的随机值，β为1.5的常数，y和x表示螺旋形状搜索，具体表达式如下：
其中，r1表示1到20的搜索周期指数，D1表示从1到搜索空间dim的整数矩阵，ω为0.005的常数。
(3)慢速下降攻击的低空飞行在收敛搜索空间中探索(X3)，天鹰慢速低空飞行接近猎物，对猎物发动攻击，此过程由数学公式表示为：
X3(t+1)＝(Xb(t)-XM(t))×α-rand+[(UB-LB)×rand+LB]×δ (10)
其中，UB，LB表示搜索的上界和下界，α和δ取值为0.1。
在天鹰第三种捕食方法(X3)中引进社会自由觅食策略，使得天鹰在个体最优的前提下，加强对社会个体学习的能力，提升寻优能力。修改后的模型由数学公式表示为：
其中，
表示当前迭代种群中天鹰个体，r2，r3为[0,1]之间的数，μ为螺旋系数。
(4)通过快速俯冲抓取猎物(X4)，天鹰向下俯冲，随着猎物的随机运动进行抓捕，此过程由数学公式表示为：
X4(t+1)＝QF×Xb(t)-(G1×X(t)×rand)-G2×Levy+rand×G1 (13)
其中，QF表示平衡搜索策略的函数，X(t)表示第t次迭代的当前解。G1表示猎物在逃跑的过程中天鹰进行的各种运动，G2表示从2到0的递减值。
步骤4.5：通过AO优化过程中四种方法不断更新当前解，并同步更新全局最优解。
步骤4.6：通过给定的最大迭代次数判断是否达到算法终止条件，若未达到则转到步骤4.3，在规定迭代次数内输出最优结果。
步骤5：利用步骤4中训练优化后的化工厂工人异常行为识别模型对化工厂监控下的工人行为进行识别，通过将监控中的工人视频进行视频帧化，送入本地服务器训练好的工人异常行为识别模型中进行识别，得到工人异常行为识别结果将其保存到本地服务器。
步骤6：对于步骤5中获取的工人异常行为识别结果实时的进行前端界面展示与预警，便于监管人员处理，并进行判断是否需要通过警铃提醒工人行为状态是否正确。
上述实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。
Claims (5)
1.一种化工厂工人异常行为识别与预警方法，其特征在于，包括如下步骤：
步骤1：针对化工厂工人异常行为特点，采集视频数据，建立异常行为数据集；
步骤2：对采集到的视频数据，将其转化为图片帧，通过OpenPose算法获取到人体骨骼数据；
步骤3：建立改进的STGCN模型，所述改进的STGCN模型为在GCN和TCN中加入Self-Attention机制；
步骤4：通过步骤2获取的数据送入改进的STGCN模型训练，并使用改进的天鹰优化器算法AO对STGCN模型中的超参数进行优化，得到化工厂工人异常行为识别模型；所述改进的AO算法为在AO算法的初始化过程中，使用拉丁超立方代替其原始初始化方法，在天鹰第三种捕食方法中引进社会自由觅食策略；
步骤5：利用步骤4中训练优化后的化工厂工人异常行为识别模型对化工厂监控下的工人行为进行识别，得到工人异常行为识别结果；
步骤6：对于步骤5中获取的工人异常行为识别结果进行前端界面展示，便于监管人员处理，并进行判断是否需要通过警铃提醒工人行为状态是否正确。
2.根据权利要求1所述的一种化工厂工人异常行为识别与预警方法，其特征在于，所述步骤2中利用OpenPose算法获取到人体骨骼数据，OpenPose算法分解步骤如下：
步骤2.1：输入大小为w×h的包含人物的图像，经过VGG-19网络得到人体特征F；
步骤2.2：特征图进入平行的两分支网络对人体的关节点位置进行预测，并得到关节点置信图S和一组关节点亲和域L；
步骤2.3：根据两组信息，通过二分图匹配组成肢体的连接；
步骤2.4：最终得出所有人物的关节点及肢体形态。
3.根据权利要求1所述的一种化工厂工人异常行为识别与预警方法，其特征在于，所述步骤3中建立改进的STGCN模型，具体步骤如下：
步骤3.1：在TCN中采用缩放点积注意力，查询矩阵(query)与键矩阵(key)进行点积得到对应的权重；进一步通过Softmax函数进行归一化处理，最终加权得到注意力，具体公式如下：
其中，Q为查询矩阵，K为键矩阵，V为数值矩阵，A为输入矩阵。
步骤3.2：选取人的关节点作为顶点，相邻关节点之间进行连接；在工人行为分类任务中，首先人体的骨骼点作为图的节点，骨骼点之间的物理骨架连接作为图的边，然后通过图卷积神经网络这样的模型学习不同骨骼点的位置信息和时间信息得到高阶特征，最后根据学习到的特征做行为分类；
步骤3.3：采用注意力机制实现对工人关节点之间进行不同程度的关注，选取重心点为胸口处的骨骼关节点，其余关节点到重心点连线定义为L,具体实现公式如下：
其中，
表示其余骨骼关节点到重心点的平均距离，大小表示骨骼关键点到重心点的远近；
步骤3.4：通过两个网络层结合对时间和空间特征进行提取后，利用softmax函数完成分类预测最终工人的行为，具体公式如下:
y＝softmax(Wa·Va+Wb·Vb)(4)
式中Wa和Wb分别表示两层的权重矩阵，Va和Vb表示两层的网络模型。
4.根据权利要求3所述的一种化工厂工人异常行为识别与预警方法，其特征在于，所述步骤4中改进的天鹰优化器算法AO，具体步骤为：
步骤4.1：设置AO算法的目标函数为异常行为识别准确率并初始化相关参数，包括：种群规模、迭代次数、维度大小；
步骤4.2：利用拉丁超立方初始化代替原有AO算法的种群位置初始化方法；
步骤4.3：根据目标函数计算适应度值，根据计算适应度得出最优解；
步骤4.4：AO算法在优化过程中分为四种方法，具体过程如下：
步骤4.4.1：天鹰在高空中翱翔选择搜索空间X1，并在此区域寻找猎物位置，此过程由数学公式表示为：
其中，X1(t+1)表示t的下一次迭代解，Xb(t)表示第t次迭代的最优解，t，T分别表示当前迭代次数和最大迭代次数；XM(t)表示当前解在第t次迭代时的平均值，N表示种群规模，dim表示问题维度；
步骤4.4.2：通过短滑翔攻击的等高飞行在搜索空间内探索X2，天鹰在空中短暂滑行准备捕捉猎物，此过程由数学公式表示为：
X2(t+1)＝Xb(t)×Levy+XR(t)+(y-x)×rand (6)
其中，Levy表示莱维飞行分布函数，XR(t)表示[1,N]的随机解，s为0.01的常数，u，v是[0,1]之间的随机值，β为1.5的常数，y和x表示螺旋形状搜索，具体表达式如下：
其中，r1表示1到20的搜索周期指数，D1表示从1到搜索空间dim的整数矩阵，ω为0.005的常数；
步骤4.4.3：慢速下降攻击的低空飞行在收敛搜索空间中探索X3，天鹰慢速低空飞行接近猎物，对猎物发动攻击，此过程由数学公式表示为：
X3(t+1)＝(Xb(t)-XM(t))×α-rand+[(UB-LB)×rand+LB]×δ (10)
其中，UB，LB表示搜索的上界和下界，α和δ取值为0.1；
步骤4.4.4：在天鹰第三种捕食方法X3中引进社会自由觅食策略，修改后的模型由数学公式表示为：
其中，1表示当前迭代种群中天鹰个体，r2，r3为[0,1]之间的数，μ为螺旋系数；
步骤4.4.5：通过快速俯冲抓取猎物X4，天鹰向下俯冲，随着猎物的随机运动进行抓捕，此过程由数学公式表示为：
X4(t+1)＝QF×Xb(t)-(G1×X(t)×rand)-G2×Levy+rand×G1 (13)
其中，QF表示平衡搜索策略的函数，X(t)表示第t次迭代的当前解。G1表示猎物在逃跑的过程中天鹰进行的各种运动，G2表示从2到0的递减值；
步骤4.5：通过AO优化过程中四种方法不断更新当前解，并同步更新全局最优解；
步骤4.6：通过给定的最大迭代次数判断是否达到算法终止条件，若未达到则转到步骤4.3，在规定迭代次数内输出最优结果。
5.一种化工厂工人异常行为识别与预警系统，其特征在于，包括：
视频采集模块，包括对工人实时监控的网络摄像头；
人体骨骼数据获取模块，用于对采集到的视频数据，将其转化为图片帧，通过OpenPose算法获取到人体骨骼数据；
异常行为识别模块，用于建立改进的STGCN模型，并使用改进的天鹰优化器算法AO对STGCN模型中的超参数进行优化，得到化工厂工人异常行为识别模型；
前端显示预警界面，用于展示工人异常行为的前端界面以及预警部分，通过训练完成的模型识别得出工人行为实时上传前端展示，监管人员通过前端界面提示获取工人是否有异常行为，并进行判断是否需要需要通过警铃提醒工人行为状态是否正确。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310304191.XA CN116311374B (zh) | 2023-03-27 | 2023-03-27 | 一种化工厂工人异常行为识别与预警方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310304191.XA CN116311374B (zh) | 2023-03-27 | 2023-03-27 | 一种化工厂工人异常行为识别与预警方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116311374A true CN116311374A (zh) | 2023-06-23 |
| CN116311374B CN116311374B (zh) | 2023-10-20 |
Family
ID=86792455
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310304191.XA Active CN116311374B (zh) | 2023-03-27 | 2023-03-27 | 一种化工厂工人异常行为识别与预警方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116311374B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117350929A (zh) * | 2023-11-07 | 2024-01-05 | 国网浙江省电力有限公司双创中心 | 一种基于改进元启发式算法的电力图像增强优化方法 |
| CN117540883A (zh) * | 2024-01-10 | 2024-02-09 | 山东鲁轻安全评价技术有限公司 | 一种基于ai的安全风险识别分析系统及方法 |
| CN117789301A (zh) * | 2023-12-28 | 2024-03-29 | 淮阴工学院 | 一种应用于车站乘客的危险动作识别方法及系统 |
| CN117876972A (zh) * | 2024-03-12 | 2024-04-12 | 厦门锋联信息技术有限公司 | 基于物联感知的车间安全监管方法及系统 |
| CN118051873A (zh) * | 2024-02-29 | 2024-05-17 | 淮阴工学院 | 一种变电站变压器故障红外图像及声纹识别方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120185809A1 (en) * | 2011-01-19 | 2012-07-19 | Suresh Kadiyala | Architecture optimizer |
| US9779495B2 (en) * | 2013-01-22 | 2017-10-03 | Hitachi, Ltd. | Anomaly diagnosis method and apparatus |
| CN112395945A (zh) * | 2020-10-19 | 2021-02-23 | 北京理工大学 | 基于骨骼关节点的图卷积行为识别方法及装置 |
| CN115115119A (zh) * | 2022-06-29 | 2022-09-27 | 安徽理工大学 | 一种基于灰色关联的oa-gru的短期电力负荷预测方法 |
| CN115311740A (zh) * | 2022-07-26 | 2022-11-08 | 国网江苏省电力有限公司苏州供电分公司 | 一种电网基建现场人体异常行为识别方法及系统 |
-
2023
- 2023-03-27 CN CN202310304191.XA patent/CN116311374B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120185809A1 (en) * | 2011-01-19 | 2012-07-19 | Suresh Kadiyala | Architecture optimizer |
| US9779495B2 (en) * | 2013-01-22 | 2017-10-03 | Hitachi, Ltd. | Anomaly diagnosis method and apparatus |
| CN112395945A (zh) * | 2020-10-19 | 2021-02-23 | 北京理工大学 | 基于骨骼关节点的图卷积行为识别方法及装置 |
| CN115115119A (zh) * | 2022-06-29 | 2022-09-27 | 安徽理工大学 | 一种基于灰色关联的oa-gru的短期电力负荷预测方法 |
| CN115311740A (zh) * | 2022-07-26 | 2022-11-08 | 国网江苏省电力有限公司苏州供电分公司 | 一种电网基建现场人体异常行为识别方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 王文正 等: "钻井过程人员异常行为视频智能识别系统", 安全、健康和环境, no. 02, pages 15 - 20 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117350929A (zh) * | 2023-11-07 | 2024-01-05 | 国网浙江省电力有限公司双创中心 | 一种基于改进元启发式算法的电力图像增强优化方法 |
| CN117789301A (zh) * | 2023-12-28 | 2024-03-29 | 淮阴工学院 | 一种应用于车站乘客的危险动作识别方法及系统 |
| CN117540883A (zh) * | 2024-01-10 | 2024-02-09 | 山东鲁轻安全评价技术有限公司 | 一种基于ai的安全风险识别分析系统及方法 |
| CN117540883B (zh) * | 2024-01-10 | 2024-04-09 | 山东鲁轻安全评价技术有限公司 | 一种基于ai的安全风险识别分析系统及方法 |
| CN118051873A (zh) * | 2024-02-29 | 2024-05-17 | 淮阴工学院 | 一种变电站变压器故障红外图像及声纹识别方法及系统 |
| CN117876972A (zh) * | 2024-03-12 | 2024-04-12 | 厦门锋联信息技术有限公司 | 基于物联感知的车间安全监管方法及系统 |
| CN117876972B (zh) * | 2024-03-12 | 2024-05-07 | 厦门锋联信息技术有限公司 | 基于物联感知的车间安全监管方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116311374B (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116311374B (zh) | 一种化工厂工人异常行为识别与预警方法及系统 | |
| Zheng et al. | A pythagorean-type fuzzy deep denoising autoencoder for industrial accident early warning | |
| CN108830215B (zh) | 基于人员骨架信息的危险行为识别方法 | |
| CN112115963B (zh) | 一种基于迁移学习生成无偏见深度学习模型的方法 | |
| CN110309331A (zh) | 一种基于自监督的跨模态深度哈希检索方法 | |
| CN109993100B (zh) | 基于深层特征聚类的人脸表情识别的实现方法 | |
| CN111488804A (zh) | 基于深度学习的劳保用品佩戴情况检测和身份识别的方法 | |
| CN118095972B (zh) | 一种基于人工智能的海洋生态环境预测评估系统 | |
| CN110321862B (zh) | 一种基于紧致三元损失的行人再识别方法 | |
| CN114842208B (zh) | 一种基于深度学习的电网危害鸟种目标检测方法 | |
| CN108734402B (zh) | 基于虚拟案例的非常规突发事件应急管理决策方法及系统 | |
| CN114283469A (zh) | 一种基于改进YOLOv4-tiny的轻量型目标检测方法及系统 | |
| CN109973331A (zh) | 一种基于bp神经网络的风力发电机组风轮叶片故障诊断算法 | |
| CN112560948B (zh) | 数据偏差下的眼底图分类方法及成像方法 | |
| CN117172598B (zh) | 一种基于云计算的流域水生态鱼类监测管理系统 | |
| CN117436707B (zh) | 基于人工智能的消防安全管理方法及系统 | |
| CN117390184B (zh) | 一种基于大数据技术的网络舆情预警方法及系统 | |
| CN114298183A (zh) | 飞行动作智能识别方法 | |
| CN117390414A (zh) | 一种水利应急排灌设备智能识别定位方法及系统 | |
| CN112667919A (zh) | 一种基于文本数据的个性化社区矫正方案推荐系统及其工作方法 | |
| Yap et al. | Compressing and improving fuzzy rules using genetic algorithm and its application to fault detection | |
| CN108898157B (zh) | 基于卷积神经网络的数值型数据的雷达图表示的分类方法 | |
| CN114970745A (zh) | 物联网智能安防与环境大数据系统 | |
| CN115052018A (zh) | 物联网烟雾与环境参数大数据系统 | |
| CN114067297A (zh) | 一种基于改进Faster RCNN的设备开关状态识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |