CN114387662A - 煤矿井下人员不安全行为识别方法 - Google Patents

煤矿井下人员不安全行为识别方法 Download PDF

Info

Publication number
CN114387662A
CN114387662A CN202111480775.XA CN202111480775A CN114387662A CN 114387662 A CN114387662 A CN 114387662A CN 202111480775 A CN202111480775 A CN 202111480775A CN 114387662 A CN114387662 A CN 114387662A
Authority
CN
China
Prior art keywords
personnel
behaviors
coal mine
unsafe behaviors
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111480775.XA
Other languages
English (en)
Inventor
杨征
李�杰
伊春
王忠强
于振华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Xiaobaodang Mining Co ltd
Xian University of Science and Technology
Original Assignee
Shaanxi Xiaobaodang Mining Co ltd
Xian University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Xiaobaodang Mining Co ltd, Xian University of Science and Technology filed Critical Shaanxi Xiaobaodang Mining Co ltd
Priority to CN202111480775.XA priority Critical patent/CN114387662A/zh
Publication of CN114387662A publication Critical patent/CN114387662A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G01N33/497—Physical analysis of biological material of gaseous biological material, e.g. breath
    • G01N33/4972—Determining alcohol content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Tourism & Hospitality (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Chemical & Material Sciences (AREA)
  • Economics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Food Science & Technology (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Security & Cryptography (AREA)
  • Analytical Chemistry (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Medicinal Chemistry (AREA)
  • Biochemistry (AREA)
  • Urology & Nephrology (AREA)
  • Hematology (AREA)

Abstract

本发明涉及煤矿安全生产技术领域，且公开了煤矿井下人员不安全行为识别方法，包括以下步骤：步骤一、对入井人员进行酒精检测；步骤二、对入井人员携带的物品及穿戴的衣物进行检查；步骤三、通过人员模拟获取多种预设的不安全行为的多帧连续图像，步骤四、对步骤三的图像信息进行检测，并提取人员在图像中的姿态特征，步骤五、构建提取出能描述人体行为的无向骨架行为特征，步骤六、对步骤五中的行为特征进行分析及分类、步骤七、对井下人员行为图像进行摄取比对，根据比对结果进行后台报警。通过此方法可以对井下人员的不安全行为进行实时识别，识别效果好，减少后台监控人员需求，有效提高煤矿生产的安全性。

Description

煤矿井下人员不安全行为识别方法
技术领域
本发明涉及煤矿安全生产技术领域，具体为煤矿井下人员不安全行为识别方法。
背景技术
我国是世界上最大的煤炭生产和消费国，煤炭行业的持续、健康、稳定发展对国民经济的健康运行影响巨大，煤矿井下工作条件艰苦、环境复杂、事故易发，对我国煤矿事故致因的分析与研究发现，80％以上的煤矿事故源于井下人员的不安全行为。
目前，煤矿井下的操作人员常会因为不符合规范的行为而导致安全事故的发生，给煤矿安全生产以及井下人员的生命安全带来较为严重的威胁，现在虽然会在井下安装监控设备对人员进行监控，但是需要多人专门对监控进行持续的实时查看，才能对井下人员的不安全行为进行识别，此种方式不仅需要大量人员，而且通过人工查看的方式存在查看不及时、漏看的现象，对不安全行为的识别效果不稳定，识别效果较差，因此，提出煤矿井下人员不安全行为识别方法。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了煤矿井下人员不安全行为识别方法，具备可以根据预设不安全行为比对，对井下人员的行为进行实时识别，且识别效果好，减少后台监控人员需求，有效提高煤矿生产的安全性等优点，解决了多人专门对监控进行持续的实时查看，才能对井下人员的不安全行为进行识别，此种方式不仅需要大量人员，而且通过人工查看的方式存在查看不及时、漏看的现象，对不安全行为的识别效果不稳定，识别效果较差的问题。
(二)技术方案
为实现上述可以根据预设不安全行为比对，对井下人员的行为进行实时识别，且识别效果好，减少后台监控人员需求，有效提高煤矿生产的安全性的目的，本发明提供如下技术方案：煤矿井下人员不安全行为识别方法，包括以下步骤：
步骤一、通过专人使用专用的酒精检测设备对入井人员进行酒精检测，对酒精检测值为0的入井人员进行放行；
步骤二、通过专人对入井人员携带的物品及穿戴的衣物进行检查，禁止携带易燃等危险物品下井，禁止穿戴不符合规定的衣物下井；
步骤三、预设若干种煤矿井下人员的不安全行为，并通过人员模拟的方式获取多种不安全行为的多帧连续图像；
步骤四、通过Openpose姿态估计算法从视频序列中定位到人体骨骼关键点的坐标位置，并采用采用多阶段级联的卷积神经网络结构，可对步骤三中获取的多种不安全行为的多帧连续图像中的人体骨架姿态、面部表情、手指状态这三方面信息进行检测，并提取步骤三中人员在各所述图像中的姿态特征；
步骤五、利用步骤四可以得到步骤三中人员在各所述图像中的序列化的骨架姿态信息，利用时空图卷积网络融合图卷积网络和时序卷积网络的优点构造时空图卷积，将单帧人体骨架关键点表示为图节点，人体的自然相连肢体表示为图的边，单帧的骨架图表征了空间域的人体状态信息，同时在相邻帧的同类关键点间构造表示时序信息的边，空间域信息推展到时域上，最后通过在无向骨架图上进行多层时空卷积运算后，可以构建提取出能描述人体行为的无向骨架行为特征。
步骤六、将步骤五中行为特征输入预先训练的行为分析模块，再通过 SoftMax分类器分类到相应的动作类别；
步骤七、通过井下监控系统对人员行为进行监控，并将读取的视频图像信息与步骤六中的行为分析模块进行行为特征进行对比，若对比发现行为符合步骤三中预设的若干种不安全行为，则通知后台并发出警报。
优选的，对煤矿井下的重要设备、重点区域进行位置标记，并将标记信息上传后台，在所述步骤二过程中，在检查合格的下井人员的衣物上装上定位设备，并将下井人员的实时位置信息发送后台，通过将人员实时的位置信息与后台标记信息进行比对，下井人员接近标记信息的位置则发出警告，以防止人员误接触重要设备或闯入重点区域。
优选的，将得到允许接触重要设备或进入重点区域的下井人员的身份信息上传至后台，在此类得到允许的下井人员接触重要设备或重点区域时通过后台比对信息可以不发出警告。
优选的，所述步骤二中的衣物材质为化纤材料。
优选的，所述步骤三中不安全行为包括攀爬、奔跑、脱下安全帽、关闭矿灯、人员打闹、接触重要设备及进入危险区域。
优选的，所述步骤三中人员模拟多种不安全行为时需要在模拟的井下环境进行。
(三)有益效果
与现有技术相比，本发明提供了煤矿井下人员不安全行为识别方法，具备以下有益效果：
1、该煤矿井下人员不安全行为识别方法，通过步骤一，可以有效识别下井人员的喝酒行为，通过步骤二，可以有效识别下井人员携带危险物品及穿戴不符合规定衣物下井的行为，通过步骤三至步骤七，通过对井下人员的监控，并与预设不安全行为比对，对井下人员的不安全行为进行实时识别，识别效果好，减少后台监控人员需求，有效提高煤矿生产的安全性。
2、该煤矿井下人员不安全行为识别方法，通过对井下重要设备、重点区域进行标记，在下井人员进行实时的位置信息监测，可以及时识别井下人员误接触重要设备或闯入重点区域的行为，通过对得到允许接触重要设备或进入重点区域的下井人员的身份信息上传，可以防止误报警现象。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
煤矿井下人员不安全行为识别方法，包括以下步骤：
步骤一、通过专人使用专用的酒精检测设备对入井人员进行酒精检测，对酒精检测值为0的入井人员进行放行；
步骤二、通过专人对入井人员携带的物品及穿戴的衣物进行检查，禁止携带易燃等危险物品下井，禁止穿戴不符合规定的衣物下井；
步骤三、预设若干种煤矿井下人员的不安全行为，并通过人员模拟的方式获取多种不安全行为的多帧连续图像；
步骤四、通过Openpose姿态估计算法从视频序列中定位到人体骨骼关键点的坐标位置，并采用采用多阶段级联的卷积神经网络结构，这种级联结构能使得姿态估计结果能够在前一阶段的基础上不断精细化，进而提升姿态精度，可对步骤三中获取的多种不安全行为的多帧连续图像中的人体骨架姿态、面部表情、手指状态这三方面信息进行检测，并提取步骤三中人员在各所述图像中的姿态特征；
步骤五、利用步骤四可以得到步骤三中人员在各所述图像中的序列化的骨架姿态信息，利用时空图卷积网络融合图卷积网络和时序卷积网络的优点构造时空图卷积，将单帧人体骨架关键点表示为图节点，人体的自然相连肢体表示为图的边，单帧的骨架图表征了空间域的人体状态信息，同时在相邻帧的同类关键点间构造表示时序信息的边，空间域信息推展到时域上，最后通过在无向骨架图上进行多层时空卷积运算后，可以构建提取出能描述人体行为的无向骨架行为特征。
步骤六、将步骤五中行为特征输入预先训练的行为分析模块，再通过 SoftMax分类器分类到相应的动作类别；
步骤七、通过井下监控系统对人员行为进行监控，并将读取的视频图像信息与步骤六中的行为分析模块进行行为特征进行对比，若对比发现行为符合步骤三中预设的若干种不安全行为，则通知后台并发出警报。
对煤矿井下的重要设备、重点区域进行位置标记，并将标记信息上传后台，在步骤二过程中，在检查合格的下井人员的衣物上装上定位设备，并将下井人员的实时位置信息发送后台，通过将人员实时的位置信息与后台标记信息进行比对，下井人员接近标记信息的位置则发出警告，以防止人员误接触重要设备或闯入重点区域，通过对井下重要设备、重点区域进行标记，在下井人员进行实时的位置信息监测，可以及时识别井下人员误接触重要设备或闯入重点区域的行为。
将得到允许接触重要设备或进入重点区域的下井人员的身份信息上传至后台，在此类得到允许的下井人员接触重要设备或重点区域时通过后台比对信息可以不发出警告，通过对得到允许接触重要设备或进入重点区域的下井人员的身份信息上传，可以防止误报警现象。
步骤二中的衣物材质为化纤材料。
步骤三中不安全行为包括攀爬、奔跑、脱下安全帽、关闭矿灯、人员打闹、接触重要设备及进入危险区域。
所述步骤三中人员模拟多种不安全行为时需要在模拟的井下环境进行。
综上所述，该煤矿井下人员不安全行为识别方法，通过步骤一，可以有效识别下井人员的喝酒行为，通过步骤二，可以有效识别下井人员携带危险物品及穿戴不符合规定衣物下井的行为，通过步骤三可以对预设的不安全行为进行模拟并获取多帧连续图像，通过步骤四，可以提取人员在各所述图像中的姿态特征，通过步骤五，可以获取人员在多帧连续图像中的行为特征，通过步骤六及步骤七，可以通过对井下人员的监控，并与预设不安全行为比对，对井下人员的不安全行为进行实时识别，识别效果好，减少后台监控人员需求，有效提高煤矿生产的安全性。
需要说明的是，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.煤矿井下人员不安全行为识别方法，其特征在于：包括以下步骤：
步骤一、通过专人使用专用的酒精检测设备对入井人员进行酒精检测，对酒精检测值为0的入井人员进行放行；
步骤二、通过专人对入井人员携带的物品及穿戴的衣物进行检查，禁止携带易燃等危险物品下井，禁止穿戴不符合规定的衣物下井；
步骤三、预设若干种煤矿井下人员的不安全行为，并通过人员模拟的方式获取多种不安全行为的多帧连续图像；
步骤四、通过Openpose姿态估计算法从视频序列中定位到人体骨骼关键点的坐标位置，并采用采用多阶段级联的卷积神经网络结构，可对步骤三中获取的多种不安全行为的多帧连续图像中的人体骨架姿态、面部表情、手指状态这三方面信息进行检测，并提取步骤三中人员在各所述图像中的姿态特征；
步骤五、利用步骤四可以得到步骤三中人员在各所述图像中的序列化的骨架姿态信息，利用时空图卷积网络融合图卷积网络和时序卷积网络的优点构造时空图卷积，将单帧人体骨架关键点表示为图节点，人体的自然相连肢体表示为图的边，单帧的骨架图表征了空间域的人体状态信息，同时在相邻帧的同类关键点间构造表示时序信息的边，空间域信息推展到时域上，最后通过在无向骨架图上进行多层时空卷积运算后，可以构建提取出能描述人体行为的无向骨架行为特征。
步骤六、将步骤五中行为特征输入预先训练的行为分析模块，再通过SoftMax分类器分类到相应的动作类别；
步骤七、通过井下监控系统对人员行为进行监控，并将读取的视频图像信息与步骤六中的行为分析模块进行行为特征进行对比，若对比发现行为符合步骤三中预设的若干种不安全行为，则通知后台并发出警报。
2.根据权利要求1所述的煤矿井下人员不安全行为识别方法，其特征在于：对煤矿井下的重要设备、重点区域进行位置标记，并将标记信息上传后台，在所述步骤二过程中，在检查合格的下井人员的衣物上装上定位设备，并将下井人员的实时位置信息发送后台，通过将人员实时的位置信息与后台标记信息进行比对，下井人员接近标记信息的位置则发出警告，以防止人员误接触重要设备或闯入重点区域。
3.根据权利要求1所述的煤矿井下人员不安全行为识别方法，其特征在于：将得到允许接触重要设备或进入重点区域的下井人员的身份信息上传至后台，在此类得到允许的下井人员接触重要设备或重点区域时通过后台比对信息可以不发出警告。
4.根据权利要求1所述的煤矿井下人员不安全行为识别方法，其特征在于：所述步骤二中的衣物材质为化纤材料。
5.根据权利要求1所述的煤矿井下人员不安全行为识别方法，其特征在于：所述步骤三中不安全行为包括攀爬、奔跑、脱下安全帽、关闭矿灯、人员打闹、接触重要设备及进入危险区域。
6.根据权利要求1所述的煤矿井下人员不安全行为识别方法，其特征在于：所述步骤三中人员模拟多种不安全行为时需要在模拟的井下环境进行。
CN202111480775.XA 2021-12-06 2021-12-06 煤矿井下人员不安全行为识别方法 Pending CN114387662A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111480775.XA CN114387662A (zh) 2021-12-06 2021-12-06 煤矿井下人员不安全行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111480775.XA CN114387662A (zh) 2021-12-06 2021-12-06 煤矿井下人员不安全行为识别方法

Publications (1)

Publication Number Publication Date
CN114387662A true CN114387662A (zh) 2022-04-22

Family

ID=81196679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111480775.XA Pending CN114387662A (zh) 2021-12-06 2021-12-06 煤矿井下人员不安全行为识别方法

Country Status (1)

Country Link
CN (1) CN114387662A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115098490A (zh) * 2022-08-26 2022-09-23 山东高速信息集团有限公司 一种检测监控重点区域车辆的方法系统
CN116363600A (zh) * 2023-06-01 2023-06-30 深圳恒邦新创科技有限公司 一种动车组检修作业风险预测方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115098490A (zh) * 2022-08-26 2022-09-23 山东高速信息集团有限公司 一种检测监控重点区域车辆的方法系统
CN116363600A (zh) * 2023-06-01 2023-06-30 深圳恒邦新创科技有限公司 一种动车组检修作业风险预测方法及系统
CN116363600B (zh) * 2023-06-01 2023-08-01 深圳恒邦新创科技有限公司 一种动车组检修作业风险预测方法及系统

Similar Documents

Publication Publication Date Title
CN111144263B (zh) 一种建筑工人高坠事故预警方法及装置
CN112766909A (zh) 适用于舰船消防安全的智能管控系统及方法、计算机介质
CN114387662A (zh) 煤矿井下人员不安全行为识别方法
CN111428617A (zh) 一种基于视频图像的配网违规检修行为的识别方法和系统
CN110765848A (zh) 基于人工智能图像处理算法的化工厂人员安全保障系统及预警方法
CN112580995A (zh) 施工安全大数据监督系统与安全风险动态评估方法
CN108449366B (zh) 基于人工智能的关键信息基础设施安全威胁情报分析系统
CN114782988B (zh) 一种面向施工环境的多级安全预警方法
Li et al. Application research of artificial intelligent technology in substation inspection tour
CN115330129A (zh) 一种企业安全风险预警分析方法及系统
CN113191273A (zh) 基于神经网络的油田井场视频目标检测与识别方法及系统
CN116342999A (zh) 超高压变电站开放空间火灾烟雾检测与识别方法
Xiao et al. Real-time object detection for substation security early-warning with deep neural network based on YOLO-V5
CN117151478B (zh) 一种基于卷积神经网络的化工企业风险预警方法及系统
Mwedzi et al. Machine learning applications for fire detection in a residential building
CN111353465A (zh) 基于深度学习技术的变电站人员行为分析方法及系统
CN116471376A (zh) 一种民爆行业智能安全监管系统
CN116030405A (zh) 一种基于人工智能的行人目标的安全护具穿戴监控方法
CN112419091B (zh) 知识图谱驱动的配电网现场作业视频智能安全管控方法
Xie et al. A new anomaly detector of flare pilot based on siamese network
CN114359831A (zh) 一种面向险兆推理的工人临边坠落智能识别系统及方法
CN113256934A (zh) 一种高空作业人员安全检测系统
CN113609925A (zh) 一种lng装卸作业安全管控系统及违规行为识别方法
Cao et al. Research on Human Behavior Feature Recognition and Intelligent Early Warning Methods in Safety Supervision Scene Video based on Yolov7
CN117975372B (zh) 一种基于YOLOv8和Transformer编码器相结合的工地安全检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination