CN110119701B - 基于视觉关系检测的煤矿综采工作面不安全行为识别方法 - Google Patents
基于视觉关系检测的煤矿综采工作面不安全行为识别方法 Download PDFInfo
- Publication number
- CN110119701B CN110119701B CN201910360181.1A CN201910360181A CN110119701B CN 110119701 B CN110119701 B CN 110119701B CN 201910360181 A CN201910360181 A CN 201910360181A CN 110119701 B CN110119701 B CN 110119701B
- Authority
- CN
- China
- Prior art keywords
- image
- coal mine
- unsafe
- mining face
- mine fully
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000003245 coal Substances 0.000 title claims abstract description 130
- 238000005065 mining Methods 0.000 title claims abstract description 70
- 238000001514 detection method Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000000007 visual effect Effects 0.000 title claims abstract description 38
- 230000006399 behavior Effects 0.000 claims abstract description 90
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 238000002372 labelling Methods 0.000 claims abstract description 12
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 11
- 238000012544 monitoring process Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 20
- 238000010586 diagram Methods 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 238000004088 simulation Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 239000000428 dust Substances 0.000 claims description 3
- 238000003707 image sharpening Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000003137 locomotive effect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 241000234314 Zingiber Species 0.000 description 1
- 235000006886 Zingiber officinale Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 235000008397 ginger Nutrition 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Agronomy & Crop Science (AREA)
- Mining & Mineral Resources (AREA)
- Marine Sciences & Fisheries (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Animal Husbandry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于视觉关系检测的煤矿综采工作面不安全行为识别方法，包括：获取煤矿综采工作面的图像数据，对数据进行标注和语义描述，建立煤矿综采工作面不安全行为语义图像数据集；在建立的数据集上构建“人‑机‑环”目标识别算法和视觉关系检测模型，形成图像文本描述；通过语句相似度计算进行图像文本描述语句与煤矿不安全行为数据库中词条进行匹配检索，识别煤矿不安全行为。基于图像理解的方法，不仅能够对识别煤矿工作面中的“人、机、环”对象，还能识别每个对象间的语义关系，可以对煤矿工作面中的不安全行为进行识别，准确率高。
Description
技术领域
本发明涉及信息处理的计算机视觉技术领域，具体地涉及一种基于视觉关系检测的煤矿综采工作面不安全行为识别方法。
背景技术
随着机器学习方法的不断发展和计算机硬件性能的提升，利用机器学习技术对煤矿监控图像进行智能分析处理来达到安全预警的目的已经成为煤矿安全决策的重要依据与手段。目前，相关技术包括煤岩识别、矿工人脸识别、火灾识别等，还有针对煤矿井下安全生产过程中的智能化监测技术，主要有：牛犇针对井下运输机车在运行过程中发生的相撞及伤人等安全事故问题，提出了基于单目视觉测距原理的矿井机车防撞预警系统和装置，可在一定程度上有效预防机车运输事故的发生。蔡利梅针对煤矿井下在生产中的危险区域，通过对视频图像中运动目标行为的研究分析，提出运动目标检测及跟踪定位的方法。万航将智能视频监控技术应用于煤矿井下异常情况的识别，通过图像处理技术及时发现视频中的异常达到灾害预警的目的。贾伟利用智能视频监控技术进行煤矿井下多目标跟踪研究，对矿工进入危险区域进行报警。姜代红对煤矿井下特殊环境，围绕基于矿井监控视频的图像去噪、图像增强、图像拼接、复杂场景情况下的运动目标跟踪识别及行为分析进行研究，针对性的提出解决问题的方法。雷耀花在井下矿工的检测方面使用帧间差分法来完成视频中运动区域的提取及图像背景的更新，之后使用轮廓特征参数以及梯度方向直方图+支持向量机的方法完成井下矿工的检测。现有技术方案提出的都是基于图像识别技术对煤矿工作面中涉及的对象进行识别，不能真正识别出不安全行为。
但是，目前，针对煤矿安全行为识别的却很少。综采工作面是由人、机和环境组成的一种复合系统，煤矿工作面不安全行为的发生是“人-机-环”相互交互造成的，利用传统图像识别技术仅通过监控图像检测出其中的“人-机-环”对象，并不能完整传递其内容，还必须检测出对象间的视觉关系，才能真正发现图像中的语义信息，因此并不能真正识别出不安全行为。本发明因此而来。
发明内容
为了解决上述技术问题，本发明提出了一种基于视觉关系检测的煤矿综采工作面不安全行为识别方法，基于图像理解的方法，不仅能够对识别煤矿工作面中的“人、机、环”对象，还能识别每个对象间的语义关系，可以对煤矿工作面中的不安全行为进行识别，准确率高。
本发明所采用的技术方案是：
一种基于视觉关系检测的煤矿综采工作面不安全行为识别方法，包括以下步骤：
S01：获取煤矿综采工作面的图像数据，对数据进行标注和语义描述，建立煤矿综采工作面不安全行为语义图像数据集；
S02：在建立的数据集上构建“人-机-环”目标识别算法和视觉关系检测模型，形成图像文本描述；
S03：通过语句相似度计算进行图像文本描述语句与煤矿不安全行为数据库中词条进行匹配检索，识别煤矿不安全行为。
优选的技术方案中，所述步骤S01中煤矿综采工作面图像采集途径包括，通过网络搜索得到煤矿综采工作面的监控图像，通过三维模拟安全培训视频中截取综采工作面的图像，通过煤矿企业现场截取煤矿综采工作面的监控图像，及现场模拟不安全行为的图像。
优选的技术方案中，在搜集前期制定图像搜集策略，对采集到的图像进行预处理，进行尘雾图像清晰化和图像增强。
优选的技术方案中，所述步骤S01中对数据进行标注和语义描述包括：
S11：对煤矿综采工作面图像进行标注，包括矿工标注，环境图像划分和大型设备部件化标注，将大型设备拆分成多个部件作为对象；
S12：对煤矿综采工作面图像进行语义描述，按照设定的策略，对每一张图像，分别形成区域描述、对象描述、属性描述、关系描述、区域图根据、场景图构建和问答对构建；所述对象和关系根据煤矿综采工作面不安全行为管理手册中涉及的“人-机-环”的对象和相关关系进行确定；
S13：制定数据集存储格式和开发数据开放接口。
优选的技术方案中，所述步骤S02中形成图像文本描述，包括：
S21：构建Faster R-CNN的检测网络并进行训练，对采集的数据集进行特征提取；
S22：训练区域建议网络，生成高质量的区域建议框，所述区域建议网络和检测网络共享全图的卷积特征，使用Fast R-CNN 进行检测分类，检测图像上“人-机-环”对象的位置和类别；
S23：构建VTransE网络进行视觉关系检测，在目标识别的基础上，训练图像语义理解网络，选择损失函数，并根据训练误差对网络参数进行调优，得到图像的文本描述。
优选的技术方案中，所述步骤S03中的匹配检索包括：
S31：从煤矿综采工作面不安全行为管理手册、操作规程、事故案例和专家经验4个方面整理常见的不安全行为，形成不安全行为数据库；
S32：根据得到的图像文本描述，采用机械分析法分别对不安全行为数据库中的描述词条和图像文本描述语句进行分词处理，提取影响因素对应的关键词；
S33：采用基于多层次融合的语句相似度计算方法，匹配符合图像文本描述的不安全行为词条，识别出图像中不安全行为。
优选的技术方案中，还包括对识别出的不安全行为进行预警。
本发明还公开了一种基于视觉关系检测的煤矿综采工作面不安全行为识别系统，包括：
数据集建立模块，获取煤矿综采工作面的图像数据，对数据进行标注和语义描述，建立煤矿综采工作面不安全行为语义图像数据集；
图像文本描述提取模块，在建立的数据集上构建“人-机-环”目标识别算法和视觉关系检测模型，形成图像文本描述；
不安全行为识别模块，通过语句相似度计算进行图像文本描述语句与煤矿不安全行为数据库中词条进行匹配检索，识别煤矿不安全行为。
优选的技术方案中，所述数据集建立模块中对数据进行标注和语义描述的方法包括：
S11：对煤矿综采工作面图像进行标注，包括矿工标注，环境图像划分和大型设备部件化标注，将大型设备拆分成多个部件作为对象；
S12：对煤矿综采工作面图像进行语义描述，按照设定的策略，对每一张图像，分别形成区域描述、对象描述、属性描述、关系描述、区域图根据、场景图构建和问答对构建；所述对象和关系根据煤矿综采工作面不安全行为管理手册中涉及的“人-机-环”的对象和相关关系进行确定；
S13：制定数据集存储格式和开发数据开放接口。
优选的技术方案中，所述图像文本描述提取模块中形成图像文本描述的方法，包括：
S21：构建Faster R-CNN的检测网络并进行训练，对采集的数据集进行特征提取；
S22：训练区域建议网络，生成高质量的区域建议框，所述区域建议网络和检测网络共享全图的卷积特征，使用Fast R-CNN 进行检测分类，检测图像上“人-机-环”对象的位置和类别；
S23：构建VTransE网络进行视觉关系检测，在目标识别的基础上，训练图像语义理解网络，选择损失函数，并根据训练误差对网络参数进行调优，得到图像的文本描述。
与现有技术相比，本发明的有益效果是：
本发明基于图像理解的方法，不仅能够对识别煤矿工作面中的“人、机、环”对象，还能识别每个对象间的语义关系，对于煤矿工作面中的不安全行为识别提出了一种新的方法，可以对煤矿工作面中的不安全行为进行识别，准确率高。
附图说明
下面结合附图及实施例对本发明作进一步描述：
图1为本发明基于视觉关系检测的煤矿综采工作面不安全行为识别方法的流程图；
图2为本发明煤矿综采工作面监控图像数据集构建方法流程图；
图3为本发明基于“人-机-环”视觉关系检测的图像文本描述方法流程图；
图4为本发明基于语句相似度计算的煤矿综采工作面不安全行为识别方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
实施例
如图1所示，本发明采用“数据采集-模型训练-系统应用”的技术路线，建立基于监控图像语义理解的煤矿综采工作面不安全行为在线预警模型。首先，通过搜索网络图像，抓取三维模拟视频中的场景图像和到煤矿企业现场进行应用数据采集的方式获取数据，随后进行图像数据的预处理，形成统一大小的图像数据，再进行数据标注和描述，建立煤矿综采工作面不安全行为语义图像数据集，然后，在建成的专用数据集上建立“人-机-环”目标识别算法和视觉关系检测模型，形成图像文本描述，最后，通过语句相似度计算进行图像文本描述语句与煤矿不安全行为数据库中词条进行匹配检索，进行识别，根据煤矿综采工作面不安全行为在线预警系统框架搭建应用系统。
1、构建煤矿综采工作面图像数据集
本发明所要建的数据集是在煤矿综采工作面这个有限场景下的应用，因此，数据集的中包括的对象、关系等也都是有限的，但最终算法和模型的好坏也跟建立的数据集有直接关系，因此，第一步就是建立针对煤矿综采工作面这个有限场景下的图像数据集，主要包括图像采集和预处理、图像对象标注和图像语义描述。
如图2所示，包括以下步骤：
（1）煤矿综采工作面图像采集及预处理
煤矿工作面图像采集分三个方面，一是通过网络搜索得到煤矿综采工作面的监控图像，二是通过三维模拟安全培训视频中截取综采工作面的图像，第三是到煤矿企业现场截取煤矿综采工作面的监控图像，其中还包括现场模拟不安全行为的图像。在搜集前期需要制定图像搜集策略，包括图像清晰度、大小等要求。随后，进行图像预处理，由于煤矿综采工作面环境比较差，采集到的图像需要进行尘雾图像清晰化和图像增强等工作。
（2）煤矿综采工作面图像标注策略和语义描述方法
图像的标注和描述按照固定的策略，对每一张图像，分别形成区域描述、对象、属性、关系、区域图、场景图和问答对这样7个主要部分。对象和关系根据煤矿综采工作面不安全行为管理手册中涉及的“人-机-环”的对象和相关关系进行确定。“人-机-环”中“人”只有矿工，“机”包括滚筒采煤机、刮板运输机、液压支架等大型设备，“环”主要指煤壁、环境参数等。由于液压支架等大型设备比较大，在一张监控图像中可能只有整个设备的一部分，所以在对象制定过程中要考虑到有时不安全行为出现的场景可能会涉及设备的一部分，所以，对大型设备可以拆分成多个部件作为对象。最后，制定数据集存储格式和开发数据开放接口，方便目标识别和视觉关系检测算法调用。
2、基于“人-机-环”视觉关系检测的图像文本描述
经过第一步，得到了可用于视觉关系检测的煤矿综采工作面图像数据集，第二步在该数据集上建立“人-机-环”目标识别算法和视觉关系检测算法，为后面的不安全行为识别提供图像语义信息。
如图3所示，包括以下步骤：
（1）基于Faster R-CNN的“人-机-环”目标识别
目标识别是进行视觉关系检测的前提，本步的任务就是在煤矿综采工作面监控图像上提出“人-机-环”目标，并识别该目标的类别。首先，进行煤矿监控图像的特征提取，在图像特征的提取上，卷积神经网络有着极其优越的特性，它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。另外，在处理图像时，图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。在Faster R-CNN的框架下，使用VGG16网络进行特征提取。接着，训练区域建议网络( RegionProposal Network，RPN)，用于生成高质量的区域建议框，它和检测网络共享全图的卷积特征。在目标识别阶段，使用区域建议网络生成建议区域之后，使用Fast R-CNN 进行检测分类。
（2）基于VTransE网络的煤矿综采工作面监控图像“人-机-环”视觉关系检测
视觉关系检测是在目标检测的基础上进行的，通过目标检测可以检测出图像上“人-机-环”对象的位置和类别，接下来就是对这些对象间视觉关系的检测，我们采用VTransE网络进行视觉关系检测，在目标识别的基础上，训练图像语义理解网络，选择损失函数，并根据训练误差对网络参数进行调优，整个过程从目标识别到视觉关系检测是一个整体，该阶段输出图像的文本描述。
3、基于语句相似度计算的煤矿综采工作面不安全行为识别方法
经过前面两步，将获得煤矿综采工作面监控图像上“人-机-环”各个对象的位置、类别以及对象间的视觉关系，形成图像文本描述，然后，基于语句相似度计算在图像文本描述语句和不安全行为数据库中进行匹配检索，最后，根据煤矿综采工作面不安全行为识别预警系统架构，搭建应用系统。具体如图4所示。
（1）基于语句相似度计算的煤矿综采工作面不安全行为匹配方法
从煤矿综采工作面不安全行为管理手册、操作规程、事故案例和专家经验4 个方面整理常见的不安全行为，形成不安全行为数据库。经过第二步得到的图像文本描述，需要在不安全行为数据库中进行检索匹配，从而判断图像中的行为是否安全。采用机械分析法分别对不安全行为数据库中的描述词条和图像文本描述语句进行分词处理，提取影响因素对应的关键词。然后，采用基于多层次融合的语句相似度计算方法，匹配符合图像文本描述的不安全行为词条，从而识别出图像中不安全行为。
（2）基于图像理解的煤矿综采工作面不安全行为识别预警系统
在现有综采工作面监控系统的基础上，利用前面得到的不安全行为识别模型，结合具体应用场景，搭建应用系统，在煤矿现场进行不安全行为检测，对灾害预测模型进行评价。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (7)
1.一种基于视觉关系检测的煤矿综采工作面不安全行为识别方法，其特征在于，包括以下步骤：
S01：获取煤矿综采工作面的图像数据，对数据进行标注和语义描述，建立煤矿综采工作面不安全行为语义图像数据集；
S02：在建立的数据集上构建“人-机-环”目标识别算法和视觉关系检测模型，形成图像文本描述；
S03：通过语句相似度计算进行图像文本描述语句与煤矿不安全行为数据库中词条进行匹配检索，识别煤矿不安全行为；
所述步骤S02中形成图像文本描述，包括：
S21：构建Faster R-CNN的检测网络并进行训练，对采集的数据集进行特征提取；
S22：训练区域建议网络，生成高质量的区域建议框，所述区域建议网络和检测网络共享全图的卷积特征，使用Fast R-CNN进行检测分类，检测图像上“人-机-环”对象的位置和类别；
S23：构建VTransE网络进行视觉关系检测，在目标识别的基础上，训练图像语义理解网络，选择损失函数，并根据训练误差对网络参数进行调优，得到图像的文本描述；
所述步骤S03中的匹配检索包括：
S31：从煤矿综采工作面不安全行为管理手册、操作规程、事故案例和专家经验4个方面整理常见的不安全行为，形成不安全行为数据库；
S32：根据得到的图像文本描述，采用机械分析法分别对不安全行为数据库中的描述词条和图像文本描述语句进行分词处理，提取影响因素对应的关键词；
S33：采用基于多层次融合的语句相似度计算方法，匹配符合图像文本描述的不安全行为词条，识别出图像中不安全行为。
2.根据权利要求1所述的基于视觉关系检测的煤矿综采工作面不安全行为识别方法，其特征在于，所述步骤S01中煤矿综采工作面图像采集途径包括，通过网络搜索得到煤矿综采工作面的监控图像，通过三维模拟安全培训视频中截取综采工作面的图像，通过煤矿企业现场截取煤矿综采工作面的监控图像，及现场模拟不安全行为的图像。
3.根据权利要求2所述的基于视觉关系检测的煤矿综采工作面不安全行为识别方法，其特征在于，在搜集前期制定图像搜集策略，对采集到的图像进行预处理，进行尘雾图像清晰化和图像增强。
4.根据权利要求1所述的基于视觉关系检测的煤矿综采工作面不安全行为识别方法，其特征在于，所述步骤S01中对数据进行标注和语义描述包括：
S11：对煤矿综采工作面图像进行标注，包括矿工标注，环境图像划分和大型设备部件化标注，将大型设备拆分成多个部件作为对象；
S12：对煤矿综采工作面图像进行语义描述，按照设定的策略，对每一张图像，分别形成区域描述、对象描述、属性描述、关系描述、区域图根据、场景图构建和问答对构建；所述对象和关系根据煤矿综采工作面不安全行为管理手册中涉及的“人-机-环”的对象和相关关系进行确定；
S13：制定数据集存储格式和开发数据开放接口。
5.根据权利要求1所述的基于视觉关系检测的煤矿综采工作面不安全行为识别方法，其特征在于，还包括对识别出的不安全行为进行预警。
6.一种基于视觉关系检测的煤矿综采工作面不安全行为识别系统，其特征在于，包括：
数据集建立模块，获取煤矿综采工作面的图像数据，对数据进行标注和语义描述，建立煤矿综采工作面不安全行为语义图像数据集；
图像文本描述提取模块，在建立的数据集上构建“人-机-环”目标识别算法和视觉关系检测模型，形成图像文本描述；
不安全行为识别模块，通过语句相似度计算进行图像文本描述语句与煤矿不安全行为数据库中词条进行匹配检索，识别煤矿不安全行为；
所述图像文本描述提取模块中形成图像文本描述的方法，包括：
S21：构建Faster R-CNN的检测网络并进行训练，对采集的数据集进行特征提取；
S22：训练区域建议网络，生成高质量的区域建议框，所述区域建议网络和检测网络共享全图的卷积特征，使用Fast R-CNN进行检测分类，检测图像上“人-机-环”对象的位置和类别；
S23：构建VTransE网络进行视觉关系检测，在目标识别的基础上，训练图像语义理解网络，选择损失函数，并根据训练误差对网络参数进行调优，得到图像的文本描述；
所述不安全行为识别模块的匹配检索包括：
S31：从煤矿综采工作面不安全行为管理手册、操作规程、事故案例和专家经验4个方面整理常见的不安全行为，形成不安全行为数据库；
S32：根据得到的图像文本描述，采用机械分析法分别对不安全行为数据库中的描述词条和图像文本描述语句进行分词处理，提取影响因素对应的关键词；
S33：采用基于多层次融合的语句相似度计算方法，匹配符合图像文本描述的不安全行为词条，识别出图像中不安全行为。
7.根据权利要求6所述的基于视觉关系检测的煤矿综采工作面不安全行为识别系统，其特征在于，所述数据集建立模块中对数据进行标注和语义描述的方法包括：
S11：对煤矿综采工作面图像进行标注，包括矿工标注，环境图像划分和大型设备部件化标注，将大型设备拆分成多个部件作为对象；
S12：对煤矿综采工作面图像进行语义描述，按照设定的策略，对每一张图像，分别形成区域描述、对象描述、属性描述、关系描述、区域图根据、场景图构建和问答对构建；所述对象和关系根据煤矿综采工作面不安全行为管理手册中涉及的“人-机-环”的对象和相关关系进行确定；
S13：制定数据集存储格式和开发数据开放接口。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910360181.1A CN110119701B (zh) | 2019-04-30 | 2019-04-30 | 基于视觉关系检测的煤矿综采工作面不安全行为识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910360181.1A CN110119701B (zh) | 2019-04-30 | 2019-04-30 | 基于视觉关系检测的煤矿综采工作面不安全行为识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110119701A CN110119701A (zh) | 2019-08-13 |
| CN110119701B true CN110119701B (zh) | 2023-04-07 |
Family
ID=67521829
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910360181.1A Active CN110119701B (zh) | 2019-04-30 | 2019-04-30 | 基于视觉关系检测的煤矿综采工作面不安全行为识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110119701B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110675469A (zh) * | 2019-09-06 | 2020-01-10 | 常州大学 | 一种施工场景中检测目标之间空间关系的图像描述方法 |
| CN110738821A (zh) * | 2019-09-27 | 2020-01-31 | 深圳市大拿科技有限公司 | 一种通过远程摄像告警方法及系统 |
| CN112732965A (zh) * | 2019-10-28 | 2021-04-30 | 中国银联股份有限公司 | 基于图像描述生成的异常事件检测方法及检测系统 |
| CN110806717B (zh) * | 2019-11-21 | 2022-03-11 | 山东大齐通信电子有限公司 | 一种矿用通信控制系统的集控台及矿用通信控制系统 |
| CN112101180B (zh) * | 2020-09-10 | 2023-04-07 | 湖北烽火平安智能消防科技有限公司 | 一种人的不安全行为识别方法及系统 |
| CN112818668B (zh) * | 2021-02-05 | 2024-03-29 | 上海市气象灾害防御技术中心(上海市防雷中心) | 气象灾情数据语义识别分析方法和系统 |
| CN114299067A (zh) * | 2022-03-04 | 2022-04-08 | 西安华创马科智能控制系统有限公司 | 一种井下煤壁片帮预警方法及装置 |
| CN116523300A (zh) * | 2023-04-12 | 2023-08-01 | 西安理工大学 | 复杂电力作业场景安全风险解译方法 |
| CN116229377B (zh) * | 2023-05-06 | 2023-08-04 | 成都三合力通科技有限公司 | 一种人员管控报警系统及方法 |
| CN118594987A (zh) * | 2024-08-09 | 2024-09-06 | 南京博润类脑智能技术有限公司 | 一种煤矸石的分拣方法、系统及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016095487A1 (zh) * | 2014-12-17 | 2016-06-23 | 中山大学 | 一种基于人机交互的图像高级语义解析的方法 |
| CN109685066A (zh) * | 2018-12-24 | 2019-04-26 | 中国矿业大学(北京) | 一种基于深度卷积神经网络的矿井目标检测与识别方法 |
-
2019
- 2019-04-30 CN CN201910360181.1A patent/CN110119701B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016095487A1 (zh) * | 2014-12-17 | 2016-06-23 | 中山大学 | 一种基于人机交互的图像高级语义解析的方法 |
| CN109685066A (zh) * | 2018-12-24 | 2019-04-26 | 中国矿业大学(北京) | 一种基于深度卷积神经网络的矿井目标检测与识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| 地铁施工工人不安全行为知识可视化研究;郭煜等;《中国安全科学学报》;20150315(第03期);全文 * |
| 基于深度学习的不安全因素识别和交互分析;佟瑞鹏等;《中国安全科学学报》;20170415(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110119701A (zh) | 2019-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110119701B (zh) | 基于视觉关系检测的煤矿综采工作面不安全行为识别方法 | |
| CN104463235B (zh) | 基于动车组运行图像的故障识别方法及装置 | |
| CN107808133B (zh) | 基于无人机巡线的油气管道安全监测方法、系统及软件存储器 | |
| CN109740410B (zh) | 一种无需预设模板的列车组故障识别方法及装置 | |
| CN111144300B (zh) | 一种基于图像识别的pdf表格结构识别方法 | |
| CN113344882A (zh) | 基于计算机视觉的矿下钻机钻杆计数方法 | |
| Mijić et al. | Traffic sign detection using YOLOv3 | |
| CN115830533A (zh) | 基于K-means聚类改进YOLOv5算法的安全帽佩戴检测方法 | |
| Liu et al. | Multi-scale personnel deep feature detection algorithm based on Extended-YOLOv3 | |
| Yang et al. | Safety helmet wearing detection based on an improved YOLOv3 scheme | |
| CN117423157A (zh) | 一种结合迁移学习、区域入侵的矿井下异常视频动作理解方法 | |
| CN116798117A (zh) | 一种基于视频理解的矿井下异常动作识别方法 | |
| CN115690643A (zh) | 一种基于改进yolox的安全帽检测方法、系统、设备及介质 | |
| Zheng et al. | A method of detect traffic police in complex scenes | |
| CN114359493B (zh) | 一种用于无人船生成三维语义地图的方法和系统 | |
| Hathat et al. | SNCF workers detection in the railway environment based on improved YOLO v5 | |
| Osmankovic et al. | Towards Safe and Explainable Humanitarian Demining with Deep Learning | |
| CN114627540A (zh) | 一种用于会勘会检应用平台的人脸信息识别对比系统 | |
| Xin | Application of Deep learning in computer vision | |
| Xiang et al. | Safety helmet detection algorithm in complex scenarios based on YOLOX | |
| Agarwal et al. | A Framework for Dress Code Monitoring System using Transfer Learning from Pre-Trained YOLOv4 Model | |
| Zhang et al. | APNet: Accurate Positioning Deformable Convolution for UAV Image Object Detection | |
| Soni et al. | Mine Machinery Detection (MMD) from Remote sensing images: A comparative study | |
| CN117423062B (zh) | 一种基于改进的YOLOv5的建筑工地安全帽检测方法 | |
| CU et al. | DETECTION OF VIETNAMESE TRAFFIC DANGER AND WARNING SIGNS VIA DEEP LEARNING |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |