CN112861826B - 基于视频图像的煤矿监管方法、系统、设备及存储介质 - Google Patents

基于视频图像的煤矿监管方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN112861826B
CN112861826B CN202110377773.1A CN202110377773A CN112861826B CN 112861826 B CN112861826 B CN 112861826B CN 202110377773 A CN202110377773 A CN 202110377773A CN 112861826 B CN112861826 B CN 112861826B
Authority
CN
China
Prior art keywords
coal mine
target
information
detection
pedestrian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110377773.1A
Other languages
English (en)
Other versions
CN112861826A (zh
Inventor
郝宇
张立辉
赵利群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gao Shumei
Shenzhen Litong Information Technology Co ltd
Original Assignee
Chongqing Vocational Institute of Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Vocational Institute of Engineering filed Critical Chongqing Vocational Institute of Engineering
Priority to CN202110377773.1A priority Critical patent/CN112861826B/zh
Publication of CN112861826A publication Critical patent/CN112861826A/zh
Application granted granted Critical
Publication of CN112861826B publication Critical patent/CN112861826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Biomedical Technology (AREA)
  • Economics (AREA)
  • Mining & Mineral Resources (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Animal Husbandry (AREA)
  • Agronomy & Crop Science (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Security & Cryptography (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

本申请实施例属于煤矿安全技术领域，涉及一种基于视频图像的煤矿监管方法，包括：通过第一采集模块采集进入煤矿入口的目标人员的图像信息，并将所述目标人员的图像信息通过网关服务器传输到中央处理服务器；通过第二采集模块采集煤矿内行人的视频信息，并将所述行人的视频图像信息通过所述网关服务器传输到所述中央处理服务器；基于所述目标人员的图像信息进行目标匹配，检测对应的目标人员是否穿戴劳保服，并根据劳保服的标识信息和所述目标人员的人脸信息确定是否允许目标人员进入煤矿内；基于所述第二采集模块采集的煤矿内行人的视频信息进行连续的行人检测和跟踪，判断对应的行人是否进入煤矿危险区域。可以降低煤矿事故发生的几率。

Description

基于视频图像的煤矿监管方法、系统、设备及存储介质
技术领域
本发明涉及煤矿安全技术领域，尤其涉及一种基于视频图像的煤矿监管方法、系统、计算机设备以及计算机可读存储介质。
背景技术
一直以来，煤矿安全事故频发，引发国家、地方和人民的广泛关注，煤矿安全生产是企业的头等大事，怎样减少安全事故是煤矿生产企业的重中之重。引起煤矿安全事故的原因有很多人为因素，例如进入煤矿的无关人员或者未做好安全措施的作业人员越多，以及煤矿井下作业不规范、作业人员误入煤矿的危险区域的情况越多，事故也就越多，事故造成的损失就越大，因此怎样对进入煤矿的人员进行有效的认证和行为监管，防范于未然，是煤矿安全的第一道关卡。
发明内容
本申请实施例的目的在于提出一种基于视频图像的煤矿监管方法，以对进入煤矿的人员进行有效的认证和行为监管，防止无关人员或者未做好安全措施的作业人员进入煤矿内以及防止进入煤矿内的人员误入煤矿的危险区域，从而降低煤矿事故发生的几率。
为了解决上述技术问题，本申请实施例提供一种基于视频图像的煤矿监管方法，包括：
通过第一采集模块采集进入煤矿入口的目标人员的图像信息，并将所述目标人员的图像信息通过网关服务器传输到中央处理服务器，所述目标人员的图像信息包括目标人员的人脸信息；
通过第二采集模块采集煤矿内行人的视频信息，并将所述行人的视频图像信息通过所述网关服务器传输到所述中央处理服务器；
所述中央处理服务器基于所述目标人员的图像信息进行目标匹配，检测对应的目标人员是否穿戴劳保服，并根据劳保服的标识信息和所述目标人员的人脸信息确定是否允许目标人员进入煤矿内；
所述中央处理服务器基于所述第二采集模块采集的煤矿内行人的视频信息进行连续的行人检测和跟踪，判断对应的行人是否进入煤矿危险区域；所述中央处理服务器基于所述行人的视频信息检测出所述煤矿危险区域。
进一步的，所述中央处理服务器基于所述目标人员的图像信息进行目标匹配，检测对应的目标人员是否穿戴劳保服,包括：
采用图像匹配算法将所述目标人员的图像信息与预先设定的比对图像进行特征点匹配，得到特征点匹配比率值；其中，所述比对图像为所述劳保服的标准穿戴示意图；
根据所述特征点匹配比率值判断所述目标人员是否穿戴劳保服。
进一步的，所述根据劳保服的标识信息和所述目标人员的人脸信息确定是否允许目标人员进入煤矿内的步骤包括：
根据所述劳保服的标识信息从预先设定的脸部特征模型表中获取与所述劳保服的标识信息一一对应的煤矿内授权用户的脸部特征模型；
将所述目标人员的人脸信息与所述煤矿内授权用户的脸部特征模型进行匹配，得到匹配结果；
当所述匹配结果为匹配成功时，允许所述目标人员进入煤矿内；
当所述匹配结果为匹配失败时，不允许所述目标人员进入煤矿内并发出第一告警信息。
进一步的，所述中央处理服务器包括预训练的第一检测模型和第二检测模型，所述中央处理服务器基于所述第二采集模块采集的煤矿内行人的视频信息进行连续的行人检测和跟踪，判断对应的行人是否进入预设的煤矿危险区域，包括：
通过所述第一检测模型对所述煤矿内行人的视频信息进行行人检测，得到第一检测框集合；
通过所述第二检测模型从所述煤矿内行人的视频信息中提取目标行人的特征信息；
通过预设的匹配算法将所述目标行人的特征信息和所述第一检测框集合进行匹配，得到对应目标行人的目标检测框；
基于所述目标行人的目标检测框对目标人员进行跟踪，判断对应的目标行人是否进入预设的煤矿危险区域，并发出第二告警信息。
进一步的，所述预设的匹配算法包括匈牙利算法，所述通过预设的匹配算法将所述目标行人的特征信息和所述第一检测框集合进行匹配，得到对应目标行人的目标检测框包括：
将所述目标行人的特征信息和所述第一检测框集合进行图结构处理，得到图结构联合数据；
通过所述匈牙利算法对所述图结构联合数据进行匹配，得到目标行人的目标检测框。
进一步的，所述第一检测模型和所述第二检测模型通过残差卷积、标准卷积和通道混合算法构建，并通过对应的训练数据集进行预训练。
进一步的，所述中央处理服务器还包括预训练的第三检测模块，所述第三检测模块包括特征提取单元、融合单元以及预测单元，所述中央处理服务器基于所述行人的视频信息检测出所述煤矿危险区域包括：
间隔一定时间从所述行人的视频信息中抽取一帧图像，抽取多帧图像作为检测数据集；
分别从所述检测数据集中抽取不同帧数的图像组成多组检测数据子集，并将每组检测数据子集分别输入所述第三检测模型的特征提取单元，得到对应多组特征向量并通过所述融合单元进行组内特征融合，得到多组融合特征；
将所述多组融合特征输入所述预测单元对所述视频信息进行危险区域预测，检测出潜在的煤矿危险区域。
为解决上述技术问题，本申请实施例还提供一种基于视频图像的煤矿监管系统，包括：多个第一采集模块、多个第二采集模块、网关服务器、中央处理服务器，所述第一采集模块、第二采集模块与所述网关服务器之间、所述网关服务器与所述中央处理服务器之间通过网络连接；其中，所述第一采集模块用于采集进入煤矿入口的目标人员的图像信息并通过所述网关服务器传输到所述中央处理服务器，所述第二采集模块用于采集煤矿内行人的视频图像信息并通过所述网关服务器传输到所述中央处理服务器；所述目标人员的图像信息包括目标人员的人脸信息；
所述中央处理服务器基于所述目标人员的图像信息进行目标匹配，检测对应的目标人员是否穿戴劳保服，并根据劳保服的标识信息和所述目标人员的人脸信息确定是否允许目标人员进入煤矿内；
所述中央处理服务器基于所述煤矿内行人的视频图像进行连续的行人检测和跟踪，判断对应的行人是否进入煤矿危险区域；所述中央处理服务器基于所述行人的视频信息检测出所述煤矿危险区域。
为解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现所述的基于视频图像的煤矿监管方法的功能。
为解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于视频图像的煤矿监管方法的功能。
与现有技术相比，本申请实施例主要有以下有益效果：本申请实施例通过第一采集模块和第二采集模块分别采集煤矿入口和煤矿内对应的目标人员图像信息和视频信息，并通过网关服务器上传到中央处理服务器进行处理，包括：将目标人员图像信息预先设定的比对图像进行目标匹配，检测目标人员是否穿戴劳保服，进一步根据劳保服的标识信息和目标人员的人脸信息确定是否允许目标人员进入煤矿内，对目标人员进行穿戴检测和身份认证可以防止人员误入煤矿内和误操作，减少事故发生频率；对进入煤矿内的人员，通过检测模型对煤矿内行人的视频信息进行连续的行人检测和跟踪，可有效判断对应的行人是否进入预设的煤矿危险区域并及时发出告警，提高了煤矿监管的效率，且可以从所述煤矿内行人的视频信息的多帧图像中检测出某一区域的变化情况，发现潜在的煤矿危险区域，从而可以进一步防止事故发生，降低煤矿事故率。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本申请的实施例提供的一种基于视频图像的煤矿监管方法的一个实施例的流程图；
图2示出了根据本申请的实施例提供的一种基于视频图像的煤矿监管系统的结构示意图；
图3示出了根据本申请的实施例提供的一种计算机设备的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请的技术方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
请参见图1，图1示出了根据本申请的基于视频图像的煤矿监管方法的流程图，如图1所示，上述基于视频图像的煤矿监管方法包括：
101、通过第一采集模块采集进入煤矿入口的目标人员的图像信息，并将所述目标人员的图像信息通过网关服务器传输到中央处理服务器，所述目标人员的图像信息包括目标人员的人脸信息。
102、通过第二采集模块采集煤矿内行人的视频信息，并将所述行人的视频图像信息通过所述网关服务器传输到所述中央处理服务器。
在本发明实施例中，上述第一采集模块可以预设于煤矿入口处和/或煤矿内其他需要进行通行认证的地方，用于采集准备进入煤矿或煤矿内其他区域的目标人员的图像信息并将该图像信息通过网络传输到网关服务器，上述目标人员的图像信息包括目标人员的人脸信息和穿戴信息；上述第二采集模块可以预设于煤矿内危险区域，如电力设备区域、地下井盖附近或渗水漏水等危险和不易察觉的地方，采集对应区域内的视频信息并将该视频信息通过网络传输到上述网关服务器；网关服务器再通过网络将上述图像信息和/或上述视频信息上传到中央处理器进行处理，并将处理结果返回到上述第一集采模块和/或第二采集模块。上述第一采集模块、第二采集模块可以根据煤矿的实际情况进行设置一个或多个。上述网络包括有线连接或无线连接，有线连接可以包括但不限于以太网、光纤或RS485等方式，上述无线连接方式可以包括但不限于3G/4G连接、WiFi(Wireless-Fidelity)连接、蓝牙连接、WiMA ×(Worldwide Interoperability for Microwave Access)连接、Zigbee(低功耗局域网协议，又称紫峰协议)连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
103、所述中央处理服务器基于所述目标人员的图像信息进行目标匹配，检测对应的目标人员是否穿戴劳保服，并根据劳保服的标识信息和所述目标人员的人脸信息确定是否允许目标人员进入煤矿内。
在本发明实施例中，上述劳保服包括安全帽和作业服，上述安全帽和作业服上都预设有标识信息，用于将劳保服和对应的人员进行一一绑定从而便于区分不同的人员，该标识信息可以是条形码、二维码或者其它字符(或数字)编号等；在上述中央处理服务器内，可以采用图像匹配算法将所述目标人员的图像信息与预先设定的比对图像进行特征点匹配，得到特征点匹配比率值；其中，所述比对图像为所述劳保服的标准穿戴示意图并预存于上述中央处理服务器内，上述图像匹配算法具体可以采用基于特征的匹配算法，该算法首先提取图像的特征，再生成特征描述子，最后根据描述子的相似程度对两幅图像的特征之间进行匹配，常见的有SIFT(Scale-Invariant Feature Transform，尺度不变特征变换)算法、SURF(Speeded Up Robust Features，加速稳健特征)算法、BRISK(Binary RobustInvariant Scalable Keypoints，二进制鲁棒不变尺度特征)算法等。
然后，根据所述特征点匹配比率值判断所述目标人员是否穿戴劳保服。具体的，当所述特征点匹配比率值趋近于阈值时，则确定所述目标人员穿戴劳保服，当所述特征点匹配比率值离散于阈值时，则确定所述目标人员未穿戴劳保服。
进一步的，当确定所述目标人员穿戴劳保服后，通过对应的识别程序(如条形码识别、二维码扫描程序等)读取劳保服上的标识信息，并根据识别出的标识信息从预先设定于上述中央处理服务器中的脸部特征模型表中获取与所述劳保服的标识信息一一对应的煤矿内授权用户的脸部特征模型，将穿戴所述劳保服的目标人员的人脸信息与所述煤矿内授权用户的脸部特征模型进行匹配，得到匹配结果；当所述匹配结果为匹配成功时，允许所述目标人员进入煤矿内；当所述匹配结果为匹配失败时，不允许所述目标人员进入煤矿内并发出第一告警信息到对应的第一采集模块，通过语音和/或图案来提醒目标人员穿戴的劳保服不符合本人身份或不符合标准穿戴，从而对准备进入煤矿的目标人员进行有效的身份认证，防止无关人员进入煤矿，且可以进一步防止因不同等级人员穿戴错位而导致的人员在煤矿内的误入和误操作，进而降低事故发生率。
104、所述中央处理服务器基于所述第二采集模块采集的煤矿内行人的视频信息进行连续的行人检测和跟踪，判断对应的行人是否进入煤矿危险区域；所述中央处理服务器基于所述行人的视频信息检测出所述煤矿危险区域。
在本发明实施例中，上述中央处理服务器还包括预训练的第一检测模型和第二检测模型，上述第一检测模型和/或第二检测模型可以是经过训练的能够进行目标识别和定位的神经网络模型，如可以是现有的Faster R-CNN、 YOLO等，也可以是自行设计的神经网络模型，还可以是非神经网络模型(如混合高斯背景建模)；通过上述第一检测模型和第二检测模型从上述视频信息的多帧图像中检测出至少一个目标人员，并可以得到相应的目标人员的人体检测框(即目标人员在图像中的矩形框坐标)。对于第二采集模块是固定点位的情况，上述第一检测模型或第二检测模型可以使用混合高斯背景建模，从视频图像序列中分离出背景和前景，并将前景中非行人目标进行抑制，得到包括多帧图像的目标人员轮廓的较为准确的边界框(检测框)，并获得前景目标人员的特征信息。
进一步的，上述第一检测模型和第二检测模型通过残差卷积、标准卷积和通道混合算法构建，并通过对应的训练数据集进行预训练，包括：获取视频数据；从所述视频数据中获取多帧图像，从图像中获取行人并进行标记，得到行人数据集；将所述行人数据集划分为训练集、验证集和测试集；构建第一检测模型或第二检测模型并通过所述行人数据集对所述第一检测模型或第二检测模型进行预训练，得到训练好的第一检测模型或第二检测模型。
可以通过第一检测模型对所述煤矿内行人的视频信息进行行人检测，得到第一检测框集合，然后通过第二检测模型从所述煤矿内行人的视频信息中提取目标行人的特征信息，通过预设的匹配算法将所述目标行人的特征信息和所述第一检测框集合进行匹配，得到对应目标行人的目标检测框；
具体的，所述预设的匹配算法包括匈牙利算法，首先将所述目标行人的特征信息和所述第一检测框集合进行图结构处理，得到图结构联合数据，然后通过所述匈牙利算法对所述图结构联合数据进行匹配，得到目标行人的目标检测框，并基于所述目标行人的目标检测框通过DeepSort追踪算法对目标人员进行跟踪，判断对应的目标行人是否进入煤矿危险区域，并发出第二告警信息到第二采集模块，通过语音或图案的方式及时提醒目标人员，从而有效地防止目标人员误入危险区域导致安全事故发生，可降低煤矿事故发生的几率。
值得说明的是，上述煤矿危险区域可以是人为预先设定的区域，可以是危险区域、也可以是禁止进入的其它区域，可以在上述第二采集模块采集的视频图像中进行划定；上述煤矿危险区域也可以是所述中央处理服务器检测出的存在安全隐患的危险区域。
具体的，所述中央处理服务器还包括预训练的第三检测模块，用来对煤矿内潜在的危险区域进行检测，所述第三检测模块包括特征提取单元、融合单元以及预测单元，其中，特征提取单元可以使用CNN(卷积神经网络)，融合单元采用MLP(多层感知机)，预测单元基于融合单元的结果通过复合函数进行预测。上述中央处理服务器基于所述行人的视频信息检测出所述煤矿危险区域包括：
S1、间隔一定时间从所述行人的视频信息中抽取一帧图像，抽取多帧图像作为检测数据集；
S2、分别从所述检测数据集中抽取不同帧数的图像组成多组检测数据子集，并将每组检测数据子集分别输入所述第三检测模型的特征提取单元，得到对应多组特征向量并通过所述融合单元进行组内特征融合，得到多组融合特征；
S3、将所述多组融合特征输入所述预测单元对所述视频信息进行危险区域预测，检测出潜在的煤矿危险区域。
举例而言，可以每隔 10秒从上述行人的视频信息中抽取一帧图像，对于5000秒的视频则可以抽取出500帧图像作为检测数据集，并以每组两帧、三帧、五帧、N帧图像(N可以是小于500的正整数)，从上述检测数据集中任意抽取对应多帧图像组成对应多组检测数据子集，例如，两帧检测数据子集、三帧检测数据子集、五帧检测数据子集、N帧检测数据子集；然后将每组检测数据子集中的每帧图像按时间依次输入上述特征提取单元，通过CNN从中提取出每组检测子集的特征向量，并通过所述融合单元的MLP进行组内特征融合，得到对应多组融合特征；例如，两帧检测数据子集的融合得到的融合特征，可以采用以下公式表示(即融合单元的数学表示)：
Figure BDA0003011482760000101
其中，其中fi、fj代表视频中的第i、j帧通过特征提取单元CNN后输出的特征向量，函数h和g表示分别具有参数φ和θ的多层感知机(MLP)， T2(V)表示通过上述融合单元融合了不同有序帧图像的融合特征。同样，三帧检测数据子集的融合得到的融合特征，可以采用以下公式表示：
Figure BDA0003011482760000102
最后，基于上述融合单元对各组检测数据子集的融合结果，即多组融合特征，预测单元通过复合函数MTN(V)＝T2(V)+T3(V)...+TN(V)对图像中的活动和行为进行识别和预测；通过以上步骤，可以从所述煤矿内行人的视频信息的多帧图像中检测出某一区域在一段时间内的变化情况，从而可以发现潜在的煤矿危险区域，例如煤矿渗水、地面凹陷、电力设备脱落等过程，进而可以及时通过中央处理服务器上报和预警，防止作业人员进入煤矿危险区域导致安全事故的发生。
进一步的还可以通过在中央处理服务器上可视化的展示上述第一采集模块采集的图像信息和第二采集模块采集的视频信息，以供煤矿管理人员实时监控煤矿，并可以与目标人员进行即时通讯，第一时间获取煤矿现场信息，还可以通过视频图像回放查看历史记录，从而提高煤矿的管理效率。
综上所述，本申请实施例通过第一采集模块和第二采集模块分别采集煤矿入口和煤矿内对应的目标人员图像信息和视频信息，并通过网关服务器上传到中央处理服务器进行处理，包括：将目标人员图像信息预先设定的比对图像进行目标匹配，检测目标人员是否穿戴劳保服，进一步根据劳保服的标识信息和目标人员的人脸信息确定是否允许目标人员进入煤矿内，对目标人员进行穿戴检测和身份认证可以防止人员误入煤矿内和误操作，减少事故发生频率；对进入煤矿内的人员，通过检测模型对煤矿内行人的视频信息进行连续的行人检测和跟踪，可有效判断对应的行人是否进入煤矿危险区域并及时发出告警，提高了煤矿监管的效率，且可以从所述煤矿内行人的视频信息的多帧图像中检测出某一区域的变化情况，发现潜在的煤矿危险区域，从而可以进一步防止事故发生，降低煤矿事故率。
如图2所示，图2示出了根据本申请的基于视频图像的煤矿监管统的一个实施例的结构示意图。所述的基于视频图像的煤矿监管系统200包括：多个第一采集模块201、多个第二采集模块202、网关服务器203、中央处理服务器204，所述第一采集模块201、第二采集模块202与所述网关服务器203 之间、所述网关服务器203与所述中央处理服务器204之间通过网络连接；其中，所述第一采集模块201用于采集进入煤矿入口的目标人员的图像信息并通过所述网关服务器203传输到所述中央处理服务器204，所述第二采集模块202用于采集煤矿内行人的视频图像信息并通过所述网关服务器203传输到所述中央处理服务器204；所述目标人员的图像信息包括目标人员的人脸信息；
所述中央处理服务器204基于所述目标人员的图像信息进行目标匹配，检测对应的目标人员是否穿戴劳保服，并根据劳保服的标识信息和所述目标人员的人脸信息确定是否允许目标人员进入煤矿内；
所述中央处理服务器204基于所述煤矿内行人的视频图像进行连续的行人检测和跟踪，判断对应的行人是否进入煤矿危险区域；所述中央处理服务器基于所述行人的视频信息检测出所述煤矿危险区域。
本发明实施例提供的基于视频图像的煤矿监管系统能够实现上述方法实施例中基于视频图像的煤矿监管方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。
应该理解的是，虽然附图的结构示意图中的各个子系统按照箭头的指示依次显示，但是这些子系统并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些子系统的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的结构示意图中的至少一部分子系统在执行时可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图3，图3为本实施例计算机设备3的基本结构框图。
所述计算机设备3包括通过系统总线相互通信连接存储器31、处理器32、网络接口33。需要指出的是，图中仅示出了具有组件31-33的计算机设备3，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器31至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器31可以是所述计算机设备3的内部存储单元，例如该计算机设备3的硬盘或内存。在另一些实施例中，所述存储器31也可以是所述计算机设备3的外部存储设备，例如该计算机设备3上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器31还可以既包括所述计算机设备3的内部存储单元也包括其外部存储设备。本实施例中，所述存储器31通常用于存储安装于所述计算机设备3的操作系统和各类应用软件，例如基于视频图像的煤矿监管方法的程序代码等。此外，所述存储器31还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器32在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器32通常用于控制所述计算机设备3的总体操作。本实施例中，所述处理器 32用于运行所述存储器31中存储的程序代码或者处理数据，例如上述基于视频图像的煤矿监管方法的程序代码。
所述网络接口33可包括无线网络接口或有线网络接口，该网络接口33 通常用于在所述计算机设备3与其他电子设备之间建立通信连接。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (4)

1.一种基于视频图像的煤矿监管方法，其特征在于，包括：
通过第一采集模块采集进入煤矿入口的目标人员的图像信息，并将所述目标人员的图像信息通过网关服务器传输到中央处理服务器，所述目标人员的图像信息包括目标人员的人脸信息；
通过第二采集模块采集煤矿内行人的视频信息，并将所述行人的视频图像信息通过所述网关服务器传输到所述中央处理服务器；
所述中央处理服务器基于所述目标人员的图像信息进行目标匹配，检测对应的目标人员是否穿戴劳保服，并根据劳保服的标识信息和所述目标人员的人脸信息确定是否允许目标人员进入煤矿内；
所述中央处理服务器基于所述第二采集模块采集的煤矿内行人的视频信息进行连续的行人检测和跟踪，判断对应的行人是否进入煤矿危险区域；所述中央处理服务器基于所述行人的视频信息检测出所述煤矿危险区域；
所述中央处理服务器基于所述目标人员的图像信息进行目标匹配，检测对应的目标人员是否穿戴劳保服,包括：
采用图像匹配算法将所述目标人员的图像信息与预先设定的比对图像进行特征点匹配，得到特征点匹配比率值；其中，所述比对图像为所述劳保服的标准穿戴示意图；
根据所述特征点匹配比率值判断所述目标人员是否穿戴劳保服；
所述根据劳保服的标识信息和所述目标人员的人脸信息确定是否允许目标人员进入煤矿内的步骤包括：
根据所述劳保服的标识信息从预先设定的脸部特征模型表中获取与所述劳保服的标识信息一一对应的煤矿内授权用户的脸部特征模型；
将所述目标人员的人脸信息与所述煤矿内授权用户的脸部特征模型进行匹配，得到匹配结果；
当所述匹配结果为匹配成功时，允许所述目标人员进入煤矿内；
当所述匹配结果为匹配失败时，不允许所述目标人员进入煤矿内并发出第一告警信息；
所述中央处理服务器包括预训练的第一检测模型和第二检测模型，所述中央处理服务器基于所述第二采集模块采集的煤矿内行人的视频信息进行连续的行人检测和跟踪，判断对应的行人是否进入预设的煤矿危险区域，包括：
通过所述第一检测模型对所述煤矿内行人的视频信息进行行人检测，得到第一检测框集合；
通过所述第二检测模型从所述煤矿内行人的视频信息中提取目标行人的特征信息；
通过预设的匹配算法将所述目标行人的特征信息和所述第一检测框集合进行匹配，得到对应目标行人的目标检测框；
基于所述目标行人的目标检测框对目标人员进行跟踪，判断对应的目标行人是否进入预设的煤矿危险区域，并发出第二告警信息
所述预设的匹配算法包括匈牙利算法，所述通过预设的匹配算法将所述目标行人的特征信息和所述第一检测框集合进行匹配，得到对应目标行人的目标检测框包括：
将所述目标行人的特征信息和所述第一检测框集合进行图结构处理，得到图结构联合数据；
通过所述匈牙利算法对所述图结构联合数据进行匹配，得到目标行人的目标检测框
所述第一检测模型和所述第二检测模型通过残差卷积、标准卷积和通道混合算法构建，并通过对应的训练数据集进行预训练；
所述中央处理服务器还包括预训练的第三检测模块，所述第三检测模块包括特征提取单元、融合单元以及预测单元，所述中央处理服务器基于所述行人的视频信息检测出所述煤矿危险区域包括：
间隔一定时间从所述行人的视频信息中抽取一帧图像，抽取多帧图像作为检测数据集；
分别从所述检测数据集中抽取不同帧数的图像组成多组检测数据子集，并将每组检测数据子集分别输入所述第三检测模型的特征提取单元，得到对应多组特征向量并通过所述融合单元进行组内特征融合，得到多组融合特征；
将所述多组融合特征输入所述预测单元对所述视频信息进行危险区域预测，检测出潜在的煤矿危险区域；
每隔10秒从行人的视频信息中抽取一帧图像，并以每组两帧、三帧，从检测数据集中任意抽取对应多帧图像组成对应多组检测数据子集；然后将每组检测数据子集中的每帧图像按时间依次输入特征提取单元，通过卷积神经网络CNN从中提取出每组检测子集的特征向量，并通过所述融合单元的多层感知机MLP进行组内特征融合，得到对应多组融合特征；两帧检测数据子集的融合得到的融合特征，采用以下公式表示：
Figure 789329DEST_PATH_IMAGE002
其中，其中
Figure 100225DEST_PATH_IMAGE003
、
Figure 901959DEST_PATH_IMAGE004
代表视频中的第i、j帧通过卷积神经网络CNN后输出的特征向量，函数h和g表示分别具有参数φ和θ的多层感知机MLP，
Figure 247489DEST_PATH_IMAGE005
表示通过融合单元融合了两帧检测数据子集的融合特征；三帧检测数据子集的融合得到的融合特征，采用以下公式表示：
Figure 210897DEST_PATH_IMAGE006
其中，其中
Figure 9089DEST_PATH_IMAGE003
、
Figure 473568DEST_PATH_IMAGE004
、
Figure 283393DEST_PATH_IMAGE007
代表视频中的第i、j、k帧通过卷积神经网络CNN后输出的特征向量，函数
Figure 807915DEST_PATH_IMAGE008
和
Figure 827823DEST_PATH_IMAGE009
表示分别具有参数φ和θ的多层感知机MLP，
Figure 469895DEST_PATH_IMAGE010
表示通过融合单元融合了三帧检测数据子集的融合特征；
最后，基于融合单元对各组检测数据子集的融合结果，即多组融合特征，预测单元通过复合函数
Figure 258860DEST_PATH_IMAGE011
对图像中的活动和行为进行识别和预测；其中
Figure 954283DEST_PATH_IMAGE005
表示通过融合单元融合了两帧检测数据子集的融合特征，
Figure 602433DEST_PATH_IMAGE010
表示通过融合单元融合了三帧检测数据子集的融合特征，
Figure 143136DEST_PATH_IMAGE012
表示通过融合单元融合了N帧检测数据子集的融合特征。
2.一种基于视频图像的煤矿监管系统，其特征在于，包括：多个第一采集模块、多个第二采集模块、网关服务器、中央处理服务器，所述第一采集模块、第二采集模块与所述网关服务器之间、所述网关服务器与所述中央处理服务器之间通过网络连接；所述第一采集模块、所述第二采集模块、所述网关服务器和所述中央处理服务器实现如权利要求1中所述的基于视频图像的煤矿监管方法的功能。
3.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1中所述的基于视频图像的煤矿监管方法的功能。
4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1中所述的基于视频图像的煤矿监管方法的功能。
CN202110377773.1A 2021-04-08 2021-04-08 基于视频图像的煤矿监管方法、系统、设备及存储介质 Active CN112861826B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110377773.1A CN112861826B (zh) 2021-04-08 2021-04-08 基于视频图像的煤矿监管方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110377773.1A CN112861826B (zh) 2021-04-08 2021-04-08 基于视频图像的煤矿监管方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112861826A CN112861826A (zh) 2021-05-28
CN112861826B true CN112861826B (zh) 2021-12-14

Family

ID=75992335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110377773.1A Active CN112861826B (zh) 2021-04-08 2021-04-08 基于视频图像的煤矿监管方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112861826B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114582087A (zh) * 2021-12-15 2022-06-03 华亭煤业集团有限责任公司 一种综采工作面全光网络安全监测系统
CN114390077A (zh) * 2022-01-14 2022-04-22 重庆泓宝科技股份有限公司 用于危险区域的入场准入系统
CN115331177A (zh) * 2022-09-28 2022-11-11 济南驰昊电力科技有限公司 一种矿山场景下智能告警方法、可读介质及告警终端

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006262359A (ja) * 2005-03-18 2006-09-28 Matsushita Electric Works Ltd 画像センサ装置
CN109886130A (zh) * 2019-01-24 2019-06-14 上海媒智科技有限公司 目标对象的确定方法、装置、存储介质和处理器
CN109919009A (zh) * 2019-01-24 2019-06-21 北京明略软件系统有限公司 目标对象的监控方法、装置及系统
CN109922310A (zh) * 2019-01-24 2019-06-21 北京明略软件系统有限公司 目标对象的监控方法、装置及系统
CN109961014A (zh) * 2019-02-25 2019-07-02 中国科学院重庆绿色智能技术研究院 一种煤矿输送带危险区域监测方法及系统
CN111191532A (zh) * 2019-12-18 2020-05-22 深圳供电局有限公司 基于施工区域的人脸识别方法、装置、计算机设备
CN111401314A (zh) * 2020-04-10 2020-07-10 上海东普信息科技有限公司 着装信息检测方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006262359A (ja) * 2005-03-18 2006-09-28 Matsushita Electric Works Ltd 画像センサ装置
CN109886130A (zh) * 2019-01-24 2019-06-14 上海媒智科技有限公司 目标对象的确定方法、装置、存储介质和处理器
CN109919009A (zh) * 2019-01-24 2019-06-21 北京明略软件系统有限公司 目标对象的监控方法、装置及系统
CN109922310A (zh) * 2019-01-24 2019-06-21 北京明略软件系统有限公司 目标对象的监控方法、装置及系统
CN109961014A (zh) * 2019-02-25 2019-07-02 中国科学院重庆绿色智能技术研究院 一种煤矿输送带危险区域监测方法及系统
CN111191532A (zh) * 2019-12-18 2020-05-22 深圳供电局有限公司 基于施工区域的人脸识别方法、装置、计算机设备
CN111401314A (zh) * 2020-04-10 2020-07-10 上海东普信息科技有限公司 着装信息检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112861826A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN112861826B (zh) 基于视频图像的煤矿监管方法、系统、设备及存储介质
JP6905850B2 (ja) 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置
WO2020019673A1 (zh) 基于图像分析的工地监控方法、装置及可读存储介质
KR102260120B1 (ko) 딥러닝기반 행동인식장치 및 그 장치의 구동방법
CN105701885A (zh) 一种人脸识别门禁系统及其实现方法
JPWO2007138811A1 (ja) 不審行動検知装置および方法、プログラムおよび記録媒体
CN109446936A (zh) 一种用于监控场景的身份识别方法及装置
CN101739742A (zh) 联网式多通道门禁考勤系统
CN104700094A (zh) 一种用于智能机器人的人脸识别方法及系统
CN107786848A (zh) 运动目标检测与动作识别的方法、装置、终端及存储介质
Kamoona et al. Random finite set-based anomaly detection for safety monitoring in construction sites
KR20220051609A (ko) 실시간 영상분석을 통한 작업자의 안전보호장비 착용여부 인식 시스템
CN113569682A (zh) 一种智能捕捉矿井识别要素的视频监测方法及装置
CN115471865A (zh) 作业现场数字化安全管控方法、装置、设备和存储介质
CN113807227A (zh) 基于图像识别的安全监测方法、装置、设备及存储介质
CN113314230A (zh) 基于大数据的智能防疫方法、装置、设备及存储介质
CN116778673A (zh) 水域安全监控方法、系统、终端及存储介质
CN104574590A (zh) 一种静脉识别智能楼宇系统及其控制方法
KR102367584B1 (ko) 스켈레톤 영상 분석 기법을 이용한 자동 영상 감시 시스템
CN116416665A (zh) 基于安防系统的人脸识别方法、装置及存储介质
CN115953815A (zh) 基建现场的监测方法及装置
CN114241400A (zh) 电网系统的监控方法及其装置、计算机可读存储介质
CN114429677A (zh) 一种煤矿场景作业行为安全识别考核方法及系统
CN115601709B (zh) 煤矿员工违规统计系统、方法、装置以及存储介质
CN109800630A (zh) 自动监控识别方法、云端服务器及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231219

Address after: No. 112 Linghou Street, Cangshan District, Fuzhou City, Fujian Province, 350028

Patentee after: Gao Shumei

Address before: 509 Kangrui Times Square, Keyuan Business Building, 39 Huarong Road, Gaofeng Community, Dalang Street, Longhua District, Shenzhen City, Guangdong Province, 518110

Patentee before: Shenzhen Litong Information Technology Co.,Ltd.

Effective date of registration: 20231219

Address after: 509 Kangrui Times Square, Keyuan Business Building, 39 Huarong Road, Gaofeng Community, Dalang Street, Longhua District, Shenzhen City, Guangdong Province, 518110

Patentee after: Shenzhen Litong Information Technology Co.,Ltd.

Address before: 402260 No. 1 North and South Avenue, Binjiang new town, Jiangjin District, Chongqing.

Patentee before: CHONGQING VOCATIONAL INSTITUTE OF ENGINEERING