CN110486081B - 一种掘进机作业安全监测方法、系统、设备及存储介质 - Google Patents
一种掘进机作业安全监测方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN110486081B CN110486081B CN201910722434.5A CN201910722434A CN110486081B CN 110486081 B CN110486081 B CN 110486081B CN 201910722434 A CN201910722434 A CN 201910722434A CN 110486081 B CN110486081 B CN 110486081B
- Authority
- CN
- China
- Prior art keywords
- coal
- monitoring
- monitoring image
- heading machine
- machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 201
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000011161 development Methods 0.000 title claims description 18
- 239000003245 coal Substances 0.000 claims abstract description 123
- 230000005641 tunneling Effects 0.000 claims description 52
- 231100001261 hazardous Toxicity 0.000 claims description 3
- 238000009412 basement excavation Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000005520 cutting process Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000005422 blasting Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E21—EARTH OR ROCK DRILLING; MINING
- E21F—SAFETY DEVICES, TRANSPORT, FILLING-UP, RESCUE, VENTILATION, OR DRAINING IN OR OF MINES OR TUNNELS
- E21F11/00—Rescue devices or other safety devices, e.g. safety chambers or escape ways
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- Pulmonology (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Emergency Management (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geochemistry & Mineralogy (AREA)
- Geology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Alarm Systems (AREA)
Abstract
本发明实施例公开了一种掘进机作业安全监测方法、系统、设备及存储介质，本发明实施例基于图像识别监测煤矿井下掘进工作面掘进机运行时危险区域有人的场景，及时对作业人员报警，让其提前撤离，在煤矿掘进工作面掘进机运行时，防止了因掘进机司机未发现机身两侧面及后方危险区域内有人员作业而造成伤人事故，与当前单纯依靠掘进机司机判断及安全员监督相比，报警更加可靠、及时，避免了因掘进机司机疏忽而忘记报警、安全员脱岗无人监管而导致的安全生产责任事故的发生，提高煤矿安全管理水平。
Description
技术领域
本发明实施例涉及煤矿安全图像识别技术领域，具体涉及一种掘进机作业安全监测方法、系统、设备及存储介质。
背景技术
煤矿井下掘进是指在岩层、煤层中通过人工、机械、爆破的方式开掘的一系列巷道开拓、采煤的过程，是井下采煤的准备工作，进行掘进作业的地点称为井下掘进工作面。掘进机掘进时，掘进机正前方、机身两侧、机身后方一定距离内不得有任何人员作业、停留，避免掘进机运行时机身、截割臂、截割头挤死、挤伤作业人员。
当前煤矿掘进工作面掘进机运行时，单纯依靠掘进机司机自己判断以及安全员进行监督，因掘进机司机未发现机身两侧面及后方危险区域内有人员作业，没有及时对作业人员报警，因掘进机司机因疏忽而忘记报警，让其提前撤离而造成的伤人事故，或者安全员脱岗无人监管而导致安全生产责任事故的发生。另外，掘进机以及与掘进机连接的二运皮带机的运行状态发生故障而未及时发现，也极易导致安全生产责任事故的发生。
发明内容
为此，本发明实施例提供一种掘进机作业安全监测方法、系统、设备及存储介质，以解决当前煤矿掘进工作面掘进机运行时未对工作人员及时报警而导致安全生产责任事故发生的技术问题。
为了实现上述目的，本发明实施例提供如下技术方案：
根据本发明实施例的第一方面，提供了一种掘进机作业安全监测方法，所述方法包括：获取掘进机在掘进工作面区域内的监测图像；从所述监测图像中识别掘进机后灯状态，判断掘进机是否运行；当确定所述掘进机当前状态是运行状态时，识别所述监测图像中掘进机以及巷道两帮的位置并确定危险区域；及当识别到所述危险区域内有作业人员时，发出安全报警信号。
进一步地，所述危险区域包括：左危险区域、右危险区域和后危险区域；所述左危险区域、所述右危险区域和所述后危险区域的确定方法包括：识别所述监测图像中的掘进机以及巷道两帮并分别通过标记框标记；从掘进机左边缘至左巷帮的区域确定为左危险区域；从掘进机右边缘至右巷帮的区域确定为右危险区域；及从掘进机的下边缘向下延伸预测距离的区域确定为后危险区域。
优选地，所述方法还包括：当识别到所述危险区域内无作业人员时，发出掘进机掘进提醒信号；利用目标跟踪算法监测掘进机是否移动；当所述掘进机移动时，循环至从所述监测图像中识别掘进机以及巷道两帮的位置并根据掘进机的掘进位置实时确定危险区域；当所述掘进机不移动时，识别所述监测图像中二运皮带上是否有煤；当所述监测图像中二运皮带上无煤时，记录第一时间t1并识别下一帧监测图像中二运皮带上是否有煤，否则，监测所述监测图像中二运皮带上的煤是否移动；当识别到下一帧监测图像中二运皮带上无煤时，记录第二时间t2；计算第一时间t1与第二时间t2之间的第一时间间隔并判断所述第一时间间隔是否大于第一阈值T1；及当所述第一时间间隔大于所述第一阈值T1时，发出安全报警信号，否则，循环至识别下一帧监测图像中二运皮带上是否有煤。
进一步地，所述方法还包括：当识别到下一帧监测图像中二运皮带上有煤时，清除已记录的第一时间t1，并循环至监测所述监测图像中二运皮带上的煤是否移动。
进一步地，所述方法还包括：当所述监测图像中二运皮带上的煤移动时，循环至利用目标跟踪算法监测掘进机是否移动；当所述监测图像中二运皮带上的煤不移动时，记录第三时间t3并监测下一帧监测图像中二运皮带上的煤是否移动；当监测到下一帧监测图像中二运皮带上的煤不移动时，记录第四时间t4；计算第三时间t3与第四时间t3之间的第二时间间隔并判断所述第二时间间隔是否大于第二阈值T2；当所述第二时间间隔大于所述第二阈值T2时，发出安全报警信号，否则，循环至识别下一帧监测图像中二运皮带上的煤是否移动。
进一步地，所述方法还包括：当识别到下一帧监测图像中二运皮带上的煤移动时，清除已记录的第三时间t3，并循环至利用目标跟踪算法监测掘进机是否移动。
根据本发明实施例的第二方面，提供了一种掘进机作业安全监测系统，所述系统包括：监测图像获取模块，用于获取掘进机掘进工作面区域监测图像；掘进机后灯状态识别模块，用于从所述监测图像中识别掘进机后灯状态并判断掘进机是否运行；及危险区域安全监测模块，用于从所述监测图像中识别掘进机以及巷道两帮的位置并确定危险区域；从所述监测图像中识别所述危险区域内是否有作业人员；当所述危险区域内有作业人员时，发出安全报警信号。
进一步地，所述系统还包括：掘进机目标跟踪监测模块，用于利用目标跟踪算法监测掘进机是否移动；二运皮带载煤识别监测模块，用于识别所述监测图像中二运皮带上是否有煤，当监测到所述监测图像中二运皮带上无煤时，监测所述二运皮带上连续无煤的第一时间间隔，当所述第一时间间隔大于第一阈值T1时，发出安全报警信号；和二运皮带载煤目标跟踪监测模块，用于跟踪监测所述监测图像中二运皮带上的煤是否移动，当监测到所述监测图像中二运皮带上的煤不移动时，监测所述二运皮带上的煤连续不移动的第二时间间隔，当所述第二时间间隔大于第二阈值T2时，发出安全报警信号。
根据本发明实施例的第三方面，提供了一种掘进机作业安全监测设备，所述设备包括：图像采集装置、处理器和存储器；所述图像采集装置安装在所述掘进工作面已有锚杆支护区域顶板中间顶锚杆上，所述图像采集装置朝向所述掘进工作面方向以监测所述掘进机、巷道两帮以及二运皮带，获取实时监测视频；存储器用于存储一个或多个程序指令；处理器，用于运行一个或多个程序指令，用以执行如上一种掘进机运行监测方法中的任一方法步骤。
根据本发明实施例的第四方面，提供了一种计算机存储介质，该计算机存储介质中包含一个或多个程序指令，一个或多个程序指令用于执行如上一种掘进机运行监测方法中的任一方法步骤。
本发明实施例具有如下优点：本发明实施例基于图像识别监测煤矿井下掘进工作面掘进机运行时危险区域有人的场景，及时对作业人员报警，让其提前撤离，在煤矿掘进工作面掘进机运行时，防止了因掘进机司机未发现机身两侧面及后方危险区域内有人员作业而造成伤人事故，与当前单纯依靠掘进机司机判断及安全员监督相比，报警更加可靠、及时，避免了因掘进机司机疏忽而忘记报警、安全员脱岗无人监管而导致的安全生产责任事故的发生，提高煤矿安全管理水平。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明实施例提供的一种掘进机作业安全监测系统的逻辑结构示意图；
图2中为本发明实施例提供的图像采集装置安装结构示意图；
图3为本发明实施例提供的一种掘进机作业安全监测方法流程示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
本发明实施例基于图像识别监测煤矿井下掘进工作面掘进机运行时危险区域有人的场景，及时对作业人员报警，让其提前撤离。
参考图1，本发明实施例提供的一种掘进机作业安全监测系统包括：监测图像获取模块2、掘进机后灯状态识别模块3和危险区域安全监测模块4。其中，监测图像获取模块2用于从图像采集装置1获取掘进机掘进工作面区域监测图像；掘进机后灯状态识别模块3用于从所述监测图像中识别掘进机后灯状态并判断掘进机是否运行；及危险区域安全监测模块4用于从所述监测图像中识别掘进机以及巷道两帮的位置并确定危险区域；从所述监测图像中识别所述危险区域内是否有作业人员；当所述危险区域内有作业人员时，发出安全报警信号。
本发明实施例在煤矿掘进工作面掘进机运行时，防止了因掘进机司机未发现机身两侧面及后方危险区域内有人员作业而造成伤人事故，与当前单纯依靠掘进机司机判断及安全员监督相比，报警更加可靠、及时，避免了因掘进机司机疏忽而忘记报警、安全员脱岗无人监管而导致的安全生产责任事故的发生，提高煤矿安全管理水平。
参考图1，本发明实施例提供的一种掘进机运行监测系统还包括：掘进机目标跟踪监测模块5、二运皮带载煤识别监测模块6和二运皮带载煤目标跟踪监测模块7。其中，掘进机目标跟踪监测模块5用于利用目标跟踪算法监测掘进机是否移动；二运皮带载煤识别监测模块6用于识别所述监测图像中二运皮带上是否有煤，当监测到所述监测图像中二运皮带上无煤时，监测所述二运皮带上连续无煤的第一时间间隔，当所述第一时间间隔大于第一阈值T1时，发出安全报警信号；和二运皮带载煤目标跟踪监测模块7用于跟踪监测所述监测图像中二运皮带上的煤是否移动，当监测到所述监测图像中二运皮带上的煤不移动时，监测所述二运皮带上的煤连续不移动的第二时间间隔，当所述第二时间间隔大于第二阈值T2时，发出安全报警信号。
本发明实施例中，为了提高在煤矿掘进工作面掘进机运行时的煤矿安全管理水平，进一步地对掘进机是否移动、二运皮带上是否有煤以及二运皮带上的煤是否移动进行监测，以此判断掘进机以及二运皮带载煤是否正常，发现不正常时及时对工作人员进行报警，有效防止了安全员脱岗无人监管而导致的安全生产责任事故的发生。
参考图3，本发明实施例提供的一种掘进机作业安全监测方法包括：监测图像获取模块2从图像采集装置1获取掘进机8掘进工作面区域监测图像；掘进机后灯状态识别模块3从监测图像中识别掘进机后灯状态并判断掘进机8是否运行；掘进机8当前状态是运行状态时，危险区域安全监测模块4从监测图像中识别掘进机8以及巷道两帮的位置并确定危险区域；从监测图像中识别危险区域内是否有作业人员；及当危险区域内有作业人员时，发出安全报警信号。
本发明实施例基于图像识别算法，监测掘进机后灯状态的目的为提醒撤人，起到预警作用，掘进机后灯由灭到亮时，判断掘进机当前状态是运行状态，此时再通过对掘进机以及巷道两帮的位置的识别确定危险区域，说明采煤机即将要移动，需要提示工作人员撤离，有效地在掘进机掘进前对掘进机机身两侧以及机身后方一定距离内的作业人员进行报警，防止掘进机运行时机身、截割臂、截割头挤死、挤伤作业人员。
参考图2，图像采集装置1安装在掘进工作面已有锚杆支护区域11顶板中间顶锚杆上，图像采集装置1朝向掘进工作面方向，安装位置及角度以能够监测到掘进机8以及巷道两帮(左巷帮9和右巷帮10)，图像采集装置1供电及信号传输均为有线方式，监控信号可传输到煤矿调度室监控大屏。监测图像通过每隔预定数量的帧从图像采集装置实时监测视频采集一帧图像获取，图像采集装置1实时监测掘进工作面区域，每隔N帧对图像采集一帧，N为大于1的正整数，将图像采集装置1拍摄到的图片都上传并利用已训练好的模型进行实时分析。另外，本发明实施例中利用目标检测算法识别图像中掘进机8的后灯是否打开，如果打开说明此时掘进机8是运行状态，则从监测图像中确定危险区域；否则舍弃图片，结束判断。
进一步地，危险区域包括：左危险区域、右危险区域和后危险区域；左危险区域、右危险区域和后危险区域的确定方法包括：识别监测图像中的掘进机以及巷道两帮并分别通过标记框标记；从掘进机左边缘至左巷帮的区域确定为左危险区域；从掘进机右边缘至右巷帮的区域确定为右危险区域；及从掘进机的下边缘向下延伸预测距离的区域确定为后危险区域。预测距离的确定方法包括：利用图像采集装置1获取预定系列拍摄焦距下的已知尺寸物体系列图像集；从每张已知尺寸物体图像中识别该物体，获得所述物体对应的图像尺寸并形成系列图像尺寸集；根据所述系列图像尺寸集中每个图像尺寸与对应的物体实际尺寸计算所述图像采集装置的拍摄图像与真实物体的比例尺；将比例尺与拍摄焦距建立对应关系并形成比例尺集；根据所述后危险区域的真实距离、所述图像采集装置拍摄焦距和比例尺集计算确定所述预测距离。
掘进机后灯状态识别模块3利用图像特征识别算法识别掘进机后灯状态，具体地，预先人工标注出掘进机后灯的亮灯与灭灯两种状态，然后通过掘进机后灯状态识别模块3利用卷积神经网络对监测图像进行特征提取并与预先标注框中的内容相对比，从而判断监测图像中掘进机的后灯是否打开。
参考图3，本发明实施例提供的一种掘进机作业安全监测方法还包括：通过二运皮带载煤识别监测模块6，识别监测图像中二运皮带上是否有煤，当监测到所述监测图像中二运皮带上无煤时，监测二运皮带上连续无煤的第一时间间隔，当第一时间间隔大于第一阈值T1时，发出安全报警信号。具体地，当危险区域安全监测模块4判断所述危险区内无作业人员时，发出掘进机掘进提醒信号，通过掘进机目标跟踪监测模块5利用目标跟踪算法监测掘进机8是否移动；当掘进机8移动时，循环至从监测图像中识别掘进机以及巷道两帮的位置并根据掘进机8的掘进位置实时确定危险区域；当掘进机8不移动时，二运皮带载煤识别监测模块6识别所述监测图像中二运皮带上是否有煤；当监测图像中二运皮带上无煤时，二运皮带载煤识别监测模块6记录第一时间t1并识别下一帧监测图像中二运皮带上是否有煤，否则，通过二运皮带载煤目标跟踪监测模块7监测所述监测图像中二运皮带上的煤是否移动；当二运皮带载煤识别监测模块6识别到下一帧监测图像中二运皮带上无煤时，记录第二时间t2；通过二运皮带载煤识别监测模块6计算第一时间t1与第二时间t2之间的第一时间间隔并判断所述第一时间间隔是否大于第一阈值T1；及当所述第一时间间隔大于所述第一阈值T1时，二运皮带载煤识别监测模块6发出安全报警信号，否则，循环至识别下一帧监测图像中二运皮带上是否有煤。进一步地，当二运皮带载煤识别监测模块6识别到下一帧监测图像中二运皮带上有煤时，清除已记录的第一时间t1，并循环至通过二运皮带载煤目标跟踪监测模块7监测所述监测图像中二运皮带上的煤是否移动。
本发明实施例，当监测到在危险区内无作业人员时，发出掘进机掘进提醒信号提醒掘进工可以进行掘进，并进一步对监测图像中掘进机是否移动以及二运皮带上是否有煤进行监测。当检测到掘进机移动时实时确定危险区域，危险区域根据掘进机的掘进位置实时变动更新。另外，在二运皮带上连续无煤的第一时间间隔大于第一阈值T1时，对作业人员进行报警，防止了二运皮带上连续无煤状况发生时未及时报警引起得到安全事故。
参考图3，更进一步地，本发明实施例提供的一种掘进机作业安全监测方法还包括：通过二运皮带载煤目标跟踪监测模块7，跟踪监测所述监测图像中二运皮带上的煤是否移动，当监测到所述监测图像中二运皮带上的煤不移动时，监测所述二运皮带上的煤连续不移动的第二时间间隔，当所述第二时间间隔大于第二阈值T2时，发出安全报警信号。具体地，当通过二运皮带载煤识别监测模块6识别所述监测图像中二运皮带上有煤时，通过二运皮带载煤目标跟踪监测模块7监测所述监测图像中二运皮带上的煤是否移动；当监测图像中二运皮带上的煤移动时，循环至通过掘进机目标跟踪监测模块5利用目标跟踪算法监测掘进机是否移动；当监测图像中二运皮带上的煤不移动时，二运皮带载煤目标跟踪监测模块7记录第三时间t3并监测下一帧监测图像中二运皮带上的煤是否移动；当监测到下一帧监测图像中二运皮带上的煤不移动时，二运皮带载煤目标跟踪监测模块7记录第四时间t4；之后通过二运皮带载煤目标跟踪监测模块7计算第三时间t3与第四时间t3之间的第二时间间隔并判断所述第二时间间隔是否大于第二阈值T2；当所述第二时间间隔大于所述第二阈值T2时，二运皮带载煤目标跟踪监测模块7发出安全报警信号，否则，循环至识别下一帧监测图像中二运皮带上的煤是否移动。当二运皮带载煤目标跟踪监测模块7识别到下一帧监测图像中二运皮带上的煤移动时，清除已记录的第三时间t3，并循环至通过掘进机目标跟踪监测模块5利用目标跟踪算法监测掘进机是否移动。
本发明实施例，在二运皮带上有煤时，进一步对监测图像中二运皮带上的煤是否移动进行监测，在二运皮带上的煤连续不移动的第二时间间隔大于第二阈值T2时，发出安全报警信号，防止了二运皮带上的煤连续不移动状况发生时未及时报警引起得到安全事故。
综上所述，在本发明实施例中监测二运皮带的作用具体如下：识别二运皮带是否有煤，如果二运皮带长时间无煤，且掘进机长时间不动，证明掘进机异常需要报警；如果掘进机长时间不动，二运皮带上有煤且煤在动，说明掘进机在处理工作面底煤，属正常状态，继续监测；如掘进机长时间不动，二运皮带有煤且长时间不动，说明掘进机异常需要报警。
在本实施例中，图像采集装置1同时也需要朝向二运皮带以监测二运皮带上是否有煤以及二运皮带上的煤是否移动，另外，图像采集装置1也可以设置两种，一种图像采集装置监测掘进机8及巷道两帮，另一种图像采集装置监测二运皮带。进一步地，在本实施例中，掘进机、巷道两帮、作业人员、二运皮带上的煤均是通过图像特征识别算法实现识别的，具体地，预先在图像中人工标注出掘进机、巷帮、作业人员、二运皮带上的煤，利用卷积神经网络对监测图像中的内容进行特征提取，并与预先标注的掘进机、巷帮、作业人员、二运皮带上的煤相对比，从而判断监测图像中是否有掘进机、巷帮、作业人员、二运皮带上是否有煤、以及掘进机、巷帮、作业人员、二运皮带上的煤的位置。
掘进机目标跟踪监测模块5和二运皮带载煤目标跟踪监测模块7均是利用目标跟踪算法分别监测掘进机和二运皮带上的煤是否移动，从获取到的视频数据中的第一帧监测图像开始，依次对每帧监测图像(每一视频帧)进行掘进机和二运皮带上的煤检测，一旦在某一帧图像中检测到掘进机或二运皮带上的煤，则结束检测，并基于检测到的掘进机位置或二运皮带上的煤的位置以及该帧图像之后的各帧图像，对掘进机进行目标追踪。如果后一帧监测图像中识别到的掘进机或二运皮带上的煤的跟踪框与前一帧监测图像中跟踪框不同则说明掘进机或二运皮带上的煤在移动。由于井下环境相对比较复杂，因此目标跟踪算法必须能够克服井下干扰，并且运行速度不能太慢，为此，本实施例中提出，可采用高效卷积追踪算法进行掘进机的追踪。
与上述实施例相对应的，本发明实施例还提供了一种掘进机作业安全监测设备，所述设备包括：图像采集装置、处理器和存储器；所述图像采集装置安装在所述掘进工作面已有锚杆支护区域顶板中间顶锚杆上，所述图像采集装置朝向所述掘进工作面方向以监测所述掘进机、巷道两帮以及二运皮带，获取实时监测视频；所述存储器用于存储一个或多个程序指令；所述处理器，用于运行一个或多个程序指令，用以执行如上所介绍的一种掘进机作业安全监测方法。
与上述实施例相对应的，本发明实施例还提供了一种计算机存储介质，该计算机存储介质中包含一个或多个程序指令。其中，一个或多个程序指令用于执行如上所介绍的一种掘进机作业安全监测方法。
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific工ntegrated Circuit，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。
易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，简称DRRAM)。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (8)
1.一种掘进机作业安全监测方法，其特征在于，所述方法包括：
获取掘进机在掘进工作面区域内的监测图像；
从所述监测图像中识别掘进机后灯状态，判断掘进机是否运行；
当确定所述掘进机当前状态是运行状态时，识别所述监测图像中掘进机以及巷道两帮的位置并确定危险区域；及
当识别到所述危险区域内有作业人员时，发出安全报警信号；
所述方法还包括：
当识别到所述危险区域内无作业人员时，发出掘进机掘进提醒信号；
利用目标跟踪算法监测掘进机是否移动；
当所述掘进机移动时，循环至从所述监测图像中识别掘进机以及巷道两帮的位置并根据掘进机的掘进位置实时确定危险区域；
当所述掘进机不移动时，识别所述监测图像中二运皮带上是否有煤；
当所述监测图像中二运皮带上无煤时，记录第一时间t1并识别下一帧监测图像中二运皮带上是否有煤，否则，监测所述监测图像中二运皮带上的煤是否移动；
当识别到下一帧监测图像中二运皮带上无煤时，记录第二时间t2；
计算第一时间t1与第二时间t2之间的第一时间间隔并判断所述第一时间间隔是否大于第一阈值T1；及
当所述第一时间间隔大于所述第一阈值T1时，发出安全报警信号，否则，循环至识别下一帧监测图像中二运皮带上是否有煤。
2.根据权利要求1所述的方法，其特征在于，所述危险区域包括：左危险区域、右危险区域和后危险区域；所述左危险区域、所述右危险区域和所述后危险区域的确定方法包括：
识别所述监测图像中的掘进机以及巷道两帮并分别通过标记框标记；
从掘进机左边缘至左巷帮的区域确定为左危险区域；
从掘进机右边缘至右巷帮的区域确定为右危险区域；及
从掘进机的下边缘向下延伸预测距离的区域确定为后危险区域。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当识别到下一帧监测图像中二运皮带上有煤时，清除已记录的第一时间t1，并循环至监测所述监测图像中二运皮带上的煤是否移动。
4.根据权利要求1或3所述的方法，其特征在于：所述方法还包括：
当所述监测图像中二运皮带上的煤移动时，循环至利用目标跟踪算法监测掘进机是否移动；
当所述监测图像中二运皮带上的煤不移动时，记录第三时间t3并监测下一帧监测图像中二运皮带上的煤是否移动；
当监测到下一帧监测图像中二运皮带上的煤不移动时，记录第四时间t4；
计算第三时间t3与第四时间t3之间的第二时间间隔并判断所述第二时间间隔是否大于第二阈值T2；
当所述第二时间间隔大于所述第二阈值T2时，发出安全报警信号，否则，循环至识别下一帧监测图像中二运皮带上的煤是否移动。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
当识别到下一帧监测图像中二运皮带上的煤移动时，清除已记录的第三时间t3，并循环至利用目标跟踪算法监测掘进机是否移动。
6.一种掘进机作业安全监测系统，其特征在于，所述系统包括：
监测图像获取模块，用于获取掘进机掘进工作面区域监测图像；
掘进机后灯状态识别模块，用于从所述监测图像中识别掘进机后灯状态并判断掘进机是否运行；及
危险区域安全监测模块，用于从所述监测图像中识别掘进机以及巷道两帮的位置并确定危险区域；从所述监测图像中识别所述危险区域内是否有作业人员；当所述危险区域内有作业人员时，发出安全报警信号；
所述系统还包括：
掘进机目标跟踪监测模块，用于利用目标跟踪算法监测掘进机是否移动；
二运皮带载煤识别监测模块，用于识别所述监测图像中二运皮带上是否有煤，当监测到所述监测图像中二运皮带上无煤时，监测所述二运皮带上连续无煤的第一时间间隔，当所述第一时间间隔大于第一阈值T1时，发出安全报警信号；和
二运皮带载煤目标跟踪监测模块，用于跟踪监测所述监测图像中二运皮带上的煤是否移动，当监测到所述监测图像中二运皮带上的煤不移动时，监测所述二运皮带上的煤连续不移动的第二时间间隔，当所述第二时间间隔大于第二阈值T2时，发出安全报警信号。
7.一种掘进机作业安全监测设备，其特征在于，所述设备包括：图像采集装置、处理器和存储器；
所述图像采集装置安装在掘进工作面已有锚杆支护区域顶板中间顶锚杆上，所述图像采集装置朝向所述掘进工作面方向以监测所述掘进机、巷道两帮以及二运皮带，获取实时监测视频；
所述存储器用于存储一个或多个程序指令；
所述处理器，用于运行一个或多个程序指令，用以执行如权利要求1-5任一项所述的方法。
8.一种计算机存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910722434.5A CN110486081B (zh) | 2019-08-06 | 2019-08-06 | 一种掘进机作业安全监测方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910722434.5A CN110486081B (zh) | 2019-08-06 | 2019-08-06 | 一种掘进机作业安全监测方法、系统、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110486081A CN110486081A (zh) | 2019-11-22 |
| CN110486081B true CN110486081B (zh) | 2020-12-29 |
Family
ID=68550097
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910722434.5A Active CN110486081B (zh) | 2019-08-06 | 2019-08-06 | 一种掘进机作业安全监测方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110486081B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110864692A (zh) * | 2019-11-29 | 2020-03-06 | 北京龙田华远科技有限公司 | 掘进机的位姿确定方法 |
| CN113175354B (zh) * | 2021-04-25 | 2022-11-15 | 中国铁建重工集团股份有限公司 | 掘锚机的作业安全监测系统、方法、装置 |
| CN113217107A (zh) * | 2021-05-31 | 2021-08-06 | 北京瑞华高科技术有限责任公司 | 掘进区域的人员告警方法及装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101476487A (zh) * | 2008-11-04 | 2009-07-08 | 淄博矿业集团有限责任公司 | 煤矿采掘工作区域人机闭锁保护系统 |
| CN104481591B (zh) * | 2014-11-19 | 2016-08-24 | 天地（常州）自动化股份有限公司 | 矿井移动采掘设备人员接近监测预警装置及其工作方法 |
| CN106851210A (zh) * | 2017-03-01 | 2017-06-13 | 中国矿业大学(北京) | 基于图像的掘进机异常工作及灾害报警系统 |
| CN109359594B (zh) * | 2018-10-17 | 2022-06-21 | 中国矿业大学 | 一种基于视频处理的矿井皮带异常检测方法及装置 |
| CN109961014A (zh) * | 2019-02-25 | 2019-07-02 | 中国科学院重庆绿色智能技术研究院 | 一种煤矿输送带危险区域监测方法及系统 |
-
2019
- 2019-08-06 CN CN201910722434.5A patent/CN110486081B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110486081A (zh) | 2019-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110486081B (zh) | 一种掘进机作业安全监测方法、系统、设备及存储介质 | |
| CN110422586B (zh) | 一种皮带运输机工作状态监测方法、装置及设备 | |
| EP3112900B1 (en) | Safety system and method to detect a risk condition in a region to be monitored placed close to an operating machine, such as a drilling machine or the like | |
| CN107043000A (zh) | 一种基于机器视觉的皮带运输机安全智能保障系统 | |
| CN110415485B (zh) | 护帮板的监控方法、装置、设备和存储介质 | |
| CN112282819A (zh) | 基于视觉的综采工作面人员目标安全监控方法及系统 | |
| CN110344882B (zh) | 监控刮板输送机工作人员操作的方法、系统及存储介质 | |
| CN110359960A (zh) | 一种用于煤矿转载机推移的安全报警方法及设备 | |
| CN110374681A (zh) | 一种移架时危险区域有人的报警方法、装置及系统 | |
| AU2012201854B2 (en) | Imaging-based proximity detection systems for mining machines | |
| CN110318796B (zh) | 一种识别液压支架移架状态的方法、装置及系统 | |
| KR100690279B1 (ko) | 다목적 영상감지 시스템 | |
| CN110424960A (zh) | 一种用于采煤机割煤作业安全的报警方法及设备 | |
| CN103136514A (zh) | 一种基于双向跟踪的停车事件检测方法 | |
| CN113484858A (zh) | 一种入侵检测方法和系统 | |
| CN112818753A (zh) | 采坑坠物检测方法、装置及系统 | |
| CN103400430A (zh) | 基于视频光幕的地铁门安全监控系统 | |
| US20190257471A1 (en) | Device and method for monitoring an operating area | |
| CN115294712A (zh) | 入侵预警方法、预警管理系统、电子设备和存储介质 | |
| CN115147772A (zh) | 一种数据处理方法及装置 | |
| CN112288996B (zh) | 高压线下预警防护方法、系统、计算机设备及其存储介质 | |
| CN113674311A (zh) | 异常行为检测方法、装置、电子设备、存储介质 | |
| CN110556003B (zh) | 无轨胶轮车速度的监控方法、装置、设备和存储介质 | |
| KR101339456B1 (ko) | 스캐너를 이용한 터널 내 유고 검지 시스템 | |
| CN116563761A (zh) | 一种综采工作面监测方法、装置、设备、程序产品及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |