CN112282819A - 基于视觉的综采工作面人员目标安全监控方法及系统 - Google Patents
基于视觉的综采工作面人员目标安全监控方法及系统 Download PDFInfo
- Publication number
- CN112282819A CN112282819A CN202010964580.1A CN202010964580A CN112282819A CN 112282819 A CN112282819 A CN 112282819A CN 202010964580 A CN202010964580 A CN 202010964580A CN 112282819 A CN112282819 A CN 112282819A
- Authority
- CN
- China
- Prior art keywords
- personnel
- hydraulic support
- camera
- controlled
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000003245 coal Substances 0.000 title claims abstract description 139
- 238000005065 mining Methods 0.000 title claims abstract description 131
- 238000012544 monitoring process Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000001514 detection method Methods 0.000 claims abstract description 59
- 238000012546 transfer Methods 0.000 claims description 34
- 238000012806 monitoring device Methods 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000004519 manufacturing process Methods 0.000 abstract description 17
- 230000008569 process Effects 0.000 description 10
- 238000007726 management method Methods 0.000 description 7
- 230000009545 invasion Effects 0.000 description 6
- 230000008447 perception Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000009432 framing Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E21—EARTH OR ROCK DRILLING; MINING
- E21D—SHAFTS; TUNNELS; GALLERIES; LARGE UNDERGROUND CHAMBERS
- E21D23/00—Mine roof supports for step- by- step movement, e.g. in combination with provisions for shifting of conveyors, mining machines, or guides therefor
- E21D23/12—Control, e.g. using remote control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geochemistry & Mineralogy (AREA)
- Geology (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Component Parts Of Construction Machinery (AREA)
- Emergency Alarm Devices (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于视觉的综采工作面人员目标安全监控方法及系统。其中方法包括：获取待控制液压支架的支架号；其中综采工作面的液压支架区域内设置多个液压支架和至少一个第一摄像头，每个第一摄像头的视频监控范围覆盖至少一个液压支架的工作范围区域；根据支架号获取用以监控待控制液压支架的目标第一摄像头的实时视频流；根据目标第一摄像头的实时视频流获取人员目标检测结果；其中人员目标检测结果用于表示待控制液压支架的工作范围区域内是否有人员目标；根据人员目标检测结果和人员目标的定位信息，对待控制液压支架进行相应控制，以使人员目标在液压支架区域内可以安全作业。本申请实施例保障了井下工作人员人身安全和安全生产管理。
Description
技术领域
本申请涉及综采工作面安全监控技术领域，尤其涉及一种基于视觉的综采工作面人员目标安全监控方法及安全监控系统。
背景技术
随着煤矿智能化无人开采进程的推进，在井下整个综采过程中一定程度上减轻或者解放了煤矿工人的劳动强度，有些岗位已经实现了机械设备的自动化或无人操作，但是，某些岗位仍然需要煤矿工人操作机器设备进行生产运行，例如，跟机过程中采煤机前后的支架操作工和煤机操作工人岗位，以及机头机尾转载处的矿工岗位。因此在将来的一定时期内，在井下综采过程中，井下人员还会参与设备机器(采煤机、液压支架和刮板运输机，统称为三机)的运行进行辅助作业，完成综采生产活动。而且，随着“无人操作，有人巡视”智能化工作面生产模式的推广应用，井下巡检人员在工作面作业生产过程中活动行走越来越频繁。
因此，如何保障井下综采工作面内作业人员的安全，已经成为亟待解决的问题。
发明内容
本申请的目的旨在至少在一定程度上解决上述的技术问题之一。
为此，本申请的第一个目的在于提出一种基于视觉的综采工作面人员目标安全监控方法可以保障井下工作人员人身安全，提高智能、安全生产管理效率。
本申请的第二个目的在于提出一种基于视觉的综采工作面人员目标安全监控系统。
为达到上述目的，本申请第一方面实施例提出的基于视觉的综采工作面人员目标安全监控方法，包括：
获取待控制液压支架的支架号；其中，所述综采工作面的液压支架区域内设置有多个液压支架和至少一个第一摄像头，每个所述第一摄像头的视频监控范围覆盖一个或多个所述液压支架的工作范围区域；
根据所述支架号获取用以监控所述待控制液压支架的目标第一摄像头的实时视频流；
根据所述目标第一摄像头的实时视频流获取人员目标检测结果；其中，所述人员目标检测结果用于表示所述待控制液压支架的工作范围区域内是否有人员目标；以及
根据所述人员目标检测结果和所述人员目标的定位信息，对所述待控制液压支架进行相应控制，以使所述人员目标在所述液压支架区域内安全作业。
为达到上述目的，本申请第二方面实施例提出的基于视觉的综采工作面人员目标安全监控系统，所述综采工作面包括液压支架区域，所述液压支架区域内设置有多个液压支架，其中，所述系统包括：
设置于所述液压支架区域内的至少一个第一摄像头，每个所述第一摄像头的视频监控范围覆盖一个或多个所述液压支架的工作范围区域；
监控装置，用于获取待控制液压支架的支架号，并根据所述支架号获取用以监控所述待控制液压支架的目标第一摄像头的实时视频流，并根据所述目标第一摄像头的实时视频流获取人员目标检测结果，以及根据所述人员目标检测结果和所述人员目标的定位信息，对所述待控制液压支架进行控制；其中，所述人员目标检测结果用于表示所述待控制液压支架的工作范围区域内是否有人员目标。
根据本申请实施例的基于视觉的综采工作面人员目标安全监控方法及系统，可获取待控制液压支架的支架号，并根据该支架号获取用以监控待控制液压支架的目标第一摄像头的实时视频流，然后根据目标第一摄像头的实时视频流获取人员目标检测结果，其中，人员目标检测结果用于表示待控制液压支架的工作范围区域内是否有人员目标，并根据该人员目标检测结果和人员目标的定位信息，对待控制液压支架进行相应控制，以使人员目标在液压支架区域内可以安全作业。由此，对煤矿井下工作面人员进行实时动态智能监测的基础上，有效融合利用人员目标的定位信息，自动决策分析，然后基于人员安全保护策略实现人机联动自动控制，保障井下工作人员人身安全，提高智能、安全生产管理效率。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本申请一个实施例的基于视觉的综采工作面人员目标安全监控方法的流程图；
图2是根据本申请另一个实施例的基于视觉的综采工作面人员目标安全监控方法的流程图；
图3是根据本申请又一个实施例的基于视觉的综采工作面人员目标安全监控方法的流程图；
图4是根据本申请一个实施例的基于视觉的综采工作面人员目标安全监控系统的结构框图；
图5是根据本申请另一个实施例的基于视觉的综采工作面人员目标安全监控系统的结构框图；
图6是根据本申请又一个实施例的基于视觉的综采工作面人员目标安全监控系统的结构框图；
图7是根据本申请实施例的综采工作面端头和断尾处摄像头的安装位置示例图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本发明实施例的基于视觉的综采工作面人员目标安全监控方法及安全监控系统。
随着煤矿智能化无人开采进程的推进，在井下整个综采过程中一定程度上减轻或者解放了煤矿工人的劳动强度，有些岗位已经实现了机械设备的自动化或无人操作，但是，某些岗位仍然需要煤矿工人操作机器设备进行生产运行，例如，跟机过程中采煤机前后的支架操作工和煤机操作工人岗位，以及机头机尾转载处的矿工岗位。因此在将来的一定时期内，在井下综采过程中，井下人员还会参与设备机器(采煤机、液压支架和刮板运输机，统称为三机)的运行进行辅助作业，完成综采生产活动。而且，随着“无人操作，有人巡视”智能化工作面生产模式的推广应用，井下巡检人员在工作面作业生产过程中活动行走越来越频繁。这种情况下采煤机附近的支架跟机伸收护帮、移架、推溜等动作自动化程度越来越高。因此，当巡检人员在采煤机附近的支架区域行走时，系统需要根据人员出现情况进行相应的支架自动闭锁/解锁。因此，如何保障井下综采工作面内作业人员的安全，已经成为亟待解决的问题。
为了解决上述技术问题，本申请提出了一种基于视觉的综采工作面人员目标安全监控方法。具体而言，如图1所示，该基于视觉的综采工作面人员目标安全监控方法可以包括以下步骤：
S110，获取待控制液压支架的支架号。
其中，在本申请的一些实施例中，综采工作面的液压支架区域内设置有多个液压支架和至少一个第一摄像头，每个第一摄像头的视频监控范围覆盖一个或多个液压支架的工作范围区域。
可以理解，在控制液压支架区域内的液压支架之前，需先判断该待控制的液压支架附近是否有人员，以保障井下综采工作面内作业人员的安全。因此，在控制液压支架区域内的液压支架之前，需先确定当前将要控制哪个液压支架，即需先获取待控制液压支架的支架号。其中，该支架号可理解为位于液压支架区域内的每个液压支架所拥有的唯一识别码，该识别码可用于唯一标示具体的液压支架，从而便于区分。
需要说明的是，在本申请的描述中，上述“至少一个”的含义是一个或多个，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
S120，根据支架号获取用以监控待控制液压支架的目标第一摄像头的实时视频流。
可选地，在获得待控制液压支架的支架号之后，可根据该支架号从设置于液压支架区域内的至少一个第一摄像头中，获取用以监控该待控制液压支架的目标第一摄像头，之后，可获取该目标第一摄像头的实时视频流。
例如，可预先建立液压支架的支架号与第一摄像头之间的对应关系，其中，该对应关系可理解为：第一摄像头可监控哪个或哪些液压支架，比如，假设液压支架区域内安装有三个第一摄像头(如第一摄像头A、第一摄像头B和第一摄像头C)，液压支架区域内具有5个液压支架(如液压支架1、液压支架2、液压支架3、液压支架4和液压支架5)，其中，第一摄像头A可监控液压支架1和液压支架2，即第一摄像头A的视频监控范围可覆盖液压支架1和液压支架2的工作范围区域；第一摄像头B可监控液压支架3；第一摄像头C可监控液压支架4和液压支架5。
在本步骤中，可根据支架号从预先建立的液压支架的支架号与第一摄像头之间的对应关系中，找出与该支架号对应的第一摄像头的标识号，进而根据该第一摄像头的标识号确定出用以监控该待控制液压支架的目标第一摄像头。然后，可获取该目标第一摄像头的实时视频流。
S130，根据目标第一摄像头的实时视频流获取人员目标检测结果；其中，人员目标检测结果用于表示待控制液压支架的工作范围区域内是否有人员目标。
可选地，在获得该目标第一摄像头的实时视频流之后，可利用预先建立的人员目标检测模型对目标第一摄像头的实时视频流进行人员目标的检测，以判断待控制液压支架的工作范围区域内是否有人员目标。例如，可将目标第一摄像头的实时视频流进行预处理，比如，分帧、尺寸裁剪等。之后，将经过预处理得到的视频帧图像输入至预先建立的人员目标检测模型进行人员目标检测。其中，人员目标检测模型可对输入的视频帧图像进行特征提取，并基于提取的图像特征进行预测，以预测该视频帧图像中具有人员目标的概率，若该概率大于或某个阈值，则说明该视频帧图像具有人员目标，即表示待控制液压支架的工作范围区域内有人员目标；若该概率小于该阈值，则说明该视频帧图像没有人员目标，即表示待控制液压支架的工作范围区域内没有人员目标。由此，可通过获取人员目标检测模型输出结果即可获得人员目标检测结果。
需要说明的是，在本申请的一些实施例中，上述人员目标检测模型可以是利用深度学习技术预先建立的模型。例如，可获取人员目标的样本图像，并为样本图像标注标签，以得到样本图像的标签信息；提取样本图像中的人员目标特征，然后根据提取的人员目标特征和样本图像的标签信息对预设的神经网络模型进行训练，并将训练好的神经网络模型作为该人员目标检测模型。其中，该标签信息可以是指该样本图像有无人员目标。由此，基于人工智能技术，通过深度学习实现综采工作面人员目标对象智能感知算法模型的构建，并基于第一摄像头和构建的模型检测液压支架附近是否有人员目标，进而基于检测结果对液压支架进行相应控制，从而可以保障液压支架区域内作业人员的安全。
S140，根据人员目标检测结果和人员目标的定位信息，对待控制液压支架进行相应控制，以使人员目标在液压支架区域内安全作业。
也就是说，在获得人员目标检测结果之后，可获取该人员目标的定位信息，并根据人员目标检测结果和人员目标的定位信息对待控制液压支架进行相应控制，比如控制该待控制液压支架进行解锁操作还是闭锁操作，从而使得人员目标在液压支架区域内安全作业。
在本申请的一些实施例中，当所述人员目标检测结果为待控制液压支架的工作范围区域内有人员目标时，获取人员目标的定位信息，并根据人员目标的定位信息识别人员目标是否在待控制液压支架上，如果人员目标在待控制液压支架上，则控制待控制液压支架进行闭锁操作。
也就是说，可由目标第一摄像头的实时视频流获取人员目标检测结果，如果该人员目标检测结果是待控制液压支架的工作范围区域内有人员目标，则此时可获取该人员目标的定位信息，并根据该人员目标的定位信息进一步识别该人员目标是否在该待控制液压支架上；如果该人员目标是在该待控制液压支架上，则控制该待控制液压支架进行闭锁操作。
其中，在本申请一些实施例中，上述人员目标的定位信息可通过以下方式获得：可通过人员目标自身携带的定位装置来获取该定位装置所定位到的定位信息。其中，由于目前通常人手一部手机，目前手机通常都具有GPS定位功能，所以本申请的定位装置可以是手机(或其他移动终端)；或者，该定位装置还可以是基于超宽带雷达技术实现的人员定位系统。例如，要求人员进入矿井前必须配备携带超精度的人员定位终端(其中，该定位终端可以是基于超宽带雷达技术实现的人员定位系统)，然后通过工作面的基站实现对井下人员的定位，从而可以根据基站所接收到信号来获取该人员目标的定位信息。
需要说明的是，在本申请的一个实施例中，当所述人员目标检测结果为待控制液压支架的工作范围区域内无人员目标，或者，人员目标未在待控制液压支架上时，控制待控制液压支架进行解锁操作。也就是说，在通过智能感知检测到待控制液压支架的工作范围区域内无人员目标，或者，通过智能感知融合人员目标的定位信息进一步准确地识别出该人员目标未在待控制液压支架上时，说明此时解锁该待控制液压支架是安全的，不会给井下工作人员带来安全隐患，即此时可控制该待控制液压支架进行解锁操作。
由此，在综采工作面，围绕井下人员目标对象的智能感知，融合井下人员定位信息针对人员活动状况进行动态智能监测，实现基于人员安全保护策略的人机联动协同液压支架自动解锁或闭锁，以保障综采工作面安全生产管理至关重要，将会有力促进煤矿智能开采系统的构建进程。
根据本申请实施例的基于视觉的综采工作面安全监控方法，可获取待控制液压支架的支架号，并根据该支架号获取用以监控待控制液压支架的目标第一摄像头的实时视频流，然后根据目标第一摄像头的实时视频流获取人员目标检测结果，其中，人员目标检测结果用于表示待控制液压支架的工作范围区域内是否有人员目标，并根据该人员目标检测结果和人员目标的定位信息，对待控制液压支架进行相应控制，以使人员目标在液压支架区域内可以安全作业。由此，对煤矿井下工作面人员进行实时动态智能监测的基础上，有效融合利用人员目标的定位信息，自动决策分析，然后基于人员安全保护策略实现人机联动自动控制，保障井下工作人员人身安全，提高智能、安全生产管理效率。
需要说明的是，在综采工作面转载机附近区域内，正常生产作业情况下，由于环境恶劣，人员潜在被伤害风险程度高，需严禁人员入侵作业活动区域。除非当转载机头堆积大块煤或者煤流拥堵时，确保转载机区域环境不会对人员生命安全造成伤害的情况下，才允许人员进入此区域进行相应的作业处置。因此需要针对此区域人员目标的入侵进行自动检测，基于人员安全保护策略进行设备联动自动控制的安全生产管理。具体而言，在本申请的一些实施例中，如图2所示，在如图1所示的基础上，该基于视觉的综采工作面人员目标安全监控方法还可包括：
S210，获取设置于综采工作面的转载机处区域内的第二摄像头的实时视频流。
需要说明的是，在本申请的一些实施例中，综采工作面的转载机处区域内可设置有第二摄像头，这样，可利用该第二摄像头对转载机处区域内进行视频监控。其中，该第二摄像头的视频监控范围覆盖整个转载机的工作范围区域。另外，可以根据实际需要设定该第二摄像头的数量，以保证整个转载机的工作范围区域能够整体被监控。
S220，根据第二摄像头的实时视频流，检测转载机处区域内是否同时有人和大块煤对象。
可选地，将第二摄像头的实时视频流进行预处理，比如，分帧、尺寸裁剪等。之后，可将经过预处理得到的视频帧图像输入至预先建立的人员目标及大块煤对象感知模型，以自动检测当前转载机处区域内是否同时有人和大块煤对象。
需要说明的是，在本申请的一些实施例中，上述人员目标及大块煤对象感知模型可用于对人员目标和大块煤对象的检测。该人员目标及大块煤对象感知模型可以是利用深度学习技术预先建立的模型。
例如，可获取只具有人员目标的人员样本图像、只具有大块煤对象的大块煤样本图像以及同时具有人员目标和大块煤对象的混合样本图像，并分别为人员样本图像、大块煤样本图像和混合样本图像标注标签，以得到人员样本图像的标签信息、大块煤样本图像的标签信息和混合样本图像的标签信息。之后，可提取人员样本图像中的人员目标特征，并提取大块煤样本图像中的大块煤特征，并提取混合样本图像中的混合特征。然后，根据提取的人员目标特征、大块煤特征、混合特征以及人员样本图像的标签信息、大块煤样本图像的标签信息和混合样本图像的标签信息，对预设的神经网络模型进行训练，并将训练好的神经网络模型作为该人员目标及大块煤对象感知模型。
S230，如果转载机处区域内只有人，则触发人员违章入侵转载机处区域预警提示，并将人员违章入侵转载机处区域的视频图像进行存储。
也就是说，在根据第二摄像头的实时视频流检测到转载机处区域内只有人时，可认为此时有人员违章入侵转载机处区域，此时可进行人员违章入侵转载机处区域预警并存储人员违章入侵事件至相关数据库，以作为后续寻找溯源时的判断依据。
S240，如果转载机处区域内只有大块煤对象，则触发大块煤堆煤告警提示。
也就是说，当根据第二摄像头的实时视频流检测到转载机处区域内只有大块煤对象时，可认为此时转载机处区域内有出现大块煤或堆煤状况，且没有人员对其进行排除，此时可进行大块煤堆煤告警提示，以提醒工作人员该转载机处区域内出现了大块煤或堆煤状况，需对其关注并进行排除，并存储大块煤堆煤状态至相关数据库，例如，可将该第二摄像头的实时视频流存储至相关数据库，以作为后续寻找溯源时的判断依据。
S250，如果转载机处区域内同时有人和大块煤对象，则触发警报提示，其中，该警报提示用于提醒转载机处区域内有人进行堆煤处理。
也就是说，当根据第二摄像头的实时视频流检测到转载机处区域内同时有人和大块煤对象时，表示转载机处当前处于堆煤状况，井下工人进行堆煤处理状态，此时需触发警报提示，以提醒视频监控人员对该现象进行关注。
S260，获取作业于综采工作面内的采煤机的当前位置。
可选地，假设采煤机上具有定位装置，该定位装置可实时对采煤机进行定位，由此可通过该定位装置发送的定位信息以获取该采煤机的当前位置。又如，可通过综采工作面内的摄像头所采集的视频图像来获取该采煤机的当前位置。或者，还可以通过其他方式来获取采煤机的当前位置，本申请对此不做具体限定。
S270，根据采煤机的当前位置，判断采煤机当前是否处于转载机处区域的预设范围内。
也就是说，在检测到转载机处区域内同时有人和大块煤对象时，此时需根据采煤机的当前位置判断采煤机当前是否处于转载机处区域附近。其中，该附近可理解为转载机处区域的预设范围内。需要说明的是，该转载机处区域的预设范围可理解是以转载机所处区域为中心，以预设距离为半径而组成的区域。
S280，如果采煤机当前处于转载机处区域的预设范围内，则控制采煤机减速或停止。
例如，在根据采煤机的当前位置判断该采煤机当前处于转载机处区域的预设范围内时，由于此时当前转载机处区域内有人正在进行堆煤处理，所以，为了保证人员安全，此时需控制采煤机减速或停止，同时还可一直进行警报提示，以引起人员注意，从而保证井下工作人员的人身安全。
根据本申请实施例的基于视觉的综采工作面人员目标安全监控方法，在转载机处区域，如果同时检测到人员目标和大块煤对象，则表示转载机处当前发生堆煤状况，井下工人正进行堆煤处理状态，从而触发警报提示，等待井下工人堆煤处理直至处理结束。另外，可以进一步判断采煤机当前是否到达转载机处的机头或者机尾区域附近，如果采煤机处于转载处的机头或者机尾区域附近，则基于人员安全保护策略自动控制采煤机降速或者停止保障井下工作人员处理堆煤状况时的人身安全。若只感知到转载处有大块煤目标以及堆煤状况，则进行大块煤堆煤告警提示人员需进行堆煤处理。若只感知到转载处人员目标，则进行人员违章入侵转载机处区域预警，并存储人员违章入侵事件上报存储至数据中心以备后续进行围绕井下人员基于违章、违规的安全生产管理，由此可见，本申请具有智能感知，自动识别判断决策，以及基于人员安全保护策略的人机联动协同自动控制特点，推进智能、安全、高效、绿色的煤矿生产管理进程，助力煤矿智能生产管理系统构建。
需要说明的是，在井下综采工作面内，人员从工作面两端流动，为此则需要在综采工作面端头、端尾支架顶梁处各安装摄像仪1台，视野范围为工作面内侧，保证人员进出工作面活动视频图像画面全覆盖。同时人员进入工作面必须全程佩戴高精度UWB(Ultra WideBand，超宽带)定位卡。具体而言，在本申请的一些实施例中，如图3所示，该基于视觉的综采工作面安全监控方法还包括：
S310，获取设置于综采工作面端头的第三摄像头的实时视频流，并获取设置于综采工作面端尾的第四摄像头的实时视频流。
需要说明的是，在本申请的一些实施例中，综采工作面端头和端尾可各安装有摄像头，例如，综采工作面端头设置第三摄像头，综采工作面端尾设置第四摄像头。这样，可利用第三摄像头和第四摄像头即可对综采工作面端头和端尾区域进行视觉监控。
S320，分别对第三摄像头的实时视频流和第四摄像头的实时视频流进行人员行为分析，判断人员是否进入或离开综采工作面。
可选地，可对第三摄像头的实时视频流进行预处理，比如，分帧、尺寸裁剪等，并将经过预处理得到的视频帧图像输入至预先建立的人员目标检测模型进行人员目标检测，并对第四摄像头的实时视频流进行预处理，比如，分帧、尺寸裁剪等，并将经过预处理得到的视频帧图像输入至预先建立的人员目标检测模型进行人员目标检测。根据针对第三摄像头的实时视频流的人员目标监测结果和针对第四摄像头的实时视频流的人员目标监测结果，来判断人员是否进入或离开综采工作面。例如，可通过连续帧图像平面中人员目标的平移方向判断人员目标的移动方向，在此基础上根据最后时刻人员目标在图像帧屏幕中的位置来识别确定人员行为，针对人员目标是否进出综采工作面区域进行自动判断。
S330，根据判断结果统筹进入或离开综采工作面的人员数量。
S340，根据统筹的进入或离开综采工作面的人员数量，统计出当前处于综采工作面内的所有人员的数量。
例如，在检测到有人员目标进入综采工作面时，则对统计人数变量加1，如果检测到有人员目标离开综采工作面，则对统计人数变量减1，同时汇总统计得出整个综采工作面当前人员的数量。
可选地，在本申请的一些实施例中，在统计出当前处于综采工作面内的所有人员的数量之后，可将统计到的数量上传给综采工作面安全监控系统。
根据本申请实施例的基于视觉的综采工作面人员目标安全监控方法，针对综采工作面端头、端尾处的人员目标进行智能感知，行为进行识别分析，判断其是否进入或者离开综采工作面，根据判断统筹进入或者离开综采工作面人员目标的数量，汇总统计得出整个综采工作面当前人员的数量，实现了综采工作面人员数量的动态监测。
图4是根据本申请一个实施例的基于视觉的综采工作面人员目标安全监控系统的结构框图。需要说明的是，在本申请实施例中，综采工作面可包括液压支架区域，该液压支架区域内设置有多个液压支架。如图4所示，该基于视觉的综采工作面安全监控系统400可以包括：至少一个第一摄像头410和监控装置420。
其中，至少一个第一摄像头410可设置于液压支架区域内。每个第一摄像头410的视频监控范围覆盖一个或多个液压支架的工作范围区域。
监控装置420可用于获取待控制液压支架的支架号，并根据支架号获取用以监控待控制液压支架的目标第一摄像头的实时视频流，并根据目标第一摄像头的实时视频流获取人员目标检测结果，以及根据人员目标检测结果和人员目标的定位信息，对待控制液压支架进行控制；其中，人员目标检测结果用于表示待控制液压支架的工作范围区域内是否有人员目标。
在本申请的一些实施例中，监控装置420根据人员目标检测结果和人员目标的定位信息，对待控制液压支架进行控制的具体实现过程可如下：当人员目标检测结果为待控制液压支架的工作范围区域内有人员目标时，获取人员目标的定位信息；根据人员目标的定位信息识别人员目标是否在待控制液压支架上；如果人员目标在待控制液压支架上，则控制待控制液压支架进行闭锁操作。
在本申请的实施例中，监控装置420还用于在人员目标检测结果为待控制液压支架的工作范围区域内无人员目标，或者，人员目标未在待控制液压支架上时，控制待控制液压支架进行解锁操作。
在本申请一些实施例中，如图5所示，在如图4所示的基础上，该基于视觉的综采工作面安全监控系统400还可包括：第二摄像头430。其中，第二摄像头430设置于综采工作面的转载机处区域内。第二摄像头430的视频监控范围覆盖整个转载机的工作范围区域。
其中，在本申请的实施例中，监控装置420还用于获取第二摄像头的实时视频流，并根据第二摄像头的实时视频流，检测转载机处区域内是否同时有人和大块煤对象，并在转载机处区域内同时有人和大块煤对象时，触发警报提示，并获取作业于综采工作面内的采煤机的当前位置，在根据采煤机的当前位置，判断采煤机当前处于转载机处区域的预设范围内时，控制采煤机减速或停止；其中，警报提示用于提醒转载机处区域内有人进行堆煤处理。
在本申请的一些实施例中，监控装置420还用于：如果转载机处区域内只有人，则触发人员违章入侵转载机处区域预警提示，并将人员违章入侵转载机处区域的视频图像进行存储；或者，如果转载机处区域内只有大块煤对象，则触发大块煤堆煤告警提示。
在本申请的一些实施例中，如图6所示，在如图5所示的基础上，该基于视觉的综采工作面安全监控系统400还可包括：第三摄像头440和第四摄像头450。其中，第三摄像头440设置于综采工作面端头；第四摄像头450设置于综采工作面端尾。例如，如图7所示，可在综采工作面端头、端尾支架顶梁处各安装摄像仪1台，视野范围为工作面内侧，保证人员进出工作面活动视频图像画面全覆盖。
其中，在本申请的实施例中，监控装置420还用于：获取第三摄像头的实时视频流和第四摄像头的实时视频流，并分别对第三摄像头的实时视频流和第四摄像头的实时视频流进行人员行为分析，判断人员是否进入或离开综采工作面，根据判断结果统筹进入或离开综采工作面的人员数量，并根据统筹的进入或离开综采工作面的人员数量，统计出当前处于综采工作面内的所有人员的数量。
关于上述实施例中的系统，其中各个模块或装置执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
根据本申请实施例的基于视觉的综采工作面人员目标安全监控系统，可获取待控制液压支架的支架号，并根据该支架号获取用以监控待控制液压支架的目标第一摄像头的实时视频流，然后根据目标第一摄像头的实时视频流获取人员目标检测结果，其中，人员目标检测结果用于表示待控制液压支架的工作范围区域内是否有人员目标，并根据该人员目标检测结果和人员目标的定位信息，对待控制液压支架进行相应控制，以使人员目标在液压支架区域内可以安全作业。由此，对煤矿井下工作面人员进行实时动态智能监测的基础上，有效融合利用人员目标的定位信息，自动决策分析，然后基于人员安全保护策略实现人机联动自动控制，保障井下工作人员人身安全，提高智能、安全生产管理效率。
在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”、“第四”的特征可以明示或者隐含地包括至少一个该特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (12)
1.一种基于视觉的综采工作面人员目标安全监控方法，其特征在于，包括：
获取待控制液压支架的支架号；其中，所述综采工作面的液压支架区域内设置有多个液压支架和至少一个第一摄像头，每个所述第一摄像头的视频监控范围覆盖一个或多个所述液压支架的工作范围区域；
根据所述支架号获取用以监控所述待控制液压支架的目标第一摄像头的实时视频流；
根据所述目标第一摄像头的实时视频流获取人员目标检测结果；其中，所述人员目标检测结果用于表示所述待控制液压支架的工作范围区域内是否有人员目标；
以及根据所述人员目标检测结果和所述人员目标的定位信息，对所述待控制液压支架进行相应控制，以使所述人员目标在所述液压支架区域内安全作业。
2.根据权利要求1所述的方法，其特征在于，所述根据所述人员目标检测结果和所述人员目标的定位信息，对所述待控制液压支架进行相应控制，包括：
当所述人员目标检测结果为所述待控制液压支架的工作范围区域内有人员目标时，获取所述人员目标的定位信息；
根据所述人员目标的定位信息识别所述人员目标是否在所述待控制液压支架上；
如果所述人员目标在所述待控制液压支架上，则控制所述待控制液压支架进行闭锁操作。
3.根据权利要求2所述的方法，其特征在于，还包括：
当所述人员目标检测结果为所述待控制液压支架的工作范围区域内无人员目标，或者，所述人员目标未在所述待控制液压支架上时，控制所述待控制液压支架进行解锁操作。
4.根据权利要求1所述的方法，其特征在于，还包括：
获取设置于所述综采工作面的转载机处区域内的第二摄像头的实时视频流；其中，所述第二摄像头的视频监控范围覆盖整个转载机的工作范围区域；
根据所述第二摄像头的实时视频流，检测所述转载机处区域内是否同时有人和大块煤对象；
如果所述转载机处区域内同时有人和大块煤对象，则触发警报提示，并获取作业于所述综采工作面采煤机的当前位置，其中，所述警报提示用于提醒所述转载机处区域内有人进行堆煤处理；
根据所述采煤机的当前位置，判断所述采煤机当前是否处于所述转载机处区域的预设范围内；
如果所述采煤机当前处于所述转载机处区域的预设范围内，则控制所述采煤机减速或停止。
5.根据权利要求4所述的方法，其特征在于，还包括：
如果所述转载机处区域内只有人，则触发人员违章入侵转载机处区域预警提示，并将所述人员违章入侵转载机处区域的视频图像进行存储；或者
如果所述转载机处区域内只有大块煤对象，则触发大块煤堆煤告警提示。
6.根据权利要求1至5中任一项所述的方法，其特征在于，还包括：
获取设置于所述综采工作面端头的第三摄像头的实时视频流，并获取设置于所述综采工作面端尾的第四摄像头的实时视频流；
分别对所述第三摄像头的实时视频流和所述第四摄像头的实时视频流进行人员行为分析，判断所述人员是否进入或离开所述综采工作面；
根据判断结果统筹进入或离开所述综采工作面的人员数量；
根据统筹的进入或离开所述综采工作面的人员数量，统计出当前处于所述综采工作面内的所有人员的数量。
7.一种基于视觉的综采工作面人员目标安全监控系统，所述综采工作面包括液压支架区域，所述液压支架区域内设置有多个液压支架，其特征在于，所述系统包括：
设置于所述液压支架区域内的至少一个第一摄像头，每个所述第一摄像头的视频监控范围覆盖一个或多个所述液压支架的工作范围区域；
监控装置，用于获取待控制液压支架的支架号，并根据所述支架号获取用以监控所述待控制液压支架的目标第一摄像头的实时视频流，并根据所述目标第一摄像头的实时视频流获取人员目标检测结果，以及根据所述人员目标检测结果和所述人员目标的定位信息，对所述待控制液压支架进行控制；其中，所述人员目标检测结果用于表示所述待控制液压支架的工作范围区域内是否有人员目标。
8.根据权利要求7所述的系统，其特征在于，所述监控装置具体用于：
当所述人员目标检测结果为所述待控制液压支架的工作范围区域内有人员目标时，获取所述人员目标的定位信息；
根据所述人员目标的定位信息识别所述人员目标是否在所述待控制液压支架上；
如果所述人员目标在所述待控制液压支架上，则控制所述待控制液压支架进行闭锁操作。
9.根据权利要求8所述的系统，其特征在于，所述监控装置还用于：
当所述人员目标检测结果为所述待控制液压支架的工作范围区域内无人员目标，或者，所述人员目标未在所述待控制液压支架上时，控制所述待控制液压支架进行解锁操作。
10.根据权利要求7所述的系统，其特征在于，还包括：
设置于所述综采工作面的转载机处区域内的第二摄像头，其中，所述第二摄像头的视频监控范围覆盖整个转载机的工作范围区域；
其中，所述监控装置，还用于获取所述第二摄像头的实时视频流，并根据所述第二摄像头的实时视频流，检测所述转载机处区域内是否同时有人和大块煤对象，并在所述转载机处区域内同时有人和大块煤对象时，触发警报提示，并获取作业于所述综采工作面内的采煤机的当前位置，在根据所述采煤机的当前位置，判断所述采煤机当前处于所述转载机处区域的预设范围内时，控制所述采煤机减速或停止；其中，所述警报提示用于提醒所述转载机处区域内有人进行堆煤处理。
11.根据权利要求10所述的系统，其特征在于，所述监控装置还用于：
如果所述转载机处区域内只有人，则触发人员违章入侵转载机处区域预警提示，并将所述人员违章入侵转载机处区域的视频图像进行存储；或者
如果所述转载机处区域内只有大块煤对象，则触发大块煤堆煤告警提示。
12.根据权利要求7至11中任一项所述的系统，其特征在于，还包括：
设置于所述综采工作面端头的第三摄像头；
设置于所述综采工作面端尾的第四摄像头；
其中，所述监控装置还用于：获取所述第三摄像头的实时视频流和所述第四摄像头的实时视频流，并分别对所述第三摄像头的实时视频流和所述第四摄像头的实时视频流进行人员行为分析，判断所述人员是否进入或离开所述综采工作面，根据判断结果统筹进入或离开所述综采工作面的人员数量，并根据统筹的进入或离开所述综采工作面的人员数量，统计出当前处于所述综采工作面内的所有人员的数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010964580.1A CN112282819B (zh) | 2020-09-14 | 2020-09-14 | 基于视觉的综采工作面人员目标安全监控方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010964580.1A CN112282819B (zh) | 2020-09-14 | 2020-09-14 | 基于视觉的综采工作面人员目标安全监控方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112282819A true CN112282819A (zh) | 2021-01-29 |
| CN112282819B CN112282819B (zh) | 2024-01-09 |
Family
ID=74419960
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010964580.1A Active CN112282819B (zh) | 2020-09-14 | 2020-09-14 | 基于视觉的综采工作面人员目标安全监控方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112282819B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113266408A (zh) * | 2021-06-21 | 2021-08-17 | 常州联力自动化科技有限公司 | 一种基于图像识别技术的支架下人员检测闭锁方法 |
| CN114198146A (zh) * | 2021-10-25 | 2022-03-18 | 北京天玛智控科技股份有限公司 | 煤矿工作面转载机处堵塞异常的确定方法和装置 |
| CN114352336A (zh) * | 2021-12-17 | 2022-04-15 | 北京天玛智控科技股份有限公司 | 综采工作面智能控制系统和方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN204703903U (zh) * | 2015-05-14 | 2015-10-14 | 中煤张家口煤矿机械有限责任公司 | 一种综采工作面无人自动化开采系统 |
| CN110359960A (zh) * | 2019-07-24 | 2019-10-22 | 精英数智科技股份有限公司 | 一种用于煤矿转载机推移的安全报警方法及设备 |
| CN110374681A (zh) * | 2019-07-24 | 2019-10-25 | 精英数智科技股份有限公司 | 一种移架时危险区域有人的报警方法、装置及系统 |
| CN110422589A (zh) * | 2019-08-02 | 2019-11-08 | 精英数智科技股份有限公司 | 一种煤矿转载机堆煤安全报警方法、装置、设备、介质 |
| CN110602449A (zh) * | 2019-09-01 | 2019-12-20 | 天津大学 | 一种基于视觉的大场景下施工安全智能监控系统方法 |
-
2020
- 2020-09-14 CN CN202010964580.1A patent/CN112282819B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN204703903U (zh) * | 2015-05-14 | 2015-10-14 | 中煤张家口煤矿机械有限责任公司 | 一种综采工作面无人自动化开采系统 |
| CN110359960A (zh) * | 2019-07-24 | 2019-10-22 | 精英数智科技股份有限公司 | 一种用于煤矿转载机推移的安全报警方法及设备 |
| CN110374681A (zh) * | 2019-07-24 | 2019-10-25 | 精英数智科技股份有限公司 | 一种移架时危险区域有人的报警方法、装置及系统 |
| CN110422589A (zh) * | 2019-08-02 | 2019-11-08 | 精英数智科技股份有限公司 | 一种煤矿转载机堆煤安全报警方法、装置、设备、介质 |
| CN110602449A (zh) * | 2019-09-01 | 2019-12-20 | 天津大学 | 一种基于视觉的大场景下施工安全智能监控系统方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113266408A (zh) * | 2021-06-21 | 2021-08-17 | 常州联力自动化科技有限公司 | 一种基于图像识别技术的支架下人员检测闭锁方法 |
| CN114198146A (zh) * | 2021-10-25 | 2022-03-18 | 北京天玛智控科技股份有限公司 | 煤矿工作面转载机处堵塞异常的确定方法和装置 |
| CN114352336A (zh) * | 2021-12-17 | 2022-04-15 | 北京天玛智控科技股份有限公司 | 综采工作面智能控制系统和方法 |
| WO2023108692A1 (zh) * | 2021-12-17 | 2023-06-22 | 北京天玛智控科技股份有限公司 | 综采工作面智能控制系统、方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112282819B (zh) | 2024-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112282819A (zh) | 基于视觉的综采工作面人员目标安全监控方法及系统 | |
| CN112785798B (zh) | 面向电力变电站工程建设项目施工人员的行为分析方法 | |
| KR102136070B1 (ko) | 인공지능형 영상분석을 이용한 건설현장의 재난 및 사고 예방장치 | |
| KR102398841B1 (ko) | 영상 분석에 기반하여 건설 현장의 위험을 판단하기 위한 방법 및 시스템 | |
| CN110796819B (zh) | 一种针对站台黄线入侵越界人员的检测方法及系统 | |
| CN111083640A (zh) | 施工现场的智能监管方法及系统 | |
| CN112112629A (zh) | 一种钻井作业过程中的安全业务管理系统和方法 | |
| KR101036947B1 (ko) | 컴퓨터 영상 분석기술을 이용한 범죄 및 사고예방 자동경비 시스템 | |
| CN112738468B (zh) | 一种智慧园区安全预警方法 | |
| CN106801617A (zh) | 煤矿井下人员伤害预警系统 | |
| KR102315371B1 (ko) | 스마트 cctv 관제 및 경보 시스템 | |
| CN113206978A (zh) | 油气管道站场安防智能监控预警系统及方法 | |
| CN109492548B (zh) | 基于视频分析的区域mask图片的获得方法 | |
| CN112651642A (zh) | 一种基于多设备感知的水利工程现场人员安全管理系统 | |
| CN112799339A (zh) | 一种基于机器视觉技术预警工人与动态危险源的方法 | |
| CN111753780B (zh) | 变电站违章检测系统及违章检测方法 | |
| CN113593161A (zh) | 一种周界入侵检测方法 | |
| CN112381435A (zh) | 水电站作业过程动态风险的网格化定向推送管理方法 | |
| CN109345787A (zh) | 一种基于智能图像识别技术的输电线路防外损监控报警系统 | |
| CN207177958U (zh) | 煤矿井下人员伤害预警系统 | |
| CN210222962U (zh) | 一种智能电子围栏系统 | |
| CN110486081B (zh) | 一种掘进机作业安全监测方法、系统、设备及存储介质 | |
| CN114283544A (zh) | 一种基于人工智能的铁路站台入侵监测系统及方法 | |
| CN114648855A (zh) | 智慧社区安防综合管理系统及其控制方法 | |
| CN112541656A (zh) | 一种具有风险隐患预测能力的智能安防集成平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 101320 No.27, Linhe Avenue, Shunyi District, Beijing (Science and technology innovation function zone) Applicant after: BEIJING TIANDI-MARCO ELECTRO-HYDRAULIC CONTROL SYSTEM Co.,Ltd. Applicant after: BEIJING CCRI-TIANMA AUTOMATION TECHNOLOGY Co.,Ltd. Address before: 100013, Beijing, Chaoyang District, Hepingli Youth ditch East Road, building 5, one floor Applicant before: BEIJING TIANDI-MARCO ELECTRO-HYDRAULIC CONTROL SYSTEM Co.,Ltd. Applicant before: BEIJING CCRI-TIANMA AUTOMATION TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 101320 No.27, Linhe Avenue, Shunyi District, Beijing (Science and technology innovation function zone) Applicant after: Beijing Tianma Zhikong Technology Co.,Ltd. Applicant after: BEIJING CCRI-TIANMA AUTOMATION TECHNOLOGY Co.,Ltd. Address before: 101320 No.27, Linhe Avenue, Shunyi District, Beijing (Science and technology innovation function zone) Applicant before: BEIJING TIANDI-MARCO ELECTRO-HYDRAULIC CONTROL SYSTEM Co.,Ltd. Applicant before: BEIJING CCRI-TIANMA AUTOMATION TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |