CN111739254A - 一种煤矿井下网络边缘视频实时处理联控系统 - Google Patents

一种煤矿井下网络边缘视频实时处理联控系统 Download PDF

Info

Publication number
CN111739254A
CN111739254A CN202010628561.1A CN202010628561A CN111739254A CN 111739254 A CN111739254 A CN 111739254A CN 202010628561 A CN202010628561 A CN 202010628561A CN 111739254 A CN111739254 A CN 111739254A
Authority
CN
China
Prior art keywords
video
underground
coal mine
network
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010628561.1A
Other languages
English (en)
Inventor
李敬兆
许志
张传江
姚磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University of Science and Technology
Original Assignee
Anhui University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University of Science and Technology filed Critical Anhui University of Science and Technology
Priority to CN202010628561.1A priority Critical patent/CN111739254A/zh
Publication of CN111739254A publication Critical patent/CN111739254A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/028—Communication between parent and child units via remote transmission means, e.g. satellite network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

本发明涉及一种煤矿井下网络边缘视频实时处理联控系统，该系统通过将轻量化的人工智能部署在嵌入式平台上，能够实现对煤矿井下网络边缘的实时视频智能监控，实现危险状态的智能识别，并能够根据识别结果，立即关停发生异常的设备或对违章人员发出警示，并保存这些状态的高分辨率图片，最后通过机会网络将这些图片信息发送到云平台中，在云平台中对这些图片再进行进一步的分析处理。该系统能够及时响应井下的危险情况，大大降低了煤矿井下由于设备故障和人员违章造成的事故。

Description

一种煤矿井下网络边缘视频实时处理联控系统
技术领域
本发明或发明涉及视频监控和人工智能领域，具体是一种煤矿井下网络边缘视频实时处理联控系统。
背景技术
随着视频监控技术的不断发展，视频监控在各行各业都发挥着重要的作用。在煤矿井下生产过程中，视频监控被大量运用，不仅能够随时查看井下各个设备的运行状态，也能够对井下工作人员的违章行为进行监督，在煤矿井下的安全生产中起到了重要的作用。
传统的煤矿井下视频监控通常采用摄像头对监控区域的视频信号进行采集，再通过煤矿井下以太环网，将视频信息传输到监控平台，由监控管理人员对井下生产状态进行监视。这种采用人工对视频进行监视的方法需要大量的人工成本，不符合当今煤矿向着无人化、少人化发展的趋势。同时，人工监视存在很高的不确定因素，无法做到对监控画面进行全时、细致的监视。另外，传统的视频监控技术只能对监控对象起到监视的作用，当监控区域发生危险时却无法及时对危险情况进行处理。
虽然近些年大数据、云计算和人工智能技术发展迅速，已经能够在云计算平台上对监控视频进行分析，识别出人员、物体甚至行为，但是这些技术都必须使用大量的网络带宽资源将视频传输到云计算中心进行处理，这种处理方式会带来以下两个问题：(1)由于需要对视频进行传输，因此会产生较高的延迟，导致对实时性要求较高的预警、控制等场合无法适用；(2)在信号较差，甚至无法适用的场合就无法对视频进行处理。在煤矿井下生产时，虽然大多数地区都布置了视频监控，但是这些视频信号一般仅用于监视，而无法根据现场的视频信息对设备进行控制，因而不能及时处理井下的一些突发事件。而在煤矿井下，又有很多场合由于受到通信能力的限制，导致不能快速传输视频信号，因此基于云计算的视频实时监控在煤矿井下生产环境下无法可靠运行。对此，设计一种能够在煤矿井下网络边缘进行实时智能视频监控，并能够在井下设备发生异常以及人员出现违章行为时及时处理的视频联控系统对煤矿安全有着重要的意义。
发明内容
本发明的目的是提供一种煤矿井下网络边缘视频实时处理联控系统；该系统通过在嵌入式平台上部署轻量化神经网络，能够实现对视频的实时处理，当设备发生异常运行，或人员有违章行为，能够及时关停设备，或对工作人员发出警告。另外，该系统通过无线机会网络，设备发生异常或人员违章时的高分辨率图像发送到云平台，在云平台中利用强大的计算能力，对高分辨率的图像进行处理，从而进一步识别设备异常情况以及人员违章情况。该系统在煤矿井下边缘端能够实现实时视频监控，并能够对发生的紧急情况做出及时响应，有效地降低了煤矿井下事故发生率，同时能够将更加清晰的照片，通过无线机会网络发送到云平台，能够对井下状况做到更进一步的掌握。
本发明实现发明目的采用如下技术方案：
一种煤矿井下网络边缘视频实时处理联控系统，具体包括边缘视频处理平台，移动机会网络节点，机会网络网关，云计算中心。
进一步的，所述边缘视频处理平台由高性能的嵌入式微处理器 STM32H743IIT6，OV7670摄像头模块，8GB容量SD卡，ESP8266WIFI模块，LED 照明模块以及供电模块构成。该边缘视频处理平台通过摄像头模块实时采集监控区域视频信息，通过在嵌入式微处理器中部署轻量化神经网络对视频信息进行分析，当设备出现异常或有人员违章时，立即关停设备，或对人员发出警告，并将异常状态的图片保存在SD卡中，采用WIFI通过机会网络将图片发送至云平台。
进一步的，所述移动机会网络节点由嵌入式微处理器STM32F103CBT8，2GB 容量SD卡，电源模块，ESP8266WIFI模块组成。移动机会网络节点布置在井下工作人员或移动的车辆上，当移动机会网络节点经过边缘视频处理平台时，边缘视频处理平台将存储的图片信息发送给移动机会网络节点；当移动机会网络经过机会网络网关时，再将存储的图片发送到网关中。
进一步的，所述机会网络网关有嵌入式微处理器STM32F103ZET6，RJ45以太网接口，DM9000以太网芯片，电源模块，ESP8266WIFI模块构成。机会网络网关通过RJ45与井下以太网连接，当移动机会网络经过机会网络网关时，会将图片发送给网关，此时网关将接收到的图片通过以太网发送到云平台。
有益效果：
本发明与现有技术相比，其有益效果体现在该系统能够根据井下视频信息对井下的危急情况做出及时处理，再处理过程中省去了将视频信息发送至云平台，因此该系统拥有很高的实时性，此外，该系统正对视频监控中，对实时性要求低的监视部分，采用机会网络的方式对图像信息进行传输，因此该系统还兼顾了监控的准确性。而由于该系统的边缘视频处理平台和移动机会网络节点是基于嵌入式平台进行开发的，因此有很好的灵活性，能够根据煤矿井下生产需要，布置在井下的任何场所。
附图说明
图1是边缘视频处理平台。
图2是边缘视频处理平台的软件流程图。
图3是边缘视频处理平台部署的神经网络结构图。
图4是移动机会网络节点。
图5是机会网络网关节点。
具体实施方式
以下通过具体实施例对本发明或发明做进一步解释说明。
由图1，图2，图3，图4，图5所示，本发明由以下几部分构成。
边缘视频处理平台，由(1)STM32H743IIT6嵌入式微处理器；(2)OV7670 摄像头模块；(3)ESP8266WIFI模块；(4)8GB容量SD卡；(5)LED照明模块； (6)电源模块。该部分采用(2)采集井下视频信息，通过(1)对视频信息进行实时处理，当识别到井下发送危险事件时，立刻关停相应的异常设备，或对违章人员发出警示，并将该场景通过(4)进行保存，等待移动机会网络节点经过时，将保存的数据发送到移动机会网络。该部分(5)主要起到补光作用。
移动机会网络节点，由(7)STM32F103CBT6嵌入式微处理器；(8)ESP8266WIFI 模块；(9)2GB容量SD卡；(10)电源模块构成。该部分通过布置在井下车辆或行人等移动目标上，通过人或物的移动，灵活地扩展网络覆盖范围，当移动机会网络移动到边缘视频处理平台附近时，通过(7)控制(8)接收边缘视频处理平台保存的图片，并最终通过移动到机会网络网关节点将图片发送到以太网中。
机会网络网关节点由(11)STM32F103ZET6嵌入式微处理器；(12) ESP8266WIFI模块；(13)RJ45以太网接口；(14)DM9000以太网芯片；(15)电源模块构成。该部分通过(11)控制(12)接收移动机会网络节点从边缘视频处理平台收到的图片，并将这些图片通过以太网发送到云服务器中进行进一步的处理。
该系统的首先在PC机上训练轻量化神经网络，轻量化神经网络结构如图3 所示，神经网络中采用的深度可分离卷积能够大大减少卷积神经网络的参数数量和计算量，非常适合在嵌入式平台上进行部署。当轻量化神经网络训练完毕后，通过软件STM32Cube MX中的CubeAI模块对模型进行转换，使其转化为C/C++语言的神经网络模型，再将其移植到所使用的边缘视频处理平台上。边缘视频处理平台通过(2)不断采集井下视频，通过(1)对视频信息进行实时处理，当发现危险情况时，能够通过(1)立即控制外围电路关停相应设备或对违章人员发出警示，并将危险情况的高分辨率图片保存在SD卡中。当搭载在人员或车辆上的移动机会网络节点经过边缘视频处理平台时，通过(8)发出数据请求信息，边缘视频处理平台则通过(3)将保存在SD卡中的图片信息发送到移动机会网络节点。当移动机会网络节点移动到机会网络网关时，再通过(8)将收集到的图片发送到网关中。机会网络网关在接收到移动机会节点的图片后，通过(11)控制以太网接口将图片发送到以太网中，并最终传输到云平台。
对于本领域技术人员而言，显然本发明/发明不限于上述示范性实施例的细节，而且在不背离本发明/发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明/发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明/发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (3)

1.一种煤矿井下网络边缘视频实时处理联控系统，其特征在于：将视频处理放在边缘端，使得系统能够实时处理井下视频，且无须直接连接以太网，并根据视频识别结果及时进行操作，从而及时响应井下出现的危险状况，减少事故发生的概率。
2.根据权利要求1所述的一种煤矿井下网络边缘视频实时处理联控系统，其特征在于：采用机会网络对边缘视频处理平台保存的图片进行传输，使得整个系统的灵活性和可扩展性大大增强，能够实现对煤矿井下任意场所的监控。
3.根据权利要求1所述的一种煤矿井下网络边缘视频实时处理联控系统，其特征在于：将轻量化神经网络部署在嵌入式平台上，实现视频智能监控的边缘化，提高了灵活性和实用性。
CN202010628561.1A 2020-07-01 2020-07-01 一种煤矿井下网络边缘视频实时处理联控系统 Pending CN111739254A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010628561.1A CN111739254A (zh) 2020-07-01 2020-07-01 一种煤矿井下网络边缘视频实时处理联控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010628561.1A CN111739254A (zh) 2020-07-01 2020-07-01 一种煤矿井下网络边缘视频实时处理联控系统

Publications (1)

Publication Number Publication Date
CN111739254A true CN111739254A (zh) 2020-10-02

Family

ID=72652651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010628561.1A Pending CN111739254A (zh) 2020-07-01 2020-07-01 一种煤矿井下网络边缘视频实时处理联控系统

Country Status (1)

Country Link
CN (1) CN111739254A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114320469A (zh) * 2021-12-27 2022-04-12 中国矿业大学 一种基于云-边智能的井下危险源检测方法
CN115424407A (zh) * 2022-09-02 2022-12-02 中国矿业大学 一种煤矿井下危险区域智能感知系统和方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103281515A (zh) * 2013-05-10 2013-09-04 山东华辉自动化设备有限公司 一种可调控巡检式运输皮带无线视频监控系统
CN103440555A (zh) * 2013-08-31 2013-12-11 安徽理工大学 一种基于物联网感知的煤矿设备管理系统的使用方法
CN205114389U (zh) * 2015-10-26 2016-03-30 安徽理工大学 高可靠皮带机载人安全监测系统
CN107203993A (zh) * 2017-06-07 2017-09-26 深圳众厉电力科技有限公司 一种基于计算机视觉的井下监测系统
CN107561990A (zh) * 2017-09-30 2018-01-09 华南理工大学 一种基于边缘计算的工业传感信号采集器及采集方法
CN108668109A (zh) * 2018-02-14 2018-10-16 北京广天夏科技有限公司 基于计算机视觉的图像监控方法
CN109961014A (zh) * 2019-02-25 2019-07-02 中国科学院重庆绿色智能技术研究院 一种煤矿输送带危险区域监测方法及系统
CN209881826U (zh) * 2019-07-02 2019-12-31 精英数智科技股份有限公司 一种矿井中监控数据的模块化边缘处理系统
CN110675593A (zh) * 2019-10-11 2020-01-10 宁夏广天夏电子科技有限公司 一种基于红外热成像技术的人员安全检测系统
CN110766917A (zh) * 2019-09-26 2020-02-07 山东中衡光电科技有限公司 一种矿井危险区域视频监测及预警系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103281515A (zh) * 2013-05-10 2013-09-04 山东华辉自动化设备有限公司 一种可调控巡检式运输皮带无线视频监控系统
CN103440555A (zh) * 2013-08-31 2013-12-11 安徽理工大学 一种基于物联网感知的煤矿设备管理系统的使用方法
CN205114389U (zh) * 2015-10-26 2016-03-30 安徽理工大学 高可靠皮带机载人安全监测系统
CN107203993A (zh) * 2017-06-07 2017-09-26 深圳众厉电力科技有限公司 一种基于计算机视觉的井下监测系统
CN107561990A (zh) * 2017-09-30 2018-01-09 华南理工大学 一种基于边缘计算的工业传感信号采集器及采集方法
CN108668109A (zh) * 2018-02-14 2018-10-16 北京广天夏科技有限公司 基于计算机视觉的图像监控方法
CN109961014A (zh) * 2019-02-25 2019-07-02 中国科学院重庆绿色智能技术研究院 一种煤矿输送带危险区域监测方法及系统
CN209881826U (zh) * 2019-07-02 2019-12-31 精英数智科技股份有限公司 一种矿井中监控数据的模块化边缘处理系统
CN110766917A (zh) * 2019-09-26 2020-02-07 山东中衡光电科技有限公司 一种矿井危险区域视频监测及预警系统
CN110675593A (zh) * 2019-10-11 2020-01-10 宁夏广天夏电子科技有限公司 一种基于红外热成像技术的人员安全检测系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张敏: "机会网络在矿井安全监测中的应用研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》 *
郑树泉等: "《工业智能技术与应用》", 31 December 2018 *
金利国等: "基于物联网的智能分站在煤矿安全生产中的应用探讨", 《第28届全国煤矿自动化与信息化学术会议暨第9届中国煤矿信息化与自动化高层论坛论文集》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114320469A (zh) * 2021-12-27 2022-04-12 中国矿业大学 一种基于云-边智能的井下危险源检测方法
CN114320469B (zh) * 2021-12-27 2023-04-07 中国矿业大学 一种基于云-边智能的井下危险源检测方法
CN115424407A (zh) * 2022-09-02 2022-12-02 中国矿业大学 一种煤矿井下危险区域智能感知系统和方法

Similar Documents

Publication Publication Date Title
CN104537788B (zh) 一种高压输电线路防外破智能图像预警系统及方法
CN108983806B (zh) 区域检测、航线规划数据的生成方法和系统、飞行器
US10438071B2 (en) Distributed system for mining, correlating, and analyzing locally obtained traffic data including video
CN203260195U (zh) 基于智能终端的交通违章公众监督系统
CN111739254A (zh) 一种煤矿井下网络边缘视频实时处理联控系统
WO2018081670A1 (en) Video data and gis mapping for traffic monitoring, event detection and change prediction
CN101719316B (zh) 道路安全高速无线实时影像自动监控警示装置及其方法
CN103236181A (zh) 一种基于机器视觉的交通信号灯状态监控系统及方法
CN108046073A (zh) 一种电梯物联网监控系统
CN203849870U (zh) 基于无线网络的车流监测与信号灯智能控制系统
CN104581030A (zh) 便携式智能监控系统
CN103281515A (zh) 一种可调控巡检式运输皮带无线视频监控系统
CN114394100B (zh) 一种无人巡逻车控制系统及无人车
CN112112629A (zh) 一种钻井作业过程中的安全业务管理系统和方法
CN112671104A (zh) 面向复杂场景的变电站多维度场景管控平台
CN106444684A (zh) 电力设备运行环境数据采集及远动控制的综合联动装置及使用方法
CN115297305A (zh) 一种基于边缘计算的多视频流安全风险预警系统及方法
CN105741503A (zh) 一种现有监控设备下的停车场实时预警方法
CN212133871U (zh) 变电站红外测温报警及数据处理系统
CN209895464U (zh) 一种变电站异常监测报警系统
CN111629186A (zh) 一种煤矿井下人员违章电子警察装置
CN206421210U (zh) 一种双光谱智能公交监控系统
CN208015894U (zh) 一种基于全景摄像头的视频分析系统
CN212460818U (zh) 智慧城市监控系统
CN112727553A (zh) 一种井下人员行为安全监督管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201002