CN109961014A - 一种煤矿输送带危险区域监测方法及系统 - Google Patents

一种煤矿输送带危险区域监测方法及系统 Download PDF

Info

Publication number
CN109961014A
CN109961014A CN201910137552.XA CN201910137552A CN109961014A CN 109961014 A CN109961014 A CN 109961014A CN 201910137552 A CN201910137552 A CN 201910137552A CN 109961014 A CN109961014 A CN 109961014A
Authority
CN
China
Prior art keywords
pedestrian
danger zone
coal mine
image information
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910137552.XA
Other languages
English (en)
Inventor
徐华泽
张宇
徐卉
杨雪琴
周祥东
石宇
罗代建
程俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Institute of Green and Intelligent Technology of CAS
Original Assignee
Chongqing Institute of Green and Intelligent Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Institute of Green and Intelligent Technology of CAS filed Critical Chongqing Institute of Green and Intelligent Technology of CAS
Priority to CN201910137552.XA priority Critical patent/CN109961014A/zh
Publication of CN109961014A publication Critical patent/CN109961014A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种煤矿输送带危险区域监测方法及系统，方法包括采集煤矿输送带危险区域的监控图像信息；将监控图像信息输入至所述第一模型，获取运转状态识别结果，所述运转状态识别结果包括工作状态和非工作状态；将识别结果为工作状态所对应的监控图像信息输入至所述第二模型，获取煤矿输送带危险区域内的行人检测结果，当检测结果为有人状态时，通过所述第三模型对行人的动作进行识别，当识别行人的动作与预设的违规动作匹配时，则发出告警信息；本发明可以对煤矿输送带危险区域进行智能监控，减少了人工监视的成本，实现了矿机运转状态判段、行人检测和动作识别等多个任务，解决了手动提取图像特征的不足，有效提高了实时监控的效率。

Description

一种煤矿输送带危险区域监测方法及系统
技术领域
本发明涉及计算机应用领域，尤其涉及一种煤矿输送带危险区域监测方法及系统。
背景技术
矿井运输是煤矿安全生产的重要环节，为了保证煤矿运输过程中的安全生产以及煤矿工作人员的人身安全，需要对煤矿输送带危险区域环境进行实时有效的监测，防止工作人员在煤矿输送机运转时进入危险区域并进行铲煤等违规生产作业。
目前，对煤矿输送带危险区域环境进行监测的主要方式是以人工监视为主的视频监控模式，这种方式存在突发情况处理不及时、多场景同时监视困难、监视效率低下等问题。并且由于煤矿井下环境恶劣、光照条件差、背景混杂，利用传统的手提特征方法，例如HOG特征、Haar特征和LBP特征等，不能有效解决在矿井复杂场景下矿机运转状态判断、行人检测和动作识别等问题，因此，亟需一种专门针对煤矿输送带危险区域环境进行实时有效的智能监测方法，以代替人工监视，实现煤矿输送带危险区域的监视任务。
发明内容
鉴于以上所述现有技术的缺点，本发明提供一种煤矿输送带危险区域监测方法及系统，以解决上述技术问题。
本发明提供的煤矿输送带危险区域监测方法，包括：
采集煤矿输送带危险区域的监控图像信息；
建立深度学习模型，所述深度学习模型包括用于煤矿输送机运转状态识别的第一模型、用于对行人进行检测的第二模型和用于识别行人动作的第三模型；
将监控图像信息输入至所述第一模型，获取运转状态识别结果，所述运转状态识别结果包括工作状态和非工作状态；
将识别结果为工作状态所对应的监控图像信息输入至所述第二模型，获取煤矿输送带危险区域内的行人检测结果，所述检测结果包括有人状态和无人状态；
当检测结果为有人状态时，通过所述第三模型对行人的动作进行识别，当识别行人的动作与预设的违规动作匹配时，则发出告警信息。
可选的，在采集到的煤矿输送带危险区域的监控图像信息中标定危险区域；
依次获取连续帧的监控图像信息中的危险区域内的图像信息；
根据所述危险区域内的图像信息，获取差分图像；
所述第一模型根据所述差分图像，对煤矿输送机的运转状态进行识别。
可选的，将采集到的煤矿输送带危险区域的监控图像信息输入至所述第二模型，判断是否存在行人；
当存在行人时，获取行人的边框位置；
计算所述行人的边框位置与标定的危险区域的重叠率；
当所述重叠率大于预设的比较阈值时，则判定煤矿输送带危险区域内的行人检测结果为有人状态，否则，则判定其为无人状态。
可选的，根据所述行人的边框位置，在煤矿输送带危险区域内中标定行人区域；
依次获取连续帧标定的行人区域内的图像信息；
根据所述行人区域内的图像信息，形成连续帧图像；
将所述连续帧图像输入至所述第三模型，判断行人的动作是否与预设的违规动作匹配。
可选的，获取当前帧的危险区域内的图像信息以及之前的连续3帧的危险区域内的图像信息，再将危险区域内的图像信息进行灰度处理，根据进行灰度处理后的图像信息，获取差分图像。
可选的，将所述行人的边框位置按照预设的填充比进行原图像填充处理，获取行人区域，获取连续3帧的行人区域内的图像信息，将所述连续3帧的行人区域内的图像信息进行灰度处理，将灰度处理后的三个灰度图连接成连续帧图像。
本发明还提供一种煤矿输送带危险区域监测系统，包括：图像采集模块，用于采集煤矿输送带危险区域的监控图像信息，
深度学习模型，所述深度学习模型包括用于煤矿输送机运转状态识别的第一模型、用于对行人进行检测的第二模型和用于识别行人动作的第三模型，
报警模块，用于发出告警信息；
将监控图像信息输入至所述第一模型，获取运转状态识别结果，所述运转状态识别结果包括工作状态和非工作状态；
将识别结果为工作状态所对应的监控图像信息输入至所述第二模型，获取煤矿输送带危险区域内的行人检测结果，所述检测结果包括有人状态和无人状态；
当检测结果为有人状态时，通过所述第三模型对行人的动作进行识别，当识别行人的动作与预设的违规动作匹配时，通过报警模块进行告警。
可选的，还包括预处理模块，所述预处理模块包括第一预处理单元、第二预处理单元和第三预处理单元；
第一预处理单元，用于在采集到的煤矿输送带危险区域的监控图像信息中标定危险区域，依次获取连续帧的监控图像信息中的危险区域内的图像信息，并根据所述危险区域内的图像信息，获取差分图像；
第二预处理单元，用于抽取当前帧图像，并将当前帧图像调整为预设尺寸的图像信息；
第三预处理单元，用于获取行人的边框位置，并对其按照预设的填充比进行原图像填充处理，获取行人区域，获取连续3帧的行人区域内的图像信息，将所述连续3帧的行人区域内的图像信息进行灰度处理，将灰度处理后的三个灰度图连接成连续帧图像。
可选的，所述深度学习模型为卷积神经网络模型，所述第二模型为目标检测网络模型。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法。
本发明还提供一种服务器，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行上述中任一项所述方法。
本发明的有益效果：本发明中的煤矿输送带危险区域监测方法及系统，可以对煤矿输送带危险区域进行智能监控，防止煤矿工人在矿机运转时进入危险区域并进行铲煤等违规生产作业，减少了人工监视的成本，本发明通过利用卷积神经网络模型，实现了矿机运转状态判段、行人检测和动作识别等多个任务，解决了手动提取图像特征的不足，有效提高了实时监控的效率，本发明具有方法简单、高效，易于推广应用的优点。
附图说明
图1是本发明实施例中煤矿输送带危险区域监测方法的流程示意图。
图2是本发明实施例中煤矿输送带危险区域监测系统的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
本实施例中的煤矿输送带危险区域监测方法，包括：
采集煤矿输送带危险区域的监控图像信息；
建立深度学习模型，所述深度学习模型包括用于煤矿输送机运转状态识别的第一模型、用于对行人进行检测的第二模型和用于识别行人动作的第三模型；
将监控图像信息输入至所述第一模型，获取运转状态识别结果，所述运转状态识别结果包括工作状态和非工作状态；
将识别结果为工作状态所对应的监控图像信息输入至所述第二模型，获取煤矿输送带危险区域内的行人检测结果，所述检测结果包括有人状态和无人状态；
当检测结果为有人状态时，通过所述第三模型对行人的动作进行识别，当识别行人的动作与预设的违规动作匹配时，则发出告警信息。
如图1所示，在本实施例中，煤矿输送带危险区域监测方法的主要流程包括输入监控视频图像，首先判断煤矿输送机是否处于运转状态；若识别输送机为运转状态，则进一步判断煤矿输送带危险区域是否出现行人；若在煤矿危险区域检测到行人，则进一步判断该行人是否具有铲煤动作；若识别到该行人具有铲煤这一违规操作，则向系统发出警报。
在本实施例中，在采集到的煤矿输送带危险区域的监控图像信息中标定危险区域；依次获取连续帧的监控图像信息中的危险区域内的图像信息；根据所述危险区域内的图像信息，获取差分图像；第一模型根据所述差分图像，对煤矿输送机的运转状态进行识别。可选地，本实施例中的第一模型为卷积神经网络模型，该模型主要包括1个输入层，4个卷积层，4个池化层(前3个为最大池化层，最后1个全局平均池化层)，2个全连接层以及1个输出层。每个卷积层和第1个全连接层后进行ReLU和批量归一化处理，首先采集监控视频图像；然后在图像中划定煤矿输送带危险区域；接着从4帧连续的图像序列(包括当前帧图像tn和前三帧图像tn-1,tn-2,tn-3)中裁剪出划定区域的图像；之后将裁剪图像转化为灰度图并调整成96×96大小的图像最后利用帧间差分法计算得到差分图像完成对图像信息的第一次预处理。再将差分图像dn作为输入，用第一模型对其进行二分类判别，输出结果1表示煤矿输送机运转，0表示未运转。
在本实施例中，将采集到的煤矿输送带危险区域的监控图像信息输入至所述第二模型，判断是否存在行人；当存在行人时，获取行人的边框位置；计算所述行人的边框位置与标定的危险区域的重叠率；当所述重叠率大于预设的比较阈值时，则判定煤矿输送带危险区域内的行人检测结果为有人状态，否则，则判定其为无人状态。
可选地，第二模型采用MobileNetV2+SSDLite目标检测网络模型；另外针对行人这一检测目标，模型中候选区域均采用统一的长宽比0.41:1。首先采集监控视频图像；然后抽取当前帧图像tn；最后将当前帧图像调整成640×360大小的图像完成图像信息的第二次预处理。将预处理后的图像作为输入，利用MobileNetV2+SSDLite网络模型判断图中是否存在行人；若存在行人，则进一步得到行人的边框位置。若在图像中检测到行人，则进一步判断行人是否出现在危险区域。首先在图像中划定煤矿输送带危险区域，然后计算行人框与所划定危险区域的重叠率，若重叠率大于0.5，则认为危险区域内出现行人。在计算行人框与危险区域的重叠率时，首先裁剪出行人框下方1/3的区域，然后计算裁剪区域和危险区域重叠部分的面积与裁剪区域面积的比值，即为行人框与危险区域的重叠率。
在本实施例中，根据所述行人的边框位置，在煤矿输送带危险区域内中标定行人区域；依次获取连续帧标定的行人区域内的图像信息；根据所述行人区域内的图像信息，形成连续帧图像；将所述连续帧图像输入至所述第三模型，判断行人的动作是否与预设的违规动作匹配。本实施例中的违规动作主要包括但不限于挖煤动作，可选地，本实施例中的第三模型主要包括1个输入层，5个卷积层(第1个为3D卷积层，后4个为普通2D卷积层)，5个池化层(前4个为最大池化层，最后1个全局平均池化层)，2个全连接层以及1个输出层。每个卷积层和第1个全连接层后进行ReLU和批量归一化处理。
可选地，在得到的行人边框位置后，划定行人区域，为了尽量保证整个行人落在划定区域内，划定行人区域时在行人检测框的基础上再分别向四周填充10％原图像；接着从3帧连续的图像(包括当前帧图像tn和前两帧图像tn-1,tn-2)中裁剪出划定区域的图像；之后将裁剪图像转化为灰度图并调整成192×168大小的图像 最后将三个灰度图连接成连续帧图像完成第三次预处理。再将连续帧图像tcn作为输入，用第三模型对其进行二分类判别，输出结果1表示识别到铲煤动作，0表示未识别到铲煤动作。
相应地，本实施例还提供一种煤矿输送带危险区域监测系统，如图2所示，包括：
图像采集模块，用于采集煤矿输送带危险区域的监控图像信息，
深度学习模型，所述深度学习模型包括用于煤矿输送机运转状态识别的第一模型、用于对行人进行检测的第二模型和用于识别行人动作的第三模型，
报警模块，用于发出告警信息；
将监控图像信息输入至所述第一模型，获取运转状态识别结果，所述运转状态识别结果包括工作状态和非工作状态；
将识别结果为工作状态所对应的监控图像信息输入至所述第二模型，获取煤矿输送带危险区域内的行人检测结果，所述检测结果包括有人状态和无人状态；
当检测结果为有人状态时，通过所述第三模型对行人的动作进行识别，当识别行人的动作与预设的违规动作匹配时，通过报警模块进行告警。
在本实施例中，还包括预处理模块，所述预处理模块包括第一预处理单元、第二预处理单元和第三预处理单元；
第一预处理单元，用于在采集到的煤矿输送带危险区域的监控图像信息中标定危险区域，依次获取连续帧的监控图像信息中的危险区域内的图像信息，并根据所述危险区域内的图像信息，获取差分图像；
第二预处理单元，用于抽取当前帧图像，并将当前帧图像调整为预设尺寸的图像信息；
第三预处理单元，用于获取行人的边框位置，并对其按照预设的填充比进行原图像填充处理，获取行人区域，获取连续3帧的行人区域内的图像信息，将所述连续3帧的行人区域内的图像信息进行灰度处理，将灰度处理后的三个灰度图连接成连续帧图像。
可选地，本实施例中的深度学习模型为卷积神经网络模型，第二模型为目标检测网络模型。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。
本实施例还提供一种服务器，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行本实施例中任一项方法。
本实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供的服务器，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子终端执行如上方法的各个步骤。
在本实施例中，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
除非另外规定，否则使用序数形容词“第一”、“第二”等来描述共同的对象，仅表示指代相同对象的不同实例，而并不是要暗示这样描述的对象必须采用给定的顺序，无论是时间地、空间地、排序地或任何其他方式。
说明书对“实施例”、“一个实施例”、“一些实施例”、或“其他实施例”的提及表示结合实施例说明的特定特征、结构或特性包括在至少一些实施例中，但不必是全部实施例。“实施例”、“一个实施例”、“一些实施例”的多次出现不一定全部都指代相同的实施例。如果说明书描述了部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性不是必须被包括的。如果说明书或权利要求提及“一”元件，并非表示仅有一个元件。如果说明书或权利要求提及“一另外的”元件，并不排除存在多于一个的另外的元件。
尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变形对本领域普通技术人员来说将是显而易见的。例如，其他存储结构(例如，动态RAM(DRAM))可以使用所讨论的实施例。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (11)

1.一种煤矿输送带危险区域监测方法，其特征在于，包括：
采集煤矿输送带危险区域的监控图像信息；
建立深度学习模型，所述深度学习模型包括用于煤矿输送机运转状态识别的第一模型、用于对行人进行检测的第二模型和用于识别行人动作的第三模型；
将监控图像信息输入至所述第一模型，获取运转状态识别结果，所述运转状态识别结果包括工作状态和非工作状态；
将识别结果为工作状态所对应的监控图像信息输入至所述第二模型，获取煤矿输送带危险区域内的行人检测结果，所述检测结果包括有人状态和无人状态；
当检测结果为有人状态时，通过所述第三模型对行人的动作进行识别，当识别行人的动作与预设的违规动作匹配时，则发出告警信息。
2.根据权利要求1所述的煤矿输送带危险区域监测方法，其特征在于，
在采集到的煤矿输送带危险区域的监控图像信息中标定危险区域；
依次获取连续帧的监控图像信息中的危险区域内的图像信息；
根据所述危险区域内的图像信息，获取差分图像；
所述第一模型根据所述差分图像，对煤矿输送机的运转状态进行识别。
3.根据权利要求2所述的煤矿输送带危险区域监测方法，其特征在于，
将采集到的煤矿输送带危险区域的监控图像信息输入至所述第二模型，判断是否存在行人；
当存在行人时，获取行人的边框位置；
计算所述行人的边框位置与标定的危险区域的重叠率；
当所述重叠率大于预设的比较阈值时，则判定煤矿输送带危险区域内的行人检测结果为有人状态，否则，则判定其为无人状态。
4.根据权利要求3所述的煤矿输送带危险区域监测方法，其特征在于，
根据所述行人的边框位置，在煤矿输送带危险区域内中标定行人区域；
依次获取连续帧标定的行人区域内的图像信息；
根据所述行人区域内的图像信息，形成连续帧图像；
将所述连续帧图像输入至所述第三模型，判断行人的动作是否与预设的违规动作匹配。
5.根据权利要求2所述的煤矿输送带危险区域监测方法，其特征在于，获取当前帧的危险区域内的图像信息以及之前的连续3帧的危险区域内的图像信息，再将危险区域内的图像信息进行灰度处理，根据进行灰度处理后的图像信息，获取差分图像。
6.根据权利要求4所述的煤矿输送带危险区域监测方法，其特征在于，将所述行人的边框位置按照预设的填充比进行原图像填充处理，获取行人区域，获取连续3帧的行人区域内的图像信息，将所述连续3帧的行人区域内的图像信息进行灰度处理，将灰度处理后的三个灰度图连接成连续帧图像。
7.一种煤矿输送带危险区域监测系统，其特征在于，包括：
图像采集模块，用于采集煤矿输送带危险区域的监控图像信息，
深度学习模型，所述深度学习模型包括用于煤矿输送机运转状态识别的第一模型、用于对行人进行检测的第二模型和用于识别行人动作的第三模型，
报警模块，用于发出告警信息；
将监控图像信息输入至所述第一模型，获取运转状态识别结果，所述运转状态识别结果包括工作状态和非工作状态；
将识别结果为工作状态所对应的监控图像信息输入至所述第二模型，获取煤矿输送带危险区域内的行人检测结果，所述检测结果包括有人状态和无人状态；
当检测结果为有人状态时，通过所述第三模型对行人的动作进行识别，当识别行人的动作与预设的违规动作匹配时，通过报警模块进行告警。
8.根据权利要求7所述的煤矿输送带危险区域监测系统，其特征在于，还包括预处理模块，所述预处理模块包括第一预处理单元、第二预处理单元和第三预处理单元；
第一预处理单元，用于在采集到的煤矿输送带危险区域的监控图像信息中标定危险区域，依次获取连续帧的监控图像信息中的危险区域内的图像信息，并根据所述危险区域内的图像信息，获取差分图像；
第二预处理单元，用于抽取当前帧图像，并将当前帧图像调整为预设尺寸的图像信息；
第三预处理单元，用于获取行人的边框位置，并对其按照预设的填充比进行原图像填充处理，获取行人区域，获取连续3帧的行人区域内的图像信息，将所述连续3帧的行人区域内的图像信息进行灰度处理，将灰度处理后的三个灰度图连接成连续帧图像。
9.根据权利要求8所述的煤矿输送带危险区域监测方法，其特征在于，所述深度学习模型为卷积神经网络模型，所述第二模型为目标检测网络模型。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现权利要求1至9中任一项所述方法。
11.一种服务器，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至9中任一项所述方法。
CN201910137552.XA 2019-02-25 2019-02-25 一种煤矿输送带危险区域监测方法及系统 Pending CN109961014A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910137552.XA CN109961014A (zh) 2019-02-25 2019-02-25 一种煤矿输送带危险区域监测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910137552.XA CN109961014A (zh) 2019-02-25 2019-02-25 一种煤矿输送带危险区域监测方法及系统

Publications (1)

Publication Number Publication Date
CN109961014A true CN109961014A (zh) 2019-07-02

Family

ID=67023876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910137552.XA Pending CN109961014A (zh) 2019-02-25 2019-02-25 一种煤矿输送带危险区域监测方法及系统

Country Status (1)

Country Link
CN (1) CN109961014A (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276931A (zh) * 2019-07-19 2019-09-24 精英数智科技股份有限公司 采煤机割煤时危险区域有人作业的报警方法、装置及系统
CN110344882A (zh) * 2019-07-24 2019-10-18 精英数智科技股份有限公司 监控刮板输送机工作人员操作的方法、系统及存储介质
CN110359960A (zh) * 2019-07-24 2019-10-22 精英数智科技股份有限公司 一种用于煤矿转载机推移的安全报警方法及设备
CN110374681A (zh) * 2019-07-24 2019-10-25 精英数智科技股份有限公司 一种移架时危险区域有人的报警方法、装置及系统
CN110424960A (zh) * 2019-07-19 2019-11-08 精英数智科技股份有限公司 一种用于采煤机割煤作业安全的报警方法及设备
CN110473230A (zh) * 2019-08-15 2019-11-19 精英数智科技股份有限公司 一种监测液压支架升降是否合规的方法、系统及存储介质
CN110486081A (zh) * 2019-08-06 2019-11-22 精英数智科技股份有限公司 一种掘进机作业安全监测方法、系统、设备及存储介质
CN110687877A (zh) * 2019-09-12 2020-01-14 深圳市铭华航电工艺技术有限公司 基于视觉网络的监测方法、装置、终端及存储介质
CN110909767A (zh) * 2019-11-04 2020-03-24 浙江工业大学 一种移动端的救生衣检测方法
CN111255487A (zh) * 2020-01-23 2020-06-09 中铁第四勘察设计院集团有限公司 一种隧道钢架的设计方法、装置、设备和存储介质
CN111428632A (zh) * 2020-03-23 2020-07-17 中国科学院重庆绿色智能技术研究院 一种绞车状态检测方法及矿工行为检测方法
CN111586356A (zh) * 2020-05-08 2020-08-25 国家邮政局邮政业安全中心 违规行为监控方法、装置、系统、电子设备及存储介质
CN111669652A (zh) * 2020-06-23 2020-09-15 深圳创维－Rgb电子有限公司 一种视频监控告警方法和电视机
CN111739254A (zh) * 2020-07-01 2020-10-02 安徽理工大学 一种煤矿井下网络边缘视频实时处理联控系统
WO2021008252A1 (zh) * 2019-07-12 2021-01-21 平安科技（深圳）有限公司 识别图像中人物位置方法、装置、计算机设备和存储介质
CN112861826A (zh) * 2021-04-08 2021-05-28 重庆工程职业技术学院 基于视频图像的煤矿监管方法、系统、设备及存储介质
CN113251558A (zh) * 2021-05-13 2021-08-13 重庆海尔空调器有限公司 一种婴儿防掉落监控控制方法、装置、存储介质及空调器
CN113537166A (zh) * 2021-09-15 2021-10-22 北京科技大学 报警方法、装置及存储介质
CN113657297A (zh) * 2021-08-20 2021-11-16 华能国际电力股份有限公司上海石洞口第二电厂 一种基于特征分析的作业违章智能识别方法及设备
CN114275483A (zh) * 2021-12-31 2022-04-05 无锡物联网创新中心有限公司 一种带式输送机的智能在线监测系统
CN114495166A (zh) * 2022-01-17 2022-05-13 北京小龙潜行科技有限公司 一种应用于边缘计算设备的牧场换鞋动作识别方法
CN114943936A (zh) * 2022-06-17 2022-08-26 北京百度网讯科技有限公司 目标行为识别方法、装置、电子设备及存储介质
CN115016337A (zh) * 2022-05-12 2022-09-06 北京龙软科技股份有限公司 基于web三维的矿井煤流运输系统协同联控方法和装置
WO2024012607A3 (zh) * 2022-07-14 2024-04-04 顺丰科技有限公司 人员检测方法、装置、设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000137790A (ja) * 1998-10-29 2000-05-16 Hitachi Ltd マンコンベアの画像監視方法および装置
CN104181178A (zh) * 2014-08-18 2014-12-03 公安部第一研究所 一种通道式双视角x射线液态物品安全检查系统
CN106131485A (zh) * 2016-06-28 2016-11-16 陕煤集团神南产业发展有限公司 一种连采机人员监测系统及监测方法
CN107403158A (zh) * 2017-07-28 2017-11-28 中国电子科技集团公司第三十八研究所 一种人员在岗视频识别方法及智能用户信息传输装置
CN107545238A (zh) * 2017-07-03 2018-01-05 西安邮电大学 基于深度学习的煤矿井下行人检测方法
CN108846848A (zh) * 2018-06-25 2018-11-20 广东电网有限责任公司电力科学研究院 一种融合uwb定位与视频识别的作业现场预警方法及装置
CN109188550A (zh) * 2018-08-30 2019-01-11 山西精英科技股份有限公司 一种皮带输送机异物检测系统
CN109230351A (zh) * 2018-08-30 2019-01-18 山西精英科技股份有限公司 一种皮带输送机运行异常的识别方法
CN109305534A (zh) * 2018-10-25 2019-02-05 安徽理工大学 基于计算机视觉的煤码头带式输送机自适应控制方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000137790A (ja) * 1998-10-29 2000-05-16 Hitachi Ltd マンコンベアの画像監視方法および装置
CN104181178A (zh) * 2014-08-18 2014-12-03 公安部第一研究所 一种通道式双视角x射线液态物品安全检查系统
CN106131485A (zh) * 2016-06-28 2016-11-16 陕煤集团神南产业发展有限公司 一种连采机人员监测系统及监测方法
CN107545238A (zh) * 2017-07-03 2018-01-05 西安邮电大学 基于深度学习的煤矿井下行人检测方法
CN107403158A (zh) * 2017-07-28 2017-11-28 中国电子科技集团公司第三十八研究所 一种人员在岗视频识别方法及智能用户信息传输装置
CN108846848A (zh) * 2018-06-25 2018-11-20 广东电网有限责任公司电力科学研究院 一种融合uwb定位与视频识别的作业现场预警方法及装置
CN109188550A (zh) * 2018-08-30 2019-01-11 山西精英科技股份有限公司 一种皮带输送机异物检测系统
CN109230351A (zh) * 2018-08-30 2019-01-18 山西精英科技股份有限公司 一种皮带输送机运行异常的识别方法
CN109305534A (zh) * 2018-10-25 2019-02-05 安徽理工大学 基于计算机视觉的煤码头带式输送机自适应控制方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ZHAOZHUO XU等: "Dangerous human event understanding using human-object interaction model", 《 2015 IEEE INTERNATIONAL CONFERENCE ON SIGNAL PROCESSING, COMMUNICATIONS AND COMPUTING (ICSPCC)》 *
宋洁等: "结合三帧差分和LK 光流法的带式输送机运行状态检测", 《煤矿机械》 *
张立亚: "基于动目标特征提取的矿井目标监测", 《煤炭学报》 *
程朋等: "基于卷积神经网络的实时跟踪算法", 《传感器与微系统》 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021008252A1 (zh) * 2019-07-12 2021-01-21 平安科技（深圳）有限公司 识别图像中人物位置方法、装置、计算机设备和存储介质
CN110424960A (zh) * 2019-07-19 2019-11-08 精英数智科技股份有限公司 一种用于采煤机割煤作业安全的报警方法及设备
CN110276931A (zh) * 2019-07-19 2019-09-24 精英数智科技股份有限公司 采煤机割煤时危险区域有人作业的报警方法、装置及系统
CN110344882A (zh) * 2019-07-24 2019-10-18 精英数智科技股份有限公司 监控刮板输送机工作人员操作的方法、系统及存储介质
CN110359960A (zh) * 2019-07-24 2019-10-22 精英数智科技股份有限公司 一种用于煤矿转载机推移的安全报警方法及设备
CN110374681A (zh) * 2019-07-24 2019-10-25 精英数智科技股份有限公司 一种移架时危险区域有人的报警方法、装置及系统
CN110486081A (zh) * 2019-08-06 2019-11-22 精英数智科技股份有限公司 一种掘进机作业安全监测方法、系统、设备及存储介质
CN110473230A (zh) * 2019-08-15 2019-11-19 精英数智科技股份有限公司 一种监测液压支架升降是否合规的方法、系统及存储介质
CN110687877A (zh) * 2019-09-12 2020-01-14 深圳市铭华航电工艺技术有限公司 基于视觉网络的监测方法、装置、终端及存储介质
CN110909767A (zh) * 2019-11-04 2020-03-24 浙江工业大学 一种移动端的救生衣检测方法
CN111255487B (zh) * 2020-01-23 2022-03-11 中铁第四勘察设计院集团有限公司 一种隧道钢架的设计方法、装置、设备和存储介质
CN111255487A (zh) * 2020-01-23 2020-06-09 中铁第四勘察设计院集团有限公司 一种隧道钢架的设计方法、装置、设备和存储介质
CN111428632A (zh) * 2020-03-23 2020-07-17 中国科学院重庆绿色智能技术研究院 一种绞车状态检测方法及矿工行为检测方法
CN111586356A (zh) * 2020-05-08 2020-08-25 国家邮政局邮政业安全中心 违规行为监控方法、装置、系统、电子设备及存储介质
CN111586356B (zh) * 2020-05-08 2021-07-20 国家邮政局邮政业安全中心 违规行为监控方法、装置、系统、电子设备及存储介质
CN111669652A (zh) * 2020-06-23 2020-09-15 深圳创维－Rgb电子有限公司 一种视频监控告警方法和电视机
CN111739254A (zh) * 2020-07-01 2020-10-02 安徽理工大学 一种煤矿井下网络边缘视频实时处理联控系统
CN112861826A (zh) * 2021-04-08 2021-05-28 重庆工程职业技术学院 基于视频图像的煤矿监管方法、系统、设备及存储介质
CN112861826B (zh) * 2021-04-08 2021-12-14 重庆工程职业技术学院 基于视频图像的煤矿监管方法、系统、设备及存储介质
CN113251558A (zh) * 2021-05-13 2021-08-13 重庆海尔空调器有限公司 一种婴儿防掉落监控控制方法、装置、存储介质及空调器
WO2022237840A1 (zh) * 2021-05-13 2022-11-17 重庆海尔空调器有限公司 一种婴儿防掉落监控控制方法、装置、存储介质及空调器
CN113657297A (zh) * 2021-08-20 2021-11-16 华能国际电力股份有限公司上海石洞口第二电厂 一种基于特征分析的作业违章智能识别方法及设备
CN113537166B (zh) * 2021-09-15 2021-12-14 北京科技大学 报警方法、装置及存储介质
CN113537166A (zh) * 2021-09-15 2021-10-22 北京科技大学 报警方法、装置及存储介质
CN114275483A (zh) * 2021-12-31 2022-04-05 无锡物联网创新中心有限公司 一种带式输送机的智能在线监测系统
CN114275483B (zh) * 2021-12-31 2023-12-19 无锡物联网创新中心有限公司 一种带式输送机的智能在线监测系统
CN114495166A (zh) * 2022-01-17 2022-05-13 北京小龙潜行科技有限公司 一种应用于边缘计算设备的牧场换鞋动作识别方法
CN115016337A (zh) * 2022-05-12 2022-09-06 北京龙软科技股份有限公司 基于web三维的矿井煤流运输系统协同联控方法和装置
CN114943936A (zh) * 2022-06-17 2022-08-26 北京百度网讯科技有限公司 目标行为识别方法、装置、电子设备及存储介质
WO2024012607A3 (zh) * 2022-07-14 2024-04-04 顺丰科技有限公司 人员检测方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
CN109961014A (zh) 一种煤矿输送带危险区域监测方法及系统
US11783230B2 (en) Automatic generation of ground truth data for training or retraining machine learning models
US9959468B2 (en) Systems and methods for object tracking and classification
Marcu et al. SafeUAV: Learning to estimate depth and safe landing areas for UAVs from synthetic data
US20200012923A1 (en) Computer device for training a deep neural network
US9002060B2 (en) Object retrieval in video data using complementary detectors
CN109977921B (zh) 一种输电线路隐患检测方法
CN110264440B (zh) 基于深度学习的大规模列车移位故障检测方法及系统
CN110826429A (zh) 一种基于景区视频的旅游突发事件自动监测的方法及系统
CN113792680A (zh) 基于图像融合的行为识别方法、装置、电子设备及介质
CN111523362A (zh) 一种基于电子围网的数据分析方法、装置及电子设备
CN115294528A (zh) 一种行人安全监控方法及装置
Juyal et al. Traffic sign detection using deep learning techniques in autonomous vehicles
CN111047598A (zh) 基于深度学习的输变电设备紫外放电光斑分割方法及装置
CN104298988A (zh) 一种基于视频图像局部特征匹配的财物保护方法
CN115083229B (zh) 基于ai视觉识别的飞行训练设备智能识别与警示系统
CN115114480A (zh) 数据处理方法、装置、设备、可读存储介质及程序产品
Delgado et al. Methodology for generating synthetic labeled datasets for visual container inspection
Wang et al. A method of vehicle flow training and detection based on ResNet50 with CenterNet method
Huang et al. Helmet-wearing detection with intelligent learning approach
CN113011989B (zh) 对象核验方法、装置、设备及存储介质
Carmona et al. On the effect of feedback in multilevel representation spaces for visual surveillance tasks
Hasanaj et al. Cooperative edge deepfake detection
Kim et al. Object Detection Network Robust to Local Illumination Variations
CN115908335A (zh) 目标对象检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20240112

AD01 Patent right deemed abandoned