CN108566538A - 基于红外-可见光融合跟踪的圆形煤场人员安全防护与自燃的监控系统及方法 - Google Patents

基于红外-可见光融合跟踪的圆形煤场人员安全防护与自燃的监控系统及方法 Download PDF

Info

Publication number
CN108566538A
CN108566538A CN201810496704.0A CN201810496704A CN108566538A CN 108566538 A CN108566538 A CN 108566538A CN 201810496704 A CN201810496704 A CN 201810496704A CN 108566538 A CN108566538 A CN 108566538A
Authority
CN
China
Prior art keywords
coal yard
infrared
spontaneous combustion
circular coal
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810496704.0A
Other languages
English (en)
Inventor
张琨
王群英
岳益锋
罗蒙蒙
曲金星
郭凯旋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huadian Electric Power Research Institute Co Ltd
Original Assignee
Huadian Electric Power Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huadian Electric Power Research Institute Co Ltd filed Critical Huadian Electric Power Research Institute Co Ltd
Priority to CN201810496704.0A priority Critical patent/CN108566538A/zh
Publication of CN108566538A publication Critical patent/CN108566538A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/19—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using infrared-radiation detection systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本发明涉及一种基于红外‑可见光融合跟踪的圆形煤场人员安全防护与自燃的监控系统及方法。目前未见对煤场内人员位置及自燃区域同时监控的相关报道。本发明包括视频图像采集模块、数据传输模块、数据处理服务器组和监控客户端，视频图像采集模块中，一号红外热成像设备和二号红外热成像设备均安装在圆形煤场内的检修马道上；数据传输模块中，一号红外热成像设备和二号光电转换器连接，二号红外热成像设备和一号光电转换器连接；一号光电转换器和二号光电转换器均与光纤连接，光纤、交换机、数据处理服务器组和监控客户端依次连接。本发明可实现圆形煤场内人员位置及自燃区域的同时监控预警，提高了圆形封闭煤场运行过程中的安全性和经济性。

Description

基于红外-可见光融合跟踪的圆形煤场人员安全防护与自燃 的监控系统及方法
技术领域
本发明涉及煤场安全监控技术领域，具体涉及一种基于红外-可见光融合跟踪的圆形煤场人员安全防护与自燃的监控系统及方法。
背景技术
随着环保要求的提高，储煤场已从露天式逐渐向封闭式发展，圆形封闭式储煤场是其中典型代表之一，四周为一圈挡墙(高度15-25m)，顶部是钢结构的顶棚，底面直径一般在80-120m，煤堆高度15-35m。圆形煤场的安全问题主要表现在两个方面，一是堆取料机作业过程中对场地内人员带来的人身伤害风险，尤其是堆取料机无人化智能操作后风险大大增加，二是煤堆自燃引起的火灾风险，同时造成巨大经济损失。
目前，国内绝大多数堆取料机主要依靠司机就地操作，由于视觉盲区，堆取料臂运行过程中对场地人员的人身伤害时有发生；近年来，随着智能控制技术的兴起，许多电厂纷纷提出堆取料机智能化改造的意向，在改造过程中应考虑人员与堆取料臂安全距离的联锁控制，否则一旦检修、巡检、保洁人员，甚至无关人员进入圆形煤场的作业区域后，势必存在巨大的人员安全隐患。因此，煤场内人员位置的实时监控至关重要。另一方面，由于储煤不合理，自燃是煤场普遍存在的问题之一。煤的自燃不仅降低了热值，增加了灰分，改变了煤质，还会释放出SO2、H2S等有毒有害气体，腐蚀煤场设备，对煤场工作人员的人身健康构成威胁，同时阴燃的煤还有烧断皮带的风险，造成输煤系统无法上煤的重大安全事故，直接影响了电厂生产过程的安全性和经济性。
目前未见对煤场内人员位置及自燃区域的同时监控的相关报道，现有技术中有利用可见光视频图像对一般场景下移动目标的捕捉，也有利用红外热成像技术监测煤堆自燃的应用案例，如申请号为201520797174.5的中国专利。由于封闭煤场环境复杂(光线较暗、时常弥漫粉尘和水汽)，单一图像传感器往往不能够从场景中提取足够的信息，无法独立获得对一幅场景的全面描述，导致人员和自燃监测分辨力度差且难以准确给出精确位置信息，应结合红外热图和可见光图像自身的特点加以改进。
发明内容
本发明的目的在于克服现有技术中存在的上述不足，而提供一种设计合理的基于红外-可见光融合跟踪的圆形煤场人员安全防护与自燃的监控系统及方法。
本发明解决上述问题所采用的技术方案是：一种基于红外-可见光融合跟踪的圆形煤场人员安全防护与自燃的监控系统，包括圆形煤场，所述圆形煤场内布置有检修马道，所述检修马道位于圆形煤场的上部；其特征在于，还包括视频图像采集模块、数据传输模块、数据处理服务器组和监控客户端，所述视频图像采集模块包括一号红外热成像设备和二号红外热成像设备，所述一号红外热成像设备和二号红外热成像设备均安装在检修马道上；所述数据传输模块包括一号光电转换器、二号光电转换器、光纤和交换机，所述一号红外热成像设备和二号光电转换器连接，所述二号红外热成像设备和一号光电转换器连接；所述一号光电转换器和二号光电转换器均与光纤连接，所述光纤、交换机、数据处理服务器组和监控客户端依次连接。
进一步而言，所述一号红外热成像设备和二号红外热成像设备均为在线式双光红外热成像设备，所述在线式双光红外热成像设备包括红外热成像相机、可见光相机和补光灯。由于煤场面积较大，采用至少2套在线式双光红外热成像设备安装于顶棚上的检修马道进行俯视拍摄，用于获得多幅圆形煤场内部人员及自燃高温区域目标的双通道图像信息。
进一步而言，所述一号红外热成像设备和二号红外热成像设备对称布置。能实现对圆形煤场进行更全面的监控。
进一步而言，所述数据处理服务器组包括图像融合拼接模块、图像识别跟踪模块、安全防护模块、热源监控模块和数据管理模块；所述图像融合拼接模块用于将采集到的多幅圆形煤场内部人员及自燃高温区域目标双通道图像实时拼接成一张完整清晰的圆形煤场双光监控俯视图，所述图像识别跟踪模块用于在圆形煤场双光监控俯视图的基础上根据相应特征识别出场内人员以及煤堆各个热源点并进行跟踪，所述安全防护模块用于作业危险区域边界移动目标入侵的自动检测报警，所述热源监控模块用于对煤堆进行全覆盖热源监控管理，所述数据管理模块用于对监控过程中产生的各种视频图像及分析数据进行存储和管理。
进一步而言，所述监控客户端包括显示设备，所述显示设备包括电脑显示器、触摸屏、监控拼接大屏或智能手机；所述监控客户端用于实时呈现包含监控画面及相关信息的监控系统平台。将监控系统平台同时在电脑显示器、触摸屏、监控拼接大屏或智能手机等载体上呈现，适应了多元化的工作需求。
一种基于红外-可见光融合跟踪的圆形煤场人员安全防护与自燃的监控方法，其特征在于，所述监控方法使用如上所述的基于红外-可见光融合跟踪的圆形煤场人员安全防护与自燃的监控系统，其步骤如下：由视频图像采集模块获得多幅圆形煤场内部人员及自燃高温区域目标的双通道图像信息，通过数据传输模块传输至数据处理服务器组进行存储；利用退化图像增强手段、多模态数据融合及多分辨率数据融合的算法来融合红外与可见光图像，通过配准、拼接获得一张圆形煤场完整温度场的红外监控俯视图；在此基础上，提取双光图和三维温度图对应的目标区域，采用深度学习方法检测出人员和自燃热源点及其三维位置信息，最终给出报警及相应处理指令；监控客户端对圆形煤场进行实时监控。结构设计合理，可实现圆形煤场内人员位置及自燃区域的同时监控预警。可实现圆形煤场内人员位置及自燃区域的同时监控预警，且完全不依靠外加的定位设备实现煤场内人员及自燃热源点的位置解析，提高了圆形封闭煤场运行过程中的安全性和经济性。
进一步而言，在图像融合拼接模块中，依次进行三项工作内容，包括退化图像增强、双光数据融合以及双光数据拼接；具体过程为：首先利用退化图像增强手段，针对性地对图像进行去污去尘操作，以去除煤场内的灰尘、烟雾以及水气对监控画面的图像质量产生的影响，接着采用多模态数据融合及多分辨率数据融合的算法来融合红外与可见光图像，从这些图像中提取匹配特征进行配准，将配准之后的图片进行拼接，拼接中产生的缝隙采用小波变换进行融合获得一张圆形煤场完整温度场的红外监控俯视图。
进一步而言，在图像识别跟踪模块中，首先提取双光图和三维温度图对应的目标区域，采用深度学习的方法对目标进行训练分类，检测出人员后给出提示并输出三维位置信息，同时用ECO跟踪算法产生一个矩形框进行跟踪；接着扫描图像检查是否存在温度超过阈值的热源点，不含人员引起的热源点，给出自燃警示并输出三维位置信息。
进一步而言，在安全防护模块中，当识别到圆形煤场内存在人员时，安全防护模块立即启用语音报警要求人员尽快撤离；当人员与堆取料机臂的角坐标差值的绝对值小于或等于设定的阈值时，安全防护模块则向堆取料机自动控制系统发出指令，要求其停止转动，直至人员撤出。
进一步而言，在热源监控模块中，根据预先设定的温度警戒级别(自高至低以红色、橙色、黄色标出)，系统将热源点的位置在圆形煤场俯视拼接图中标出，显示相应坐标及监控画面，同时发出警报信息，并结合煤质情况给出恰当的取煤建议。
本发明与现有技术相比，具有以下优点和效果：(1)本发明采用一套装置可实现圆形煤场内人员位置及自燃区域的同时监控预警；(2)本发明融合了红外和可见光图像的特征信息，提高了封闭煤场恶劣环境下图像监控的分辨力和灵敏度；(3)本发明完全不依靠外加的定位设备实现煤场内人员定位，有效地避免了各种主客观原因的干扰，提高了堆取料机作业过程的安全性，为进一步实现堆取料机智能化无人值守奠定了基础；(4)与现有技术相比，本发明解决了煤场内自燃热源点的定位问题，为实现准确快速处理煤堆自燃提供了可能；(5)本发明可将监控系统平台同时在电脑显示器、触摸屏、监控拼接大屏或智能手机等载体上呈现，适应了多元化的工作需求。
附图说明
图1是本发明实施例中基于红外-可见光融合跟踪的圆形煤场人员安全防护与自燃监控系统的结构示意图。
图2是本发明实施例的数据处理服务器组中子模块的结构示意图。
图3是本发明实施例的双光数据融合具体过程示意图。
图4是本发明实施例的双光数据拼接具体过程示意图。
图5是本发明实施例的圆形煤场极坐标三维建模示意图。
图6是本发明实施例的人员检测具体过程示意图。
图7是本发明实施例的自燃热源点检测具体过程示意图。
图8是本发明实施例的安全防护模块工作流程示意图。
图中：一号红外热成像设备1、检修马道2、二号红外热成像设备3、一号光电转换器4、二号光电转换器5、光纤6、交换机7、数据处理服务器组8、监控客户端9、图像融合拼接模块81、图像识别跟踪模块82、安全防护模块83、热源监控模块84、数据管理模块85。
具体实施方式
下面结合附图并通过实施例对本发明作进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。
实施例。
参见图1，本实施例中的基于红外-可见光融合跟踪的圆形煤场人员安全防护与自燃的监控系统包括圆形煤场，圆形煤场内布置有检修马道2，检修马道2位于圆形煤场的上部；还包括视频图像采集模块、数据传输模块、数据处理服务器组8和监控客户端9。
视频图像采集模块包括集成红外热成像相机、可见光相机和补光灯于一体的两套在线式双光红外热成像设备一号红外热成像设备1和二号红外热成像设备3，其对称安装在圆形煤场钢结构顶棚内的检修马道2上；用于实时获得圆形煤场两个半区内人员及自燃高温区域目标的双通道图像信息。为达到质量较高的图像信息，红外热成像相机可选用640×512像素，可见光相机选用1200万像素。
如果采用像素较低的红外热成像相机导致无法监控覆盖所设定的区域，可以考虑加装云台的方式获得多幅煤场红外热成像图片，再进行拼接、融合，形成一张完整清晰的圆形煤场双光监控俯视图。
数据传输模块包括一号光电转换器4、二号光电转换器5、光纤6、交换机7等其他材料及设备(如必要的网线、无线AP及接收器)，用于将视频图像采集模块获得的圆形煤场双通道图像信息实时传输至数据处理服务器组8进行存储。一号红外热成像设备1和二号光电转换器5连接，二号红外热成像设备3和一号光电转换器4连接；一号光电转换器4和二号光电转换器5均与光纤6连接，光纤6、交换机7、数据处理服务器组8和监控客户端9依次连接。
参见图2，数据处理服务器组8包括图像融合拼接模块81、图像识别跟踪模块82、安全防护模块83、热源监控模块84和数据管理模块85；图像融合拼接模块81用于将采集到的多幅圆形煤场内部人员及自燃高温区域目标双通道图像实时拼接成一张完整清晰的圆形煤场双光监控俯视图，图像识别跟踪模块82用于在圆形煤场双光监控俯视图的基础上根据相应特征识别出场内人员以及煤堆各个热源点并进行跟踪，安全防护模块83用于作业危险区域边界移动目标入侵的自动检测报警，热源监控模块84用于对煤堆进行全覆盖热源监控管理，数据管理模块85用于对监控过程中产生的各种视频图像及分析数据进行存储和管理。
监控客户端9包括显示设备，显示设备包括电脑显示器、触摸屏、监控拼接大屏或智能手机；监控客户端9用于实时呈现包含监控画面及相关信息的监控系统平台。
本实施例中的基于红外-可见光融合跟踪的圆形煤场人员安全防护与自燃的监控方法使用如上所述的基于红外-可见光融合跟踪的圆形煤场人员安全防护与自燃的监控系统，其步骤如下：
步骤1、由两套在线式双光红外热成像设备一号红外热成像设备1和二号红外热成像设备3获得多幅圆形煤场内部人员及自燃高温区域目标的双通道图像信息，通过一号光电转换器4、二号光电转换器5、光纤6、交换机7等其他材料及设备构成的数据传输模块传输至数据处理服务器组8进行存储；
步骤2、在图像融合拼接模块81中，依次进行三项工作内容，包括退化图像增强、双光数据融合(参见图3)以及双光数据拼接(参见图4)；具体过程为：首先利用退化图像增强手段，针对性地对图像进行去污去尘操作，以去除煤场内的灰尘、烟雾以及水气对监控画面的图像质量产生的影响，接着采用多模态数据融合及多分辨率数据融合的算法来融合红外与可见光图像，从这些图像中提取匹配特征进行配准，将配准之后的图片进行拼接，拼接中产生的缝隙采用小波变换进行融合获得一张圆形煤场完整温度场的红外监控俯视图。
步骤3、在图像识别跟踪模块82中，需要对圆形煤场进行极坐标三维建模(参见图5)，再分别对人员(参见图6)和自燃热源点(参见图7)检测分析，给出相应三维位置坐标。具体过程为：首先提取双光图和三维温度图对应的目标区域，采用深度学习的方法对目标进行训练分类，检测出人员后给出提示并输出三维位置信息，同时用ECO跟踪算法产生一个矩形框进行跟踪；接着扫描图像检查是否存在温度超过阈值的热源点(不含人员引起的热源点)，给出自燃警示并输出三维位置信息。
步骤4、在堆取料机作业过程中，若识别到圆形煤场内存在人员，安全防护模块83立即启用语音报警要求人员尽快撤离；当人员与堆取料机臂的角坐标差值的绝对值小于或等于设定的阈值时，安全防护模块83则向堆取料机自动控制系统发出指令，要求其停止转动，直至人员撤出(参见图8)。热源监控模块84检测出自燃热源点后，根据预先设定的温度警戒级别(自高至低以红色、橙色、黄色标出)，系统将热源点的位置在圆形煤场俯视拼接图中标出，显示相应坐标及监控画面，同时发出警报信息，并结合煤质情况给出恰当的取煤建议。
在图5中，步骤3中对圆形煤场进行极坐标三维建模的具体过程如下：
建立以圆形煤场中心为原点的圆形煤场极坐标系，径向距离、方位角、高度，分别标记为ρ、φ、z，则P点的圆柱坐标是(ρ，φ，z)。
ρ是P点与Z轴的垂直距离。
φ是线OP在XY-面的投影线与正X-轴之间的夹角。
z与直角坐标的z等值。
与直角坐标系的转换关系为：
z＝z。
虽然本发明以实施例公开如上，但其并非用以限定本发明的保护范围，任何熟悉该项技术的技术人员，在不脱离本发明的构思和范围内所作的更动与润饰，均应属于本发明的保护范围。

Claims (10)

1.一种基于红外-可见光融合跟踪的圆形煤场人员安全防护与自燃的监控系统，包括圆形煤场，所述圆形煤场内布置有检修马道，所述检修马道位于圆形煤场的上部；其特征在于，还包括视频图像采集模块、数据传输模块、数据处理服务器组和监控客户端，所述视频图像采集模块包括一号红外热成像设备和二号红外热成像设备，所述一号红外热成像设备和二号红外热成像设备均安装在检修马道上；所述数据传输模块包括一号光电转换器、二号光电转换器、光纤和交换机，所述一号红外热成像设备和二号光电转换器连接，所述二号红外热成像设备和一号光电转换器连接；所述一号光电转换器和二号光电转换器均与光纤连接，所述光纤、交换机、数据处理服务器组和监控客户端依次连接。
2.根据权利要求1所述的基于红外-可见光融合跟踪的圆形煤场人员安全防护与自燃的监控系统，其特征在于，所述一号红外热成像设备和二号红外热成像设备均为在线式双光红外热成像设备，所述在线式双光红外热成像设备包括红外热成像相机、可见光相机和补光灯。
3.根据权利要求1所述的基于红外-可见光融合跟踪的圆形煤场人员安全防护与自燃的监控系统，其特征在于，所述一号红外热成像设备和二号红外热成像设备对称布置。
4.根据权利要求1所述的基于红外-可见光融合跟踪的圆形煤场人员安全防护与自燃的监控系统，其特征在于，所述数据处理服务器组包括图像融合拼接模块、图像识别跟踪模块、安全防护模块、热源监控模块和数据管理模块；所述图像融合拼接模块用于将采集到的多幅圆形煤场内部人员及自燃高温区域目标双通道图像实时拼接成一张完整清晰的圆形煤场双光监控俯视图，所述图像识别跟踪模块用于在圆形煤场双光监控俯视图的基础上根据相应特征识别出场内人员以及煤堆各个热源点并进行跟踪，所述安全防护模块用于作业危险区域边界移动目标入侵的自动检测报警，所述热源监控模块用于对煤堆进行全覆盖热源监控管理，所述数据管理模块用于对监控过程中产生的各种视频图像及分析数据进行存储和管理。
5.根据权利要求1所述的基于红外-可见光融合跟踪的圆形煤场人员安全防护与自燃的监控系统，其特征在于，所述监控客户端包括显示设备，所述显示设备包括电脑显示器、触摸屏、监控拼接大屏或智能手机；所述监控客户端用于实时呈现包含监控画面及相关信息的监控系统平台。
6.一种基于红外-可见光融合跟踪的圆形煤场人员安全防护与自燃的监控方法，其特征在于，所述监控方法使用如权利要求1-5中任一项权利要求所述的基于红外-可见光融合跟踪的圆形煤场人员安全防护与自燃的监控系统，其步骤如下：由视频图像采集模块获得多幅圆形煤场内部人员及自燃高温区域目标的双通道图像信息，通过数据传输模块传输至数据处理服务器组进行存储；利用退化图像增强手段、多模态数据融合及多分辨率数据融合的算法来融合红外与可见光图像，通过配准、拼接获得一张圆形煤场完整温度场的红外监控俯视图；在此基础上，提取双光图和三维温度图对应的目标区域，采用深度学习方法检测出人员和自燃热源点及其三维位置信息，最终给出报警及相应处理指令；监控客户端对圆形煤场进行实时监控。
7.根据权利要求6所述的基于红外-可见光融合跟踪的圆形煤场人员安全防护与自燃的监控方法，其特征在于，在图像融合拼接模块中，依次进行三项工作内容，包括退化图像增强、双光数据融合以及双光数据拼接；具体过程为：首先利用退化图像增强手段，针对性地对图像进行去污去尘操作，以去除煤场内的灰尘、烟雾以及水气对监控画面的图像质量产生的影响，接着采用多模态数据融合及多分辨率数据融合的算法来融合红外与可见光图像，从这些图像中提取匹配特征进行配准，将配准之后的图片进行拼接，拼接中产生的缝隙采用小波变换进行融合获得一张圆形煤场完整温度场的红外监控俯视图。
8.根据权利要求6所述的基于红外-可见光融合跟踪的圆形煤场人员安全防护与自燃的监控方法，其特征在于，在图像识别跟踪模块中，首先提取双光图和三维温度图对应的目标区域，采用深度学习的方法对目标进行训练分类，检测出人员后给出提示并输出三维位置信息，同时用ECO跟踪算法产生一个矩形框进行跟踪；接着扫描图像检查是否存在温度超过阈值的热源点，不含人员引起的热源点，给出自燃警示并输出三维位置信息。
9.根据权利要求6所述的基于红外-可见光融合跟踪的圆形煤场人员安全防护与自燃的监控方法，其特征在于，在安全防护模块中，当识别到圆形煤场内存在人员时，安全防护模块立即启用语音报警要求人员尽快撤离；当人员与堆取料机臂的角坐标差值的绝对值小于或等于设定的阈值时，安全防护模块则向堆取料机自动控制系统发出指令，要求其停止转动，直至人员撤出。
10.根据权利要求6所述的基于红外-可见光融合跟踪的圆形煤场人员安全防护与自燃的监控方法，其特征在于，在热源监控模块中，根据预先设定的温度警戒级别，系统将热源点的位置在圆形煤场俯视拼接图中标出，显示相应坐标及监控画面，同时发出警报信息，并结合煤质情况给出恰当的取煤建议。
CN201810496704.0A 2018-05-22 2018-05-22 基于红外-可见光融合跟踪的圆形煤场人员安全防护与自燃的监控系统及方法 Pending CN108566538A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810496704.0A CN108566538A (zh) 2018-05-22 2018-05-22 基于红外-可见光融合跟踪的圆形煤场人员安全防护与自燃的监控系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810496704.0A CN108566538A (zh) 2018-05-22 2018-05-22 基于红外-可见光融合跟踪的圆形煤场人员安全防护与自燃的监控系统及方法

Publications (1)

Publication Number Publication Date
CN108566538A true CN108566538A (zh) 2018-09-21

Family

ID=63539383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810496704.0A Pending CN108566538A (zh) 2018-05-22 2018-05-22 基于红外-可见光融合跟踪的圆形煤场人员安全防护与自燃的监控系统及方法

Country Status (1)

Country Link
CN (1) CN108566538A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109814068A (zh) * 2019-01-30 2019-05-28 广州轨道交通建设监理有限公司 一种工地人员定位系统及工地人员定位方法
CN109911550A (zh) * 2019-04-17 2019-06-21 华夏天信（北京）智能低碳技术研究院有限公司 基于红外热成像与可见光视频分析的刮板运输机保护装置
CN109982050A (zh) * 2019-04-16 2019-07-05 聊城职业技术学院 一种基于电子信息的图像传输系统
CN110320843A (zh) * 2019-07-19 2019-10-11 云南北方驰宏光电有限公司 基于双光谱的智能楼宇安防监控系统及方法
CN112037451A (zh) * 2020-08-19 2020-12-04 浙江大华技术股份有限公司 一种预警方法及装置
CN112327737A (zh) * 2020-09-27 2021-02-05 甘肃酒钢集团宏兴钢铁股份有限公司 一种安全监控系统及其用于堆取料机安全控制的方法
CN114620496A (zh) * 2022-02-22 2022-06-14 国能网信科技(北京)有限公司 智能堆取料控制方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102169017A (zh) * 2010-12-25 2011-08-31 江西九江供电公司 一种变电站红外热成像在线监测系统
CN102176270A (zh) * 2011-02-25 2011-09-07 广州飒特电力红外技术有限公司 安全监控及火灾预警一体化系统及方法
CN104931144A (zh) * 2015-02-06 2015-09-23 东南大学 燃煤电厂输煤皮带温度远程监控系统
CN105744229A (zh) * 2016-02-25 2016-07-06 江苏科技大学 基于红外全景环视融合的无人艇自动锚泊系统及其工作方法
CN205427629U (zh) * 2015-12-18 2016-08-03 南京卓越能源技术有限公司 固定式圆形煤场监控装置
CN206075460U (zh) * 2016-09-19 2017-04-05 国家电网公司 基于双光同轴图像融合的输电线路外力破坏监测预警系统
CN106897653A (zh) * 2015-12-17 2017-06-27 北京林业大学 基于红外和可见光视频融合的林区烟火检测方法及其检测系统
CN107392886A (zh) * 2017-06-14 2017-11-24 国网山东省电力公司菏泽供电公司 一种电力设备图像处理方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102169017A (zh) * 2010-12-25 2011-08-31 江西九江供电公司 一种变电站红外热成像在线监测系统
CN102176270A (zh) * 2011-02-25 2011-09-07 广州飒特电力红外技术有限公司 安全监控及火灾预警一体化系统及方法
CN104931144A (zh) * 2015-02-06 2015-09-23 东南大学 燃煤电厂输煤皮带温度远程监控系统
CN106897653A (zh) * 2015-12-17 2017-06-27 北京林业大学 基于红外和可见光视频融合的林区烟火检测方法及其检测系统
CN205427629U (zh) * 2015-12-18 2016-08-03 南京卓越能源技术有限公司 固定式圆形煤场监控装置
CN105744229A (zh) * 2016-02-25 2016-07-06 江苏科技大学 基于红外全景环视融合的无人艇自动锚泊系统及其工作方法
CN206075460U (zh) * 2016-09-19 2017-04-05 国家电网公司 基于双光同轴图像融合的输电线路外力破坏监测预警系统
CN107392886A (zh) * 2017-06-14 2017-11-24 国网山东省电力公司菏泽供电公司 一种电力设备图像处理方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109814068A (zh) * 2019-01-30 2019-05-28 广州轨道交通建设监理有限公司 一种工地人员定位系统及工地人员定位方法
CN109982050A (zh) * 2019-04-16 2019-07-05 聊城职业技术学院 一种基于电子信息的图像传输系统
CN109911550A (zh) * 2019-04-17 2019-06-21 华夏天信（北京）智能低碳技术研究院有限公司 基于红外热成像与可见光视频分析的刮板运输机保护装置
CN110320843A (zh) * 2019-07-19 2019-10-11 云南北方驰宏光电有限公司 基于双光谱的智能楼宇安防监控系统及方法
CN112037451A (zh) * 2020-08-19 2020-12-04 浙江大华技术股份有限公司 一种预警方法及装置
CN112327737A (zh) * 2020-09-27 2021-02-05 甘肃酒钢集团宏兴钢铁股份有限公司 一种安全监控系统及其用于堆取料机安全控制的方法
CN114620496A (zh) * 2022-02-22 2022-06-14 国能网信科技(北京)有限公司 智能堆取料控制方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN108566538A (zh) 基于红外-可见光融合跟踪的圆形煤场人员安全防护与自燃的监控系统及方法
CN102435173B (zh) 一种基于机器视觉的隧道病害快速调查系统及调查方法
CN109230351A (zh) 一种皮带输送机运行异常的识别方法
CN111342391B (zh) 一种输电线路绝缘子和线路故障巡视方法及巡视体系
US20140002639A1 (en) Autonomous Detection of Chemical Plumes
KR102369229B1 (ko) 지하공동구 특화 레일로봇 기반 위험예측시스템 및 위험예측방법
CN206194076U (zh) 一种变电站设备检测系统
CN104253482A (zh) 基于图像数据库和巡检机器人的设备故障检测方法
CN108288055A (zh) 基于深度网络与分级测试的电力机车受电弓及电弧检测方法
CN106226157A (zh) 混凝土构件裂缝自动检测装置及方法
CN111753780B (zh) 变电站违章检测系统及违章检测方法
CN108038424A (zh) 一种适用于高空作业的视觉自动化检测方法
CN109711348A (zh) 基于长期驻空平台的实时违章建筑的智能监测方法及系统
CN113206978B (zh) 油气管道站场安防智能监控预警系统及方法
CN114104653A (zh) 一种输煤仓区域输煤皮带机智能巡检检测方法
CN111259855A (zh) 基于深度学习的移动式安全帽佩戴检测方法
CN113850562A (zh) 一种智能旁站监理方法及系统
CN116846059A (zh) 一种用于电网巡检和监控的边缘检测系统
CN208257970U (zh) 基于红外-可见光融合跟踪的圆形煤场人员安全防护与自燃的监控系统
CN209182255U (zh) 一种桥梁表面裂缝检测装置
CN109522845A (zh) 基于智能机器人的配电变压器试验安全作业监督方法
CN117768610A (zh) 基于多目标识别的高速铁路周界入侵风险监测方法及系统
CN102609699A (zh) 一种激光扫描铸件工件号的识别装置和方法
CN116862712A (zh) 基于雷视融合的电力施工潜在安全风险检测方法与系统
CN207923179U (zh) 智能巡检车

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination