CN112580430A - 基于rgb视觉的电厂烟火监测方法、装置、系统和存储介质 - Google Patents

基于rgb视觉的电厂烟火监测方法、装置、系统和存储介质 Download PDF

Info

Publication number
CN112580430A
CN112580430A CN202011301718.6A CN202011301718A CN112580430A CN 112580430 A CN112580430 A CN 112580430A CN 202011301718 A CN202011301718 A CN 202011301718A CN 112580430 A CN112580430 A CN 112580430A
Authority
CN
China
Prior art keywords
video image
smoke
fire
image
firework
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011301718.6A
Other languages
English (en)
Inventor
唐晓泽
段美前
李正家
戴冬生
邓炯
岳兰成
邓资华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Keyuan Energy Technology Development Co ltd
Original Assignee
Chongqing Keyuan Energy Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Keyuan Energy Technology Development Co ltd filed Critical Chongqing Keyuan Energy Technology Development Co ltd
Priority to CN202011301718.6A priority Critical patent/CN112580430A/zh
Publication of CN112580430A publication Critical patent/CN112580430A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Abstract

本发明提供一种基于RGB视觉的电厂烟火监测方法、装置、系统和存储介质，所述方法包括：获取预设监测区域的RGB视频图像；对所述RGB视频图像进行感兴趣区域提取，得到目标视频图像；根据深度学习目标检测算法对所述目标视频图像进行烟火检测，得到所述目标视频图像中的烟火种类和坐标位置；将所述RGB视频图像、所述烟火种类和所述坐标位置发送到云服务器，使云服务器根据所述坐标位置发出相应的报警信息；本发明解决了现有技术中的电厂烟火监测方法不能对烟火进行及时有效的预判和报警，并且由于外界环境的原因经常出现误判的问题，具有处理速度快、实时性强和准确率高的特点，有助于解决电厂安全方面的问题。

Description

基于RGB视觉的电厂烟火监测方法、装置、系统和存储介质
技术领域
本发明涉及图像识别技术领域，具体涉及基于RGB视觉的电厂烟火监测方法、装置、系统和存储介质。
背景技术
目前，电厂对烟火的监测根据烟火不同的燃烧现象采样不同类型的烟火探测器，其主要类型有：感温型、感烟型、感光型和气敏型四大类。通常火灾的发生过程由六个阶段组成：吸热阶段、热解阶段、发烟阶段、扩散阶段、明火阶段和衰减阶段，但烟火探测器多数都是在火灾出现的后面三个阶段出现警报，而此时火灾可能相当严重了，而且烟火探测器大多是采用浓度检测法，采集的火灾信息物理量少，相对大空间场所、大范围场景等，常常会由于探测的远近或位置等因素无法起作用；另外，一些对于可见光和红外光的结合使用用于火灾的判断也具备同样的缺点，容易受环境温度等条件影响，进而影响烟火发生判断。
可见，现有技术中的电厂烟火监测方法不能对烟火进行及时有效的预判和报警，并且由于外界环境的原因经常出现误判的问题，因此不能及时有效的解决电厂安全方面的问题。
发明内容
针对现有技术中所存在的不足，本发明提供的基于RGB视觉的电厂烟火监测方法、装置、系统和存储介质，其解决了现有技术中的电厂烟火监测方法不能对烟火进行及时有效的预判和报警，并且由于外界环境的原因经常出现误判的问题，具有处理速度快、实时性强和准确率高的特点，有助于解决电厂安全方面的问题。
第一方面，本发明提供一种基于RGB视觉的电厂烟火监测方法，应用于图像采集端，所述方法包括：获取预设监测区域的RGB视频图像；对所述RGB视频图像进行感兴趣区域提取，得到目标视频图像；根据深度学习目标检测算法对所述目标视频图像进行烟火检测，得到所述目标视频图像中的烟火种类和坐标位置；将所述RGB视频图像、所述烟火种类和所述坐标位置发送到云服务器，使云服务器根据所述坐标位置发出相应的报警信息。
可选地，根据深度学习目标检测算法对所述目标视频图像进行烟火检测，得到所述目标视频图像中的烟火种类和坐标位置，包括：根据基础网络算法对所述目标视频图像进行多尺度检测，得到烟火形态图像；对所述烟火形态图像进行类别预测，获取到所述烟火种类；根据所述RGB视频图像，对所述烟火形态图像进行位置回归，获取到所述坐标位置。
可选地，对所述烟火形态图像进行类别预测，获取到所述烟火种类，包括：构建生成对抗网络模型；将烟火样本图像输入到所述生成对抗网络模型，得到烟火样本图像集；将所述烟火形态图像与所述烟火样本图像集进行比较，得到所述烟火形态图像中的烟火种类。
可选地，根据所述RGB视频图像，对所述烟火形态图像进行位置回归，获取到所述坐标位置，包括：构建位置回归网络模型；将所述烟火形态图像输入到所述位置回归网络模型；根据所述烟火形态图像得到相对位置数据；根据所述RGB视频图像，对所述相对位置数据进行定位，得到所述坐标位置。
可选地，对所述RGB视频图像进行感兴趣区域提取，得到目标视频图像，包括：通过背景自适应算法对所述RGB视频图像进行处理，得到所述RGB视频图像中的运动目标；根据所述运动目标和自适应阈值，得到所述RGB视频图像中的运动区域；将所述运动区域从所述RGB视频图像中进行分割，得到所述目标视频图像。
可选地，根据基础网络算法对所述目标视频图像进行多尺度检测，得到烟火形态图像，包括：将所述目标视频图像输入特征提取器进行特征提取，得到特征图；将所述特征图输入多特征融合模块，获取特征信息；将所述特征信息输入多尺度聚合模块和残差预测模块，获取到所述烟火形态图像。
第二方面，本发明提供一种基于RGB视觉的电厂烟火监测装置，应用于图像采集端，所述装置包括：视频图像获取模块，用于获取预设监测区域的RGB视频图像；提取模块，用于对所述RGB视频图像进行感兴趣区域提取，得到目标视频图像；烟火检测模块，用于根据深度学习目标检测算法对所述目标视频图像进行烟火检测，得到所述目标视频图像中的烟火种类和坐标位置；发送模块，用于将所述RGB视频图像、所述烟火种类和所述坐标位置发送到云服务器，使云服务器根据所述坐标位置发出相应的报警信息。
可选地，所述烟火检测模块包括：多尺度监测模块，用于根据基础网络算法对所述目标视频图像进行多尺度检测，得到烟火形态图像；类别预测模块，用于对所述烟火形态图像进行类别预测，获取到所述烟火种类；位置回归模块，用于根据所述RGB视频图像，对所述烟火形态图像进行位置回归，获取到所述坐标位置。
第三方面，本发明提供一种基于RGB视觉的电厂烟火监测系统，所述系统包括：图像采集装置、云服务器、报警装置和监控上位机；所述图像采集装置，用于获取预设监测区域的RGB视频图像，还用于对所述RGB视频图像进行感兴趣区域提取得到目标视频图像，还用于根据深度学习目标检测算法对所述目标视频图像进行烟火检测，得到所述目标视频图像中的烟火种类和坐标位置；所述云服务器与所述图像采集装置相连，用于接收所述图像采集装置发送的所述RGB视频图像、所述烟火种类和所述坐标位置，还用于根据所述坐标位置发出相应的报警信息；所述报警装置与所述云服务器相连，用于根据所述报警信息发出声光报警；所述监控上位机与所述云服务器相连，用于接收和显示所述云服务器发送的所述报警信息和所述RGB视频图像。
第四方面，本发明提供一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以下步骤：获取预设监测区域的RGB视频图像；对所述RGB视频图像进行感兴趣区域提取，得到目标视频图像；根据深度学习目标检测算法对所述目标视频图像进行烟火检测，得到所述目标视频图像中的烟火种类和坐标位置；将所述RGB视频图像、所述烟火种类和所述坐标位置发送到云服务器，使云服务器根据所述坐标位置发出相应的报警信息。
与现有技术相比，本发明的有益效果为：
本发明针对烟火监测区域RGB视频图像，采用深度学习目标检测算法，实时对被监测区域进行监测，既无需传感器或者红外图像提供场景中温度、烟雾等信息，又可一次性实时对监测区域中所有出现烟火区域进行一次性检测；本发明在图像采集端进行边缘计算，具有处理速度快、实时性强和准确率高的特点，并且能够及时发现电厂等场景中的烟火现象，有助于解决电厂安全方面的问题，具有广泛的应用前景。
附图说明
图1所示为本发明实施例提供的一种基于RGB视觉的电厂烟火监测方法的流程示意图；
图2所示为本实施例图1中的步骤S103的具体流程示意图；
图3所示为本发明实施例提供的另一种基于RGB视觉的电厂烟火监测方法的流程示意图；
图4所示为本发明实施例提供的一种基于RGB视觉的电厂烟火监测装置的结构示意图；
图5所示为本发明实施例提供的一种基于RGB视觉的电厂烟火监测系统的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1所示为本发明实施例提供的一种基于RGB视觉的电厂烟火监测方法的流程示意图；如图1所示，该基于RGB视觉的电厂烟火监测方法应用于图像采集端时具体包括以下步骤：
步骤S101，获取预设监测区域的RGB视频图像。
步骤S102，对所述RGB视频图像进行感兴趣区域提取，得到目标视频图像。
在本实施例中，对所述RGB视频图像进行感兴趣区域提取，得到目标视频图像，包括：通过背景自适应算法对所述RGB视频图像进行处理，得到所述RGB视频图像中的运动目标；根据所述运动目标和自适应阈值，得到所述RGB视频图像中的运动区域；将所述运动区域从所述RGB视频图像中进行分割，得到所述目标视频图像。
需要说明的是，采用背景自适应算法对火灾监测区域的运动目标实施提取，同时结合统计规律和背景模型更新背景图像，以保证其可以成功避免环境中光照条件或移动物体的干扰，然后通过运算或自适应阈值得到视频图像中的运动区域，即使目标从背景图像中分割出来从而得到目标图像。
步骤S103，根据深度学习目标检测算法对所述目标视频图像进行烟火检测，得到所述目标视频图像中的烟火种类和坐标位置。
在本实施例中，图2所示为本实施例图1中的步骤S103的具体流程示意图，如图2所示，根据深度学习目标检测算法对所述目标视频图像进行烟火检测，得到所述目标视频图像中的烟火种类和坐标位置具体包括以下步骤：
步骤S200，根据基础网络算法对所述目标视频图像进行多尺度检测，得到烟火形态图像。
步骤S211，构建生成对抗网络模型。
步骤S212，将烟火样本图像输入到所述生成对抗网络模型，得到烟火样本图像集。
步骤S213，将所述烟火形态图像与所述烟火样本图像集进行比较，得到所述烟火形态图像中的烟火种类。
步骤S221，构建位置回归网络模型。
步骤S222，将所述烟火形态图像输入到所述位置回归网络模型。
步骤S223，根据所述烟火形态图像得到相对位置数据。
步骤S224，根据所述RGB视频图像，对所述相对位置数据进行定位，得到所述坐标位置。
在本实施例中，执行完步骤S200后同时执行步骤S211和步骤S221，实现对烟火种类预设和位置回归两个任务并行执行；在本实施例中采用基础网络算法作为特征提取器，给出图像不同大小即不同尺度、不同抽象层次的表示，检测出视频图像中不同大小的烟火形态，尤其是那些小的烟火，对于火灾的预测及控制是很有效的，因此根据对目标视频图像进行多尺度检测后，可以得到烟火形态图像。
在对本实施例中，由于电厂场景烟火样本较少，本实施例构建了一种生成对抗网络模型，利用Unet结构的生成网络来生成部分样本数据，提高对烟火种类预测的准确率和降低误报率；因此在对烟火形态进行烟火种类判断之前，需要构建可以生成多个比较样本的生成对抗网络模型，将几张少量烟火种类确定的烟火样本图像输入到所述生成对抗网络模型中，得烟火种类细分更加精准的烟火样本图像集，将所述烟火形态图像与烟火样本图像集进行比较，得到所述烟火形态图像中的烟火种类。
在本实施例中，通过位置回归网络模型对输入的烟火形态图像进行相对位置计算，再将所述相对位置在所述RGB视频图像中的位置进行定位，得到发生所述烟火的坐标位置，若输入的图像中不存在烟火现象时，则不输出坐标位置。
进一步地，根据基础网络算法对所述目标视频图像进行多尺度检测，得到烟火形态图像，包括：将所述目标视频图像输入特征提取器进行特征提取，得到特征图；将所述特征图输入多特征融合模块，获取特征信息；将所述特征信息输入多尺度聚合模块和残差预测模块，获取到所述烟火形态图像。
步骤S104，将所述RGB视频图像、所述烟火种类和所述坐标位置发送到云服务器，使云服务器根据所述坐标位置发出相应的报警信息。
需要说明的是，本实施例使用高清摄像头与前端算法设备一体的图像采集装置，因此上述步骤的图像采集和计算都在前端设备实现边缘计算，这样可以避免视频图像传输损耗和提高计算的实时性；图像采集装置将采集到的RGB视频图像和图像识别结果都发送到云服务器进行备份存储，云边协同，方便问题定位追踪；并且整个电厂需要多套图像采集装置同时进行覆盖，边缘计算使得各个设备可以独立进行计算，既互不影响，又相互协调工作，实现整个电厂烟火监测区域全覆盖。
与现有技术相比，本发明的有益效果为：
本发明针对烟火监测区域RGB视频图像，采用深度学习目标检测算法，实时对被监测区域进行监测，既无需传感器或者红外图像提供场景中温度、烟雾等信息，又可一次性实时对监测区域中所有出现烟火区域进行一次性检测；本发明在图像采集端进行边缘计算，具有处理速度快、实时性强和准确率高的特点，并且能够及时发现电厂等场景中的烟火现象，有助于解决电厂安全方面的问题，具有广泛的应用前景。
图3所示为本发明实施例提供的另一种基于RGB视觉的电厂烟火监测方法的流程示意图；如图3所示，本实施例应用于电厂烟火监测系统，本系统主要包括视频图像采集系统、图像烟火目标检测系统和报警系统，主要工作过程如下：
①视频图像采集系统：本是实施例使用高清摄像头与前端算法设备一体的图像采集装置，由于该算法实时性强，所以采用前端设备实现边缘计算，这样可以避免视频图像传输损耗，另外，视频图像也可在云端进行备份储存，云边协同，方便问题定位追踪。整个电厂需要多套图像采集装置同时进行覆盖，边缘计算使得各个设备可以独立进行计算，既互不影响，又相互协调工作，实现整个电厂烟火监测区域全覆盖。
②图像烟火目标检测系统：目标检测的任务是找出图像中所有感兴趣的目标，确定它们的位置和大小，而针对电厂烟火检测，我们需要准确检测到图像中存在的烟雾、明火的种类和所在图像中的位置。对此，我们采用了多尺度、端到端的目标检测网络，网络由基础网络和检测头部构成；前者作为特征提取器，给出图像不同大小即不同尺度、不同抽象层次的表示，所以该网络可以检测到视频图像中不同大小的烟火形态，尤其是那些小的烟火，这对于烟火灾的预测及控制是很有效的；后者则根据这些这些表示和监督信息学习烟火的类别和位置关联。检测头部负责的类别预测和位置回归两个任务是并行的，所以可以同时输出图像中烟、火的种类以及具体坐标位置，若场景正常，无烟火现象发生，则什么也不输出。同时地，由于电厂场景烟火样本较少，我们训练一种生成对抗网络(Gan)，利用Unet结构的生成网络来生成部分样本数据，使得该烟火检测算法达到很好的准确率和极低的误报率。
③图像烟火报警系统：对于电厂烟火监测区域视频图像中检测到烟火现象的，系统输出烟火的具体类别以及坐标位置信息，并进行及时报警，提醒工作人员进行查看及补救，避免造成大的损失。
本系统采用以下两个方法，使得烟火监测的准确率和误报率达到很好的效果：
1、使用生成对抗网络(Gan)丰富电厂烟火样本数据，避免由于数据不足带来网络性能的不足，使得该目标检测网络的训练具有很好的准确率和低的误报率。
2、采用深度学习目标检测算法，以电厂视频图像整体作为输入，如果有烟火发生，直接一次性输出图像中所有的烟、火，并给出坐标位置信息，不需要经过目标区域分割，目标区域特征提取以及特征识别等繁琐步骤，也不需要对烟火分开进行识别，系统输出简单明了，一步到位。
图4所示为本发明实施例提供的一种基于RGB视觉的电厂烟火监测装置的结构示意图；如图4所示，应用于图像采集端时所述装置包括：
视频图像获取模块410，用于获取预设监测区域的RGB视频图像；
提取模块420，用于对所述RGB视频图像进行感兴趣区域提取，得到目标视频图像；
烟火检测模块430，用于根据深度学习目标检测算法对所述目标视频图像进行烟火检测，得到所述目标视频图像中的烟火种类和坐标位置；
发送模块440，用于将所述RGB视频图像、所述烟火种类和所述坐标位置发送到云服务器，使云服务器根据所述坐标位置发出相应的报警信息。
在本实施例中，所述烟火检测模块430包括：多尺度监测模块，用于根据基础网络算法对所述目标视频图像进行多尺度检测，得到烟火形态图像；类别预测模块，用于对所述烟火形态图像进行类别预测，获取到所述烟火种类；位置回归模块，用于根据所述RGB视频图像，对所述烟火形态图像进行位置回归，获取到所述坐标位置。
在本实施例中，所述类别预测模块包括：对抗网络模型构建模块，用于构建生成对抗网络模型；样本图像集生成模块，用于将烟火样本图像输入到所述生成对抗网络模型，得到烟火样本图像集；比较模块，用于将所述烟火形态图像与所述烟火样本图像集进行比较，得到所述烟火形态图像中的烟火种类。
在本实施例中，所述位置回归模块包括：回归网络模型构建模块，用于构建位置回归网络模型；输入模块，用于将所述烟火形态图像输入到所述位置回归网络模型；相对位置数据获取模块，用于根据所述烟火形态图像得到相对位置数据；坐标位置获取模块，用于根据所述RGB视频图像，对所述相对位置数据进行定位，得到所述坐标位置。
在本实施例中，所述提取模块420包括：运动目标提取模块，用于通过背景自适应算法对所述RGB视频图像进行处理，得到所述RGB视频图像中的运动目标；运动区域获取模块，用于根据所述运动目标和自适应阈值，得到所述RGB视频图像中的运动区域；分割模块，用于将所述运动区域从所述RGB视频图像中进行分割，得到所述目标视频图像。
在本实施例中，所述多尺度监测模块包括：特征图获取模块，用于将所述目标视频图像输入特征提取器进行特征提取，得到特征图；特征信息获取模块，用于将所述特征图输入多特征融合模块，获取特征信息；烟火形态获取模块，用于将所述特征信息输入多尺度聚合模块和残差预测模块，获取到所述烟火形态图像。
图5所示为本发明实施例提供的一种基于RGB视觉的电厂烟火监测系统的结构示意图，如图5所示，在本实施例中，本发明提供一种基于RGB视觉的电厂烟火监测系统，所述系统包括：图像采集装置、云服务器、报警装置和监控上位机；
所述图像采集装置，用于获取预设监测区域的RGB视频图像，还用于对所述RGB视频图像进行感兴趣区域提取得到目标视频图像，还用于根据深度学习目标检测算法对所述目标视频图像进行烟火检测，得到所述目标视频图像中的烟火种类和坐标位置；
所述云服务器与所述图像采集装置相连，用于接收所述图像采集装置发送的所述RGB视频图像、所述烟火种类和所述坐标位置，还用于根据所述坐标位置发出相应的报警信息；
所述报警装置与所述云服务器相连，用于根据所述报警信息发出声光报警；
所述监控上位机与所述云服务器相连，用于接收和显示所述云服务器发送的所述报警信息和所述RGB视频图像。
在本发明的一个实施例中，本发明提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取预设监测区域的RGB视频图像；对所述RGB视频图像进行感兴趣区域提取，得到目标视频图像；根据深度学习目标检测算法对所述目标视频图像进行烟火检测，得到所述目标视频图像中的烟火种类和坐标位置；将所述RGB视频图像、所述烟火种类和所述坐标位置发送到云服务器，使云服务器根据所述坐标位置发出相应的报警信息。
在本发明的一个实施例中，本发明提供一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以下步骤：获取预设监测区域的RGB视频图像；对所述RGB视频图像进行感兴趣区域提取，得到目标视频图像；根据深度学习目标检测算法对所述目标视频图像进行烟火检测，得到所述目标视频图像中的烟火种类和坐标位置；将所述RGB视频图像、所述烟火种类和所述坐标位置发送到云服务器，使云服务器根据所述坐标位置发出相应的报警信息。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种基于RGB视觉的电厂烟火监测方法，其特征在于，应用于图像采集端，所述方法包括：
获取预设监测区域的RGB视频图像；
对所述RGB视频图像进行感兴趣区域提取，得到目标视频图像；
根据深度学习目标检测算法对所述目标视频图像进行烟火检测，得到所述目标视频图像中的烟火种类和坐标位置；
将所述RGB视频图像、所述烟火种类和所述坐标位置发送到云服务器，使云服务器根据所述坐标位置发出相应的报警信息。
2.如权利要求1所述的基于RGB视觉的电厂烟火监测方法，其特征在于，根据深度学习目标检测算法对所述目标视频图像进行烟火检测，得到所述目标视频图像中的烟火种类和坐标位置，包括：
根据基础网络算法对所述目标视频图像进行多尺度检测，得到烟火形态图像；
对所述烟火形态图像进行类别预测，获取到所述烟火种类；
根据所述RGB视频图像，对所述烟火形态图像进行位置回归，获取到所述坐标位置。
3.如权利要求2所述的基于RGB视觉的电厂烟火监测方法，其特征在于，对所述烟火形态图像进行类别预测，获取到所述烟火种类，包括：
构建生成对抗网络模型；
将烟火样本图像输入到所述生成对抗网络模型，得到烟火样本图像集；
将所述烟火形态图像与所述烟火样本图像集进行比较，得到所述烟火形态图像中的烟火种类。
4.如权利要求2所述的基于RGB视觉的电厂烟火监测方法，其特征在于，根据所述RGB视频图像，对所述烟火形态图像进行位置回归，获取到所述坐标位置，包括：
构建位置回归网络模型；
将所述烟火形态图像输入到所述位置回归网络模型；
根据所述烟火形态图像得到相对位置数据；
根据所述RGB视频图像，对所述相对位置数据进行定位，得到所述坐标位置。
5.如权利要求1所述的基于RGB视觉的电厂烟火监测方法，其特征在于，对所述RGB视频图像进行感兴趣区域提取，得到目标视频图像，包括：
通过背景自适应算法对所述RGB视频图像进行处理，得到所述RGB视频图像中的运动目标；
根据所述运动目标和自适应阈值，得到所述RGB视频图像中的运动区域；
将所述运动区域从所述RGB视频图像中进行分割，得到所述目标视频图像。
6.如权利要求2所述的基于RGB视觉的电厂烟火监测方法，其特征在于，根据基础网络算法对所述目标视频图像进行多尺度检测，得到烟火形态图像，包括：
将所述目标视频图像输入特征提取器进行特征提取，得到特征图；
将所述特征图输入多特征融合模块，获取特征信息；
将所述特征信息输入多尺度聚合模块和残差预测模块，获取到所述烟火形态图像。
7.一种基于RGB视觉的电厂烟火监测装置，其特征在于，应用于图像采集端，所述装置包括：
视频图像获取模块，用于获取预设监测区域的RGB视频图像；
提取模块，用于对所述RGB视频图像进行感兴趣区域提取，得到目标视频图像；
烟火检测模块，用于根据深度学习目标检测算法对所述目标视频图像进行烟火检测，得到所述目标视频图像中的烟火种类和坐标位置；
发送模块，用于将所述RGB视频图像、所述烟火种类和所述坐标位置发送到云服务器，使云服务器根据所述坐标位置发出相应的报警信息。
8.如权利要求7所述的基于RGB视觉的电厂烟火监测装置，其特征在于，所述烟火检测模块包括：
多尺度监测模块，用于根据基础网络算法对所述目标视频图像进行多尺度检测，得到烟火形态图像；
类别预测模块，用于对所述烟火形态图像进行类别预测，获取到所述烟火种类；
位置回归模块，用于根据所述RGB视频图像，对所述烟火形态图像进行位置回归，获取到所述坐标位置。
9.基于权利要求1所述的一种基于RGB视觉的电厂烟火监测方法的监测系统，其特征在于，所述系统包括：
图像采集装置、云服务器、报警装置和监控上位机；
所述图像采集装置，用于获取预设监测区域的RGB视频图像，还用于对所述RGB视频图像进行感兴趣区域提取得到目标视频图像，还用于根据深度学习目标检测算法对所述目标视频图像进行烟火检测，得到所述目标视频图像中的烟火种类和坐标位置；
所述云服务器与所述图像采集装置相连，用于接收所述图像采集装置发送的所述RGB视频图像、所述烟火种类和所述坐标位置，还用于根据所述坐标位置发出相应的报警信息；
所述报警装置与所述云服务器相连，用于根据所述报警信息发出声光报警；
所述监控上位机与所述云服务器相连，用于接收和显示所述云服务器发送的所述报警信息和所述RGB视频图像。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项方法的步骤。
CN202011301718.6A 2020-11-19 2020-11-19 基于rgb视觉的电厂烟火监测方法、装置、系统和存储介质 Pending CN112580430A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011301718.6A CN112580430A (zh) 2020-11-19 2020-11-19 基于rgb视觉的电厂烟火监测方法、装置、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011301718.6A CN112580430A (zh) 2020-11-19 2020-11-19 基于rgb视觉的电厂烟火监测方法、装置、系统和存储介质

Publications (1)

Publication Number Publication Date
CN112580430A true CN112580430A (zh) 2021-03-30

Family

ID=75122835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011301718.6A Pending CN112580430A (zh) 2020-11-19 2020-11-19 基于rgb视觉的电厂烟火监测方法、装置、系统和存储介质

Country Status (1)

Country Link
CN (1) CN112580430A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113536918A (zh) * 2021-06-10 2021-10-22 浙江大华技术股份有限公司 烟火检测方法、系统、电子装置和存储介质
CN114446002A (zh) * 2022-01-17 2022-05-06 厦门理工学院 火灾在线监测方法、装置、介质及系统
CN114558267A (zh) * 2022-03-03 2022-05-31 上海应用技术大学 工业场景火灾防治系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113536918A (zh) * 2021-06-10 2021-10-22 浙江大华技术股份有限公司 烟火检测方法、系统、电子装置和存储介质
CN113536918B (zh) * 2021-06-10 2024-04-16 浙江华感科技有限公司 烟火检测方法、系统、电子装置和存储介质
CN114446002A (zh) * 2022-01-17 2022-05-06 厦门理工学院 火灾在线监测方法、装置、介质及系统
CN114446002B (zh) * 2022-01-17 2023-10-31 厦门理工学院 火灾在线监测方法、装置、介质及系统
CN114558267A (zh) * 2022-03-03 2022-05-31 上海应用技术大学 工业场景火灾防治系统

Similar Documents

Publication Publication Date Title
CN112580430A (zh) 基于rgb视觉的电厂烟火监测方法、装置、系统和存储介质
CN110084165B (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
KR20200006167A (ko) 딥러닝 네트워크 및 평균 이동을 기반으로 하는 선박 자동추적 방법 및 시스템
Lestari et al. Fire hotspots detection system on CCTV videos using you only look once (YOLO) method and tiny YOLO model for high buildings evacuation
CN109389185B (zh) 使用三维卷积神经网络的视频烟雾识别方法
CN110929756A (zh) 基于深度学习的钢材尺寸和数量的识别方法、智能设备和存储介质
CN108389359A (zh) 一种基于深度学习的城市火灾报警方法
CN113343779B (zh) 环境异常检测方法、装置、计算机设备和存储介质
CN104463253B (zh) 基于自适应背景学习的消防通道安全检测方法
CN108830161B (zh) 基于视频流数据的烟雾识别方法
CN115691034A (zh) 一种智能家居异常情况告警方法、系统及存储介质
CN116543347A (zh) 智慧虫情在线监测系统、方法、装置及介质
CN107704818A (zh) 一种基于视频图像的火灾检测系统
CN109684953B (zh) 基于目标检测和粒子滤波算法进行猪只跟踪的方法及装置
CN111062950A (zh) 一种用于多类别森林场景图像分割的方法、存储介质和设备
CN114140663A (zh) 一种基于多尺度注意力学习网络的害虫识别方法及系统
JP2021007055A (ja) 識別器学習装置、識別器学習方法およびコンピュータプログラム
CN111091586A (zh) 一种快速的烟雾动态遮挡区域检测和定位方法及其应用
Batista et al. Improved real-time wildfire detection using a surveillance system
CN111191575B (zh) 一种基于火苗跳动建模的明火检测方法及系统
Nagababu et al. Automated Fire Detection System Using Image Surveillance System (ISS) and Convolutional Neural Networks (CNN)
Adurkar et al. Fire detection using HSV color picker: a review
CN114119531A (zh) 应用于校园智慧平台的火灾检测方法、装置及计算机设备
Gao et al. Design and implementation of fire detection system using new model mixing
CN113095321A (zh) 一种带式输送机的滚轮轴承测温及故障预警方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination