CN112560657A - 烟火识别方法、装置、计算机设备和存储介质 - Google Patents

烟火识别方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112560657A
CN112560657A CN202011453646.7A CN202011453646A CN112560657A CN 112560657 A CN112560657 A CN 112560657A CN 202011453646 A CN202011453646 A CN 202011453646A CN 112560657 A CN112560657 A CN 112560657A
Authority
CN
China
Prior art keywords
image
area
smoke
recognized
firework
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011453646.7A
Other languages
English (en)
Other versions
CN112560657B (zh
Inventor
孙立群
陈满
张豪
卢勇
刘涛
徐�明
李建辉
王苗庚
吕志鹏
林恺
韩玉麟
巩宇
郭海峰
王晓翼
王翰龙
贺儒飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peak and Frequency Regulation Power Generation Co of China Southern Power Grid Co Ltd
Original Assignee
Peak and Frequency Regulation Power Generation Co of China Southern Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peak and Frequency Regulation Power Generation Co of China Southern Power Grid Co Ltd filed Critical Peak and Frequency Regulation Power Generation Co of China Southern Power Grid Co Ltd
Priority to CN202011453646.7A priority Critical patent/CN112560657B/zh
Priority to PCT/CN2021/079267 priority patent/WO2022121129A1/zh
Priority to US17/919,511 priority patent/US20240005757A1/en
Publication of CN112560657A publication Critical patent/CN112560657A/zh
Application granted granted Critical
Publication of CN112560657B publication Critical patent/CN112560657B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G06V20/39—Urban scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Fire-Detection Mechanisms (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请涉及一种烟火识别方法、装置、计算机设备和存储介质。通过获取烟火监控区域内的包括可见光图像、红外图像的待识别图像，并根据待识别图像，识别待识别图像中的烟火疑似区域，包括基于颜色识别可见光图像中的烟火疑似区域，基于亮度识别红外图像中的烟火疑似区域，再将烟火疑似区域的待识别图像输入预设模型，根据基于预先标记烟火状态的可见光图像或预先标记烟火状态的红外图像训练得到的预设模型的输出结果，识别待识别图像中的烟火状态。相较于传统的基于感温探测或感烟探测对烟火进行检测的方式，本方案通过预设模型，对可见光图像或红外图像中的烟火区域进行识别，从而实现提高烟火的识别及时率的效果。

Description

烟火识别方法、装置、计算机设备和存储介质
技术领域
本申请涉及安全预警技术领域，特别是涉及一种烟火识别方法、装置、计算机设备和存储介质。
背景技术
火的出现促进了人类文明的进步，但火灾一直以来都是全世界的重大威胁和灾害，如发电厂中，火灾事故的影响范围和严重程度包括：财产损失、人员伤亡、中断正常发电工作等，其原因在于一旦发生火灾，往往会烧毁发电设备、变电和配电设备，而这些设备的修复或更换往往需要较长的时间，不但影响发电厂生产，更严重的是造成其他企业单位和部门停电，从而可能导致严重事故和损失；其次火灾事故可能造成电厂在岗职工的伤亡；另外有时还会引起一些公共场所的混乱和刑事案件的发生，造成不良后果和影响。而如何早期预防和识别火灾是减少火灾发生及蔓延带来的严重危害的重要手段之一，所以能够及时并准确的预警火灾变得尤为重要。
目前对于火灾时的烟火检测方式通常是基于感温探测或感烟探测对烟火进行检测，然而，通过感温探测或感烟探测的方式检测烟火时，需要在烟火达到一定浓度后才能检测到，当检测到时火势通常已经大范围蔓延。
因此，目前的烟火识别方法存在检测不及时的缺陷。
发明内容
基于此，有必要针对上述技术问题，提供一种能够及时识别烟火的烟火识别方法、装置、计算机设备和存储介质。
一种烟火识别方法，所述方法包括：
获取烟火监控区域内的待识别图像；所述待识别图像包括可见光图像和/或红外图像；
根据所述待识别图像，识别所述待识别图像中的烟火疑似区域，包括：基于颜色识别所述可见光图像中的烟火疑似区域，基于亮度识别所述红外图像中的烟火疑似区域；
将包括所述烟火疑似区域的待识别图像输入预设模型，根据所述预设模型的输出结果，识别所述待识别图像中的烟火状态；所述预设模型基于预先标记烟火状态的可见光图像或预先标记烟火状态的红外图像训练得到。
在其中一个实施例中，所述获取烟火监控区域内的待识别图像，包括：
获取所述烟火监控区域内的监控图像；
根据所述监控图像的图像类型，对所述监控图像进行对应的过滤处理，得到过滤处理后的监控图像；
根据多帧所述过滤处理后的监控图像，消除所述过滤处理后的监控图像中的设备运动光流，得到所述待识别图像。
在其中一个实施例中，所述根据所述监控图像的图像类型，对所述监控图像进行对应的过滤处理，得到过滤处理后的监控图像，包括：
若所述监控图像为可见光图像，获取所述可见光图像中的各个像素在三原色颜色空间的各个颜色通道中的颜色值；
获取各个颜色值占所有颜色值的和的比例；
获取所述比例最大的颜色值与各个比例的乘积，作为各个颜色值对应的规范后的颜色值；
根据所述规范后的颜色值的最大值、最小值以及所述像素对应的颜色值，确定所述像素对应的色相值、饱和度值以及色调值；
根据所述规范后的颜色值以及预设亮度色度转换矩阵，得到所述像素对应的明亮度值、色度值以及浓度值；
根据所述监控图像中的各个所述像素对应的所述各个颜色值、所述色相值、所述饱和度值、所述色调值、所述明亮度值、所述色度值以及所述浓度值，得到过滤处理后的监控图像；
和/或
若所述监控图像为红外图像，将所述红外图像中的各个像素的邻域内的所有像素进行排序，获取排序后的像素中的中间灰度值，并将所述中间灰度值赋给对应的像素，得到过滤处理后的监控图像。
在其中一个实施例中，所述根据多帧所述过滤处理后的监控图像，消除所述过滤处理后的监控图像中的设备运动光流，得到所述待识别图像，包括：
根据当前时刻的过滤处理后的监控图像，以及当前时刻对应的下一时刻的过滤处理后的监控图像，得到所述过滤处理后的监控图像对应的投影变换矩阵；
根据所述投影变换矩阵的逆与所述当前时刻对应的过滤处理后的监控图像，得到消除设备运动光流后的过滤处理后的监控图像，作为所述待识别图像。
在其中一个实施例中，所述根据所述待识别图像，识别所述待识别图像中的烟火疑似区域，包括：
若所述待识别图像为可见光图像，根据所述待识别图像中各个像素对应的亮度值、色度值、浓度值、颜色值、第一最大阈值以及第一最小阈值，得到所述待识别图像中的最小烟雾区域；
根据所述待识别图像中各个像素对应的第一颜色阈值、第二颜色阈值以及颜色值，得到所述待识别图像中的第一最小火焰区域；
根据所述待识别图像中各个像素对应的色相值、饱和度值以及色调值，得到所述待识别图像中的第二最小火焰区域；
根据所述待识别图像中各个像素对应的明亮度值、色度值、浓度值、明亮度阈值、亮度阈值以及色度阈值，得到所述待识别图像中的第三最小火焰区域；
对多个所述待识别图像的图像序列进行光流提取，得到所述待识别图像中的运动区域；
根据所述最小烟雾区域、所述第一最小火焰区域、所述第二最小火焰区域、所述第三最小火焰区域以及所述运动区域，得到所述待识别图像中的烟火疑似区域；
和/或，
若所述待识别图像为红外图像，根据预设红外亮度阈值，得到所述待识别图像中的火焰区域；
根据当前时刻的待识别图像以及当前识别对应的下一时刻的待识别图像，得到所述待识别图像对应的像素差；
根据所述像素差以及预设运动图像阈值，确定所述待识别图像中的运动区域；
根据所述火焰区域以及所述运动区域，得到所述待识别图像中的烟火疑似区域。
在其中一个实施例中，所述预设模型包括：第一预设模型以及第二预设模型；
所述将包括所述烟火疑似区域的待识别图像输入预设模型，根据所述预设模型的输出结果，识别所述待识别图像中的烟火状态，包括：
若所述待识别图像为可见光图像，将所述待识别图像输入第一预设模型；
若所述待识别图像为红外图像，将所述待识别图像输入第二预设模型；
获取通过所述第一预设模型和/或所述第二预设模型对所述烟火疑似区域进行特征提取后得到的判断向量；
根据所述判断向量，确定所述待识别图像中的烟火状态。
在其中一个实施例中，所述根据所述预设模型的输出结果，识别所述待识别图像中的烟火状态之后，还包括：
若所述烟火状态为有烟或有火，触发报警信息，并将所述待识别图像输入烟火检测模型，获取所述烟火检测模型输出的烟火区域预测框；所述烟火检测模型基于多个具有烟火的图像训练得到；
根据预设判别式跟踪算法，对所述烟火区域预测框进行连续识别，以对所述待识别图像中的烟火状态进行跟踪；所述预设判别式跟踪算法基于当前时刻对应的前一时刻的包括烟火区域预测框的待识别图像得到所述当前时刻所述待识别图像中的烟火区域预测框。
一种烟火识别装置，所述装置包括：
获取模块，用于获取烟火监控区域内的待识别图像；所述待识别图像包括可见光图像和/或红外图像；
第一识别模块，用于根据所述待识别图像，识别所述待识别图像中的烟火疑似区域，包括：基于颜色识别所述可见光图像中的烟火疑似区域，基于亮度识别所述红外图像中的烟火疑似区域；
第二识别模块，用于将包括所述烟火疑似区域的待识别图像输入预设模型，根据所述预设模型的输出结果，识别所述待识别图像中的烟火状态；所述预设模型基于预先标记烟火状态的可见光图像或预先标记烟火状态的红外图像训练得到。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述方法的步骤。
上述烟火识别方法、装置、计算机设备和存储介质，通过获取烟火监控区域内的包括可见光图像、红外图像的待识别图像，并根据待识别图像，识别待识别图像中的烟火疑似区域，包括基于颜色识别可见光图像中的烟火疑似区域，基于亮度识别红外图像中的烟火疑似区域，再将烟火疑似区域的待识别图像输入预设模型，根据基于预先标记烟火状态的可见光图像或预先标记烟火状态的红外图像训练得到的预设模型的输出结果，识别待识别图像中的烟火状态。相较于传统的基于感温探测或感烟探测对烟火进行检测的方式，本方案通过预设模型，对可见光图像或红外图像中的烟火区域进行识别，从而实现提高烟火的识别及时率的效果。
附图说明
图1为一个实施例中烟火识别方法的应用环境图；
图2为一个实施例中烟火识别方法的流程示意图；
图3为一个实施例中识别可见光图像中烟火疑似区域步骤的界面示意图；
图4为一个实施例中识别可见光图像中运动区域步骤的界面示意图；
图5为一个实施例中识别红外图像中烟火疑似区域步骤的界面示意图；
图6为一个实施例中识别可见光图像中运动区域步骤的界面示意图；
图7为一个实施例中烟火跟踪步骤的界面示意图；
图8为另一个实施例中烟火识别方法的流程示意图；
图9为一个实施例中烟火识别装置的结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的烟火识别方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102可以获取烟火监控区域内的待识别图像，例如，可以获取与终端102连接的摄像设备获取，其中摄像设备可以是移动的摄像设备，也可以是固定的摄像设备，终端102可以根据待识别图像，识别其中的烟火疑似区域，终端102还可以在识别烟火疑似区域后，利用训练好的预设模型，将待识别图像输入至预设模型中，根据预设模型的输出结果，识别待识别图像中的烟火状态，终端102可以在得到烟火状态后，根据烟火状态做出相应提示，还可以向服务器104发送上述烟火状态，服务器104可以对识别结果进行存储。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种烟火识别方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
步骤S202，获取烟火监控区域内的待识别图像；待识别图像包括可见光图像和/或红外图像。
其中，烟火监控区域可以是与终端102连接的摄像设备所能拍摄到的范围，终端102可以获取烟火监控区域内的待识别图像，其中，待识别图像可以包括多个种类，例如，待识别图像可以包括可见光图像，也可以包括红外图像，终端102可以基于可见光图像对烟火监控区域的烟火进行识别，也可以基于红外图像对烟火区域的烟火进行识别，也可以基于可见光图像和红外图像共同对烟火区域的烟火进行识别。另外，终端102在获取待识别图像时，还可以对待识别图像进行预处理，具体地，终端102可以获取烟火监控区域内的监控图像；其中监控图像可以是上述摄像设备拍摄得到的烟火监控区域内的图像，包括可见光图像，也可以包括红外图像，两种图像可以通过一台摄像设备拍摄，也可以分别使用两台摄像设备拍摄；终端102还可以根据监控图像的图像类型，对监控图像进行对应的过滤处理，得到过滤处理后的监控图像；例如对可见光图像进行基于颜色的过滤，对红外图像进行基于灰度值的过滤等。由于摄像设备可以是移动的摄像设备，因此需要对摄像设备的运动光流进行消除，终端102还可以获取多帧监控图像，分别对每个帧的监控图像进行过滤，并根据多帧过滤处理后的监控图像，消除过滤处理后的监控图像中的设备运动光流，得到待识别图像，具体地，可以通过预设的算法对监控图像中的设备运动光流进行消除，从而得到待识别图像。
步骤S204，根据待识别图像，识别待识别图像中的烟火疑似区域，包括：基于颜色识别可见光图像中的烟火疑似区域，基于亮度识别红外图像中的烟火疑似区域。
其中，待识别图像可以是终端102通过摄像设备获取的，经过预处理后的待识别图像，终端102可以根据待识别图像，例如待识别图像的种类，识别待识别图像中的烟火疑似区域，烟火疑似区域可以是疑似发生烟火的区域，具体地，若待识别图像为可见光图像，则终端102可以基于颜色识别烟火疑似区域，例如基于RGB(Red Green Blue，三原色系统)，也可以称为三原色颜色空间，识别烟火疑似区域，其中，三原色系统中有多个颜色值，具体地，可以包括红色、绿色以及蓝色，即颜色值可以包括上述三种颜色；也可以基于YUV识别烟火疑似区域，其中Y表示明亮度值、U表示色度值、V表示浓度值；还可以基于HSV识别烟火疑似区域，其中H表示色相值、S表示饱和度值、V表示色调值。若待识别图像为红外图像，由于烟火区域的温度与其他区域不同，因此待识别图像中的烟火位置的亮度也会与周围的亮度不同，终端102可以基于待识别图像中的亮度值，识别待识别图像中的烟火疑似区域。
步骤S206，将包括烟火疑似区域的待识别图像输入预设模型，根据预设模型的输出结果，识别待识别图像中的烟火状态；预设模型基于预先标记烟火状态的可见光图像或预先标记烟火状态的红外图像训练得到。
其中，预设模型可以是通过训练得到的，用于识别烟火状态的模型，具体地，该预设模型可以是EfficientNet(复合模型缩放方法络)，EfficientNet可以是一种模型缩放方法。终端102可以将上述包括烟火疑似区域的待识别图像输入预设模型，例如可以将烟火疑似区域进行标记后，输入预设模型，预设模型可以基于标记的烟火疑似区域，进行烟火状态的识别。其中，预设模型可以有多个，分别使用预先标记烟火状态的可见光图像进行训练以及预先标记烟火状态的红外图像进行训练，从而可以基于待识别图像的种类的不同，利用不同的预设模型进行烟火状态的识别。
上述烟火识别方法中，通过获取烟火监控区域内的包括可见光图像、红外图像的待识别图像，并根据待识别图像，识别待识别图像中的烟火疑似区域，包括基于颜色识别可见光图像中的烟火疑似区域，基于亮度识别红外图像中的烟火疑似区域，再将烟火疑似区域的待识别图像输入预设模型，根据基于预先标记烟火状态的可见光图像或预先标记烟火状态的红外图像训练得到的预设模型的输出结果，识别待识别图像中的烟火状态。相较于传统的基于感温探测或感烟探测对烟火进行检测的方式，本方案通过预设模型，对可见光图像或红外图像中的烟火区域进行识别，从而实现提高烟火的识别及时率的效果。
在一个实施例中，根据监控图像的图像类型，对监控图像进行对应的过滤处理，得到过滤处理后的监控图像，包括：若监控图像为可见光图像，获取可见光图像中的各个像素在三原色颜色空间的各个颜色通道中的颜色值；获取各个颜色值占所有颜色值的和的比例；获取比例最大的颜色值与各个比例的乘积，作为各个颜色值对应的规范后的颜色值；根据规范后的颜色值的最大值、最小值以及像素对应的颜色值，确定像素对应的色相值、饱和度值以及色调值；根据规范后的颜色值以及预设亮度色度转换矩阵，得到像素对应的明亮度值、色度值以及浓度值；根据监控图像中的各个像素对应的各个颜色值、色相值、饱和度值、色调值、明亮度值、色度值以及浓度值，得到过滤处理后的监控图像。
本实施例中，监控图像可以是终端102连接的摄像设备获取的烟火监控区域内的图像，终端102可以对监控图像进行过滤处理，监控图像可以包括多种类型，若监控图像为可见光图像，由于不同光照强度的可见光图像对算法检测效果会产生一定的影响，为了减小光照对算法效果的影响，因此需要对图像RGB颜色空间色彩进行规范化，终端102可以获取可见光图像中的各个像素在三原色颜色空间中的各个颜色通道中的颜色值，还可以获取各个颜色值占所有颜色值的和的比例，得到比例占比最大的颜色值，终端102可以将比例最大的颜色值与各个比例相乘，得到各个颜色值赌赢的规范后的颜色值。具体地，终端102可以首先计算R，G，B三个通道分量的值占这三个通道分量值的和的比例，然后乘以R，G，B三个通道的最大可能值以作为规范化后图像像素点(r，g，b)的值，对应的计算公式如下所示：
Figure BDA0002832567900000091
其中，R、G和B分别表示原图片某一像素点在RGB颜色空间种R、G和B通道上分量的值，r、g和b为图片进行规范化预处理后像素点的值。
终端102还可以在对可见光图像中的颜色进行规范化后，确定可见光图像中各个像素的色相值、饱和度值以及色调值，终端102可以根据规范化后的颜色值中的最大值、最小值以及上述可见光图像中各个像素对应的颜色值，确定各个像素在HSV颜色空间中对应的色相值、饱和度值以及色调值，其中，H表示色相值、S表示饱和度值、V表示色调值，还可以基于规范后的颜色值以及预设亮度色度转换矩阵，得到各个像素对应的在YUV颜色空间中的明亮度值、色度值以及浓度值。具体地，终端102可以采用RGB颜色空间与YUV颜色空间和HSV颜色空间的转换方法，将规范化预处理后的可见光图像进行颜色空间转换；终端102可以根据RGB颜色空间与HSV颜色空间和YUV颜色空间转换关系构建对应颜色空间分量，对应的计算方式如下所示：
Figure BDA0002832567900000092
Figure BDA0002832567900000101
V＝max；
Figure BDA0002832567900000102
其中，H、S和V分别表示HSV颜色空间H(色相)、S(饱和度)和V(色调)分量上的值，Y、U和V表示YUV颜色空间中Y(明亮度)、U(色度)和V(浓度)分量上的值，R、G和B分别表示RGB颜色空间中R、G和B分量上的坐标值，max和min分别表示R、G和B中的最大值和最小值。
终端102可以对上述可见光图像的监控图像中各个像素均进行上述规范化和颜色空间转换处理，即基于颜色值对监控图像进行颜色规范化、基于色相值、饱和度值、色调值对可见光图像进行HSV颜色空间上的转换；基于明亮度值、色度值以及浓度值对可见光图像进行YUV颜色空间上的转换，从而得到过滤处理后的监控图像。
通过本实施例，终端102可以通过对可见光图像的监控图像进行颜色规范化以及进行颜色空间的转换，从而可以使终端102基于过滤处理后的监控图像进行烟火识别，提高了烟火识别的及时率。
在一个实施例中，根据监控图像的图像类型，对监控图像进行对应的过滤处理，得到过滤处理后的监控图像，包括：若监控图像为红外图像，将红外图像中的各个像素的邻域内的所有像素进行排序，获取排序后的像素中的中间灰度值，并将中间灰度值赋给对应的像素，得到过滤处理后的监控图像。
本实施例中，监控图像还可以是红外图像，红外图像可以是摄像设备拍摄的红外监控图像，若监控图像为红外图像，终端102在对红外图像进行过滤处理时，可以将红外图像中各个像素的邻域内的所以像素进行排序，例如升序排序，并获取排序后的像素中的中间灰度值，将中间灰度值赋予对应的像素，得到过滤处理后的监控图像。具体地，在采集以及传输红外图像的过程中，由于硬件条件和拍摄场景的限制，所采集到的实验数据会受到一定的干扰，可能包含一定的噪声，这些噪声会影响后续的处理工作的效果，所以在对红外图像进行分析之前，需要对红外图像进行过滤处理，终端102可以将当前像素点邻域内的所有像素进行排序(升序)，将中间的灰度值赋给该像素，通常采用奇数个点的窗口来扫描，将中值赋给窗口中间的像素，直到扫描完所有的图像像素，中值滤波便得以完成。但是如果是偶数个点，则中值取中间两个元素的平均值。计算公式可以如下所示：
g(m，n)＝Median{f(m-k，n-l)，(k，l)∈W}；
其中，m，n分别是像素点在红外图像中对应的横坐标和纵坐标。
通过本实施例，终端102可以基于灰度值，对红外监控图像进行滤波过滤处理，从而终端102可以基于过滤处理后的监控图像进行烟火识别，提高了烟火识别的及时率。
在一个实施例中，根据多帧过滤处理后的监控图像，消除过滤处理后的监控图像中的设备运动光流，得到待识别图像，包括：根据当前时刻的过滤处理后的监控图像，以及当前时刻对应的下一时刻的过滤处理后的监控图像，得到过滤处理后的监控图像对应的投影变换矩阵；根据投影变换矩阵的逆与当前时刻对应的过滤处理后的监控图像，得到消除设备运动光流后的过滤处理后的监控图像，作为待识别图像。
本实施例中，终端102在对监控图像进行过滤处理后，由于采集图像数据的摄像设备在运动，例如可见光相机或移动式摄像头，所以背景上也有很多轨迹，识别目标的运动轨迹也受到相机运动的很大影响。而这些信息与要识别的目标关系是不大的，属于干扰信息，终端102需要识别并消除这些轨迹。而实际上轨迹的运动也是通过计算光流信息进行计算的，因此需要通过估计相机运动，来消除设备运动光流，即背景区域的光流。终端102可以根据多帧监控图像对设备运动光流进行消除，终端102可以根据当前时刻的过滤处理后的监控图像，以及当前时刻对应的下一时刻的过滤处理后的监控图像，得到过滤处理后的监控图像对应的投影变换矩阵，并基于投影变换矩阵的逆，以及当前时刻对应的过滤处理后的监控图像，对设备运动光流进行消除，例如通过预设的消除算法进行消除，得到消除设备运动光流以及过滤处理后的监控图像，作为待识别图像。具体地，终端102可以首先估计摄像设备的运动，由于相邻两帧图像之间变化比较小，相邻的两帧图像之间的关系可以用一个投影变换矩阵来描述，即后一帧图像是前一帧图像通过投影变换得到的。因此，估计摄像设备运动的问题就变成了利用前后帧图像计算投影变换矩阵的问题，相邻帧投影变换矩阵计算公式如下所示：
It+1＝H×It；
其中，t时刻和t+1时刻的灰度图像分别为It和It+1用两张图像计算得到投影变换矩阵H。
终端102可以在得到投影变化矩阵后，利用投影变换矩阵消除设备运动光流，具体地，终端102可以利用得到的投影变换矩阵H的逆对It+1进行变换(warp)，具体计算公式如下所示：
Figure BDA0002832567900000121
其中，
Figure BDA0002832567900000122
代表假设不存在摄像设备运动时t+1时刻的图像，H-1为投影变换矩阵H的逆。
终端102可以采用TVL1(Total Variation L1，全变分)算法计算得到It和
Figure BDA0002832567900000123
的优化过的光流，作为各个时刻的待识别图像。
通过本实施例，终端102可以基于投影变换矩阵以及全变分算法，对设备运动光流进行消除，从而终端102可以基于消除设备运动光流后的图像识别烟火，提高了烟火识别的及时率。
在一个实施例中，根据待识别图像，识别待识别图像中的烟火疑似区域，包括：若待识别图像为可见光图像，根据待识别图像中各个像素对应的亮度值、色度值、浓度值、颜色值、第一最大阈值以及第一最小阈值，得到待识别图像中的最小烟雾区域；根据待识别图像中各个像素对应的第一颜色阈值、第二颜色阈值以及颜色值，得到待识别图像中的第一最小火焰区域；根据待识别图像中各个像素对应的色相值、饱和度值以及色调值，得到待识别图像中的第二最小火焰区域；根据待识别图像中各个像素对应的明亮度值、色度值、浓度值、明亮度阈值、亮度阈值以及色度阈值，得到待识别图像中的第三最小火焰区域；对多个待识别图像的图像序列进行光流提取，得到待识别图像中的运动区域；根据最小烟雾区域、第一最小火焰区域、第二最小火焰区域、第三最小火焰区域以及运动区域，得到待识别图像中的烟火疑似区域。
本实施例中，终端102可以待识别图像的种类，识别待识别图像中的烟火疑似区域，若待识别图像为可见光图像，终端102可以根据待识别图像中的各个像素对应的亮度值、色度值、浓度值、颜色值、第一最大阈值以及第一最小阈值，得到待识别图像中的最小烟雾区域，具体地，在可见光图像中，烟雾和火焰的颜色与周围环境对比特征显著，而且实际场景中烟雾和火焰的颜色受诸多环境因素影响，诸如温度、燃烧物燃烧充分性、燃烧物材料等，使得烟雾和火焰具有特殊的颜色分布规律，其中烟雾在火灾初期产生烟雾的颜色大部分呈现灰白色或者淡蓝色，随着时间的推进，颜色会从灰黑变化到黑，而火焰在视频图像中大部分呈现为突出且明亮的红色和黄色，因此终端102可以利用烟雾表现出的颜色规律，对图像进行过滤。由于烟雾区域在YUV颜色空间中的U和V分量之间的差异比其他非烟雾区域大得多，非烟雾区域像素值范围被压缩，所以终端102可以采用YUV颜色空间像素滤色规则对烟雾图片进行过滤，像素滤色规律如下所示：
Figure BDA0002832567900000131
其中，U(x，y)和V(x，y)是(x，y)处像素点在YUV颜色空间上U分量和V分量的值；Irgb(x，y)为(x，y)处像素点在RGB颜色空间中的像素值；Tmax、Tmin分别为第一最大阈值以及第一最小阈值，在本发明中Tmin可取63，Tmax可取178，将区域内满足式(9)规则的最小矩形区域记为RSMOKE-YUV，作为上述最小烟雾区域。
终端102还可以根据待识别图像中各个像素对应的第一颜色阈值、第二颜色阈值以及各个像素的颜色值，对可见光的待识别图像中的火焰区域进行识别，得到第一最小火焰区域，第一最小火焰区域可以表征上述可见光图像在RGB颜色空间上的火焰区域；终端102还可以根据待识别图像中各像素对应的色相值、饱和度值以及色调值，得到待识别图像中的第二最小火焰区域，第二最小火焰区域可以表征上述可见光图像在HSV颜色空间上的火焰区域；终端102还可以根据待识别图像中各个像素对应的明亮度值、色度值、浓度值、明亮度阈值、亮度阈值以及色度阈值，得到待识别图像中的第三最小火焰区域，第三最小火焰区域可以表征上述可见光图像中在YUV颜色空间上的火焰区域。
具体地，终端102可以利用火焰表现出的颜色规律，对图像进行过滤。根据火焰的颜色特征，在RGB、HSV和YUV颜色空间中设置不同多的颜色过滤范围，将不在颜色范围内的像素点的像素值设置为0，将在范围内的像素点值大小保持不变，结合多颜色空间过滤的结果得到多颜色空间过滤的火焰图像。其在RGB、HSV和YUV颜色空间的过滤范围如下所示：
Figure BDA0002832567900000141
Figure BDA0002832567900000142
Figure BDA0002832567900000143
其中，R0为像素点R分量的阈值，即上述第一颜色阈值，设定为135；T0为|G-B|+|R-B|的阈值，即上述第二颜色阈值，设定为20，在疑似烟雾区域内进行RGB颜色特征检测，将区域内满足规则的最小矩形区域记为RFIRE-RGB，即上述第一最小火焰区域；H、S和V分别表示HSV颜色空间H(色相)、S(饱和度)和V(色调)分量上的值，将区域内满足规则的最小矩形区域记为RFIRE-HSV，即上述第二最小火焰区域；Y、U和V表示YUV颜色空间中Y(明亮度)、U(亮度)和V(色度)分量上的值，Ymean、Vmean和Umean为阈值由实验决定，将区域内满足规则的最小矩形区域记为RFIRE-YUV，即上述第三最小火焰区域。
终端102在得到上述第一最小火焰区域、第二最小火焰区域以及第三最小火焰区域后，可以将最小烟雾区域以及各个最小火焰区域进行合并，得到未计算运动区域的待定烟火疑似区域，如图3所示，图3为一个实施例中识别可见光图像中烟火疑似区域步骤的界面示意图。终端102可以将通过颜色过滤后得到烟雾疑似区域RSMOKE和各个最小火焰疑似区域RFIRE合并得到颜色分析后的烟火疑似区域RColor，各疑似区域的计算方式如下所示：
RSMOKE＝RSMOKE-YUV
RFIRE＝RFIRE-RGB∪RFIRE-HSV∪REIRE-YUV
RColor＝RSMOKE∪RFIRE；
其中，RSMOKE表示经过颜色分析后的烟雾疑似区域，即最小烟雾区域；RFIRE表示经过颜色分析后火焰疑似区域，RColor表示合并得到颜色分析后的待定烟火疑似区域。
终端102可以还可以对可见光图像中的运动区域进行识别，如图4所示，图4为一个实施例中识别可见光图像中运动区域步骤的界面示意图。终端102可以根据多帧待识别图像，对待识别图像中运动区域进行识别，由于摄像头拍摄图像的时候，相邻两帧或者几帧的背景很相似，如果有运动前景目标，相邻两帧相同位置的像素就会产生差别，在忽略噪声干扰的前提下，目标的运动是造成两帧对应像素值发生变化的主要因素，因此终端102可以基于光流法对运动区域进行识别，光流(optical flow)是空间运动物体在观察成像平面上的像素运动的瞬时速度。光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法，在计算机视觉领域，是指视频图像中各点像素随时间的运动情况。具体地，终端102可以使用TV-L1算法对消除设备运动光流后的待识别图像的图像序列进行光流提取，根据提取到多的光流，得到对应图像的运动区域RAction。
终端102还可以在识别到运动区域后，根据上述烟雾区域、各个火焰区域以及上述运动区域，得到待识别图像中的烟火疑似区域，具体地，终端102可以将上述烟雾区域、各个火焰区域以及上述运动区域融合，即将同一图像得到的颜色分析结果区域及运动区域融合，得到该可见光图像的烟火疑似区域，其计算公式可以如下所示：
RA＝RColor∪RAction；
其中，RA表示颜色分析结果区域及运动区域融合后的区域，RColor表示颜色分析后得到的烟火疑似区域，RAction表示到图片的运动区域。
通过本实施例，终端102可以基于多个颜色空间对可见光图像中的烟雾区域和火焰区域进行识别，并且可以基于预设算法对运动区域进行识别，从而得到可见光图像中的烟火疑似区域，提高了烟火识别的及时率。
在一个实施例中，根据待识别图像，识别待识别图像中的烟火疑似区域，包括：若待识别图像为红外图像，根据预设红外亮度阈值，得到待识别图像中的火焰区域；根据当前时刻的待识别图像以及当前识别对应的下一时刻的待识别图像，得到待识别图像对应的像素差；根据像素差以及预设运动图像阈值，确定待识别图像中的运动区域；根据火焰区域以及运动区域，得到待识别图像中的烟火疑似区域。
本实施例中，待识别图像还可以是红外图像，终端102还可以对红外图像中的烟火疑似区域进行识别，如图5所示，图5为一个实施例中识别红外图像中烟火疑似区域步骤的界面示意图。终端102可以根据红外图像对应的预设红外亮度阈值，得到红外图像中的火焰区域。具体地，由于物质燃烧产生的大量能量以电磁波的形式向周围辐射，这些电磁波主要有以热辐射为主的红外波段和以光辐射为主的可见光波段。因此用红外摄像机采集的火焰视频图像中，即火焰区的亮度要明显高于其他区域。因此终端102可利用火焰的高温高亮特征进行可疑区的检测，得到红外图像的火焰疑似区域，满足其区域的最小矩形区域为rfire；
终端102还可以对红外图像中的运动区域进行检测，如图6所示，图6为一个实施例中识别可见光图像中运动区域步骤的界面示意图。终端102可以根据当前时刻的红外待识别图像以及下一时刻的红外待识别图像，得到待识别图像对应的像素差，并根据该像素差以及预设运动图像阈值，确定待识别图像中的运动区域。具体地，终端102可以利用当前图像的上帧图像作为背景，进行差分，其计算公式如下所示：
Δfi＝|fi(x，y)-fi-1(x，y)|；
其中，fi和fi-1分别为当前帧红外图像和上一帧红外图像，Δfi为第i帧差分图像，即两帧红外图像的差值，其像素取两帧红外图像所有对应像素点的值作差，取绝对值，作为上述像素差；
终端102可以选取预设运动图像阈值以提取差分图像中的运动区域，其计算公式可以如下所示：
Figure BDA0002832567900000171
其中，Mi(x，y)为提取的运动图像，T为上述预设运动图像阈值，等式的具体含义为当图像中像素点坐标(x，y)位置的差分值大于或等于上述阈值时，运动图像该像素点的值取原始差分图像该像素点的像素值，即为前景像素，否则取0。上述T的取值可以为40；得到运动图像后，终端102可以根据图像得到运动区域，即满足上述规则的最小矩形区域raction，即包含像素值不为0的最小矩形区域。
终端102在得到上述红外图像中的火焰区域以及运动区域后，可以对火焰区域以及运动区域进行融合，得到红外图像中的烟火疑似区域。具体地，终端102可以将同一红外图像得到的火焰疑似区域及运动区域融合，得到该红外图像的烟火疑似区域ra，具体公式可以如下所示：
ra＝rfire∪raction；
其中，ra表示红外图像火焰区域及运动区域融合后的区域，即烟火疑似区域，rfire表示亮度分析后得到的火焰疑似区域，raction表示到红外图像的运动区域，上述的区域为满足其规则的最小矩形区域。
通过本实施例，终端102可以基于亮度识别红外图像中的火焰区域、基于差分图像识别运动区域，从而得到红外图像中的烟火疑似区域，提高了烟火识别的及时率。
在一个实施例中，将包括烟火疑似区域的待识别图像输入预设模型，根据预设模型的输出结果，识别待识别图像中的烟火状态，包括：若待识别图像为可见光图像，将待识别图像输入第一预设模型；若待识别图像为红外图像，将待识别图像输入第二预设模型；获取通过第一预设模型和/或第二预设模型对烟火疑似区域进行特征提取后得到的判断向量；根据判断向量，确定待识别图像中的烟火状态。
本实施例中，上述预设模型包括：第一预设模型以及第二预设模型；终端102可以根据待识别图像的种类的不同，使用不同的预设模型，其中，在将包含烟火疑似区域的待识别图像输入预设模型前，终端102还可以对待识别图像中的各个像素点通过注意力机制进行权重分配，具体地，终端102可以根据上述烟火疑似区域，得到输入上述预设模型，具体地，可以是特征提取网络，的重点区域，具体计算公式可以如下所示：
Ii-attention＝wiIi；
其中，Ii-attention表示经过注意力机制后像素点i的值，Ii代表原图片像素点i的值，wi代表权重参数(如像素点i属于图像烟火疑似区域则wi＝1.5反之wi＝1)。从而终端102可以利用该注意力机制对图像的重点区域进行关注。
终端102可以将类型为可见光图像的待识别图像输入第一预设模型，将类型为红外图像的待识别图像输入第二预设模型，即第一预设模型可以用于识别可见光图像，第二预设模型可以用于识别红外图像。其中，在将待识别图像输入预设模型前，终端102还可以对模型进行训练，具体地，上述预设模型可以是EfficientNet，终端102可以通过输入标记了烟火状态的可见光图像数据和标记了烟火状态的红外图像数据分别训练网络第一预设模型E1和第二预设模型E2(网络结构相同)，其具体步骤为：(1)ImageNet挑战数据集上预先训练网络；(2)利用可见光烟雾火焰图像数据对网络E1进行训练，利用红外烟雾火焰图像数据对网络E2进行训练。其中，训练模型的过程中采用了随机梯度下降的方法；(3)通过调节参数微调网络，得到训练好的网络模型E1和E2，作为上述第一预设模型和第二预设模型。
终端102可以获取第一预设模型、第二预设模型对烟火疑似区域进行特征提取后的判断向量，并根据判断向量，确定待识别图像中的烟火状态。具体地，终端102可以将EfficientNet最后的全连接层中的隐藏单元数设置为对应分类结果的总数量，例如可以为4，代表无烟无火，有烟有火，无烟有火，有烟无火4种类别；终端102可以通过特征提取得到1*4的判断向量，通过比较向量中各数值的大小，将最大的值所对应的类别，作为识别结果，例如，将包含火焰的可见光图像以及包含烟火的可见光图像分别输入上述预设模型中，在经过最后的全连接层之后得到的结果分别为
Figure BDA0002832567900000191
和
Figure BDA0002832567900000192
从而根据我们预先设置的数据类别
Figure BDA0002832567900000193
得到，分别输入无烟有火以及有烟有火的状态。
通过本实施例，终端102可以根据预设模型识别待识别图像中烟火疑似区域的烟火状态，从而可以提高烟火识别的及时率。
在一个实施例中，根据预设模型的输出结果，识别待识别图像中的烟火状态之后，还包括：若烟火状态为有烟或有火，触发报警信息，并将待识别图像输入烟火检测模型，获取烟火检测模型输出的烟火区域预测框；烟火检测模型基于多个具有烟火的图像训练得到；根据预设判别式跟踪算法，对烟火区域预测框进行连续识别，以对待识别图像中的烟火状态进行跟踪；预设判别式跟踪算法基于当前时刻对应的前一时刻的包括烟火区域预测框的待识别图像得到当前时刻待识别图像中的烟火区域预测框。
本实施例中，终端102可以在识别到待识别图像中的烟火状态后，根据烟火状态的不同，执行不同的步骤，例如，若烟火状态为有烟或有火，则终端102可以触发报警信息，并且可以对烟火进行跟踪，如图7所示，图7为一个实施例中烟火跟踪步骤的界面示意图。终端102可以将识别出的烟火状态的待识别图像输入烟火检测模型，得到烟火检测模型输出的烟火区域预测框，其中，烟火检测模型可以基于多个具有烟火的图像训练得到，其网络结构采用的是与yolov2网络结构相同，具体地，终端102可以将报警后第一帧图像输入到烟火检测模型中，通过网络计算出该图像的特征向量，结合回归的方法，将该方框修正后得到第一帧图像的烟火区域预测框。
终端102还可以根据预设判别式跟踪算法，对烟火区域预测框进行连续识别，得到不同时刻的多个预测框，从而对待识别图像中的烟火状态进行跟踪，其中，预设判别式跟踪算法可以根据当前时刻对应的前一时刻的包括烟火区域预测框的待识别图像，得到当前时刻待识别图像中的烟火区域预测框。具体地，终端102可以利用判别式跟踪算法中的KCF算法对烟火区域进行跟踪，具体的，在帧It中，在目标所在位置Pt附近采样，训练一个回归器，该回归器可以计算一个小窗口的响应。在It+1帧中，在前一帧位置Pt附近采样用前述回归器判断每个采样窗口的响应值，取响应值最大的采样作为本帧中目标的位置Pt+1。具体的，KCF算法原理是在追踪过程中训练一个目标检测模型，使用所需的目标检测模型去检测下一帧视频图像位置，来预测该位置是否是所需要的目标，然后再使用新的检测结果去更新训练集，以此来实现更新目标检测模型。通过在频域内的傅里叶变换和脊回归，将目标区域作为正样本，周围不包括目标的区域视为负样本，选定的目标区域和周围区域的循环矩阵进行水平、垂直的循环移位来产生大量的样本，实现目标检测模型的训练。
通过本实施例，终端102可以在识别出烟火后，利用预设烟火是检测模型对烟火状态进行持续跟踪，可以及时掌握火灾的运动状态以及蔓延态势，从而提高了烟火识别的及时率。
在一个实施例中，如图8所示，图8为另一个实施例中烟火识别方法的流程示意图。终端102可以通过摄像设备，例如固定式摄像头或移动式摄像头，获取监控图像，根据获取的图像类型，进行相应的处理，具体地，若为可见光图像，则进行可见光图像的预处理，即上述过滤处理，并对可见光图像中的烟火疑似区域进行检测，还可以对可见光图像中的烟火状态进行特征提取和分类；若为红外图像，则进行红外图像的预处理，即上述过滤处理，并对红外图像中的烟火疑似区域进行检测，还可以对红外图像中的烟火状态进行特征提取和分类；最终得到识别结果，其中识别结果中可以包括可见光图像的识别结果，也可以包括红外图像的识别结果，还可以是可见光图像和红外图像的共同识别结果。终端102在得到识别结果后，还可以对烟火状态进行跟踪，例如可以利用上述烟火检测模型和判别式跟踪算法进行跟踪。
通过本实施例，终端102可以通过预设模型，对可见光图像或红外图像中的烟火区域进行识别，并且可以进行持续跟踪，从而实现提高烟火的识别及时率的效果。
应该理解的是，虽然图2及图8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2及图8中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图9所示，提供了一种烟火识别装置，包括：获取模块500、第一识别模块502和第二识别模块504，其中：
获取模块500，用于获取烟火监控区域内的待识别图像；待识别图像包括可见光图像和/或红外图像。
第一识别模块502，用于根据待识别图像，识别待识别图像中的烟火疑似区域，包括：基于颜色识别可见光图像中的烟火疑似区域，基于亮度识别红外图像中的烟火疑似区域。
第二识别模块504，用于将包括烟火疑似区域的待识别图像输入预设模型，根据预设模型的输出结果，识别待识别图像中的烟火状态；预设模型基于预先标记烟火状态的可见光图像或预先标记烟火状态的红外图像训练得到。
在一个实施例中，上述获取模块500，具体用于获取烟火监控区域内的监控图像；根据监控图像的图像类型，对监控图像进行对应的过滤处理，得到过滤处理后的监控图像；根据多帧过滤处理后的监控图像，消除过滤处理后的监控图像中的设备运动光流，得到待识别图像。
在一个实施例中，上述获取模块500，具体用于若监控图像为可见光图像，获取可见光图像中的各个像素在三原色颜色空间的各个颜色通道中的颜色值；获取各个颜色值占所有颜色值的和的比例；获取比例最大的颜色值与各个比例的乘积，作为各个颜色值对应的规范后的颜色值；根据规范后的颜色值的最大值、最小值以及像素对应的颜色值，确定像素对应的色相值、饱和度值以及色调值；根据规范后的颜色值以及预设亮度色度转换矩阵，得到像素对应的明亮度值、色度值以及浓度值；根据监控图像中的各个像素对应的各个颜色值、色相值、饱和度值、色调值、明亮度值、色度值以及浓度值，得到过滤处理后的监控图像。
在一个实施例中，上述获取模块500，具体用于若监控图像为红外图像，将红外图像中的各个像素的邻域内的所有像素进行排序，获取排序后的像素中的中间灰度值，并将中间灰度值赋给对应的像素，得到过滤处理后的监控图像。
在一个实施例中，上述获取模块500，具体用于根据当前时刻的过滤处理后的监控图像，以及当前时刻对应的下一时刻的过滤处理后的监控图像，得到过滤处理后的监控图像对应的投影变换矩阵；根据投影变换矩阵的逆与当前时刻对应的过滤处理后的监控图像，得到消除设备运动光流后的过滤处理后的监控图像，作为待识别图像。
在一个实施例中，上述第一识别模块502，具体用于若待识别图像为可见光图像，根据待识别图像中各个像素对应的亮度值、色度值、浓度值、颜色值、第一最大阈值以及第一最小阈值，得到待识别图像中的最小烟雾区域；根据待识别图像中各个像素对应的第一颜色阈值、第二颜色阈值以及颜色值，得到待识别图像中的第一最小火焰区域；根据待识别图像中各个像素对应的色相值、饱和度值以及色调值，得到待识别图像中的第二最小火焰区域；根据待识别图像中各个像素对应的明亮度值、色度值、浓度值、明亮度阈值、亮度阈值以及色度阈值，得到待识别图像中的第三最小火焰区域；对多个待识别图像的图像序列进行光流提取，得到待识别图像中的运动区域；根据最小烟雾区域、第一最小火焰区域、第二最小火焰区域、第三最小火焰区域以及运动区域，得到待识别图像中的烟火疑似区域。
在一个实施例中，上述第一识别模块502，具体用于若待识别图像为红外图像，根据预设红外亮度阈值，得到待识别图像中的火焰区域；根据当前时刻的待识别图像以及当前识别对应的下一时刻的待识别图像，得到待识别图像对应的像素差；根据像素差以及预设运动图像阈值，确定待识别图像中的运动区域；根据火焰区域以及运动区域，得到待识别图像中的烟火疑似区域。
在一个实施例中，上述第二识别模块504，具体用于若待识别图像为可见光图像，将待识别图像输入第一预设模型；若待识别图像为红外图像，将待识别图像输入第二预设模型；获取通过第一预设模型和/或第二预设模型对烟火疑似区域进行特征提取后得到的判断向量；根据判断向量，确定待识别图像中的烟火状态。
在一个实施例中，上述装置还包括：跟踪模块，用于若烟火状态为有烟或有火，触发报警信息，并将待识别图像输入烟火检测模型，获取烟火检测模型输出的烟火区域预测框；烟火检测模型基于多个具有烟火的图像训练得到；根据预设判别式跟踪算法，对烟火区域预测框进行连续识别，以对待识别图像中的烟火状态进行跟踪；预设判别式跟踪算法基于当前时刻对应的前一时刻的包括烟火区域预测框的待识别图像得到当前时刻待识别图像中的烟火区域预测框。
关于烟火识别装置的具体限定可以参见上文中对于烟火识别方法的限定，在此不再赘述。上述烟火识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种烟火识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述烟火识别方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述烟火识别方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种烟火识别方法，其特征在于，所述方法包括：
获取烟火监控区域内的待识别图像；所述待识别图像包括可见光图像和/或红外图像；
根据所述待识别图像，识别所述待识别图像中的烟火疑似区域，包括：基于颜色识别所述可见光图像中的烟火疑似区域，基于亮度识别所述红外图像中的烟火疑似区域；
将包括所述烟火疑似区域的待识别图像输入预设模型，根据所述预设模型的输出结果，识别所述待识别图像中的烟火状态；所述预设模型基于预先标记烟火状态的可见光图像或预先标记烟火状态的红外图像训练得到。
2.根据权利要求1所述的方法，其特征在于，所述获取烟火监控区域内的待识别图像，包括：
获取所述烟火监控区域内的监控图像；
根据所述监控图像的图像类型，对所述监控图像进行对应的过滤处理，得到过滤处理后的监控图像；
根据多帧所述过滤处理后的监控图像，消除所述过滤处理后的监控图像中的设备运动光流，得到所述待识别图像。
3.根据权利要求2所述的方法，其特征在于，所述根据所述监控图像的图像类型，对所述监控图像进行对应的过滤处理，得到过滤处理后的监控图像，包括：
若所述监控图像为可见光图像，获取所述可见光图像中的各个像素在三原色颜色空间的各个颜色通道中的颜色值；
获取各个颜色值占所有颜色值的和的比例；
获取所述比例最大的颜色值与各个比例的乘积，作为各个颜色值对应的规范后的颜色值；
根据所述规范后的颜色值的最大值、最小值以及所述像素对应的颜色值，确定所述像素对应的色相值、饱和度值以及色调值；
根据所述规范后的颜色值以及预设亮度色度转换矩阵，得到所述像素对应的明亮度值、色度值以及浓度值；
根据所述监控图像中的各个所述像素对应的所述各个颜色值、所述色相值、所述饱和度值、所述色调值、所述明亮度值、所述色度值以及所述浓度值，得到过滤处理后的监控图像；
和/或
若所述监控图像为红外图像，将所述红外图像中的各个像素的邻域内的所有像素进行排序，获取排序后的像素中的中间灰度值，并将所述中间灰度值赋给对应的像素，得到过滤处理后的监控图像。
4.根据权利要求2所述的方法，其特征在于，所述根据多帧所述过滤处理后的监控图像，消除所述过滤处理后的监控图像中的设备运动光流，得到所述待识别图像，包括：
根据当前时刻的过滤处理后的监控图像，以及当前时刻对应的下一时刻的过滤处理后的监控图像，得到所述过滤处理后的监控图像对应的投影变换矩阵；
根据所述投影变换矩阵的逆与所述当前时刻对应的过滤处理后的监控图像，得到消除设备运动光流后的过滤处理后的监控图像，作为所述待识别图像。
5.根据权利要求3所述的方法，其特征在于，所述根据所述待识别图像，识别所述待识别图像中的烟火疑似区域，包括：
若所述待识别图像为可见光图像，根据所述待识别图像中各个像素对应的亮度值、色度值、浓度值、颜色值、第一最大阈值以及第一最小阈值，得到所述待识别图像中的最小烟雾区域；
根据所述待识别图像中各个像素对应的第一颜色阈值、第二颜色阈值以及颜色值，得到所述待识别图像中的第一最小火焰区域；
根据所述待识别图像中各个像素对应的色相值、饱和度值以及色调值，得到所述待识别图像中的第二最小火焰区域；
根据所述待识别图像中各个像素对应的明亮度值、色度值、浓度值、明亮度阈值、亮度阈值以及色度阈值，得到所述待识别图像中的第三最小火焰区域；
对多个所述待识别图像的图像序列进行光流提取，得到所述待识别图像中的运动区域；
根据所述最小烟雾区域、所述第一最小火焰区域、所述第二最小火焰区域、所述第三最小火焰区域以及所述运动区域，得到所述待识别图像中的烟火疑似区域；
和/或，
若所述待识别图像为红外图像，根据预设红外亮度阈值，得到所述待识别图像中的火焰区域；
根据当前时刻的待识别图像以及当前识别对应的下一时刻的待识别图像，得到所述待识别图像对应的像素差；
根据所述像素差以及预设运动图像阈值，确定所述待识别图像中的运动区域；
根据所述火焰区域以及所述运动区域，得到所述待识别图像中的烟火疑似区域。
6.根据权利要求1所述的方法，其特征在于，所述预设模型包括：第一预设模型以及第二预设模型；
所述将包括所述烟火疑似区域的待识别图像输入预设模型，根据所述预设模型的输出结果，识别所述待识别图像中的烟火状态，包括：
若所述待识别图像为可见光图像，将所述待识别图像输入第一预设模型；
若所述待识别图像为红外图像，将所述待识别图像输入第二预设模型；
获取通过所述第一预设模型和/或所述第二预设模型对所述烟火疑似区域进行特征提取后得到的判断向量；
根据所述判断向量，确定所述待识别图像中的烟火状态。
7.根据权利要求1所述的方法，其特征在于，所述根据所述预设模型的输出结果，识别所述待识别图像中的烟火状态之后，还包括：
若所述烟火状态为有烟或有火，触发报警信息，并将所述待识别图像输入烟火检测模型，获取所述烟火检测模型输出的烟火区域预测框；所述烟火检测模型基于多个具有烟火的图像训练得到；
根据预设判别式跟踪算法，对所述烟火区域预测框进行连续识别，以对所述待识别图像中的烟火状态进行跟踪；所述预设判别式跟踪算法基于当前时刻对应的前一时刻的包括烟火区域预测框的待识别图像得到所述当前时刻所述待识别图像中的烟火区域预测框。
8.一种烟火识别装置，其特征在于，所述装置包括：
获取模块，用于获取烟火监控区域内的待识别图像；所述待识别图像包括可见光图像和/或红外图像；
第一识别模块，用于根据所述待识别图像，识别所述待识别图像中的烟火疑似区域，包括：基于颜色识别所述可见光图像中的烟火疑似区域，基于亮度识别所述红外图像中的烟火疑似区域；
第二识别模块，用于将包括所述烟火疑似区域的待识别图像输入预设模型，根据所述预设模型的输出结果，识别所述待识别图像中的烟火状态；所述预设模型基于预先标记烟火状态的可见光图像或预先标记烟火状态的红外图像训练得到。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202011453646.7A 2020-12-12 2020-12-12 烟火识别方法、装置、计算机设备和存储介质 Active CN112560657B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011453646.7A CN112560657B (zh) 2020-12-12 2020-12-12 烟火识别方法、装置、计算机设备和存储介质
PCT/CN2021/079267 WO2022121129A1 (zh) 2020-12-12 2021-03-05 烟火识别方法、装置、计算机设备和存储介质
US17/919,511 US20240005757A1 (en) 2020-12-12 2021-03-05 Method and device for smoke or fire recognition, computer apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011453646.7A CN112560657B (zh) 2020-12-12 2020-12-12 烟火识别方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN112560657A true CN112560657A (zh) 2021-03-26
CN112560657B CN112560657B (zh) 2023-05-30

Family

ID=75061626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011453646.7A Active CN112560657B (zh) 2020-12-12 2020-12-12 烟火识别方法、装置、计算机设备和存储介质

Country Status (3)

Country Link
US (1) US20240005757A1 (zh)
CN (1) CN112560657B (zh)
WO (1) WO2022121129A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240880A (zh) * 2021-05-27 2021-08-10 浙江大华技术股份有限公司 一种火点检测方法、装置、电子设备及存储介质
CN113537092A (zh) * 2021-07-21 2021-10-22 中科曙光国际信息产业有限公司 烟火检测方法、装置、设备及存储介质
CN116091959A (zh) * 2022-11-21 2023-05-09 武汉坤达安信息安全技术有限公司 基于全天候烟火的双光联动识别方法及装置
CN116740577A (zh) * 2023-08-10 2023-09-12 瞳见科技有限公司 道路积水识别方法、系统、终端及存储介质
CN117058253A (zh) * 2023-10-12 2023-11-14 南京邮电大学 一种基于ptz摄像机的高精度告警定位方法
CN117541997A (zh) * 2024-01-10 2024-02-09 泰安万川电器设备有限公司 一种基于图像特征的巷道安全预警方法及系统
CN117612093A (zh) * 2023-11-27 2024-02-27 北京东青互联科技有限公司 一种数据中心的动力环境监控方法、系统、设备和介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115394039A (zh) * 2022-08-26 2022-11-25 新创碳谷控股有限公司 基于双颜色空间分割的火焰检测方法、设备及存储介质
CN115223105B (zh) * 2022-09-20 2022-12-09 万链指数(青岛)信息科技有限公司 基于大数据的风险信息监控分析方法及系统
CN115700757B (zh) * 2022-11-08 2024-05-17 中信重工开诚智能装备有限公司 消防水炮的控制方法、装置及电子设备
CN116630843B (zh) * 2023-04-13 2024-05-17 安徽中科数智信息科技有限公司 一种用于消防救援的防火监督管理方法和系统
CN116453064B (zh) * 2023-06-16 2023-08-18 烟台黄金职业学院 基于监控数据的隧道路段路况异常识别方法
CN116907349B (zh) * 2023-09-12 2023-12-08 北京宝隆泓瑞科技有限公司 一种基于图像处理的通用开关状态识别方法
CN117671914B (zh) * 2023-10-26 2024-06-04 广州成至智能机器科技有限公司 一种无人机多传感器林火识别方法、装置和系统
CN117853935B (zh) * 2024-03-07 2024-06-11 河南胜华电缆集团有限公司 一种基于视觉分析的电缆火焰蔓延检测方法、装置和服务平台
CN117934457B (zh) * 2024-03-20 2024-05-31 国网江苏省电力有限公司 输电线路山火检测方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102236947A (zh) * 2010-04-29 2011-11-09 中国建筑科学研究院 基于视频摄像机的火焰监测方法与系统
CN104581076A (zh) * 2015-01-14 2015-04-29 国网四川省电力公司电力科学研究院 基于360度全景红外鱼眼摄像机之山火监控识别方法及装置
CN105512667A (zh) * 2014-09-22 2016-04-20 中国石油化工股份有限公司 红外和可见光视频图像融合识别火灾的方法
CN107730548A (zh) * 2017-10-23 2018-02-23 厦门诺银科技有限公司 一种基于平均灰度和面积的面向加热炉火焰实时检测方法
CN108090495A (zh) * 2017-12-22 2018-05-29 湖南源信光电科技股份有限公司 一种基于红外光和可见光图像的疑似火焰区域提取方法
CN109637068A (zh) * 2018-11-23 2019-04-16 山东智洋电气股份有限公司 智能烟火识别系统
CN110598655A (zh) * 2019-09-18 2019-12-20 东莞德福得精密五金制品有限公司 人工智能云计算多光谱烟雾高温火花火灾监控方法
CN111626188A (zh) * 2020-05-26 2020-09-04 西南大学 一种室内不可控明火监测方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7609856B2 (en) * 2007-11-13 2009-10-27 Huper Laboratories Co., Ltd. Smoke detection method based on video processing
CN101814134A (zh) * 2009-12-04 2010-08-25 四川川大智胜软件股份有限公司 一种基于计算机视觉监视技术的火焰智能检测方法
CN102163358B (zh) * 2011-04-11 2012-07-04 杭州电子科技大学 一种基于视频图像分析的烟雾/火焰检测方法
CN105488941B (zh) * 2016-01-15 2018-10-30 中林信达（北京）科技信息有限责任公司 基于红外-可见光图像的双光谱森林火情监测方法及装置
CN108108695B (zh) * 2017-12-22 2019-11-19 湖南源信光电科技股份有限公司 基于红外视频图像的火焰检测识别方法
CN111476086B (zh) * 2020-03-02 2023-05-02 西安天和防务技术股份有限公司 烟火识别方法、装置、计算机设备和可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102236947A (zh) * 2010-04-29 2011-11-09 中国建筑科学研究院 基于视频摄像机的火焰监测方法与系统
CN105512667A (zh) * 2014-09-22 2016-04-20 中国石油化工股份有限公司 红外和可见光视频图像融合识别火灾的方法
CN104581076A (zh) * 2015-01-14 2015-04-29 国网四川省电力公司电力科学研究院 基于360度全景红外鱼眼摄像机之山火监控识别方法及装置
CN107730548A (zh) * 2017-10-23 2018-02-23 厦门诺银科技有限公司 一种基于平均灰度和面积的面向加热炉火焰实时检测方法
CN108090495A (zh) * 2017-12-22 2018-05-29 湖南源信光电科技股份有限公司 一种基于红外光和可见光图像的疑似火焰区域提取方法
CN109637068A (zh) * 2018-11-23 2019-04-16 山东智洋电气股份有限公司 智能烟火识别系统
CN110598655A (zh) * 2019-09-18 2019-12-20 东莞德福得精密五金制品有限公司 人工智能云计算多光谱烟雾高温火花火灾监控方法
CN111626188A (zh) * 2020-05-26 2020-09-04 西南大学 一种室内不可控明火监测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蔺瑞: "多传感器融合的视频火焰探测系统研究", 《CNKI硕士电子期刊出版信息（工程科技II辑）》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240880A (zh) * 2021-05-27 2021-08-10 浙江大华技术股份有限公司 一种火点检测方法、装置、电子设备及存储介质
CN113537092A (zh) * 2021-07-21 2021-10-22 中科曙光国际信息产业有限公司 烟火检测方法、装置、设备及存储介质
CN116091959A (zh) * 2022-11-21 2023-05-09 武汉坤达安信息安全技术有限公司 基于全天候烟火的双光联动识别方法及装置
CN116091959B (zh) * 2022-11-21 2024-03-22 武汉坤达安信息安全技术有限公司 基于全天候烟火的双光联动识别方法及装置
CN116740577A (zh) * 2023-08-10 2023-09-12 瞳见科技有限公司 道路积水识别方法、系统、终端及存储介质
CN116740577B (zh) * 2023-08-10 2024-01-12 瞳见科技有限公司 道路积水识别方法、系统、终端及存储介质
CN117058253A (zh) * 2023-10-12 2023-11-14 南京邮电大学 一种基于ptz摄像机的高精度告警定位方法
CN117058253B (zh) * 2023-10-12 2024-01-23 南京邮电大学 一种基于ptz摄像机的高精度告警定位方法
CN117612093A (zh) * 2023-11-27 2024-02-27 北京东青互联科技有限公司 一种数据中心的动力环境监控方法、系统、设备和介质
CN117612093B (zh) * 2023-11-27 2024-06-18 北京东青互联科技有限公司 一种数据中心的动力环境监控方法、系统、设备和介质
CN117541997A (zh) * 2024-01-10 2024-02-09 泰安万川电器设备有限公司 一种基于图像特征的巷道安全预警方法及系统
CN117541997B (zh) * 2024-01-10 2024-03-12 泰安万川电器设备有限公司 一种基于图像特征的巷道安全预警方法及系统

Also Published As

Publication number Publication date
US20240005757A1 (en) 2024-01-04
WO2022121129A1 (zh) 2022-06-16
CN112560657B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN112560657B (zh) 烟火识别方法、装置、计算机设备和存储介质
CN108416968B (zh) 火灾预警方法和装置
CN110516609B (zh) 一种基于图像多特征融合的火灾视频检测及预警方法
Mahmoud et al. Forest fire detection and identification using image processing and SVM
WO2020078229A1 (zh) 目标对象的识别方法和装置、存储介质、电子装置
CN107944359B (zh) 基于视频的火焰检测方法
Emmy Prema et al. Multi feature analysis of smoke in YUV color space for early forest fire detection
Zhao et al. SVM based forest fire detection using static and dynamic features
Premal et al. Image processing based forest fire detection using YCbCr colour model
Khalil et al. Fire detection using multi color space and background modeling
CN108875619B (zh) 视频处理方法和装置、电子设备、计算机可读存储介质
Patel et al. Flame detection using image processing techniques
TWI419082B (zh) 偵測視訊序列中的移動物體影像的方法以及影像處理系統
Yadav et al. Optimized flame detection using image processing based techniques
CN108399359A (zh) 一种视频序列下实时火灾检测预警方法
CN102760230B (zh) 一种基于多维时域特征的火焰检测方法
KR101693959B1 (ko) 시공간 블록 특징을 이용한 화재 검출 시스템 및 방법
Bakri et al. A methodology for fire detection using colour pixel classification
WO2023025010A1 (zh) 频闪条带信息识别方法、装置和电子设备
CN108961209B (zh) 行人图像质量评价方法、电子设备及计算机可读介质
CN114885119A (zh) 一种基于计算机视觉的智能监控报警系统及方法
Poobalan et al. Fire detection based on color filters and Bag-of-Features classification
KR101476764B1 (ko) 카메라의 명암 영상신호를 이용한 화염 검출방법
Wang et al. Blind quality assessment of night-time images via weak illumination analysis
Lai et al. Robust little flame detection on real-time video surveillance system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant