CN110334685A - 火焰检测方法、火焰检测模型训练方法、存储介质及系统 - Google Patents

火焰检测方法、火焰检测模型训练方法、存储介质及系统 Download PDF

Info

Publication number
CN110334685A
CN110334685A CN201910632017.1A CN201910632017A CN110334685A CN 110334685 A CN110334685 A CN 110334685A CN 201910632017 A CN201910632017 A CN 201910632017A CN 110334685 A CN110334685 A CN 110334685A
Authority
CN
China
Prior art keywords
flame
feature
fisrt feature
neural networks
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910632017.1A
Other languages
English (en)
Inventor
张发恩
贲圣兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation Qizhi (beijing) Technology Co Ltd
Original Assignee
Innovation Qizhi (beijing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation Qizhi (beijing) Technology Co Ltd filed Critical Innovation Qizhi (beijing) Technology Co Ltd
Priority to CN201910632017.1A priority Critical patent/CN110334685A/zh
Publication of CN110334685A publication Critical patent/CN110334685A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种火焰检测方法，该方法包括以下步骤：步骤S1：获取包含火焰的图像；步骤S2：提供第一卷积神经网络，并将获取的图像输入所述第一卷积神经网络中以提取第一特征，并结合第一特征计算热力图；步骤S3：根据热力图计算获得火焰区域热力掩模图，并基于火焰区域热力掩模图获得疑似火焰区域；步骤S4：提供一第二卷积神经网络，并从疑似火焰区域中提取第二特征；及步骤S5：将第一特征与第二特征进行连接，获得总输出特征，并基于总输出特征预测是否存在火焰、火焰占整张图的比例及火焰旺度。本发明还提供一种存储介质。本发明还提供一种火焰检测模型训练方法。本发明还提供一种火焰检测模型训练系统。

Description

火焰检测方法、火焰检测模型训练方法、存储介质及系统
【技术领域】
本发明涉及计算机视觉领域，尤其涉及一种火焰检 测方法、火焰检测模型训练方法、存储介质及系统。
【背景技术】
早期的计算机视觉检测火灾的方法是用人工提取的 特征，如图像通道、火焰边缘、火焰物理特征等进行判断， 但这些方案都抗干扰性不强，容易出现漏报、误报，对图 像背景、质量要求很高。
随着深度学习的使用，人们开始利用深度学习目标检 测的方法开始对火灾图像进行检测，大多为通过卷积神经 网络(CNN，Convolutional Neural Networks)学习火焰的图像特征，进而当监控图像中出现与卷积神经网络学习 到的火焰图像特征时，即为检测出监控的场景存在火焰， 但是在实际场景中，不同场景下的火焰其形态、颜色、大 小都存在很大差异，因此现有的卷积神经网络在不同场景 下进行火焰检测时，很容易存在漏检、误检的情况。
【发明内容】
为克服现有技术存在的问题，本发明提供一种火焰检 测方法、火焰检测模型训练方法、存储介质及系统。
本发明解决技术问题的方案是提供一种火焰检测方 法，该方法包括以下步骤：步骤S1：获取包含火焰的图像； 步骤S2：提供第一卷积神经网络，并将获取的图像输入所 述第一卷积神经网络中以提取第一特征，并结合第一特征 计算热力图；步骤S3：根据热力图计算获得火焰区域热力 掩模图，并基于火焰区域热力掩模图获得疑似火焰区域； 步骤S4：提供一第二卷积神经网络，并从疑似火焰区域中 提取第二特征；及步骤S5：将第一特征与第二特征进行连 接，获得总输出特征，并基于总输出特征预测是否存在火 焰、火焰占整张图的比例及火焰旺度。
优选地，步骤S2提供第一卷积神经网络，并将获取的 图像输入所述第一卷积神经网络中以提取第一特征，并结 合第一特征计算热力图，进一步包括以下步骤：步骤S21： 通过所述第一卷积神经网络中至少两个卷积层提取图像 中的第一特征；步骤S22：结合所述第一卷积神经网络中 不同的通道对第一特征进行分类；步骤S23：通过Grad-CAM 的方法对第一特征进行导向的反向梯度计算；及步骤S24： 计算第一特征的加权之和获得热力图；其中，第一特征包 括火焰特征和背景特征，所述不同的通道对所述火焰特征 和所述背景特征进行分类。
优选地，步骤S23通过Grad-CAM的方法对第一特征进 行导向的反向梯度计算的计算公式为：其中， 为加权权重，C为第一特征的类别，K为通道，Z为第一 特征的像素个数，yc是对应类别c的分数，A为第一特征， 表示第k个第一特征中(i,j)位置处的像素值；步骤 S24计算第一特征的加权和获得热力图的计算公式为：其中，为热力图，ReLU为线 性整流函数，为加权权重，C为第一特征的类别，K为通 道，A为第一特征。
优选地，步骤S3根据热力图计算获得火焰区域热力掩 模图，并基于火焰区域热力掩模图获得疑似火焰区域，进 一步包括以下步骤：步骤S31：在热力图中将像素值大于 设定值的区域设置为1，小于设定值的区域设定为0，以获 得火焰区域热力掩模图；及步骤S32：提取火焰区域热力 掩模图中像素值为1的区域，获得疑似火焰区域。
优选地，步骤S4提供一第二卷积神经网络，并从疑似 火焰区域中提取第二特征之前，对疑似火焰区域进行预处 理，以增强疑似火焰区域的图像数据。
优选地，骤S1获取包含火焰的图像之后，对图像进行 预处理，以增强图像数据。
本发明还提供一种存储介质，所述存储介质中存储有 计算机程序，其中，所述计算机程序被设置为运行时执行 上述的火焰检测方法。
本发明还提供一种火焰检测模型训练方法，该方法包 括以下步骤：步骤S1：获取包含火焰的图像；步骤S2：提 供第一卷积神经网络，并将获取的图像输入所述第一卷积 神经网络中以提取第一特征，并结合第一特征计算热力图； 步骤S3：根据热力图计算获得火焰区域热力掩模图，并基 于火焰区域热力掩模图获得疑似火焰区域；步骤S4：提供 一第二卷积神经网络，并从疑似火焰区域中提取第二特征； 步骤S5：将第一特征与第二特征进行连接，获得总输出特 征，并输出加权损失函数；及步骤S6：利用加权损失函数 训练所述卷积神经网络，以获得火焰检测模型。
本发明还提供一种火焰检测模型训练系统，所述模型 训练系统包括：读取模块，被配置为获取包含火焰的图像； 第一计算模块，被配置为提供第一卷积神经网络，并将获取的图像输入所述第一卷积神经网络中以提取第一特征， 并结合第一特征计算热力图；第二计算模块，被配置为根 据热力图计算获得火焰区域热力掩模图，并基于火焰区域 热力掩模图获得疑似火焰区域；提取模块，被配置为提供 一第二卷积神经网络，并从疑似火焰区域中提取第二特征； 及输出模块，被配置为将第一特征与第二特征进行连接， 获得总输出特征，并基于总输出特征预测是否存在火焰、 火焰占整张图的比例及火焰旺度。
优选地，第一计算模块中进一步包括：提取单元，被 配置为通过所述第一卷积神经网络中至少两个卷积层提 取图像中的第一特征；分类单元，被配置为结合所述第一 卷积神经网络中不同的通道对第一特征进行分类；第一计 算单元，被配置为通过Grad-CAM的方法对第一特征进行导 向的反向梯度计算；及第二计算单元，被配置为计算第一 特征的加权之和获得热力图。
与现有技术相比，本发明的火焰检测方法、火焰检测 模型训练方法、存储介质及火焰检测模型训练系统具有以 下优点：
1.通过第一卷积神经网络提取第一特征，并结合第一 特征计算热力图，获得疑似火焰区域，并使用第二卷积神 经网络在疑似火焰区域中提取第二特征，获得火焰区域， 进而通过连接层将第一特征和第二特征进行连接，以获得 总的输出特征，并基于总的输出特征预测提取的第二特征 是否为火焰、火焰占整张图比例及火焰旺度，进行多任务 预测，以在工厂厂房、电力系统等不同环境下进行火焰检 测，同时结合热力图检测火焰，检测火焰的准确率更高。
2.通过对提取的第一特征进行分类，然后根据分类后 的第一特征进行反向梯度计算，以获得各类别第一特征的 权重，最后计算第一特征的加权之和，以获得热力图，进而结合热力图进行火焰检测，以提升检测火焰的准确率。
3.通过对获取的图像进行预处理，以增加图像的表现 能力，进而提升检测速度和准确度。
4.将火焰检测方法存储于计算机程序中，以便于存储 介质运行该计算机程序，以实现在不同场景中进行火焰检 测，同时使检测火焰的准确率更高。
5.通过第一卷积神经网络提取第一特征，并结合第一 特征计算热力图，获得疑似火焰区域，并使用第二卷积神 经网络在疑似火焰区域中提取第二特征，获得火焰区域， 进而通过连接层将第一特征和第二特征进行连接，以获得 总的输出特征，以预测提取的第二特征是否为火焰、火焰 占整张图比例及火焰旺度，进行多任务预测，并输出加权 损失函数，最后利用加权损失函数训练卷积神经网络，以 获得火焰检测模型，进而在工厂厂房、电力系统等不同环 境下进行火焰检测，同时结合热力图检测火焰，检测火焰 的准确率更高。
6.在火焰检测模型训练系统中设置读取模块、第一计 算模块、第二计算模块、提取模块、及输出模块，以实现 在不同场景中进行火焰检测，同时使检测火焰的准确率更高。
【附图说明】
图1是本发明第一实施例火焰检测方法的流程示意图。
图2是本发明第一实施例火焰检测方法中步骤S 2的流 程示意图。
图3是本发明第一实施例火焰检测方法中步骤S 3的流 程示意图。
图4是本发明第三实施例火焰检测模型训练方法的流 程示意图。
图5是本发明第四实施例火焰检测模型训练系统的模 块示意图。
图6是本发明第四实施例火焰检测模型训练系统中第 一计算模块的模块示意图。
附图标记说明：1、火焰检测模型训练系统；11、读 取模块；12、第一计算模块；13、第二计算模块；14、提 取模块；15、输出模块；121、提取单元；122、分类单元； 123、第一计算单元；124、第二计算单元。
【具体实施方式】
为了使本发明的目的，技术方案及优点更加清楚明白， 以下结合附图及实施实例，对本发明进行进一步详细说明。 应当理解，此处所描述的具体实施例仅仅用以解释本发明， 并不用于限定本发明。
请参阅图1，本发明第一实施例提供一种火焰检测方 法，该方法包括以下步骤：
步骤S1：获取包含火焰的图像；
步骤S2：提供第一卷积神经网络，并将获取的图像输 入所述第一卷积神经网络中以提取第一特征，并结合第一 特征计算热力图；
步骤S3：根据热力图计算获得火焰区域热力掩模图， 并基于火焰区域热力掩模图获得疑似火焰区域；
步骤S4：提供一第二卷积神经网络，并从疑似火焰区 域中提取第二特征；及
步骤S5：将第一特征与第二特征进行连接，获得总输 出特征，并基于总输出特征预测是否存在火焰、火焰占整 张图的比例及火焰旺度。
首先，通过互联网下载、现场拍摄等方式获取包含火 焰的图像；然后，提供一卷积神经网络，并将获取的图像 输入所述卷积神经网络中以提取第一特征，并结合第一特 征计算热力图；进而，根据热力图计算获得火焰区域热力 掩模图，并基于火焰区域热力掩模图获得疑似火焰区域； 进而，提供一第二卷积神经网络，并从疑似火焰区域中提 取第二特征；最后，将第一特征与第二特征进行连接，获 得总输出特征，并基于总输出特征预测是否存在火焰、火 焰占整张图的比例及火焰旺度。
可以理解，提取的第一特征包括火焰特征、背景特征， 其中背景特征即为火焰特征以外的特征，火焰区域热力掩 模图中仅包含0和1的数值，在疑似火焰区域的数值为1，非疑似火焰区域的数值为0，第二特征即为在火焰区域热 力掩模图中数值为1对应的区域。
第一卷积神经网络在提取第一特征时，使用随机数作 为卷积神经网络的第一权值，并输出对应的第一损失函数， 以优化第一卷积神经网络；
第二卷积神经网络在提取第二特征时，使用随机数作 为卷积神经网络的第二权值，并输出对应的第二损失函数， 以优化第二卷积神经网络。
在本实施例中，联合第一卷积神经网络和第二卷积神 经网络使用multi tasktraining(多任务学习)的策略， 通过三个全连接层(Fully Connected layer)Fc1、Fc2、Fc3中设置Task(任务)1、Task2、Task3,以预测三个结 果，即使用Task1预测提取的第二特征是否为火焰；使用 Task2预测火焰占整张图比例；使用Task3预测火焰旺度。
其中，Task1的预测结果包括0和1，其中0表示提取的 第二特征不是火焰，1表示提取的第二特征是火焰；Task2 的预测结果包括0～1的数值，如Task2的预测结果为0.3， 则表示火焰占整张图比例的30％；Task3的预测结果包括0 和1的数值，如Task3的预测结果为1表示火焰旺度等级达 到最高等级，如Task3的预测结果为0表示没有火焰；
进一步地，步骤S1获取包含火焰的图像之后，对图像 进行预处理，以增强图像数据。
可以理解，对图像进行预处理的方法包括但不限于对 图像进行翻转、旋转、仿射变换、滤波、直方图均衡等， 其中，仿射变换即为对图像进行平移、缩放等操作，滤波 的目的为过滤图像中的噪点干扰，直方图均衡的目的为调 整图像的亮度，防止图像中曝光、阴影等影响。对图像进 行预处理之后，可以增强图像的表现力。
请参阅图2，步骤S2提供第一卷积神经网络，并将获 取的图像输入所述第一卷积神经网络中以提取第一特征， 并结合第一特征计算热力图，进一步包括以下步骤：
步骤S21：通过所述第一卷积神经网络中至少两个卷 积层提取图像中的第一特征；
步骤S22：结合所述第一卷积神经网络中不同的通道 对第一特征进行分类；
步骤S23：通过Grad-CAM的方法对第一特征进行导向 的反向梯度计算；及
步骤S24：计算第一特征的加权之和获得热力图。
首先，通过卷积神经网络中的至少两个卷积层提取图 像中的第一特征；然后，结合卷积神经网络中不同的通道 对第一特征进行分类，即将不同类别的第一特征划分至不同的通道；进而，通过Grad-CAM的方法对第一特征进行导 向的反向梯度计算，反向梯度计算的计算公式为：
其中，为加权权重，C为第一特征的类别，K为通道， Z为第一特征的像素个数，yc是对应类别c的分数，A为第 一特征，表示第k个第一特征中(i,j)位置处的像素 值；
最后，计算第一特征的加权之和获得热力图，第一特 征的加权之和的计算公式为：
其中，为热力图，ReLU(Rectified Linear Unit) 为线性整流函数，为加权权重，C为第一特征的类别，K 为通道，A为第一特征，通过计算对第一特征的加权之和 获得热力图。
可以理解，对第一特征进行分类时，将火焰特征分为 一类，背景特征分为一类，进而将火焰特征和背景特征划 分至不同的通道；
通过反向梯度计算公式分别计算火焰特征的加权权 重和背景特征的加权权重，进而通过特征图的加权之和的 计算公式获得热力图。
请参阅图3，步骤S3根据热力图计算获得火焰区域热 力掩模图，并基于火焰区域热力掩模图获得疑似火焰区域， 进一步包括以下步骤：
步骤S31：在热力图中将像素值大于设定值的区域设 置为1，小于设定值的区域设定为0，以获得火焰区域热力 掩模图；及
步骤S32：提取火焰区域热力掩模图中像素值为1的区 域，获得疑似火焰区域。
首先，在热力图中将像素值大于设定值的区域设置为 1，小于设定值的区域设定为0，以获得火焰区域热力掩模 图，即火焰区域热力掩模图为仅包含有0和1的像素值；然后，提取火焰区域热力掩模图中像素值为1的区域，获得 疑似火焰区域。
可以理解，热力图中的各个位置的像素值均介于0～1 之间，像素值为1的位置则为火焰区域图，像素值为0的位 置则为背景区域图，设定阈值为0.5，当像素值大于0.5 时，则将该位置的像素值设置为1，反之，则将该位置的 像素值设置为0。
进而通过第二卷积神经网络在疑似火焰区域中提取 第二特征，获得火焰区域。
进一步地，在第二卷积神经网络在疑似火焰区域中提 取第二特征之前，对疑似火焰区域进行预处理，以增强疑 似火焰区域的图像数据。
可以理解，对疑似火焰区域进行预处理的方法包括但 不限于对疑似火焰区域进行翻转、旋转、仿射变换、滤波、 直方图均衡等，其中，仿射变换即为对疑似火焰区域进行平移、缩放等操作，滤波的目的为过滤疑似火焰区域中的 噪点干扰，直方图均衡的目的为调整疑似火焰区域的亮度， 防止疑似火焰区域中曝光、阴影等影响。对疑似火焰区域 进行预处理之后，可以增强疑似火焰区域的表现力。
可以理解，这里将火焰热力图区域作为现有分类网络 的saliency map(显著性图)，相当于attention机制(一 种人类的视觉注意机制)将分类的重点区域增强，在本实施例中，使用concate(一种多通道特征合并方法)级联 特征，即通过concate将第一特征与第二特征进行连接， 获得总输出特征，并基于总输出特征预测是否存在火焰、 火焰占整张图的比例及火焰旺度。
本发明第二实施例提供一种存储介质，存储介质中存 储有计算机程序，其中，计算机程序被设置为运行时执行 上述的火焰检测方法。
根据本公开的实施例，上文参考流程图描述的过程可 以被实现为计算机软件程序。例如，本公开的实施例包括 一种计算机程序产品，其包括承载在存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程 序代码。在这样的实施例中，该计算机程序可以通过通信 部分从网络上被下载和安装，和/或从可拆卸介质被安装。 在该计算机程序被中央处理单元(CPU)执行时，执行本申 请的方法中限定的上述功能。需要说明的是，本申请所述 的存储介质可以是计算机可读信号介质或者计算机可读 存储介质或者是上述两者的任意组合。计算机可读存储介 质例如包括但不限于电、磁、光、电磁、红外线、或半导 体的系统、装置或器件，或者任意以上的组合。计算机可 读存储介质的更具体的例子可以包括但不限于：具有一个 或多个导线的电连接、便携式计算机磁盘、硬盘、随机访 问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存 储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器 (CD-ROM)、光存储器件、磁存储器件、或者上述的任意合 适的组合。在本申请中，计算机可读存储介质可以是任何 包含或存储程序的有形介质，该程序可以被指令执行系统、 装置或者器件使用或者与其结合使用。而在本申请中，计 算机可读的信号介质可以包括在基带中或者作为载波一 部分传播的数据信号，其中承载了计算机可读的程序代码。 这种传播的数据信号可以采用多种形式，包括但不限于电 磁信号、光信号或上述的任意合适的组合。计算机可读的 信号介质还可以是计算机可读存储介质以外的任何存储 介质，该存储介质可以发送、传播或者传输用于由指令执 行系统、装置或者器件使用或者与其结合使用的程序。存 储介质上包含的程序代码可以用任何适当的介质传输，包 括但不限于：无线、电线、光缆、RF等等，或者上述的任 意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用 于执行本申请的操作的计算机程序代码，所述程序设计语 言包括面向对象的程序设计语言诸如Java、Smalltalk、 C++，还包括常规的过程式程序设计语言诸如“C”语言或 类似的程序设计语言。程序代码可以完全地在用户计算机 上执行、部分地在用户计算机上执行、作为一个独立的软 件包执行、部分在用户计算机上部分在远程计算机上执行、 或者完全在远程计算机或服务端上执行。在涉及远程计算 机的情形中，远程计算机可以通过任意种类的网络包括局 域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以 连接到外部计算机(例如利用因特网服务提供商来通过因 特网连接)。
请参阅图4，本发明第三实施例提供一种火焰检测模 型训练方法，该方法包括以下步骤：
步骤S1：获取包含火焰的图像；
步骤S2：提供第一卷积神经网络，并将获取的图像输 入所述第一卷积神经网络中以提取第一特征，并结合第一 特征计算热力图；
步骤S3：根据热力图计算获得火焰区域热力掩模图， 并基于火焰区域热力掩模图获得疑似火焰区域；
步骤S4：提供一第二卷积神经网络，并从疑似火焰区 域中提取第二特征；
步骤S5：将第一特征与第二特征进行连接，获得总输 出特征，并输出加权损失函数；及
步骤S6：利用加权损失函数训练所述卷积神经网络， 以获得火焰检测模型。
首先，通过互联网下载、现场拍摄等方式获取包含火 焰的图像；然后，提供一卷积神经网络，并将获取的图像 输入所述卷积神经网络中以提取第一特征，并结合第一特 征计算热力图；进而，根据热力图计算获得火焰区域热力 掩模图，并基于火焰区域热力掩模图获得疑似火焰区域； 进而，提供一第二卷积神经网络，并从疑似火焰区域中提 取第二特征；最后，将第一特征与第二特征进行连接，获 得总输出特征，并输出加权损失函数；最后，利用加权损 失函数训练卷积神经网络，以获得火焰检测模型。
可以理解，将训练后的火焰检测模型结合监控设备应 用在森林、厂房、电力系统等场景中，即可根据监控设备 获取的图像进行火焰检测，由于在卷积神经网络中结合了热力图的计算，以获得火焰检测模型，以使火焰检测模型 根据第一特征计算热力图，并在提取出第二特征之后，将 第一特征与第二特征连接，以判断提取的第二特征是否为 火焰、火焰占整张图比例及火焰旺度，检测不受环境因素 影响，同时结合热力图检测火焰，检测火焰的准确率更高。
第一实施例中的相关限定内容同样适用于本实施例。
请参阅图5，本发明第四实施例提供一种火焰检测模 型训练系统1，包括读取模块11、第一计算模块12、第二 计算模块13、提取模块14、及输出模块15。
读取模块11被配置为获取包含火焰的图像；第一计算 模块12被配置为提供第一卷积神经网络，并将获取的图像 输入所述第一卷积神经网络中以提取第一特征，并结合第一特征计算热力图；第二计算模块13被配置为根据热力图 计算获得火焰区域热力掩模图，并基于火焰区域热力掩模 图获得疑似火焰区域；提取模块14被配置为提供一第二卷 积神经网络，并从疑似火焰区域中提取第二特征；输出模 块15被配置为将第一特征与第二特征进行连接，获得总输 出特征，并基于总输出特征预测是否存在火焰、火焰占整 张图的比例及火焰旺度。
请参阅图6，第一计算模块12中进一步包括：提取单 元121、分类单元122、第一计算单元123、及第二计算单 元124。
提取单元121被配置为被配置为通过所述第一卷积神 经网络中至少两个卷积层提取图像中的第一特征；分类单 元122被配置为结合所述第一卷积神经网络中不同的通道对第一特征进行分类；第一计算单元123被配置为通过 Grad-CAM的方法对第一特征进行导向的反向梯度计算；及 第二计算单元124被配置为计算第一特征的加权之和获得 热力图。
第一实施例中的相关限定内容同样适用于本实施例。
与现有技术相比，本发明的火焰检测方法、火焰检测 模型训练方法、存储介质及火焰检测模型训练系统具有以 下优点：
1.通过第一卷积神经网络提取第一特征，并结合第一 特征计算热力图，获得疑似火焰区域，并使用第二卷积神 经网络在疑似火焰区域中提取第二特征，获得火焰区域， 进而通过连接层将第一特征和第二特征进行连接，以获得 总的输出特征，并基于总的输出特征预测提取的第二特征 是否为火焰、火焰占整张图比例及火焰旺度，进行多任务 预测，以在工厂厂房、电力系统等不同环境下进行火焰检 测，同时结合热力图检测火焰，检测火焰的准确率更高。
2.通过对提取的第一特征进行分类，然后根据分类后 的第一特征进行反向梯度计算，以获得各类别第一特征的 权重，最后计算第一特征的加权之和，以获得热力图，进而结合热力图进行火焰检测，以提升检测火焰的准确率。
3.通过对获取的图像进行预处理，以增加图像的表现 能力，进而提升检测速度和准确度。
4.将火焰检测方法存储于计算机程序中，以便于存储 介质运行该计算机程序，以实现在不同场景中进行火焰检 测，同时使检测火焰的准确率更高。
5.通过第一卷积神经网络提取第一特征，并结合第一 特征计算热力图，获得疑似火焰区域，并使用第二卷积神 经网络在疑似火焰区域中提取第二特征，获得火焰区域， 进而通过连接层将第一特征和第二特征进行连接，以获得 总的输出特征，以预测提取的第二特征是否为火焰、火焰 占整张图比例及火焰旺度，进行多任务预测，并输出加权 损失函数，最后利用加权损失函数训练卷积神经网络，以 获得火焰检测模型，进而在工厂厂房、电力系统等不同环 境下进行火焰检测，同时结合热力图检测火焰，检测火焰 的准确率更高。
6.在火焰检测模型训练系统中设置读取模块、第一计 算模块、第二计算模块、提取模块、及输出模块，以实现 在不同场景中进行火焰检测，同时使检测火焰的准确率更高。
以上所述仅为本发明较佳实施例而已，并不用以限制 本发明，凡在本发明原则之内所作的任何修改，等同替换 和改进等均应包含本发明的保护范围之内。

Claims (10)

1.一种火焰检测方法，其特征在于：该方法包括以下步骤：
步骤S1：获取包含火焰的图像；
步骤S2：提供第一卷积神经网络，并将获取的图像输入所述第一卷积神经网络中以提取第一特征，并结合第一特征计算热力图；
步骤S3：根据热力图计算获得火焰区域热力掩模图，并基于火焰区域热力掩模图获得疑似火焰区域；
步骤S4：提供一第二卷积神经网络，并从疑似火焰区域中提取第二特征；及
步骤S5：将第一特征与第二特征进行连接，获得总输出特征，并基于总输出特征预测是否存在火焰、火焰占整张图的比例及火焰旺度。
2.如权利要求1所述的火焰检测方法，其特征在于：步骤S2提供第一卷积神经网络，并将获取的图像输入所述第一卷积神经网络中以提取第一特征，并结合第一特征计算热力图，进一步包括以下步骤：
步骤S21：通过所述第一卷积神经网络中至少两个卷积层提取图像中的第一特征；
步骤S22：结合所述第一卷积神经网络中不同的通道对第一特征进行分类；
步骤S23：通过Grad-CAM的方法对第一特征进行导向的反向梯度计算；及
步骤S24：计算第一特征的加权之和获得热力图；
其中，第一特征包括火焰特征和背景特征，所述不同的通道对所述火焰特征和所述背景特征进行分类。
3.如权利要求2所述的火焰检测方法，其特征在于：步骤S23通过Grad-CAM的方法对第一特征进行导向的反向梯度计算的计算公式为：
其中，为加权权重，C为第一特征的类别，K为通道，Z为第一特征的像素个数，yc是对应类别c的分数，A为第一特征，表示第k个第一特征中(i,j)位置处的像素值；
步骤S24计算第一特征的加权和获得热力图的计算公式为：
其中，为热力图，ReLU为线性整流函数，为加权权重，C为第一特征的类别，K为通道，A为第一特征。
4.如权利要求1所述的火焰检测方法，其特征在于：步骤S3根据热力图计算获得火焰区域热力掩模图，并基于火焰区域热力掩模图获得疑似火焰区域，进一步包括以下步骤：
步骤S31：在热力图中将像素值大于设定值的区域设置为1，小于设定值的区域设定为0，以获得火焰区域热力掩模图；及
步骤S32：提取火焰区域热力掩模图中像素值为1的区域，获得疑似火焰区域。
5.如权利要求1所述的火焰检测方法，其特征在于：步骤S4提供一第二卷积神经网络，并从疑似火焰区域中提取第二特征之前，对疑似火焰区域进行预处理，以增强疑似火焰区域的图像数据。
6.如权利要求1所述的火焰检测方法，其特征在于：骤S1获取包含火焰的图像之后，对图像进行预处理，以增强图像数据。
7.一种存储介质，其特征在于：所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1-6中任一项中所述的火焰检测方法。
8.一种火焰检测模型训练方法，其特征在于：该方法包括以下步骤：
步骤S1：获取包含火焰的图像；
步骤S2：提供第一卷积神经网络，并将获取的图像输入所述第一卷积神经网络中以提取第一特征，并结合第一特征计算热力图；
步骤S3：根据热力图计算获得火焰区域热力掩模图，并基于火焰区域热力掩模图获得疑似火焰区域；
步骤S4：提供一第二卷积神经网络，并从疑似火焰区域中提取第二特征；
步骤S5：将第一特征与第二特征进行连接，获得总输出特征，并输出加权损失函数；及
步骤S6：利用加权损失函数训练所述卷积神经网络，以获得火焰检测模型。
9.一种火焰检测模型训练系统，其特征在于：所述模型训练系统包括：
读取模块，被配置为获取包含火焰的图像；
第一计算模块，被配置为提供第一卷积神经网络，并将获取的图像输入所述第一卷积神经网络中以提取第一特征，并结合第一特征计算热力图；
第二计算模块，被配置为根据热力图计算获得火焰区域热力掩模图，并基于火焰区域热力掩模图获得疑似火焰区域；
提取模块，被配置为提供一第二卷积神经网络，并从疑似火焰区域中提取第二特征；及
输出模块，被配置为将第一特征与第二特征进行连接，获得总输出特征，并基于总输出特征预测是否存在火焰、火焰占整张图的比例及火焰旺度。
10.如权利要求9所述的火焰检测模型训练系统，其特征在于：第一计算模块中进一步包括：
提取单元，被配置为通过所述第一卷积神经网络中至少两个卷积层提取图像中的第一特征；
分类单元，被配置为结合所述第一卷积神经网络中不同的通道对第一特征进行分类；
第一计算单元，被配置为通过Grad-CAM的方法对第一特征进行导向的反向梯度计算；及
第二计算单元，被配置为计算第一特征的加权之和获得热力图。
CN201910632017.1A 2019-07-12 2019-07-12 火焰检测方法、火焰检测模型训练方法、存储介质及系统 Pending CN110334685A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910632017.1A CN110334685A (zh) 2019-07-12 2019-07-12 火焰检测方法、火焰检测模型训练方法、存储介质及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910632017.1A CN110334685A (zh) 2019-07-12 2019-07-12 火焰检测方法、火焰检测模型训练方法、存储介质及系统

Publications (1)

Publication Number Publication Date
CN110334685A true CN110334685A (zh) 2019-10-15

Family

ID=68144997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910632017.1A Pending CN110334685A (zh) 2019-07-12 2019-07-12 火焰检测方法、火焰检测模型训练方法、存储介质及系统

Country Status (1)

Country Link
CN (1) CN110334685A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909819A (zh) * 2019-12-02 2020-03-24 集美大学 基于时域的电磁信息泄漏检测方法、终端设备及存储介质
CN112785809A (zh) * 2020-12-31 2021-05-11 四川弘和通讯有限公司 一种基于ai图像识别火情复燃预测方法及系统
CN112785582A (zh) * 2021-01-29 2021-05-11 北京百度网讯科技有限公司 热力图生成模型的训练方法、装置、电子设备和存储介质
CN112926725A (zh) * 2020-12-01 2021-06-08 杭州电力设备制造有限公司 基于热力图像的数据分析方法及系统
CN113127864A (zh) * 2019-12-31 2021-07-16 奇安信科技集团股份有限公司 特征码提取方法、装置、计算机设备和可读存储介质
CN117516708A (zh) * 2024-01-08 2024-02-06 西安博康电子有限公司 火焰探测方法及火焰探测器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463869A (zh) * 2014-12-05 2015-03-25 西安交通大学 一种视频火焰图像复合识别方法
CN105139429A (zh) * 2015-08-14 2015-12-09 大连理工大学 一种基于火焰显著图和空间金字塔直方图的火灾检测方法
CN108664967A (zh) * 2018-04-17 2018-10-16 上海交通大学 一种多媒体页面视觉显著性预测方法及系统
KR20190072074A (ko) * 2017-12-15 2019-06-25 서강대학교산학협력단 악성 코드 검출 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463869A (zh) * 2014-12-05 2015-03-25 西安交通大学 一种视频火焰图像复合识别方法
CN105139429A (zh) * 2015-08-14 2015-12-09 大连理工大学 一种基于火焰显著图和空间金字塔直方图的火灾检测方法
KR20190072074A (ko) * 2017-12-15 2019-06-25 서강대학교산학협력단 악성 코드 검출 방법 및 시스템
CN108664967A (zh) * 2018-04-17 2018-10-16 上海交通大学 一种多媒体页面视觉显著性预测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
超杰: "《"卷积可视化"：Grad-CAM》", 《HTTP://SPYTENSOR.COM/INDEX.PHP/ARCHIVES/20/》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909819A (zh) * 2019-12-02 2020-03-24 集美大学 基于时域的电磁信息泄漏检测方法、终端设备及存储介质
CN113127864A (zh) * 2019-12-31 2021-07-16 奇安信科技集团股份有限公司 特征码提取方法、装置、计算机设备和可读存储介质
CN113127864B (zh) * 2019-12-31 2024-05-24 奇安信科技集团股份有限公司 特征码提取方法、装置、计算机设备和可读存储介质
CN112926725A (zh) * 2020-12-01 2021-06-08 杭州电力设备制造有限公司 基于热力图像的数据分析方法及系统
CN112926725B (zh) * 2020-12-01 2024-05-14 杭州电力设备制造有限公司 基于热力图像的数据分析方法及系统
CN112785809A (zh) * 2020-12-31 2021-05-11 四川弘和通讯有限公司 一种基于ai图像识别火情复燃预测方法及系统
CN112785809B (zh) * 2020-12-31 2022-08-16 四川弘和通讯有限公司 一种基于ai图像识别火情复燃预测方法及系统
CN112785582A (zh) * 2021-01-29 2021-05-11 北京百度网讯科技有限公司 热力图生成模型的训练方法、装置、电子设备和存储介质
CN112785582B (zh) * 2021-01-29 2024-03-22 北京百度网讯科技有限公司 热力图生成模型的训练方法、装置、电子设备和存储介质
CN117516708A (zh) * 2024-01-08 2024-02-06 西安博康电子有限公司 火焰探测方法及火焰探测器
CN117516708B (zh) * 2024-01-08 2024-04-09 西安博康电子有限公司 火焰探测方法及火焰探测器

Similar Documents

Publication Publication Date Title
CN110334685A (zh) 火焰检测方法、火焰检测模型训练方法、存储介质及系统
CN110349136A (zh) 一种基于深度学习的篡改图像检测方法
CN107832735A (zh) 用于识别人脸的方法和装置
CN113554089A (zh) 一种图像分类对抗样本防御方法、系统及数据处理终端
CN110378221A (zh) 一种电网线夹自动检测与缺陷识别方法及装置
CN110298297A (zh) 火焰识别方法和装置
CN110853074B (zh) 一种利用光流增强目标的视频目标检测网络系统
CN103069434A (zh) 多模式视频事件索引
CN106485260A (zh) 对图像的对象进行分类的方法和设备及计算机程序产品
CN110348475A (zh) 一种基于空间变换的对抗样本增强方法和模型
CN110119726A (zh) 一种基于YOLOv3模型的车辆品牌多角度识别方法
CN113536972B (zh) 一种基于目标域伪标签的自监督跨域人群计数方法
CN108960404A (zh) 一种基于图像的人群计数方法及设备
CN104809463A (zh) 一种基于密集尺度不变特征转换字典学习的高精度火灾火焰检测方法
CN113128481A (zh) 一种人脸活体检测方法、装置、设备及存储介质
CN110135446A (zh) 文本检测方法及计算机存储介质
CN111696021A (zh) 一种基于显著性检测的图像自适应隐写分析系统及方法
Guo et al. THFE: A Triple-hierarchy Feature Enhancement method for tiny boat detection
CN108986145A (zh) 视频图像处理方法及装置
Cao et al. YOLO-SF: YOLO for fire segmentation detection
Chen et al. A novel smoke detection algorithm based on improved mixed Gaussian and YOLOv5 for textile workshop environments
CN109344720A (zh) 一种基于自适应特征选择的情感状态检测方法
CN112200007A (zh) 一种社区监控场景下车牌检测及识别方法
CN112270207A (zh) 一种社区监控场景下烟火检测方法
CN111178275A (zh) 一种基于卷积神经网络的火灾检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191015