CN116092255A - 火灾探测方法、装置和系统 - Google Patents

Abstract

本发明公开了一种火灾探测方法、装置和系统，火灾探测方法包括：获取待识别红外视频图像；将待识别红外视频图像输入到预先采用迁移学习方法训练好的火灾探测模型，输出识别结果；判断识别结果是否触发报警机制；若触发报警机制，则建立火灾报警状态，并发出火灾报警信号，以进行火灾报警状态查看提醒；若未触发报警机制，则进行下一周期待识别红外视频图像的检测。本发明实施例的火灾探测方法能够避免复杂场景中可见光下干扰源较多导致的误报，同时不受光照、背景环境改变的影响，夜间情况下也可正常检测。

Description

火灾探测方法、装置和系统

技术领域

本发明涉及火灾探测技术领域，特别涉及一种火灾探测方法、一种火灾探测装置和一种火灾探测系统。

背景技术

火灾探测设备是消防火灾自动报警系统中对现场进行探查，发现火灾的设备。能够在火灾发生初期进行及时报警，以减少人身财产损失。

目前，相关技术中的火灾探测设备检测火焰的方法主要包括以下两种方式：1、基于传感器的检测方法，主要包括：光电式探测器、粒子式探测器和感温式探测器。光电式探测器和粒子式探测器主要是对火灾发生时产生的烟雾颗粒进行探测；感温式探测器主要是通过温度传感器感知温度的变化来判断火情信息。然而，这三种探测器火灾检测原理简单，很容易发生误报和漏报现象，此外对于火焰的检测还存在一定的延迟，必须等到烟雾颗粒的浓度或火灾造成的温度变化达到预定程度，探测设备才可能响应。2、基于计算机视觉的检测方法，主要采用机器学习，针对疑似火焰区域提取颜色、纹理、形状、火焰跳动频率等进行综合判断以确定是否发生火灾。然而，在室外复杂的场景下使用时，干扰源(如波光粼粼的湖面，金属、玻璃等的反光)过多会导致误报。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的目的在于提出一种火灾探测方法、装置和系统，以实现对火灾的准确及时地探测。

为达到上述目的，本发明第一方面实施例提出了一种火灾探测方法，所述方法包括：获取待识别红外视频图像；将所述待识别红外视频图像输入到预先采用迁移学习方法训练好的火灾探测模型，输出识别结果；判断所述识别结果是否触发报警机制；若触发报警机制，则建立火灾报警状态，并发出火灾报警信号，以进行火灾报警状态查看提醒；若未触发报警机制，则进行下一周期待识别红外视频图像的检测。

另外，本发明实施例的火灾探测方法还可以具有如下附加技术特征：

根据本发明的一个实施例，所述火灾探测模型的训练过程，包括：获取开源数据集和自建数据集，其中，所述开源数据集包括多个可见光火焰图像，所述自建数据集包括多个成对的可见光火焰图像和红外火焰图像；通过所述开源数据集中的可见光火焰图像和所述自建数据集中的可见光火焰图像对第一探测模型进行训练，其中，所述第一探测模型采用YOLO网络；构建第二探测模型，其中，所述第二探测模型包括依次连接的输入层网络和所述YOLO网络，所述输入层网络用以对单通道的红外火焰图像进行处理；使用迁移学习方法将训练好的第一探测模型中的参数对应复制到所述第二探测模型中的YOLO网络；利用所述自建数据集中的红外火焰图像对参数复制后的第二探测模型进行训练，得到所述训练好的火灾探测模型。

根据本发明的一个实施例，所述自建数据集中的图像在如下至少一个条件下取得：多个尺度火盆、多个点火场景、多个红外摄像头，其中，各所述红外摄像头的物理参数不同。

根据本发明的一个实施例，所述方法用于火灾探测设备，所述方法还包括：所述火灾探测设备开机时，进行设备初始化，以确定所述火灾探测设备是否出现故障，并在所述火灾探测设备出现故障时发出故障报警信号；其中，所述火灾探测设备未出现故障时，执行所述获取待识别红外视频图像的步骤。

根据本发明的一个实施例，所述输入层网络包括：多组切片层、张量拼接层和卷积层，其中，每组切片层的输入端均用以输入红外图像，每组切片层的输出端均与所述张量拼接层的输入端连接，所述张量拼接层的输出端与所述卷积层的输入端连接，所述卷积层的输出端与所述第二探测模型中的YOLO网络的输入端连接。

根据本发明的一个实施例，每组切片层均包括依次连接的第一切片层和第二切片层。

根据本发明的一个实施例，在对参数复制后的第二探测模型进行训练时，采用随机初始化的方式对所述输入层网络的参数进行赋值。

为达到上述目的，本发明第二方面实施例提出了一种火灾探测装置，所述装置包括：获取模块、识别模块和判断模块。所述获取模块用于获取待识别红外视频图像；所述识别模块用于将所述待识别红外视频图像输入到预先采用迁移学习方法训练好的火灾探测模型，输出识别结果；所述判断模块用于判断所述识别结果是否触发报警机制；若触发报警机制，则建立火灾报警状态，并发出火灾报警信号，以进行火灾报警状态查看提醒；若未触发报警机制，则进行下一周期待识别红外视频图像的检测。

另外，本发明实施例的火灾探测装置还可以具有如下附加技术特征：

根据本发明的一个实施例，所述装置用于火灾探测设备，所述装置还包括：初始化模块。所述初始化模块用于火灾探测设备开机时，进行设备初始化，以确定所述火灾探测设备是否出现故障，并在所述火灾探测设备出现故障时发出故障报警信号。

为达到上述目的，本发明第三方面实施例提出了一种火灾探测系统，所述系统包括：红外摄像头和主控板。所述红外摄像头用于采集红外视频图像；所述主控板与所述红外摄像头电连接，所述主控板包括存储器、处理器和存储在所述存储器上的计算机程序，所述计算机程序被所述处理器执行时，实现上述的火灾探测方法。

本发明实施例的火灾探测方法、装置和系统能够解决红外样本少导致火灾探测模型地训练难以收敛、泛化性能不高的问题；训练后的火灾探测模型的抗干扰能力强，稳健性好。本发明实施例的火灾探测方法、装置和系统还能够避免复杂场景中可见光下干扰源较多导致的误报，同时不受光照、背景环境改变的影响，夜间情况下也可正常检测。

附图说明

图1是本发明一实施例的火灾探测方法的流程示意图；

图2是本发明一实施例的火灾探测模型的训练过程的流程示意图；

图3是本发明一实施例的输入层网络的结构示意图；

图4是本发明一实施例的使用迁移学习方法和未使用迁移学习方法训练的探测模型的mAP指标曲线示意图；

图5是本发明一实施例的火灾探测装置的结构示意图；

图6是本发明一实施例的报警输出及状态更新过程的示意图；

图7是本发明一实施例的火灾探测系统结构示意图；

图8是本发明一实施例的红外摄像头和彩色摄像头采集图像对比示意图；

图9是本发明一实施例的火焰检测效果示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图1-附图9描述本发明实施例的火灾探测方法、装置和系统。

图1是本发明一实施例的火灾探测方法的流程示意图。

如图1所示，火灾探测方法包括：

S1，获取待识别红外视频图像。

具体地，可通过红外视频采集模块采集红外视频，红外视频图像取自红外视频中的若干帧对应的图像。

S2，将待识别红外视频图像输入到预先采用迁移学习方法训练好的火灾探测模型，输出识别结果。

S3，判断识别结果是否触发报警机制。

S4，若触发报警机制，则建立火灾报警状态，并发出火灾报警信号，以进行火灾报警状态查看提醒。

S5，若未触发报警机制，则进行下一周期待识别红外视频图像的检测。

本发明实施例的火灾探测方法能够避免复杂场景中可见光下干扰源较多导致的误报，同时不受光照、背景环境改变的影响，夜间情况下也可正常检测。

在本发明的一些实施例中，如图2所示，火灾探测模型的训练过程，包括：

S21，获取开源数据集和自建数据集，其中，开源数据集包括多个可见光火焰图像，自建数据集包括多个成对的可见光火焰图像和红外火焰图像。

具体地，自建数据集中的图像在如下至少一个条件下取得：多个尺度火盆、多个点火场景、多个红外摄像头，其中，各红外摄像头的物理参数不同。

更具体地，开源数据集中可见光火焰图像可为互联网公开的可见光下普通火焰图像。自建数据集可采用现场点火测试收集彩色和红外一一对应的样本。

S22，通过开源数据集中的可见光火焰图像和自建数据集中的可见光火焰图像对第一探测模型进行训练，其中，第一探测模型采用YOLO网络。

具体地，可定义第一探测模型为卷积神经网络M1，M1可采用YOLO网络。可通过同源异目标学习方式微调卷积神经网络M1，即基于现有yolo模型，利用上述开源数据集和自建数据集中的可见光火焰图像完成模型训练，内部参数经训练微调后的模型在可见光图像下很好地自动学习到火焰相关的特征，并对火焰目标具有较好的检测性能。其中，同源异目标学习方式属于一种归纳式的同构迁移学习方法，同源是指YOLO官方模型和卷积神经网络M1的源域和目标域特征空间相同，输入端均为同尺寸RGB三通道彩色图像；异目标是指YOLO官方模型是基于COCO数据集训练的，其检测目标为COCO数据集中80类目标，而卷积神经网络M1检测的是火焰目标。

需要说明的是，在对第一探测模型训练之前，可对第一探测模型中的参数进行微调，使得第一探测模型在训练过程中能较好的自动学习到火焰的相关特征，以实现训练好的第一探测模型对火焰目标具有较好的检测性能。

S23，构建第二探测模型，其中，第二探测模型包括依次连接的输入层网络和YOLO网络，输入层网络用以对单通道的红外火焰图像进行处理。

作为一个示例，可通过重新设定YOLO网络中的模型数据加载器、图像数据预处理和数据增强部分，使得YOLO网络可支持单通道的红外火焰图像的处理。

需要说明的是，第一探测模型和第二探测模型在输入层网络具有不同的结构，主干(backbone)网络和颈部(neck)网络具有相同的结构。

具体地，如图3所示，输入层网络包括：多组切片层、张量拼接层和卷积层。其中，每组切片层的输入端均用以输入红外图像，每组切片层的输出端均与张量拼接层的输入端连接，张量拼接层的输出端与卷积层的输入端连接，卷积层的输出端与第二探测模型中的YOLO网络的输入端连接。

更具体地，每组切片层均包括依次连接的第一切片层和第二切片层。

作为一个示例，张量拼接层中参数axis设置为1。卷积层中相关参数分别设置为：dilation＝1,1；group＝1；kernel_shape＝3，3；pads＝1，1，1，1；strides＝1，1。

S24，使用迁移学习方法将训练好的第一探测模型中的参数对应复制到第二探测模型中的YOLO网络。

S25，利用自建数据集中的红外火焰图像对参数复制后的第二探测模型进行训练，得到训练好的火灾探测模型。

具体地，在对参数复制后的第二探测模型进行训练时，采用随机初始化的方式对输入层网络的参数进行赋值。

可选地，在对参数复制后的第二探测模型进行训练之前，可对参数复制后的第二探测模型中的参数进行微调，以实现训练好的第二探测模型能够较好的检测出火焰目标。

作为一个示例，在参数复制后的第二探测模型的输入端输入随机初始化的参数后，激活所有网络模型结构层次，通过自建数据集中的红外火焰图像进行训练，并通过BP算法和梯度下降相关优化器完成模型的参数更新。

在该实施例方式中，第二探测模型通过异源同目标学习方式借鉴了第一探测模型中的特征提取器。因此，可在红外火焰视频和图像不足的情况下，训练出收敛和泛化性较好的火灾探测模型，达到理想的效果，提高火灾检测的准确率。其中，异源同目标学习方式属于直推式的异构迁移学习，异源是指源域和目标域的特征空间不同，第一探测模型和第二探测模型输入端分别为RGB三通道彩色图和单通道的灰度图；同目标是指第一探测模型和第二探测模型检测目标相同，均用来检测火焰目标。

作为一个示例，通过对比使用迁移学习方法和未使用迁移学习方法训练的探测模型的mAP指标曲线，对本发明火灾探测模型的训练方法进行说明。如图4所示，使用迁移学习方法可加快模型训练的收敛速度，模型参数很快达到全局最优解。使用迁移学习方法训练完成后的mAP值达到0.92，而相比于未使用迁移学习(mAP值为0.79)，mAP值提高了0.13。因此，使用迁移学习训练的模型在红外图像中具有很好的火焰检测性能。

在本发明的一些实施例中，火灾探测方法用于火灾探测设备，火灾探测方法还包括：火灾探测设备开机时，进行设备初始化，以确定火灾探测设备是否出现故障，并在火灾探测设备出现故障时发出故障报警信号；其中，火灾探测设备未出现故障时，执行获取待识别红外视频图像的步骤。

具体地，设备初始化包括：设备中参数读取、火灾探测模型的加载和设备中的功能自检。设备初始化可在设备开机时，自动开启。

对应上述实施例，本发明还提出一种火灾探测装置。

图5是本发明一实施例的火灾探测装置的结构示意图。

如图5所示，火灾探测装置包括：获取模块100、识别模块200和判断模块300。

获取模块100用于获取待识别红外视频图像。

识别模块200用于将待识别红外视频图像输入到预先采用迁移学习方法训练好的火灾探测模型，输出识别结果。

判断模块300用于判断识别结果是否触发报警机制；若触发报警机制，则建立火灾报警状态，并发出火灾报警信号，以进行火灾报警状态查看提醒；若未触发报警机制，则进行下一周期待识别红外视频图像的检测。

作为一个示例，如图6所示，判断模块300可推送报警信号至上位机或相关控制系统，相关控制系统可开启声光报警，以提醒相关人员查看报警信息。相关人员可在上位机上修改参数，通过通信模块、参数管理模块、算法模块和视频模块完成内部参数的更新和状态的变更。

需要说明的是，本发明实施例的火灾探测装置的其他具体实施方式可参见本发明上述实施例的火灾探测方法的其他具体实施方式。

本发明实施例的火灾探测装置能够避免复杂场景中可见光下干扰源较多导致的误报，同时不受光照、背景环境改变的影响，夜间情况下也可正常检测。

对应上述实施例，本发明还提出一种火灾探测系统。

图7是本发明一实施例的火灾探测系统结构示意图。

如图7所示，火灾探测系统包括：红外摄像头10和主控板20。

红外摄像头10，用于采集红外视频图像。

主控板20，与红外摄像头10电连接，主控板20包括存储器201、处理器202和存储在存储器201上的计算机程序，计算机程序被处理器202执行时，实现上述的火灾探测方法。

举例而言，如图8所示，通过使用红外摄像头10可减少可见光普通图像中干扰源过多导致误报的问题。尤其是在户外复杂的场景下使用，红外图像只保留了真实火焰信息及能散射红外光线的物体，对火焰检测起到了过滤的作用。同时，红外图像是单通道的像素矩阵，对于同等大小的红外图像和可见光图像，红外图像的预处理操作更加简便、占用内存空间更小，检测速度更快。

在该实施例方式中，处理器202和存储器201相连，如通过总线203相连。可选地，主控板20还可以包括收发器204。需要说明的是，实际应用中收发器204不限于一个，该主控板20的结构并不构成对本发明实施例的限定。

处理器202可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框、模块和电路。处理器202也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线203可包括一通路，在上述组件之间传送信息。总线203可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线203可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器201用于存储与本发明上述实施例的火灾探测方法对应的计算机程序，该计算机程序由处理器202来控制执行。处理器202用于执行存储器201中存储的计算机程序，以实现前述方法实施例所示的内容。

在该实施例方式中，如图9所示，在使用本发明的火灾探测系统，能够避免复杂场景下的干扰源，准确的确定出火源的位置。

本发明实施例的火灾探测系统能够避免复杂场景中可见光下干扰源较多导致的误报，同时不受光照、背景环境改变的影响，夜间情况下也可正常检测。

作为一个示例，主控板20可为瑞芯微RV1126核心板，通过使用芯微软件开发工具包中的RKNN内部模型转换、推理等相关脚本文件，完成对第二探测模型地优化与部署工作。其中，瑞芯微RV1126核心板内部含有两块用于深度学习模型加速推理的NPU单元。

需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种火灾探测方法，其特征在于，所述方法包括：

获取待识别红外视频图像；

将所述待识别红外视频图像输入到预先采用迁移学习方法训练好的火灾探测模型，输出识别结果；

判断所述识别结果是否触发报警机制；

若触发报警机制，则建立火灾报警状态，并发出火灾报警信号，以进行火灾报警状态查看提醒；

若未触发报警机制，则进行下一周期待识别红外视频图像的检测。

2.根据权利要求1所述的火灾探测方法，其特征在于，所述火灾探测模型的训练过程，包括：

获取开源数据集和自建数据集，其中，所述开源数据集包括多个可见光火焰图像，所述自建数据集包括多个成对的可见光火焰图像和红外火焰图像；

通过所述开源数据集中的可见光火焰图像和所述自建数据集中的可见光火焰图像对第一探测模型进行训练，其中，所述第一探测模型采用YOLO网络；

构建第二探测模型，其中，所述第二探测模型包括依次连接的输入层网络和所述YOLO网络，所述输入层网络用以对单通道的红外火焰图像进行处理；

使用迁移学习方法将训练好的第一探测模型中的参数对应复制到所述第二探测模型中的YOLO网络；

利用所述自建数据集中的红外火焰图像对参数复制后的第二探测模型进行训练，得到所述训练好的火灾探测模型。

3.根据权利要求2所述的火灾探测方法，其特征在于，所述自建数据集中的图像在如下至少一个条件下取得：

多个尺度火盆、多个点火场景、多个红外摄像头，其中，各所述红外摄像头的物理参数不同。

4.根据权利要求1所述的火灾探测方法，其特征在于，所述方法用于火灾探测设备，所述方法还包括：

所述火灾探测设备开机时，进行设备初始化，以确定所述火灾探测设备是否出现故障，并在所述火灾探测设备出现故障时发出故障报警信号；

其中，所述火灾探测设备未出现故障时，执行所述获取待识别红外视频图像的步骤。

5.根据权利要求2所述的火灾探测方法，其特征在于，所述输入层网络包括：多组切片层、张量拼接层和卷积层，其中，每组切片层的输入端均用以输入红外图像，每组切片层的输出端均与所述张量拼接层的输入端连接，所述张量拼接层的输出端与所述卷积层的输入端连接，所述卷积层的输出端与所述第二探测模型中的YOLO网络的输入端连接。

6.根据权利要求5所述的火灾探测方法，其特征在于，每组切片层均包括依次连接的第一切片层和第二切片层。

7.根据权利要求6所述的火灾探测方法，其特征在于，在对参数复制后的第二探测模型进行训练时，采用随机初始化的方式对所述输入层网络的参数进行赋值。

8.一种火灾探测装置，其特征在于，所述装置包括：

获取模块，用于获取待识别红外视频图像；

识别模块，用于将所述待识别红外视频图像输入到预先采用迁移学习方法训练好的火灾探测模型，输出识别结果；

判断模块，用于判断所述识别结果是否触发报警机制；若触发报警机制，则建立火灾报警状态，并发出火灾报警信号，以进行火灾报警状态查看提醒；若未触发报警机制，则进行下一周期待识别红外视频图像的检测。

9.根据权利要求8所述的火灾探测装置，其特征在于，所述装置用于火灾探测设备，所述装置还包括：

初始化模块，用于所述火灾探测设备开机时，进行设备初始化，以确定所述火灾探测设备是否出现故障，并在所述火灾探测设备出现故障时发出故障报警信号。

10.一种火灾探测系统，其特征在于，所述系统包括：

红外摄像头，用于采集红外视频图像；

主控板，与所述红外摄像头电连接，所述主控板包括存储器、处理器和存储在所述存储器上的计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1-7中任一项所述的火灾探测方法。

Images