CN111127433B - 一种检测火焰的方法及装置 - Google Patents

Abstract

本发明实施例公开了一种检测火焰的方法，所述方法包括：获取检测图片；将多张检测图片输入到火焰检测网络中，得到在所述检测图片上用候选框圈出的疑似火焰区域；将所述检测图片按照所述候选框进行剪裁，并变形为尺寸相同的疑似火焰图片；其中，所述火焰检测网络是在候选区提取层加入自行变卷积层的两阶段级联卷积网络；将所述疑似火焰图片输入到3D卷积网络中，提取所述疑似火焰图片的空间特征和低阶动态特征；将所述空间特征和低阶动态特征输入到循环神经网络中，提取到所述疑似火焰图片的高阶动态特征，并判断出所述疑似火焰图片中是否具有火焰。通过本申请实施例提供的检测火焰方法，可以更加准确快速的识别到检测图片中的火焰。

Description

一种检测火焰的方法及装置

技术领域

本发明涉及图像检测领域，尤其是涉及一种检测火焰的方法及装置。

背景技术

随着经济的高速发展，各种高层综合性建设群体不断涌现。而在高层建筑中，由于人口密集，财产集中，其消防问题也尤为突出。虽然现在已经有成熟的火焰探测方法，如感烟、感温、感光探测器等，分别利用火焰的烟雾、温度、光的特性来对火焰进行探测。

但是在综合性商场中，由于商户众多，其中餐饮商户的后厨较为狭小与闭塞，无法安装感烟、感温、感光探测器等，且火灾初期火焰较小，燃烧产生的烟雾、温度、光的强度还达不到感烟、感温、感光探测器等报警级别，给火焰探测带来了一定的难度。致使商场火灾发现时就是大火，扑灭工作极为困难，且商场中人流量较大，一旦火灾发生势必发生较大的伤亡。所以，现在亟待一种可以应对商场中厨房的火焰预警方法来保证人们的生命与财产安全。

发明内容

有鉴于此，本申请提供一种检测火焰的方法及装置，用于解决商场中厨房的火焰检测的问题。

在本申请第一方面提供了一种检测火焰的方法，所述方法包括：

获取检测图片；

将多张检测图片输入到火焰检测网络中，得到在所述检测图片上用候选框圈出的疑似火焰区域；将所述检测图片按照所述候选框进行剪裁，并变形为尺寸相同的疑似火焰图片；其中，所述火焰检测网络是在候选区提取层加入一层或多层自行变卷积层的两阶段级联卷积网络，即在两阶段级联卷积网络中加入自行变卷积核(可行变卷积核)进行卷积运算，自行变卷积核是指卷积核在每一个元素上额外增加了一个参数方向参数，这样卷积核就能在训练过程中扩展到很大的范围；

将所述疑似火焰图片输入到3D卷积网络中，提取所述疑似火焰图片的空间特征和低阶动态特征；

将所述空间特征和低阶动态特征输入到循环神经网络中，提取到所述疑似火焰图片的高阶动态特征，并判断出所述疑似火焰图片中是否具有火焰。

可选的，所述候选框的获得方式，包括：

在所述火焰检测网络中，将所述检测图片通过第一自行变卷积层计算得到预候选框的中心点的概率；将所述检测图片通过第二自行变卷积层计算得到所述预候选框的高和宽的值；其中，所述第一自行变卷积层的监督信号为所述预候选框的中心点的位置；所述第二自行变卷积层的监督信号为所述预候选框的高和宽的偏移量；

当所述预候选框的中心点的概率大于阈值时，将大于阈值的预候选框的中心点与高和宽的值进行匹配，确定为所述候选框。

可选的，所述获取检测图片，包括：

每隔固定间隔获取监测视频中的图片。

可选的，所述固定间隔为16帧。

可选的，所述获取检测图片，包括：

获取一组静态图片；

计算图片的掩膜，获得所述检测图片之间火焰的形态变化信息。

可选的，所述3D卷积网络的训练数据，包括：

火焰视频作为正样本，其他视频作为负样本；其中所述其他视频为除火焰视频以外的视频。

可选的，所述其他视频包括火焰视频的背景。

可选的，所述循环神经网络为长短期记忆网络。

在本申请第二方面提供了一种检测火焰的装置，所述装置包括：

获取图片单元、火焰检测网络单元、3D卷积网络单元与循环神经网络单元；

所述获取图片单元，用于获取检测图片；

所述火焰检测网络单元，用于将多张检测图片输入到火焰检测网络中，得到在所述检测图片上用候选框圈出的疑似火焰区域；将所述检测图片按照所述候选框进行剪裁，并变形为尺寸相同的疑似火焰图片；其中，所述火焰检测网络是在候选区提取层加入自行变卷积层的两阶段级联卷积网络；

所述3D卷积网络单元，用于将所述疑似火焰图片输入到3D卷积网络中，提取所述疑似火焰图片的空间特征和低阶动态特征；

所述循环神经网络单元，用于将所述空间特征和低阶动态特征输入到循环神经网络中，提取到所述疑似火焰图片的高阶动态特征，并判断出所述疑似火焰图片中是否具有火焰。

相对于现有技术，本申请上述技术方案的优点在于：

在本申请提供的技术方法中，首先获取检测图片，将多张检测图片输入到火焰检测网络中，得到在所述检测图片上用候选框圈出的疑似火焰区域，将所述检测图片按照所述候选框进行剪裁，并变形为尺寸相同的疑似火焰图片；其中，所述火焰检测网络是在候选区提取层加入自行变卷积层的两阶段级联卷积网络，然后将所述疑似火焰图片输入到3D卷积网络中，提取所述疑似火焰图片的空间特征和低阶动态特征，最后将所述空间特征和低阶动态特征输入到循环神经网络中，提取到所述疑似火焰图片的高阶动态特征，并判断出所述疑似火焰图片中是否具有火焰。在本申请实施例提供的检测火焰的方法，通过将自行变卷积层加入到两阶段级联卷积网络的候选区提取层中，自行变卷积层可以根据火焰的动态形态自行调整候选框的大小，使得到的候选框更加稀疏，且质量较高；通过先检测火焰，再采用3D卷积网络提取疑似火焰图片的空间特征和低阶动态特征，采用循环神经网络提取疑似火焰图片的高阶动态特征的火焰识别框架，通过低阶动态特征与高阶动态特征的结合，可以更加准确的识别到图片中的火焰，且该框架不仅适用于静态图片中的火焰检测，还适用于视频中的火焰检测，对于无法安装感烟、感温、感光探测器等综合性商场中后厨的火灾安全提供了有力的保障。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本申请提供的一种检测火焰方法的流程图；

图2为本申请提供的一种检测火焰方法的流程图；

图3为本申请提供的又一种检测火焰方法的流程图；

图4为本申请提供的一种检测火焰装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，图1是本申请提供的一种检测火焰的方法流程图，该方法可以包括以下步骤101-104。

步骤101：获取检测图片。

本申请实施例的检测火焰方法可以检测监控视频中是否具有火焰，也可以检测一组静态图片中是否具有火焰。具体地，可以从视频图像中每隔固定间隔获取监测视频中的图片，即，每隔固定间隔从视频中获取的一帧图片。又或者计算出一组静态图片中的掩膜，获得检测图片之间火焰的形态变化信息，再比较检测图片之间火焰的变化，以便观察火焰的动态形态。

步骤102：将多张检测图片输入到火焰检测网络中，得到在所述检测图片上用候选框圈出的疑似火焰区域；将所述检测图片按照所述候选框进行剪裁，并变形为尺寸相同的疑似火焰图片；其中，所述火焰检测网络是在候选区提取层加入自行变卷积层的两阶段级联卷积网络。

将获取到的多张检测图片输入到火焰检测网络中，可以将检测图片中的疑似火焰的区域用候选框圈起来，在火焰检测网络中更加重视召回率。其中，火焰检测网络的整体架构是基于两阶段的级联卷积网络。

需要说明的是，本申请的实施例中在火焰检测网络的架构中的候选框提取层加入一层或多层自形变卷积层，，即在火焰检测网络中加入自行变卷积核(可行变卷积核)进行卷积运算，自行变卷积核是指卷积核在每一个元素上额外增加了一个参数方向参数，这样卷积核就能在训练过程中扩展到很大的范围。火焰具有每时每刻都在变化的不固定的形态，正是因为这个特殊的性质使火焰在图片中区别于阳光、灯光或红色背景等。如果只采用固定的矩形候选框，那么圈出来的疑似火焰区域在很大程度上是阳光、灯光或红色背景等，导致后续准确率较低，计算量偏大。经过申请人的研究发现，自行变卷积与火焰的不固定形态十分契合，可以通过自主学习让矩形框不稳定，即，使原本的矩形候选框变成更加符火焰形态的四边形候选框。具体地，本申请的实施例中自行变卷积具有两层，一层自形变卷积捕捉空间中预测点的水平方向与垂直方向的速度，另一层自形变卷积捕捉空间中预测点的水平方向与垂直方向的加速度，在火焰检测网络中加入自行变卷积层可以保证网络对预测点的空间特征的捕捉更为精细。因此，本申请的实施例提出了在候选框提取层中使用自形变卷积产生候选框。避免了传统方法中通常是使用滑窗方式在特征图上放置先验框，致使先验框不仅尺度固定，而且过于稠密的问题。

将检测图片按照候选框的位置与大小对检测图片进行剪裁得到只有疑似火焰区域的图片，经过剪裁去掉了检测图片中无用的信息以便减少后续计算的计算量，并将剪裁后的图片进行变形，得到大小相同的疑似火焰的图片。由于得到的候选框大小并不相同，按照候选框进行剪裁的图片大小也并不相同，变形并不会损失图片中的信息，而是将图片的大小变为一致，以便后续可以输入到3D卷积网络中。

在一种实施方式中，在预测候选框时，可以搭建两个分支，一个分支将检测图片通过自行变卷积的计算，并采用监督信号为预候选框的中心点的位置，得到深度为1的特征图来预测所选取的点是否为预候选框的中心的概率，另一个分支将检测图片通过自行变卷积的计算，并采用监督信号为所述预候选框的高和宽的偏移量，得到深度为2的特征图来预测所述预候选框的高和宽的偏移量。通过两个分支的自形变卷积进行计算，分别得到预候选框的中心点概率与宽、高值。当计算得出预候选框的中心点概率大于阈值时，将所述预候选框的中心点预高和宽进行匹配，并确定为真正的候选框，即，可以在图片上显示由中心点与宽和高确定的候选框，该候选框会将图片中疑似火焰的区域圈起来。采用该方法得到的候选框较为稀疏，且质量较高。其中，并不限定阈值的大小，可以根据实际需要进行调节。

步骤103：将所述疑似火焰图片输入到3D卷积网络中，提取所述疑似火焰图片的空间特征和低阶动态特征。

通过3D卷积网络提取所述疑似火焰图片的空间特征与低阶动态特征，低阶动态特征可以是图片之间颜色的变化特征，像阳光、灯光、红色背景等，虽然与火焰的颜色相同，但是阳光、灯光、红色背景等在图片中具有延续性，而火焰存在于图片中的固定区域。所以低阶动态特征可以更快的识别出所述疑似火焰图片中的特征。其中，在3D卷积网络中更加注重准确率。

步骤104：将所述空间特征和低阶动态特征输入到循环神经网络中，提取到所述疑似火焰图片的高阶动态特征，并判断出所述疑似火焰图片中是否具有火焰。

将提取到的空间特征和低阶动态特征输入到循环神经网络中，可以提取到疑似火焰图片中的高阶动态特征，高阶动态特征可以是图片之间火焰的位置变化特征，由于像阳光、灯光、红色背景等具有延续性，其位置变化相对于火焰的位置变化是非常缓慢的，所以高阶动态特征可以更准确的识别出疑似火焰图片中的特征，可以判断出所述疑似火焰图片中是否具有火焰。其中，在循环神经网络中更加注重准确率。

在本申请的实施例中，如图2所示的检测火焰方法的流程图，首先获取检测图片，将多张检测图片输入到火焰检测网络中，得到在所述检测图片上用候选框圈出的疑似火焰区域，将所述检测图片按照所述候选框进行剪裁，并变形为尺寸相同的疑似火焰图片；其中，所述火焰检测网络是在候选区提取层加入自行变卷积层的两阶段级联卷积网络，然后将所述疑似火焰图片输入到3D卷积网络中，提取所述疑似火焰图片的空间特征和低阶动态特征，最后将所述空间特征和低阶动态特征输入到循环神经网络中，提取到所述疑似火焰图片的高阶动态特征，并判断出所述疑似火焰图片中是否具有火焰。在本申请提供的检测火焰方法中，将自行变卷积层加入到两阶段级联卷积网络的候选区提取层中，可以使候选框的形状更加符合火焰的形态，产生的候选框可以更加能捕捉到火焰的动态形态，使火焰区别于阳光、灯光或红色背景等，质量较高；产生的候选框不再是铺满图片的状态，而是有针对性的进行选取，不再将不是火焰的部分用候选框圈起来，使得到的候选框更加稀疏。通过火焰检测网络先检测火焰，再采用3D卷积网络提取疑似火焰图片的空间特征和低阶动态特征，采用循环神经网络提取疑似火焰图片的高阶动态特征的火焰识别框架，火焰检测网络更加注重召回率，3D卷积网络与循环神经网络更加注重准确率，通过平衡召回率与准确率，可以使整个火焰识别框架更加的稳定与准确。同时，该框架可以更加准确的识别到图片中的火焰，且该框架不仅适用于静态图片中的火焰检测，还适用于视频中的火焰检测，对于无法安装感烟、感温、感光探测器等综合性商场中后厨的火灾安全提供了有力的保障；通过两个网络分别提取低阶动态特征，与高阶动态特征，可以快速准确的提取到图片的特征，以便后续的判断更加准确。

为了使本发明实施例提供的技术方案更加清楚，下面结合图3以一个实例对本发明实施例提供的检测火焰方法进行说明。

步骤301：从监测视频中每隔16帧获取一张检测图片。

需要说明的是，从监测视频中每隔固定间隔获取一张检测图片，并不限定于16帧，也可以是17帧、18帧或是其他帧数，在本申请中不对固定间隔进行限定。

步骤302：将48张检测图片输入到火焰检测网络中，得到在所述检测图片上用候选框圈出的疑似火焰区域；将所述检测图片按照所述候选框进行剪裁，并将疑似火焰图片变形为112x 112的统一大小。

采取48张每隔16帧的图片为一组进行计算，大约是每隔半分钟进行一次检测，这样可以更加体现特征的变化，同时也不会导致计算量过大，当然也并不限定于取48张每隔16帧的图片为一组进行计算。将疑似火焰图片变形为统一大小是为了保证后续输入到3D卷积网络中的输入都是相同的大小，变形可以采用的规格为64x 64，或224x 224，并不限定于112x 112。在本申请的实施例中变形后即将输入到3D卷积网络中的维度是(3,16,112,112)，其中3表示rgb三个通道，因为是每隔16帧获取到一张检测图片，其实是认为前15帧图像都与第16帧图像相似，即，以第16帧为代表，作为1-16帧的维度。

步骤303：将所述疑似火焰图片输入到3D卷积网络中，提取所述疑似火焰图片的空间特征和低阶动态特征。

通过将维度是(3,16,112,112)的输入送入到3D卷积网络中，输出是256维的向量。

其中，在训练3D卷积网络时，火焰视频作为正样本，其他视频作为负样本；其中所述其他视频为除火焰视频以外的视频，包括火焰视频的背景视频。

步骤304：将所述空间特征和低阶动态特征输入到长短期记忆网络中，提取到所述疑似火焰图片的高阶动态特征，并判断出所述疑似火焰图片中是否具有火焰。

循环神经网络可以采用长短期记忆网络，因为长短期记忆网络具有可以识别时序特征的特征，符合火焰的形态随着时间进行变化。输入到循环神经网络中的是48个256维的向量，输出是判断为疑似火焰图片中是否具有火焰的概率，例如1表示具有火焰，0表示不具有火焰，输出1具有百分之九十概率，输出0具有百分之十概率，那么就认为疑似火焰图片中具有火焰，即检测图片中具有火焰，可以进行报警。

需要说明的是，可以以时间顺序将48个向量输入到长短期记忆网路中。

本发明实施例除了提供检测火焰的方法外，还提供了供检测火焰的装置，如图4所示，包括：

获取图片单元410、火焰检测网络单元420、3D卷积网络单元430与循环神经网络单元440；

其中，获取图片单元410，可以用于获取检测图片；

火焰检测网络单元420，可以用于将多张检测图片输入到火焰检测网络中，得到在所述检测图片上用候选框圈出的疑似火焰区域；将所述检测图片按照所述候选框进行剪裁，并变形为尺寸相同的疑似火焰图片；其中，所述火焰检测网络是在候选区提取层加入自行变卷积层的两阶段级联卷积网络；

3D卷积网络单元430，可以用于将所述疑似火焰图片输入到3D卷积网络中，提取所述疑似火焰图片的空间特征和低阶动态特征；

循环神经网络单元440，可以用于将所述空间特征和低阶动态特征输入到循环神经网络中，提取到所述疑似火焰图片的高阶动态特征，并判断出所述疑似火焰图片中是否具有火焰。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元及模块可以是或者也可以不是物理上分开的。另外，还可以根据实际的需要选择其中的部分或者全部单元和模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本发明的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种检测火焰的方法，其特征在于，所述方法包括：

获取检测图片；

将多张检测图片输入到火焰检测网络中，得到在所述检测图片上用候选框圈出的疑似火焰区域；将所述检测图片按照所述候选框进行剪裁，并变形为尺寸相同的疑似火焰图片；其中，所述火焰检测网络是在候选区提取层加入自行变卷积层的两阶段级联卷积网络；

将所述疑似火焰图片输入到3D卷积网络中，提取所述疑似火焰图片的空间特征和低阶动态特征；

将所述空间特征和低阶动态特征输入到循环神经网络中，提取到所述疑似火焰图片的高阶动态特征，并判断出所述疑似火焰图片中是否具有火焰；

所述候选框的获得方式，包括：

在所述火焰检测网络中，将所述检测图片通过第一自行变卷积层计算得到预候选框的中心点的概率；将所述检测图片通过第二自行变卷积层计算得到所述预候选框的高和宽的值；其中，所述第一自行变卷积层的监督信号为所述预候选框的中心点的位置；所述第二自行变卷积层的监督信号为所述预候选框的高和宽的偏移量；

当所述预候选框的中心点的概率大于阈值时，将大于阈值的预候选框的中心点与高和宽的值进行匹配，确定为所述候选框。

2.根据权利要求1所述的方法，其特征在于，所述获取检测图片，包括：

每隔固定间隔获取监测视频中的图片。

3.根据权利要求2所述的方法，其特征在于，所述固定间隔为16帧。

4.根据权利要求1所述的方法，其特征在于，所述获取检测图片，包括：

获取一组静态图片；

计算图片的掩膜，获得所述检测图片之间火焰的形态变化信息。

5.根据权利要求1所述的方法，其特征在于，所述3D卷积网络的训练数据，包括：

火焰视频作为正样本，其他视频作为负样本；其中所述其他视频为除火焰视频以外的视频。

6.根据权利要求5所述的方法，其特征在于，所述其他视频包括火焰视频的背景。

7.根据权利要求1所述的方法，其特征在于，所述循环神经网络为长短期记忆网络。

8.一种检测火焰的装置，其特征在于，所述装置包括：

获取图片单元、火焰检测网络单元、3D卷积网络单元与循环神经网络单元；

所述获取图片单元，用于获取检测图片；

所述火焰检测网络单元，用于将多张检测图片输入到火焰检测网络中，得到在所述检测图片上用候选框圈出的疑似火焰区域；将所述检测图片按照所述候选框进行剪裁，并变形为尺寸相同的疑似火焰图片；其中，所述火焰检测网络是在候选区提取层加入自行变卷积层的两阶段级联卷积网络；

所述3D卷积网络单元，用于将所述疑似火焰图片输入到3D卷积网络中，提取所述疑似火焰图片的空间特征和低阶动态特征；

所述循环神经网络单元，用于将所述空间特征和低阶动态特征输入到循环神经网络中，提取到所述疑似火焰图片的高阶动态特征，并判断出所述疑似火焰图片中是否具有火焰；

所述候选框的获得方式，包括：

在所述火焰检测网络中，将所述检测图片通过第一自行变卷积层计算得到预候选框的中心点的概率；将所述检测图片通过第二自行变卷积层计算得到所述预候选框的高和宽的值；其中，所述第一自行变卷积层的监督信号为所述预候选框的中心点的位置；所述第二自行变卷积层的监督信号为所述预候选框的高和宽的偏移量；

当所述预候选框的中心点的概率大于阈值时，将大于阈值的预候选框的中心点与高和宽的值进行匹配，确定为所述候选框。

Images