CN112633231B - 一种火灾识别的方法和装置 - Google Patents

Abstract

本发明实施例提供了一种火灾识别的方法和装置，所述方法包括：获取采集的火灾图片数据；对所述火灾图片数据进行火灾信息标注，得到标注数据集；创建用于进行火灾图片识别的第一网络模型，并采用所述标注数据集，对所述第一网络模型进行训练；获取双目摄像头采集的深度图像；采用所述第一网络模型，对所述深度图像进行火灾识别。通过本发明实施例，实现了对火灾识别的优化，提升了识别的准确性。

Description

一种火灾识别的方法和装置

技术领域

本发明涉及图像识别领域，特别是涉及一种火灾识别的方法和装置。

背景技术

为更快速、精确地预警特定灾害，提升城市防灾减灾能力，尽可能地保障人民群众的生命和财产安全，针对图像帧或者视频识别的烟雾火焰检测技术一直是安防领域研究的重点方向，现在有智能安防摄像头已经内嵌烟雾火焰检测算法，但提高检测准确率，降低误报率是该领域不懈努力的方向。

烟雾火焰检测主要任务是对监控获取的图像帧或者视频判断是否存在烟雾或者火焰并同时给出烟雾和火焰实例的图像坐标位置。烟雾是火灾的早期征兆，火焰是火灾的直接征兆，对于两者的同时检测并加以人工策略能够对预防发现火灾做出及时预警。

早期城市住宅楼宇采用烟雾传感器进行火灾检测，但传感器需要烟气分子或者温度到达设定阈值才能做出报警，时间较长，难以做到高精度，低误报实时预警火灾的发生，并且使用传统的烟雾火灾检测器无法联网广播，改造成本高。图像技术凭借其非接触性以及快速灵敏的处理速度成为预警火灾的首选，传统图像处理技术普遍将火灾烟雾火焰识别任务建模为目标检测任务，早期国内研究人员均采用传统的目标检测算法，其流程主要为使用滑动窗口或者其他的区域提名方法列举所有可能含烟雾或火焰的图像区域，然后人工设计并提取能表征烟雾或者火焰的图像特征，接着对所有提名区域进行分类识别，最后根据一定规则合并包含烟雾或者火焰的图像区域得到最后的检测识别结果。

传统火灾烟雾火焰识别方法在公开数据集上达到了较高精度，近年来深度学习技术的蓬勃发展也促使研究人员将卷积神经网络等技术引入到火灾烟雾火焰识别中，识别精度进一步提升。然而公开数据集的检测场景多为人工模拟或者简单场景，因此针对复杂的场景还有一定局限性，并且随着烟雾火焰识别技术的快速发展和产品落地让人们对烟雾火灾识别领域提出了更高的要求，如能否估计烟雾弥漫面积或过火面积，能否应用于野外远距离监控场景等。

发明内容

鉴于上述问题，提出了以便提供克服上述问题或者至少部分地解决上述问题的一种火灾识别的方法和装置，包括：

一种火灾识别的方法，所述方法包括：

获取采集的火灾图片数据；

对所述火灾图片数据进行火灾信息标注，得到标注数据集；

创建用于进行火灾图片识别的第一网络模型，并采用所述标注数据集，对所述第一网络模型进行训练；

获取双目摄像头采集的深度图像；

采用所述第一网络模型，对所述深度图像进行火灾识别。

可选地，还包括：

创建用于火灾烟雾颜色分类的第二网络模型，并以预置的损失函数，对所述第二网络模型进行训练；

所述采用所述第一网络模型，对所述深度图像进行火灾识别，包括：

结合所述第一网络模型和所述第二网络模型，对所述深度图像进行火灾识别。

可选地，所述采用所述标注数据集，对所述第一网络模型进行训练，包括：

将所述标注数据集划分为训练集、验证集，以及测试集；

采用所述训练集，对所述第一网络模型进行训练。

可选地，在所述采用所述训练集，对所述第一网络模型进行训练之前，还包括：

对所述训练集进行数据扩充。

可选地，所述标注的火灾信息包括以下任一项或多项：

每个目标实例的检测定位框、烟雾或火焰标签、烟雾颜色标签、分割标签。

一种火灾识别的装置，所述装置包括：

火灾图片数据获取模块，用于获取采集的火灾图片数据；

标注数据集得到模块，用于对所述火灾图片数据进行火灾信息标注，得到标注数据集；

第一网络模型训练模块，用于创建用于进行火灾图片识别的第一网络模型，并采用所述标注数据集，对所述第一网络模型进行训练；

深度图像获取模块，用于获取双目摄像头采集的深度图像；

火灾识别模块，用于采用所述第一网络模型，对所述深度图像进行火灾识别。

可选地，还包括：

第二网络模型训练模块，用于创建用于火灾烟雾颜色分类的第二网络模型，并以预置的损失函数，对所述第二网络模型进行训练；

所述火灾识别模块，包括：

结合模型识别子模块，用于结合所述第一网络模型和所述第二网络模型，对所述深度图像进行火灾识别。

可选地，所述第一网络模型训练模块，包括：

标注数据集划分子模块，用于将所述标注数据集划分为训练集、验证集，以及测试集；

训练集训练子模块，用于采用所述训练集，对所述第一网络模型进行训练。

可选地，还包括：

训练集扩充模块，用于对所述训练集进行数据扩充。

可选地，所述标注的火灾信息包括以下任一项或多项：

每个目标实例的检测定位框、烟雾或火焰标签、烟雾颜色标签、分割标签。

本发明实施例具有以下优点：

在本发明实施例中，通过获取采集的火灾图片数据；对所述火灾图片数据进行火灾信息标注，得到标注数据集；创建用于进行火灾图片识别的第一网络模型，并采用所述标注数据集，对所述第一网络模型进行训练；获取双目摄像头采集的深度图像；采用所述第一网络模型，对所述深度图像进行火灾识别，实现了对火灾识别的优化，提升了识别的准确性。

附图说明

为了更清楚地说明本发明的技术方案，下面将对本发明的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种火灾识别的方法的步骤流程图；

图2是本发明一实施例提供的一种实例流程的示意图；

图3是本发明一实施例提供的一种网络模型的示意图；

图4是本发明一实施例提供的另一种网络模型的示意图；

图5是本发明一实施例提供的一种火灾识别的装置的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在实际应用中，基于卷积神经网络的烟雾火焰识别方法现在主要分为烟雾火焰检测方法和烟雾火焰分割方法。

烟雾火焰检测：烟雾火焰检测是目标检测领域的子任务，即当目标是烟雾和火焰时的目标检测，该方法长期占据主流的烟雾火焰识别的研究方向，传统算法时期和行人检测等领域相同，都采用多阶段设计的算法，主要包括区域提名，手工设计特征，分类器分类识别烟雾图像，后处理合并提名区域等步骤。卷积神经网络的引入则改变了烟雾火焰检测算法的设计思路，基于卷积神经网络提出的一系列端到端的目标检测网络如Yolo系列的方法使得烟雾火焰检测可以端到端设计，且对应的特征不需要手动设计，直接利用样本和损失函数优化卷积神经网络得到。

烟雾火焰检测方法样本标注难度较小，可以完成实时高精度检测，训练迭代速度快，但是该方法较少有人关注遮挡问题，并且该方法仅能提供烟雾或者火焰的检测框以及置信度，无法提供关于火灾的更多的辅助信息。

烟雾火焰分割：烟雾火焰分割是目标分割领域的子任务，即当目标是烟雾和火焰时的目标分割，该方法也吸引了部分研究者不断推陈出新，传统算法时期烟雾火焰分割算法主要利用烟雾或者火焰的颜色通道的先验统计信息设计人工特征来获取烟雾火焰分割图像，也有采用显著性检测等方法进行分割的研究工作，卷积神经网络的引入则改变烟雾火焰分割算法的设计思路，基于卷积神经网络提出的一系列端到端的目标分割网络如MaskRCNN和DeepLab系列等方法使得烟雾火焰分割可以端到端设计，且对应的特征不需要手动设计，直接利用样本和损失函数优化卷积神经网络得到。

烟雾火焰分割方法标注成本较高，但是可以在烟雾火焰检测给出烟雾火焰定位的基础上提供实例级别的Mask分割结果，烟雾火焰的定位更加精准，在此基础上可进行更多火灾辅助信息的探索，但该方法同样较少人关注遮挡问题和火灾辅助信息的估计问题。

综上所述，存在以下问题：

1、现有方法仅适用于常见颜色烟雾火焰检测，存在泛化能力不足问题；本方案收集大量不同数据集样本并采用颜色增强的方式来进行数据集多样性的扩充；

2、现有方法对于遮挡问题未做过多讨论，存在遮挡漏检的问题；本方案提出了一种基于物体模板遮挡的数据增强策略，该策略主要应用于训练数据集进行数据扩充，提高网络对于遮挡情况的检测泛化能力；

3、现有方法对于火灾的辅助信息估计不够精确，仅仅给出烟雾或者火焰的检测框以及Mask不够直观；本方案设计了一种联合目标检测和图像分割的火灾烟雾火焰识别卷积神经网络来得到烟雾和火焰的位置以及实例级别的Mask，并采用颜色分类网络以及体积和位置距离估计策略来给出火灾的辅助信息预测。

基于此，本发明提出了一种联合目标检测和图像分割的火灾烟雾火焰识别方法，如图1，该方法首先收集大量火灾烟雾火焰数据集以及人工模拟的烟雾火焰数据集并对未标注的样本进行类别标注，检测框标注以及实例分割的Mask标注，接着在训练过程中采用基于颜色的增强方法以及基于物体模板遮挡的数据增强方法，然后用数据训练本专利设计的联合目标检测和图像分割的烟雾火灾识别网络(简称为)，在得到烟雾火焰的检测框以及分割Mask后，将单个检测框目标截取出来通过基于Mask的烟雾颜色分类网络得到烟雾种类，同时在可以获取深度图像的基础上，利用Mask来估计单个检测框中目标的实际体积和距离摄像头的距离，最后将火灾的所有估计信息统一输出。

通过本发明实施例，达到了以下效果：

1、解决了现有方法检测烟雾或者火焰的仅适用于常见颜色烟雾火焰检测的泛化能力不足问题；

2、解决了烟雾火焰检测中对于火灾发生地点，燃烧物种类或燃烧状况等辅助信息的估计问题；

3、解决了火灾烟雾火焰检测中干扰物遮挡导致检测性能下降的问题；

4、设计了一种联合目标检测和图像分割的火灾烟雾火焰识别卷积神经网络来得到烟雾和火焰的位置以及实例级别的Mask；

5、提出了一种基于物体模板遮挡的数据增强策略，该策略主要应用于训练数据集进行数据扩充，提高网络对于遮挡情况的检测鲁棒性；

6、实现了一种基于Mask的烟雾颜色分类网络，该网络主要对烟雾的颜色进行分类间接估计火灾的燃烧状况；

7、实现了一种基于双目摄像头的烟雾或者火焰体积估计以及着火点的大致位置估计方法。

以下对本发明实施例进行详细说明：

参照图2，示出了本发明一实施例提供的一种火灾识别的方法的步骤流程图，具体可以包括如下步骤：

步骤201，获取采集的火灾图片数据；

步骤202，对所述火灾图片数据进行火灾信息标注，得到标注数据集；

作为一示例，标注的火灾信息可以包括以下任一项或多项：

每个目标实例的检测定位框、烟雾或火焰标签、烟雾颜色标签、分割标签。

在实际应用中，火灾烟雾火焰数据集(即火灾图片数据)为D＝{S₁,S₂,S₃,…,S_N}，N为样本总数，对于数据集D中每一个样本S_i(1≤i≤N)，记每个样本S_i中的所有目标实例集合为

M_i为T_i集合的大小。对于采用标注软件Labelme进行标注可得到四类标注信息:描述每个样本S_i中M_i个目标实例的检测定位框、烟雾或者火焰标签，烟雾颜色标签，以及Mask分割标签。

其中，描述T_i中每个目标实例t_ij(1≤j≤M_i)的检测定位框Bbox_ij采用常见平行于坐标轴的物体包围框来表示，Bbox_ij采用四元组数值(x,y,w,h)来记录目标实例的中心点坐标以及包围框的长宽。

描述目标实例t_ij的烟雾或者火焰标签Class_ij，且Class_ij∈(0,1)，如果t_ij检测框内主要为烟雾则令Class_ij为0，如果为火焰则令Class_ij为1，在数据集中部分检测框内可能同时包含烟雾或者火焰，如果能判定主体直接进行标注，否则任意选择一个类别标签标注即可。

描述目标实例t_ij的烟雾颜色标签为Color_ij，且Color_ij∈(0,1,…,P-1)，其中P为烟雾颜色种类的总数目,本专利中取为4,0表示灰色烟雾，1表示白色烟雾，2表示黑色烟雾，3表示彩色烟雾，目标实例t_ij为火焰时自动忽略或者使用-1来作为区分缺省值。

描述目标实例t_ij的Mask分割标签采用多边形标注表示，记为Mask_ij。

综上通过标注可知通过Labelme获得样本S_i标注信息

而每个目标实例t_ij的标签又可以表示为L_ij＝(Bbox_ij,Class_ij,Color_ij,Mask_ij)。本步骤中Bbox_ij的标签实际上可以通过求Mask_ij标注的最小外接矩形得到，为简便本专利描述为标注获得。

步骤203，创建用于进行火灾图片识别的第一网络模型，并采用所述标注数据集，对所述第一网络模型进行训练；

在本发明一实施例中，所述采用所述标注数据集，对所述第一网络模型进行训练，可以包括如下子步骤：

将所述标注数据集划分为训练集、验证集，以及测试集；采用所述训练集，对所述第一网络模型进行训练。

在本发明一实施例中，在所述采用所述训练集，对所述第一网络模型进行训练之前，还可以包括如下步骤：

对所述训练集进行数据扩充。

在实际应用中，可以设置两个网络分别用于烟雾火焰的识别以及烟雾颜色的分类，因此对包含烟雾实例样本数据集D_S采用基于烟雾颜色标签的分层抽样方法，具体步骤为:

首先对每个样本中的所有实例的烟雾颜色标签求众数，利用众数的标签作为该图片的抽样标签，然后按抽样标签将D_S划分为(D_s0,D_s1,…,D_s(P-1)),采用分层抽样技术对每一个子数据集D_si(0≤i≤P-1)根据6:2:2对数据进行划分得到训练集

验证集

和测试集

将这些子数据集的划分集合分别合并得到训练集T_SD、验证集V_SD和测试集E_SD。对于不包含烟雾实例的样本数据集D_F直接按照6:2:2划分为训练集T_FD、验证集V_FD和测试集E_FD,将包含烟雾实例样本的数据D_S和不包含烟雾实例的样本数据集D_F中的训练集、验证集和测试集样本合并到一起得到整个数据集D的训练集T_D、验证集V_D和测试集E_D。

记联合目标检测和图像分割的火灾烟雾火焰识别网络为Network₁。对于Network₁网络的训练样本训练数据T_D采用两种数据增强策略，其主要实现步骤为：

对每个样本获得取值范围为[0,1]的随机值p₁和p₂，如果p₁>0.5，则对当前样本的所有目标实例的Mask范围内的图像进行HSV颜色增强操作，如果p₂>0.5,则对当前样本采用基于物体模板遮挡的数据增强方法。

基于物体模板遮挡的数据增强方法的主要实现方法为:

对公开数据集如ImageNet数据集随机抽样K张图片得到遮挡模板候选数据集D_H，D_H数据中如果存在Mask标注信息则不进行进一步处理，如果D_H数据集不存在Mask标注信息，则对D_H数据集中图片采用显著性分割策略或者人为标注得到的前景分割Mask作为标注信息，在得到带Mask标注信息的D_H后，在待增强的样本中任选一个目标实例t_ij，其标签L_ij＝(Bbox_ij,Class_ij,Color_ij,Mask_ij)，记Bbox_ij的面积为

在D_H中任选一个样本D_Hj，其标签可以记为L_Hj＝(Bbox_Hj,Mask_Hj)，Bbox_Hj为Mask_Hj的最小外接矩形，记Bbox_Hj的面积为

寻找一个随机数α，对Bbox_Hj的长宽放缩α倍使得

使得

对D_Hj的Bbox_ij进行截取并对其长宽放缩α倍，然后取放缩后图像的Mask区域作为遮挡模板H_ij，选择t_ij的前景Mask_ij中的随机点作为中心，以该中心和H_ij等大的区域做图像块置换，即利用H_ij遮挡目标的部分内容，此时对Mask_ij标注进行修正，即去除被遮挡部分的Mask得到修正后的标签为Mask′_ij，根据Mask′_ij寻找最小包围框可得到修正后的检测包围框Bbox′_ij。由于不同样本之间的可能会有重叠，导致H_ij遮挡其他样本内容，可同样修正对应的增强后的标签。

假设某训练样本为X，X中所有目标实例的Mask作为注意力引导标签记作MT(X)，MT(X)为X相同尺寸的三值单通道图像，其值为2的部分为火焰目标前景像素区域，其值为1的部分为烟雾目标的前景像素区域，值为0的部分为背景。记联合目标检测和图像分割的火灾烟雾火焰识别网络为Network₁，Network₁网络结构简图可如图3表示：

Network₁网络主要基于CenterNet的目标检测框架设计。先对CenterNet的网络做简要介绍：CenterNet是一种anchor-free的端到端目标检测算法，假设网络输入尺寸为W_C·H_C,基础特征网络的下采样倍数为R,其主要思路设计是认为最后负责预测的特征图上所有的点都负责预测以该点为中心存在物体的相关信息，该信息维度为

其中N_class为目标检测的类别数，反映该点存在N_class个类目标对应的概率，在本专利中取为2，N_WH为预测目标的长宽，取值为2，N_offset为目标中心取整的量化损失，取值为2，CenterNet采用8邻域分类概率最大池化以及topk分类概率目标过滤和分类概率阈值过滤等策略得到最终的目标检测结果。Network₁在CenterNet框架的上采用骨干网络提取基础网络特征，骨干网络可以选择主流常见的目标检测模型采用的网络，本专利以ResNet50为例，选择其前四个stage的作为骨干网络，选择conv2，conv3和conv4的输出来构建FPN结构。本专利对FPN结构进行简单修改，采用了多级Mask预测以及融合注意力加权的FPN结构，简称为MTFPN。MTFPN结构的实现流程为描述如下：假设FPN网络有三个层级特征图做引导注意力Mask预测任务，采用的三个层级的特征图记作FP₁,FP₂和FP₃，FP₁,FP₂和FP₃对应预测输出的语义分割Mask图分别记作AM₁,AM₂和AM₃，每个语义分割图均包含三个通道，分别对应烟雾Mask，火焰Mask以及背景Mask。AM₁,AM₂和AM₃使用MT(X)在对应层级的缩放标签图采用逐点交叉熵损失进行网络学习，使用公式可以表达如下：

上式中W_k和H_k为语义分割Mask图AM_k的宽和高，y_kij为对MT(X)做尺度缩放到AM_k尺度时在点(i,j)的one-hot标签，AM_k(i,j)为AM_k在(i,j)的三通道预测标签。假定AM₁尺寸为AM₂的一半，AM₂尺寸为AM₃的一半，则融合加权注意力Mask图FusionAM可表达如下式：

FusionAM＝ρ₁U(U(B(AM₁)))+ρ₂U(B(AM₂))+ρ₃B(AM₃)

s.t.ρ₁+ρ₂+ρ₃＝1,ρ₁≥0,ρ₂≥0,ρ₃≥0

上式中ρ₁，ρ₂和ρ₃分别为不同尺度引导注意力Mask的加权系数。U(·)为上采样操作，将不同尺寸的引导注意力Mask图变换到同一尺寸。B(·)为二值化操作，二值化阈值可设置为τ(0＜τ＜1)，由于AM_k在点(i,j)的三通道标签概率和为1，故对AM_k的背景Mask通道做二值化即可，即点(i,j)为背景的概率如果大于τ则二值化输出为0，否则为1，二值化作用为将前景语义置为1，背景语义设置为0。

在得到FusionAM后将可将该FusionAM经过广播后(重复至FP₃的通道数)和FP₃特征图做注意力加权即做逐元素相乘操作得到特征ATFP₃，对ATFP₃添加目标检测任务分支来得到网络预测的烟雾和火焰的位置和分类概率(该分支和CenterNet操作相同，不做赘述)。在得到预测的烟雾和火焰的位置后，本专利采用如下方法得到烟雾或者火焰的实例分割结果:首先将烟雾和火焰的目标实例预测结果可以记为{(c₁,Bbox₁),(c₁,Bbox₁),…,(c_n,Bbox_n)}，其中(c_i,Bbox_i)表示第i个实例的类别标签和包围框标签。对语义Mask预测图AM₃进行上采样到网络输入尺寸得到OAM₃，然后采用如下公式得到每个目标实例的Mask分割结果：

pmask_i＝CROP(OAM₃.at(c_i),Bbox_i)

上式中pmask_i为第i个实例的Mask预测结果，OAM₃.at(c_i)表示取OAM₃对应c_i标签的预测通道，CROP(·,Bbox_i)表示对输入图像用Bbox_i来截取。

步骤204，获取双目摄像头采集的深度图像；

步骤205，采用所述第一网络模型，对所述深度图像进行火灾识别。

由于双目摄像头可以获得深度图Dp，Dp为四通道的RGBD图像，容易获取相机的内参为(cx,cy,fx,fy)，cx和cy为图像中心坐标，fx和fy分别为相机在x轴和y轴的焦距。假设像素点坐标(u,v)，像素点的三维坐标为(x,y,z)，则由二维像素坐标转换为三维度坐标的公式可如下计算：

上式中d为Dp的深度通道在(u,v)处的深度值，μ为缩放因子。通过Network₁网络可以得到监控画面中的每个目标实例的Mask分割图，对Mask分割图中的像素做三维点坐标转换可以得到目标实例的三维点云估计，对该三维点云求最小包围框并利用立方体的体积公式即可得到烟雾或者火焰的三维体积估计。对每个目标实例的Mask分割图中对应的像素取其深度值做坐标转换可以得到该点z坐标，对Mask范围内所有的点的z坐标求取距离直方图，直方图分成ω个bin，去除最大值所在的bin和最小值所在的bin，对剩下的bin的所有z坐标求平均z值，用平均值可以估计烟雾或者火焰的距离摄像头的距离。

在本发明一实施例中，还可以包括如下步骤：

创建用于火灾烟雾颜色分类的第二网络模型，并以预置的损失函数，对所述第二网络模型进行训练；

相应地，步骤205可以包括如下子步骤：

结合所述第一网络模型和所述第二网络模型，对所述深度图像进行火灾识别。

在实际应用中，记烟雾颜色分类网络为Network₂，该网络结构可如图4所示。

Network₂的训练集由两部分组成:数据集T_SD中所有烟雾实例的截取图数据集T_SSD和带伪Mask标签的数据集T_PSD。T_PSD产生的流程如下：将数据集T_SD采用Network₁进行预测推断得到预测烟雾Mask标签作为伪烟雾分割标签，对伪烟雾分割标签和原始数据集T_SD的真实烟雾分割标签求IOU重叠度，如果IOU＞λ(λ＞0.7)，λ为控制样本质量的因子，所有满足条件的伪烟雾分割对应的图片中实例截取图的组成的数据集即为T_PSD，其Mask分割标签即为伪烟雾分割标签，烟雾颜色类别标签为每个烟雾实例在原始输入图中的真实颜色标签。

对第一部分训练数据集T_SSD中的样本可采用随机中心截取或随机旋转的数据增强方式，对第二部分训练数据集T_PSD则不做任何数据增强处理，由于输入层常采用固定输入尺寸以保证通过基础网络提取特征时不会因为下采样结果产生数值溢出问题，假设网络的输入固定为W×H，本专利首先利用训练集标签Mask取图像前景，背景的值全部设置(0,0,0)得到前景训练样本图，然后前景训练样本图做尺度缩放以及归一化操作得到网络的固定输入W×H。Network₂网络的基础网络可以选择任意将为常见的分类网络，以Se-ResNeXt50为例(该网络较为常见，为领域通用知识，不再赘述)，选取该网络五个stage作为基础网络提取通用特征，接着采用平均池化得到定长向量，再接一层全连接层得到特征向量嵌入输出，最后使用分类识别领域常用的损失AMSoftmax损失做反向传播求解网络参数(该损失较为常见为领域通用知识，不再赘述)，本专利的预测分类类别为4。

对某个被Network₁网络预测为烟雾的样本区域经过预测的Mask分割结果取前景图像并经过尺寸变换归一化后输入Network₂网络预测输出结果为一个长度为4，各元素数值和为1的向量，对向量取最大值得到位置对应的类别，根据安防经验可以设定对应的提示信息：本专利采用常见烟雾颜色种类作为举例说明，0表示灰色烟雾，1表示白色烟雾，2表示黑色烟雾，3表示彩色烟雾。就一般火灾而言，灰色烟雾极为可能是闷烧或者高温待燃烧状态，白色烟雾表示完全燃烧后带有大量水蒸气，1表示未充分燃烧产生的小分子碳，彩色烟雾除表演的彩烟外极有可能是具有强烈毒性的化学物质燃烧，如果能在估计火灾烟雾和火焰的画面位置的同时给出相关的颜色估计信息和先验的背景知识则能提高决策的速度，并给与人们更多的信息提示，便于人们采取正确的应对措施。

需要说明的是，以下对相关术语进行解释：

HSV颜色增强：假设输入样本三通道RGB图片记为F(x,y)，HSV颜色增强则表示对F(x,y)在HSV空间内进行加减色处理，然后反变换回RGB彩色空间，作为增强后的图片，处理公式如下：

上述公式中，Hue(i,j),Saturation(i,j),Value(i,j)分别为H，S，V三个分通道在某一像素点的值，λ,β,γ分别为H通道的增减色变化值，S通道增减色调整因子，H通道增减色调整因子，这三个值在数据增强中是随机生成，然后分别对相应通道进行增减色调整，然后转换为RGB图像，做为最后增强图像；

Mask IOU:

假设存在两个相同尺寸单通道二值Mask分割图M₁和M₂，假设其宽和高分别为W和H,则Mask IOU可表示如下：

上式实际上和常见的矩形框的IOU定义类似，表示了两个Mask的重叠部分面积比上并区域的面积。

AMSoftmax:

定义式表达如下：

上式中n为样本数目，s为尺度因子，m为角度Margine，

表示第i个权重向量，f_i表示输入特征向量。

在本发明实施例中，通过获取采集的火灾图片数据；对所述火灾图片数据进行火灾信息标注，得到标注数据集；创建用于进行火灾图片识别的第一网络模型，并采用所述标注数据集，对所述第一网络模型进行训练；获取双目摄像头采集的深度图像；采用所述第一网络模型，对所述深度图像进行火灾识别，实现了对火灾识别的优化，提升了识别的准确性。

具体而言，本发明实施例具有以下效果

1、部署灵活，方法可解耦:本专利提出的方法根据实际需求解耦输出，如仅需要烟雾检测功能，则可以对所有其他算法步骤如烟雾火焰分割，烟雾颜色分类以及火焰类别预测进行抑制去除，仅部署具有烟雾检测功能的网络部分即可；

2、应用范围广泛：本专利提出方法可用于检测任何种类的烟雾，对于光照变换，背景变换具有较强的鲁棒性；

3、鲁棒性强：本专利方法能够在遮挡的情况下仍然较好的检测和定位烟雾和火焰；

4、可扩展性：本专利方法配合网络可以实现实时APP火灾详细信息估计推送以及实时画面传输等功能。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图5，示出了本发明一实施例提供的一种火灾识别的装置的结构示意图，具体可以包括如下模块：

火灾图片数据获取模块501，用于获取采集的火灾图片数据；

标注数据集得到模块502，用于对所述火灾图片数据进行火灾信息标注，得到标注数据集；

第一网络模型训练模块503，用于创建用于进行火灾图片识别的第一网络模型，并采用所述标注数据集，对所述第一网络模型进行训练；

深度图像获取模块504，用于获取双目摄像头采集的深度图像；

火灾识别模块505，用于采用所述第一网络模型，对所述深度图像进行火灾识别。

在本发明一实施例中，还包括：

第二网络模型训练模块，用于创建用于火灾烟雾颜色分类的第二网络模型，并以预置的损失函数，对所述第二网络模型进行训练；

所述火灾识别模块，包括：

结合模型识别子模块，用于结合所述第一网络模型和所述第二网络模型，对所述深度图像进行火灾识别。

在本发明一实施例中，所述第一网络模型训练模块，包括：

标注数据集划分子模块，用于将所述标注数据集划分为训练集、验证集，以及测试集；

训练集训练子模块，用于采用所述训练集，对所述第一网络模型进行训练。

在本发明一实施例中，还包括：

训练集扩充模块，用于对所述训练集进行数据扩充。

在本发明一实施例中，所述标注的火灾信息包括以下任一项或多项：

每个目标实例的检测定位框、烟雾或火焰标签、烟雾颜色标签、分割标签。

本发明一实施例还提供了一种电子设备，可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上火灾识别的方法。

本发明一实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如上火灾识别的方法。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对所提供的一种火灾识别的方法和装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种火灾识别的方法，其特征在于，所述方法包括：

获取采集的火灾图片数据；

对所述火灾图片数据进行火灾信息标注，得到标注数据集；

创建用于进行火灾图片识别的第一网络模型，并采用所述标注数据集，对所述第一网络模型进行训练；

获取双目摄像头采集的深度图像；

采用所述第一网络模型，对所述深度图像进行火灾识别；

所述采用所述标注数据集，对所述第一网络模型进行训练，包括：

将所述标注数据集划分为训练集、验证集，以及测试集；

采用所述训练集，对所述第一网络模型进行训练；

在所述采用所述训练集，对所述第一网络模型进行训练之前，还包括：

针对所述训练集中的样本，获得取值范围为[0,1]的随机值p₁和p₂，如果p₁>0.5，则对当前样本的所有目标实例的Mask范围内的图像进行HSV颜色增强操作，如果p₂>0.5，则对当前样本进行基于物体模板遮挡的数据增强；

其中，所述第一网络模型为记联合目标检测和图像分割的火灾烟雾火焰识别网络，记为Network₁，Network₁网络主要基于CenterNet的目标检测框架设计，Network₁在CenterNet框架的上采用骨干网络提取基础网络特征，采用ResNet50的前四个stage的作为骨干网络，采用conv2，conv3和conv4的输出来构建FPN结构，对FPN结构进行修改，采用了多级Mask预测以及融合注意力加权的FPN结构，即为MTFPN；

MTFPN结构的实现流程为描述如下：假设FPN网络有三个层级特征图做引导注意力Mask预测任务，采用的三个层级的特征图记作FP₁,FP₂和FP₃，FP₁,FP₂和FP₃对应预测输出的语义分割Mask图分别记作AM₁,AM₂和AM₃，每个语义分割图均包含三个通道，分别对应烟雾Mask，火焰Mask以及背景Mask，AM₁,AM₂和AM₃使用MT(X)在对应层级的缩放标签图采用逐点交叉熵损失进行网络学习，使用公式表达如下：

其中，W_k和H_k为语义分割Mask图AM_k的宽和高，y_kij为对MT(X)做尺度缩放到AM_k尺度时在点(i,j)的one-hot标签，AM_k(i,j)为AM_k在(i,j)的三通道预测标签；假定AM₁尺寸为AM₂的一半，AM₂尺寸为AM₃的一半，则融合加权注意力Mask图FusionAM表达如下式：

FusionAM＝ρ₁U(U(B(AM₁)))+ρ₂U(B(AM₂))+ρ₃B(AM₃)

s.t.ρ₁+ρ₂+ρ₃＝1,ρ₁≥0,ρ₂≥0,ρ₃≥0

其中，ρ₁，ρ₂和ρ₃分别为不同尺度引导注意力Mask的加权系数；U(·)为上采样操作，将不同尺寸的引导注意力Mask图变换到同一尺寸；B(·)为二值化操作，二值化阈值设置为τ(0<τ<1)，由于AM_k在点(i,j)的三通道标签概率和为1，故对AM_k的背景Mask通道做二值化即可，即点(i,j)为背景的概率如果大于τ则二值化输出为0，否则为1，二值化作用为将前景语义置为1，背景语义设置为0；

在得到FusionAM后将该FusionAM经过广播后和FP₃特征图做注意力加权即做逐元素相乘操作得到特征ATFP₃，对ATFP₃添加目标检测任务分支来得到网络预测的烟雾和火焰的位置和分类概率，该分支和CenterNet操作相同；在得到预测的烟雾和火焰的位置后，采用如下方法得到烟雾或者火焰的实例分割结果:首先将烟雾和火焰的目标实例预测结果记为{(c₁,Bbox₁),(c₁,Bbox₁),…,(c_n,Bbox_n)}，其中(c_i,Bbox_i)表示第i个实例的类别标签和包围框标签；对语义Mask预测图AM₃进行上采样到网络输入尺寸得到OAM₃，然后采用如下公式得到每个目标实例的Mask分割结果：

pmask_i＝CROP(OAM₃.at(c_i),Bbox_i)

上式中pmask_i为第i个实例的Mask预测结果，OAM₃.at(c_i)表示取OAM₃对应c_i标签的预测通道，CROP(·,Bbox_i)表示对输入图像用Bbox_i来截取；

所述采用所述第一网络模型，对所述深度图像进行火灾识别，包括：

通过第一网络模型得到深度图像中的每个目标实例的Mask分割图，对Mask分割图中的像素做三维点坐标转换得到目标实例的三维点云估计，对该三维点云求最小包围框并利用立方体的体积公式即可得到烟雾或者火焰的三维体积估计；对每个目标实例的Mask分割图中对应的像素取其深度值做坐标转换得到该点z坐标，对Mask范围内所有的点的z坐标求取距离直方图，直方图分成ω个bin，去除最大值所在的bin和最小值所在的bin，对剩下的bin的所有z坐标求平均z值，用平均值估计烟雾或者火焰的距离摄像头的距离。

2.根据权利要求1所述的方法，其特征在于，还包括：

创建用于火灾烟雾颜色分类的第二网络模型，并以预置的损失函数，对所述第二网络模型进行训练；

所述采用所述第一网络模型，对所述深度图像进行火灾识别，包括：

结合所述第一网络模型和所述第二网络模型，对所述深度图像进行火灾识别。

3.根据权利要求1所述的方法，其特征在于，在所述采用所述训练集，对所述第一网络模型进行训练之前，还包括：

对所述训练集进行数据扩充。

4.根据权利要求1所述的方法，其特征在于，所述标注的火灾信息包括以下任一项或多项：

每个目标实例的检测定位框、烟雾或火焰标签、烟雾颜色标签、分割标签。

5.一种火灾识别的装置，其特征在于，所述装置包括：

火灾图片数据获取模块，用于获取采集的火灾图片数据；

标注数据集得到模块，用于对所述火灾图片数据进行火灾信息标注，得到标注数据集；

第一网络模型训练模块，用于创建用于进行火灾图片识别的第一网络模型，并采用所述标注数据集，对所述第一网络模型进行训练；

深度图像获取模块，用于获取双目摄像头采集的深度图像；

火灾识别模块，用于采用所述第一网络模型，对所述深度图像进行火灾识别；

所述第一网络模型训练模块，包括：

标注数据集划分子模块，用于将所述标注数据集划分为训练集、验证集，以及测试集；

训练集训练子模块，用于采用所述训练集，对所述第一网络模型进行训练；

所述装置还用于，在所述采用所述训练集，对所述第一网络模型进行训练之前，针对所述训练集中的样本，获得取值范围为[0,1]的随机值p₁和p₂，如果p₁>0.5，则对当前样本的所有目标实例的Mask范围内的图像进行HSV颜色增强操作，如果p₂>0.5，则对当前样本进行基于物体模板遮挡的数据增强；

其中，所述第一网络模型为记联合目标检测和图像分割的火灾烟雾火焰识别网络，记为Network₁，Network₁网络主要基于CenterNet的目标检测框架设计，Network₁在CenterNet框架的上采用骨干网络提取基础网络特征，采用ResNet50的前四个stage的作为骨干网络，采用conv2，conv3和conv4的输出来构建FPN结构，对FPN结构进行修改，采用了多级Mask预测以及融合注意力加权的FPN结构，即为MTFPN；

MTFPN结构的实现流程为描述如下：假设FPN网络有三个层级特征图做引导注意力Mask预测任务，采用的三个层级的特征图记作FP₁,FP₂和FP₃，FP₁,FP₂和FP₃对应预测输出的语义分割Mask图分别记作AM₁,AM₂和AM₃，每个语义分割图均包含三个通道，分别对应烟雾Mask，火焰Mask以及背景Mask，AM₁,AM₂和AM₃使用MT(X)在对应层级的缩放标签图采用逐点交叉熵损失进行网络学习，使用公式表达如下：

其中，W_k和H_k为语义分割Mask图AM_k的宽和高，y_kij为对MT(X)做尺度缩放到AM_k尺度时在点(i,j)的one-hot标签，AM_k(i,j)为AM_k在(i,j)的三通道预测标签；假定AM₁尺寸为AM₂的一半，AM₂尺寸为AM₃的一半，则融合加权注意力Mask图FusionAM表达如下式：

FusionAM＝ρ₁U(U(B(AM₁)))+ρ₂U(B(AM₂))+ρ₃B(AM₃)

s.t.ρ₁+ρ₂+ρ₃＝1,ρ₁≥0,ρ₂≥0,ρ₃≥0

其中，ρ₁，ρ₂和ρ₃分别为不同尺度引导注意力Mask的加权系数；U(·)为上采样操作，将不同尺寸的引导注意力Mask图变换到同一尺寸；B(·)为二值化操作，二值化阈值设置为τ(0<τ<1)，由于AM_k在点(i,j)的三通道标签概率和为1，故对AM_k的背景Mask通道做二值化即可，即点(i,j)为背景的概率如果大于τ则二值化输出为0，否则为1，二值化作用为将前景语义置为1，背景语义设置为0；

在得到FusionAM后将该FusionAM经过广播后和FP₃特征图做注意力加权即做逐元素相乘操作得到特征ATFP₃，对ATFP₃添加目标检测任务分支来得到网络预测的烟雾和火焰的位置和分类概率，该分支和CenterNet操作相同；在得到预测的烟雾和火焰的位置后，采用如下方法得到烟雾或者火焰的实例分割结果:首先将烟雾和火焰的目标实例预测结果记为{(c₁,Bbox₁),(c₁,Bbox₁),…,(c_n,Bbox_n)}，其中(c_i,Bbox_i)表示第i个实例的类别标签和包围框标签；对语义Mask预测图AM₃进行上采样到网络输入尺寸得到OAM₃，然后采用如下公式得到每个目标实例的Mask分割结果：

pmask_i＝CROP(OAM₃.at(c_i),Bbox_i)

上式中pmask_i为第i个实例的Mask预测结果，OAM₃.at(c_i)表示取OAM₃对应c_i标签的预测通道，CROP(·,Bbox_i)表示对输入图像用Bbox_i来截取；

所述采用所述第一网络模型，对所述深度图像进行火灾识别，包括：

通过第一网络模型得到深度图像中的每个目标实例的Mask分割图，对Mask分割图中的像素做三维点坐标转换得到目标实例的三维点云估计，对该三维点云求最小包围框并利用立方体的体积公式即可得到烟雾或者火焰的三维体积估计；对每个目标实例的Mask分割图中对应的像素取其深度值做坐标转换得到该点z坐标，对Mask范围内所有的点的z坐标求取距离直方图，直方图分成ω个bin，去除最大值所在的bin和最小值所在的bin，对剩下的bin的所有z坐标求平均z值，用平均值估计烟雾或者火焰的距离摄像头的距离。

6.根据权利要求5所述的装置，其特征在于，还包括：

第二网络模型训练模块，用于创建用于火灾烟雾颜色分类的第二网络模型，并以预置的损失函数，对所述第二网络模型进行训练；

所述火灾识别模块，包括：

结合模型识别子模块，用于结合所述第一网络模型和所述第二网络模型，对所述深度图像进行火灾识别。

7.根据权利要求5所述的装置，其特征在于，还包括：

训练集扩充模块，用于对所述训练集进行数据扩充。

8.根据权利要求5所述的装置，其特征在于，所述标注的火灾信息包括以下任一项或多项：

每个目标实例的检测定位框、烟雾或火焰标签、烟雾颜色标签、分割标签。

Images