CN115393660B - 基于弱监督协同稀疏关系排名机制的停车场火灾检测方法 - Google Patents

Abstract

本发明属于火灾检测技术领域，涉及一种基于弱监督协同稀疏关系排名机制的停车场火灾检测方法，先构建火灾检测数据集，通过基于双流分类网络类激活映射机制生成停车场火灾位置粗定位，再引入基于稀疏关系排名的协同学习机制，将火灾区域建模为一致性信息，通过阈值化分割操作将前景区域以加权的方式增强火灾区域，并结合CRF分割算法可以将火灾区域精细化，然后基于精细化的结果训练火灾分割网络，分割网络结果作用到火灾分类网络，通过知识蒸馏的方式将二者结果迭代提升，同时基于分割结果的面积计算火灾的等级，不仅可以用在停车场火灾检测领域，对于其他数据集匮乏需要采用弱监督方式提升精度的领域同样适用。

Description

基于弱监督协同稀疏关系排名机制的停车场火灾检测方法

技术领域

本发明属于火灾检测技术领域，尤其涉及一种基于弱监督协同稀疏关系排名机制的停车场火灾检测方法。

背景技术

随着经济的发展，催生了家庭轿车快速发展，而停车场的建设显得至关重要，尤其是停车场的安全问题，因为，大型停车场车辆数目庞大，如果因为火灾导致车辆大面积损毁，将会导致巨额的财产损失，甚至危及生命。

目前对于停车场火灾的预警主要采用传感器采集数据的方式，但是传感器非常容易收到周围环境的影响而出现误报，甚至在设置报警器的时候，因为设置条件苛刻，反而导致警报预测失效，这显然不能满足对于停车场这种安全预警需求高的场所，因此，基于计算机视觉算法的火灾预警系统不断被提出，而且由于其不需要布置其他器件，仅仅需要摄像头即可实现火灾监控，取得了非常好的预测效果。

现在虽然有火灾预测方面的工作试图解决火灾预测问题，但是这些工作的模型往往基于数据驱动，这种方式虽然能带来高精度，但是网络的泛化性能低，在新场景出现的时候，因为没有在相应的数据上拟合，精度会出现大幅度下降，而对于停车场火灾预测来说，精度下降将会带来无法挽回的损失。因此，亟需一种高精度的火灾预测方法。

发明内容

本发明的目的在于克服现有技术存在的缺点，设计提供一种基于弱监督协同稀疏关系排名机制的停车场火灾检测方法。用来解决目前火灾检测依靠物理传感器元器件检测中存在的不可靠问题，以及基于视觉火焰检测方法需要大量数据训练，且模型泛化性不强，且只能预测火焰位置，无法对火焰的形状做出预测的问题。

为实现上述目的，本发明先构建火灾检测数据集，通过基于双流分类网络类激活映射机制生成停车场火灾位置粗定位，再引入基于稀疏关系排名的协同学习机制，将火灾区域建模为一致性信息，通过阈值化分割操作将前景区域以加权的方式增强火灾区域，并结合CRF分割算法可以将火灾区域精细化，然后基于精细化的结果训练火灾分割网络，分割网络结果作用到火灾分类网络，通过知识蒸馏的方式将二者结果迭代提升，同时基于分割结果的面积计算火灾的等级，具体包括如下步骤：

（1）构建火灾检测数据集：

收集停车场火灾时图片构建火灾检测数据集，将图片分为有火灾和无火灾两类，同时将火灾检测数据集划分为训练集，验证集和测试集三个子数据集；

（2）火灾位置粗定位：

基于CAM机制，将图片类别信息转化为定位信息的类别激活图，通过这种方式将停车场中火灾位置粗定位；

（3）基于双流协同学习机制的关系建模：

根据步骤（2）得到的火灾位置粗定位，基于双流分类网络，采用双流协同学习机制建模双流网络之间的互补关系，进一步精细化火灾位置粗定位；

（4） 双流协同学习机制稀疏关系排名：

根据步骤（3）精细化后的停车场火灾粗定位信息，采用关系矩阵稀疏化的方式，即在关系矩阵的基础上引入关系排名，然后基于关系排名，挑选特征值最高的K个为一致性程度更高的信息，将火灾区域建模为一致性信息；

（5）基于特征学习阈值化的火灾区域分割：

将步骤（4）输出的结果输入阈值化分割模块，将火灾的定位信息转化为火灾的区域信息，以加权的方式增强火灾区域，得到停车场火灾的精确分割区域；

（6）基于知识蒸馏网络的火灾预测网络迭代精细化：

基于步骤（5）得到的精确分割区域训练端到端的停车场火灾分割网络，将停车场火灾分割网络的结果作用到火灾分类网络，通过知识蒸馏的方式将二者结果迭代提升；

（7）基于火灾分割面积的灾情程度预测：

根据步骤（6）输出的火灾分割信息获取火灾的面积，将火灾的面积划分为不同的等级，火灾面积的大小和火灾的等级对应，由此预测火灾灾情程度；

（8）停车场火灾预测网络训练：

将火灾检测数据集中的训练集图片作为火灾分类网络的输入并预测是否发生火灾，再反向传播误差，对分类网络进行训练；同时将精细化的分割结果作为伪标签训练分割网络，并反向传播误差，对分割网络进行训练，然后将分割网络的输出作为分类网络的权重信息，训练分类网络，二者同时训练并同时提升，得到训练好的停车场火灾预测网络；

（9）停车场火灾预测网络测试：

将火灾检测数据集中的测试集图片输入停车场火灾预测网络，输出停车场火灾检测结果，基于检测结果计算火灾面积，确定火灾等级，并根据火灾等级指定救火方案。

作为本发明的进一步技术方案，步骤（2）的具体过程为：将两张图片I₁，I₂输入到深 度学习网络，将网络侧输出特征

通过下采样和上采样操作（

）特征聚合：

CAM机制定义如下：

其中， Cov代表卷积操作，softmax代表归一化操作，FC代表全连接层，

代表特 征层从2到4，GAP代表全局池化层。

作为本发明的进一步技术方案，步骤（3）的建模结果为：

,

其中，

和

分别为双流网络特征索引为i，j层的特征，

为矩阵乘法，

为 归一化函数。

作为本发明的进一步技术方案，步骤（4）所述关系矩阵为：

,

其中，Rank为排序函数，能够根据特征中数值排序，

为获取排序后k个数目的 值。

作为本发明的进一步技术方案，步骤（5）得到的停车场火灾精确分割区域为：

,

其中，

为对角矩阵，

和

是网络层学习的权重；Seg的定义如下，

其中，Cov代表卷积操作，Mul代表矩阵乘法，

代表惩罚因子，Tho代标阈值化操作， CP代表基于通道的池化操作。

与现有技术相比，本发明基于弱监督火灾分类和火焰分割网络，通过类别激活映射定位火灾区域，并通过双流网络输出特征协同稀疏学习机制互相提升分类精度，而协同学习中引入双流稀疏关系排名，以增强数据间一致性，同时，基于分割结果权重提升分类精度，二者以知识蒸馏的方式互相促进，同时基于分割结果面积预测火灾等级，不仅可以用在停车场火灾检测领域，对于其他数据集匮乏需要采用弱监督方式提升精度的领域同样适用，尤其是需要提升分类分割精度的领域。

附图说明

图1为本发明所述协同稀疏关系排名机制网络结构图。

图2为本发明所述停车场火灾检测网络结构图。

图3为本发明实现停车场火灾检测的流程框图。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

实施例：

本实施例采用如图1、2所示的网络结构和图3所示的流程实现停车场火灾检测，具体实施如下步骤：

（1）构建火灾检测数据集

收集停车场火灾时图片，因目前数据集匮乏，本实施例基于火灾数据集，采用贴图的方式贴到停车场数据集中图片上，收集好停车场火灾图片后，将图片分为两类，即有火灾（设置为类别1）和无火灾（设置为类别0），同时，将火灾图片数据集划分为三个子数据集，训练集，验证集和测试集；

（2）火灾位置粗定位

利用是否发生火灾的类别标签定位火灾的位置，采用类别激活映射（Class Activation Mapping）将类别信息转化为定位信息的类别激活图，通过这种方式将停车场 中火灾位置L（L为火灾区域）定位出来，首先，将两张图片I₁，I₂输入到深度学习网络，将网络 侧输出特征

，通过下采样和上采样操作（

）特征聚合：

CAM机制定义如下：

其中， Cov代表卷积操作，softmax代表归一化操作，FC代表全连接层，

代表特 征层从2到4，GAP代表全局池化层；

（3）基于双流协同学习机制的关系建模

通过类别激活映射虽然能够得到火灾的大体位置信息，都是这种位置信息非常粗糙，甚至在复杂情况的停车场出现定位失败，尤其是在出现车辆阻挡的时候完全失效，因此，采用双流网络充分发挥网络内部优势和网络间不同流间的互补优势，双流协同学习机制建模双流网络之间的互补关系，充分挖掘数据集中火灾区域之间的潜在着火机制，从而有助于更加精确的定位火灾区域 ：

,

其中，

和

分别为双流网络特征索引为i，j层的特征，

为矩阵乘法，

为 归一化函数；

（4） 双流协同学习机制稀疏关系排名

步骤（3）中双流网络之间的关系能充分挖掘，但是，双流网络中一致性区域即火灾区域可能存在空间错位，导致火灾区域一致性降低，从而关系矩阵存在噪声，基于此，本实施例采用了关系矩阵稀疏化的措施，即在关系矩阵的基础上，引入关系排名，然后基于关系排名，挑选特征值最高的K个为一致性程度更高的信息，既能够增强网络泛化性能，又能够避免噪声信息的同时增强一致性信息，而稀疏化能够极大的避免网络过拟合：

,

其中，Rank为排序函数，能够根据特征中数值排序。

为获取排序后k个数目的 值，通过这种方式获得的关系矩阵即为稀疏矩阵，这种方式不仅能够将噪声信息过滤，同时 能够起到防止网络过拟合的作用；

（5）基于特征学习阈值化的火灾区域分割

步骤（4）能很好的定位火灾分割区域，但是，其生成的火灾定位区域为最具判别性的区域，无法直接用来分割，火灾分割的区域应尽可能的覆盖到所有的火灾区域，在步骤（4）输出的结果上，设计阈值化分割模块，将火灾的定位信息转化为火灾的区域信息，从而挖掘潜在的火灾区域：

,

其中，

为对角矩阵，

和

是网络层学习的权重，Seg的定义如下，

其中，Cov代表卷积操作，Mul代表矩阵乘法，

代表惩罚因子，Tho代标阈值化操作， CP代表基于通道的池化操作；

（6）基于知识蒸馏网络的火灾预测网络迭代精细化

通过分类网络（教师网络）配合CRF能够得到停车场火灾的精确分割区域，基于上述精确分割区域，训练一个端到端的停车场火灾分割网络（学生网络），学生网络的设计为分割模式，而教师网络的设计为分类模式，两个网络具有相同的目的，即将停车场中火灾区域精细分割出来，其学习的过程类似于知识蒸馏的方式，即分类网络和分割网络相互增益：

其中，

代表知识之间的流动，

代表分类网络，

代 表分割网络，得到的分割网络完全可以独立工作而不需要分类网络，能够极大方便火灾分 割测试速度；

（7）基于火灾分割面积的灾情程度预测

基于步骤（6）得到的火灾分割信息可以得到火灾的面积Area，而火灾的面积决定了火灾的程度Score，知道火灾的程度能够针对火灾程度制定救援方案，因此，将火灾的面积划分为不同的等级，而面积的大小和火灾的等级对应：Score=Rank(Area)，其中，Rank代表火灾面积排名，其中一共划分为10个等级；

（8）停车场火灾预测网络训练：

将训练集中图片作为火灾分类网络的输入，并预测是否发生火灾，并反向传播误差，起到训练网络的目的；将精细化的结果作为伪标签，训练分割网络，并反向传播误差，起到训练分割网络的目的；同时，分割网络的结果又可以作为权重信息加权到分类网络层，起到收敛分类网络问题域的同时，提升分类网络的精度；

（9）停车场火灾预测网络测试

将测试集输入步骤（8训练好的停车场火灾预测网络中，并输出停车场火灾检测结果，并根据火灾检测结果制定救火方案。

本文中未详细公开的网络结构、算法均为本领域通用技术。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的，因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (4)

1.一种基于弱监督协同稀疏关系排名机制的停车场火灾检测方法，其特征在于，具体包括如下步骤：

（1）构建火灾检测数据集：

收集停车场火灾时图片构建火灾检测数据集，将图片分为有火灾和无火灾两类，同时将火灾检测数据集划分为训练集，验证集和测试集三个子数据集；

（2）火灾位置粗定位：

基于CAM机制，将图片类别信息转化为定位信息的类别激活图，通过这种方式将停车场中火灾位置粗定位；

（3）基于双流协同学习机制的关系建模：

根据步骤（2）得到的火灾位置粗定位，基于双流分类网络，采用双流协同学习机制建模双流网络之间的互补关系，进一步精细化火灾位置粗定位；

（4） 双流协同学习机制稀疏关系排名：

根据步骤（3）精细化后的停车场火灾粗定位信息，采用关系矩阵稀疏化的方式，即在关系矩阵的基础上引入关系排名，然后基于关系排名，挑选特征值最高的K个为一致性程度更高的信息，将火灾区域建模为一致性信息；

（5）基于特征学习阈值化的火灾区域分割：

将步骤（4）输出的结果输入阈值化分割模块，将火灾的定位信息转化为火灾的区域信息，以加权的方式增强火灾区域，得到停车场火灾的精确分割区域：

,

其中，

为对角矩阵，

和

是网络层学习的权重；Seg的定义如下，

其中，Cov代表卷积操作，Mul代表矩阵乘法，

代表惩罚因子，Tho代标阈值化操作，CP代 表基于通道的池化操作；

（6）基于知识蒸馏网络的火灾预测网络迭代精细化：

基于步骤（5）得到的精确分割区域训练端到端的停车场火灾分割网络，将停车场火灾分割网络的结果作用到火灾分类网络，通过知识蒸馏的方式将二者结果迭代提升；

（7）基于火灾分割面积的灾情程度预测：

根据步骤（6）输出的火灾分割信息获取火灾的面积，将火灾的面积划分为不同的等级，火灾面积的大小和火灾的等级对应，由此预测火灾灾情程度；

（8）停车场火灾预测网络训练：

将火灾检测数据集中的训练集图片作为火灾分类网络的输入并预测是否发生火灾，再反向传播误差，对分类网络进行训练；同时将精细化的分割结果作为伪标签训练分割网络，并反向传播误差，对分割网络进行训练，然后将分割网络的输出作为分类网络的权重信息，训练分类网络，二者同时训练并同时提升，得到训练好的停车场火灾预测网络；

（9）停车场火灾预测网络测试：

将火灾检测数据集中的测试集图片输入停车场火灾预测网络，输出停车场火灾检测结果，基于检测结果计算火灾面积，确定火灾等级，并根据火灾等级指定救火方案。

2.根据权利要求1所述基于弱监督协同稀疏关系排名机制的停车场火灾检测方法，其 特征在于，步骤（2）的具体过程为：将两张图片I₁，I₂输入到深度学习网络，将网络侧输出特 征

通过下采样和上采样操作

特征聚合：

CAM机制定义如下：

其中， Cov代表卷积操作，softmax代表归一化操作，FC代表全连接层，代表特征层从2到4，GAP代表全局池化层。

3.根据权利要求2所述基于弱监督协同稀疏关系排名机制的停车场火灾检测方法，其特征在于，步骤（3）的建模结果为：

,

其中，

和

分别为双流网络特征索引为i，j层的特征，

为矩阵乘法，

为归一 化函数。

4.根据权利要求3所述基于弱监督协同稀疏关系排名机制的停车场火灾检测方法，其特征在于，步骤（4）所述关系矩阵为：

,

其中，Rank为排序函数，能够根据特征中数值排序，

为获取排序后k个数目的值。

Images