CN115294520A - 一种基于卷积神经网络的烟火检测方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的烟火检测方法，目的在于搭建一个轻量级，速度快，成本低的烟火检测平台，实现对烟火的高效检测，实现了一种更加轻量级的网络，可以部署于移动设备上，能够缓解人工监控的压力，降低监控成本。本发明基于人工智能视频分析和深度学习技术，能够不依赖其他传感设备，实现对视频监控区域内的烟雾与火焰的检测与识别，并及时进行预警。本发明涉及智慧城市智能安防技术领域。

Description

一种基于卷积神经网络的烟火检测方法

技术领域

本发明涉及智慧城市智能安防技术领域，具体是指一种基于卷积神经网络的烟火检测方法。

背景技术

随着社会经济的高速发展，工业、企业园区，住宅日益增多，存在一些消防安全隐患，导致火灾事故屡屡发生。针对住宅、工业园区、森林、加油站等室内外场景，通过深度学习相关的目标检测算法，对监控视频中疑似发生烟雾、火焰的场景进行自动检测，及时发出预警，实现机器智能值守，具有重大的应用价值与社会意义。烟雾与火焰在发生初期如果不能被及时发现并通知管理人员采取措施，较大的烟雾会污染输电线路，火势较大时甚至会烧毁输变电设施，造成大规模停电，如果发生在森林将会引起大规模森林火灾，损害人们的生命及财产安全。由于烟火存在发生时间、地点不固定的特点，低效率的人工监控方式和高成本的服务器端图像识别已无法满足现阶段的需求。而使用硬件对特定区域进行检查，又存在成本设计高，检测区域小，反应时间较慢等问题。因此，如何解决对烟雾和火焰进行特定目标检测并及时作出响应，并且降低成本，提高检测精度减少误报率是当前迫切需要解决的问题之一。

发明内容

针对上述情况，为克服现有技术的缺陷，本发明提供了一种基于卷积神经网络的烟火检测方法，目的在于搭建一个轻量级，速度快，成本低的烟火检测平台，实现对烟火的高效检测，实现了一种更加轻量级的网络，可以部署于移动设备上，能够缓解人工监控的压力，降低监控成本。本发明基于人工智能视频分析和深度学习技术，能够不依赖其他传感设备，实现对视频监控区域内的烟雾与火焰的检测与识别，并及时进行预警。

本发明采取的技术方案如下：一种基于卷积神经网络的烟火检测方法，包括如下步骤：

步骤1，利用网络爬虫和开源数据集对不同场景下的烟雾和火灾场景图像进行保存，并且采用人工标注的方式对图像中烟雾和火灾场景进行分块标注，保存格式为VOC格式，将标注的图片划分为训练集和验证集；

步骤2，将步骤一获得的VOC格式标签和图像通过脚本转化给YOLO格式标签的txt文件，并作为初始训练集和验证集；对项目中的初始的数据集进行Mosaic数据增强，自适应锚框计算，其中Mosaic是将图像进行随机缩放，裁剪，排布的方式进行拼接，增加了对小目标火焰和烟雾的检测效果；

步骤3，通过比例缩放的方式，将每张图像设置为相同的输入尺寸640×640作为初始输入数据；

步骤4，将进行数据增强后的数据集送入改进的YOLOv5s模型对图像中烟雾与火焰的特征提取进行迭代训练；

步骤5，网络在初始锚框的基础上输出预测框，进而和真实框groundtruth进行比对，计算两者差距，再反向更新，迭代网络参数，最后将步骤4中训练模型的最好权重文件结果进行保存。

作为本方案的进一步优化，所述步骤2包括如下子步骤：

步骤2.1：将获取的VOC格式xml文件通过脚本转化为YOLO格式对应的txt文件，其中脚本完成步骤就是将VOC格式标签中图像的实际宽高，标注框的左上角和右下角坐标，进行归一化处理转化为YOLO格式标签中标注框的中心坐标以及标注框的宽和高；

归一化的中心坐标计算公式(1)如下：

其中，x,y为图像的坐标；

归一化框的高和宽计算公式(2)如下:

步骤2.2：将对数据集使用自适应锚框算法，以真实的边框位置相对于预设边框的偏移来构建；一个Anchor Box由边框的纵横比和边框的面积来定义，相当于一系列预设边框的生成规则，根据Anchor Box，可以在图像的任意位置，生成一系列的边框，其中边框的计算公式如(3)所示：

作为本方案的进一步优化，所述步骤4包括如下子步骤：

步骤4.1：将步骤3中进行过Mosaic数据增强处理的图像输入改进后的YOLOv5模型中BackBone层中；在原有YOLOv5的基础上加入了CBAM注意力模块，其中CBAM公式(4)如下：

步骤4.2：其中被送入BackBone层中的数据将经过CBAM的通道注意力模块进行特征提取，对输入特征图在空间维度分别进行最大池化和平均池化，然后分别经过一个共享权重的MLP，然后将两者的输出做逐元素的相加，再经过sigmoid激活函数，得到通道注意力权重，将该权重和输入特征图做逐元素的乘法；其中权系数M_c(F)矩阵公式(5)如下：

其中，σ为Sigmoid激活函数，W₀，W₁为MLP的权重，W₀∈R^C/r×C，W₁∈R^C/r×C，并且r＝16为还原比；

步骤4.3：其中空间注意力模块注重特征位置的区分和通道注意力机制的补充，在通道维度上分别采用平均池化和最大池化，在最大池化和平局池化之后结合

和

两个特征映射。对7×7卷积核进行降维滤波，将信道数减至1；最后利用Sigmoid激活函数得到空间注意特征图；其中空间注意力的权系数M_s(F)矩阵公式(6)如下：

步骤4.4：随后将BackBone层提取特征输入至Head层随后输出特征图，同时图像被划分为小方块并生成锚框，将标注的预测框和特征图进行关联，最后建立损失函数并开启端到端的训练，其中损失函数如公式(7)所示：

其中ρ²(b,b^gt)代表了预测框和真实框的中心点的欧式距离，c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离。v用来衡量两个矩形框相对比例的一致性，α是权重系数：

作为本方案的进一步优化，所述训练集和验证集的划分比例为8:2。

采用上述结构本发明取得的有益效果如下：本方案基于卷积神经网络的目标检测方法，将空间注意力机制的思想引入到目标检测的算法中，并提出了一种对于烟雾和火焰特征的新型目标检测的方法，增加了算法的精度的同时保持算法的速度，需要的硬件资源开销较小，结合了数据增强方法加强了对特征的识别。对多种场景的烟雾和火焰数据都进行了分析，选取了最适合用于实际生产场景的复杂烟雾和火焰图像，使得模型能学习到较强的特征，增加了模型的抗干扰能力，与其他模型相比，既能够在复杂的场景中准确检测出烟雾和火焰的存在，又兼顾了实际的运行速度，且在动态场景中检测概率极高，具有广阔的应用前景。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为各种复杂场景下烟雾与火焰的图片的真实标注；

图2是数据集中烟雾和火焰标签的数量和分布情况；

图3为图1中复杂场景下模型对烟雾和火焰所作出的目标检测的预测值；

图4为改进后YOLOv5网络模型图；

图5为改进后YOLOv5模型的200轮训练结果；

图6为现实应用场景下对于烟雾和火焰的目标检测的结果以及预估值。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1，一种基于卷积神经网络的烟火检测方法，包括如下步骤：

步骤1，利用网络爬虫和开源数据集对不同场景下的烟雾和火灾场景图像进行保存，并且采用人工标注的方式对图像中烟雾和火灾场景进行分块标注，保存格式为VOC格式，将标注的图片划分为训练集和验证集，所述训练集和验证集的划分比例为8:2；

步骤2，将步骤一获得的VOC格式标签和图像通过脚本转化给YOLO格式标签的txt文件，并作为初始训练集和验证集；对项目中的初始的数据集进行Mosaic数据增强，自适应锚框计算，其中Mosaic是将图像进行随机缩放，裁剪，排布的方式进行拼接，增加了对小目标火焰和烟雾的检测效果；

具体为：

步骤2.1：将获取的VOC格式xml文件通过脚本转化为YOLO格式对应的txt文件，其中脚本完成步骤就是将VOC格式标签中图像的实际宽高，标注框的左上角和右下角坐标，进行归一化处理转化为YOLO格式标签中标注框的中心坐标(归一化结果)以及标注框的宽和高(归一化结果)；

归一化的中心坐标计算公式(1)如下：

其中，x,y为图像的坐标；

归一化框的高和宽计算公式(2)如下:

步骤2.2：将对数据集使用自适应锚框算法，以真实的边框位置相对于预设边框的偏移来构建；一个Anchor Box由边框的纵横比和边框的面积(尺度)来定义，相当于一系列预设边框的生成规则，根据Anchor Box，可以在图像的任意位置，生成一系列的边框，其中边框的计算公式如(3)所示：

步骤3，通过比例缩放的方式，将每张图像设置为相同的输入尺寸640×640作为初始输入数据；

步骤4，将进行数据增强后的数据集送入改进的YOLOv5s模型对图像中烟雾与火焰的特征提取进行迭代训练；

具体为：

步骤4.1：将步骤3中进行过Mosaic数据增强处理的图像输入改进后的YOLOv5模型中BackBone层中；在原有YOLOv5的基础上加入了CBAM注意力模块，其中CBAM公式(4)如下，专注于网络的重要特征，同时抑制不重要的信息，有效的提高了CNN的性能；

步骤4.2：其中被送入BackBone层中的数据将经过CBAM的通道注意力模块进行特征提取，对输入特征图在空间维度分别进行最大池化和平均池化，然后分别经过一个共享权重的MLP，然后将两者的输出做逐元素的相加，再经过sigmoid激活函数，得到通道注意力权重，将该权重和输入特征图做逐元素的乘法；其中权系数M_c(F)矩阵公式(5)如下：

其中，σ为Sigmoid激活函数，W₀，W₁为MLP的权重，W₀∈R^C/r×C，W₁∈R^C/r×C，并且r＝16为还原比；

步骤4.3：其中空间注意力模块注重特征位置的区分和通道注意力机制的补充，在通道维度上分别采用平均池化和最大池化，在最大池化和平局池化之后结合

和

两个特征映射。对7×7卷积核进行降维滤波，将信道数减至1；最后利用Sigmoid激活函数得到空间注意特征图；其中空间注意力的权系数M_s(F)矩阵公式(6)如下：

步骤4.4：随后将BackBone层提取特征输入至Head层随后输出特征图，同时图像被划分为小方块并生成锚框，将标注的预测框和特征图进行关联，最后建立损失函数并开启端到端的训练，其中损失函数如公式(7)所示：

其中ρ²(b,b^gt)代表了预测框和真实框的中心点的欧式距离，c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离。v用来衡量两个矩形框相对比例的一致性，α是权重系数：

步骤5，网络在初始锚框的基础上输出预测框，进而和真实框groundtruth进行比对，计算两者差距，再反向更新，迭代网络参数，最后将步骤4中训练模型的最好权重文件结果进行保存。

如图1是首先将复杂场景下的烟雾和火焰图片，并由人工进行标注，选择其中的烟雾和火焰特征明显的部分，一共只需要检测烟雾和火焰两类，所以只在图片中做此两种标注；人工标注方法以尽可能大的框一次性标注出某个目标，并且尽量减小无关背景的进入，拒绝使用小型框多个连续标注的方式；所有图片均遵循上述处理原则。

如图2是对输入模型中整个数据集中有关烟雾和火焰标签的统计，在将数据集送入模型进行训练前统计样本中标签的数量，当训练完成后，直观的表达了烟雾标签和火焰标签在整个数据集中分布的均衡情况。

如图3所示是将改进后的YOLOv5模型训练结束后对实际场景中烟雾和火焰进行目标检测的预测结果其中图4是修改后YOLOv5网络结构，其中CBAM模块在网络中的替换位置如图所示。

如图5中是对改进后的YOLOv5模型训练进行200轮结果通过统计图像的直观展示，其中的结果均表明，模型是收敛的，训练过程和结果都是成功的，图3中对与检测结果的预测值表明，改进后的YOLOv5模型能预测出大部分烟雾和火焰结果结果，且在动态视频中，并且引入空间注意力机制，所以相对于静态图片，有更加高的准确率。

如图6所示，是将改进后的YOLOv5模型调用设备摄像头对实际生产场景中动态视频进行烟雾和火焰的目标检测，当镜头出现火焰和烟雾或者是与其相似目标进行检测，当动态场景中初见目标检测可信度>＝0.7的目标时，便可对实际生产场景中烟雾和火焰目标精准预警。

如表1所示为YOLOv5s算法改进前后各指标对比，在相同数据集和硬件设施以及图片输入大小均为640×640的前提下，改进后的模型整体大小有了大幅度上涨Precision指标从0.63提升到0.67，Recall指标从0.53提升到0.54，mAP_0.5指标从0.55提升到0.59，模型的精度上涨了6％且检测速度相较于原模型增长了7％，FPS从227/s提升至243/s。在动态视频下表现更加优秀。

表1表1 YOLOv5s算法改进前后各指标对比

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种基于卷积神经网络的烟火检测方法，其特征在于，包括如下步骤：

步骤1，利用网络爬虫和开源数据集对不同场景下的烟雾和火灾场景图像进行保存，并且采用人工标注的方式对图像中烟雾和火灾场景进行分块标注，保存格式为VOC格式，将标注的图片划分为训练集和验证集；

步骤2，将步骤一获得的VOC格式标签和图像通过脚本转化给YOLO格式标签的txt文件，并作为初始训练集和验证集；对项目中的初始的数据集进行Mosaic数据增强，自适应锚框计算，其中Mosaic是将图像进行随机缩放，裁剪，排布的方式进行拼接，增加了对小目标火焰和烟雾的检测效果；

步骤3，通过比例缩放的方式，将每张图像设置为相同的输入尺寸640×640作为初始输入数据；

步骤4，将进行数据增强后的数据集送入改进的YOLOv5s模型对图像中烟雾与火焰的特征提取进行迭代训练；

步骤5，网络在初始锚框的基础上输出预测框，进而和真实框groundtruth进行比对，计算两者差距，再反向更新，迭代网络参数，最后将步骤4中训练模型的最好权重文件结果进行保存。

2.根据权利要求1所述的一种基于卷积神经网络的烟火检测方法，其特征在于，所述步骤2包括如下子步骤：

步骤2.1：将获取的VOC格式xml文件通过脚本转化为YOLO格式对应的txt文件，其中脚本完成步骤就是将VOC格式标签中图像的实际宽高，标注框的左上角和右下角坐标，进行归一化处理转化为YOLO格式标签中标注框的中心坐标以及标注框的宽和高；

归一化的中心坐标计算公式(1)如下：

其中，x,y为图像的坐标；

归一化框的高和宽计算公式(2)如下:

步骤2.2：将对数据集使用自适应锚框算法，以真实的边框位置相对于预设边框的偏移来构建；一个Anchor Box由边框的纵横比和边框的面积来定义，相当于一系列预设边框的生成规则，根据Anchor Box，可以在图像的任意位置，生成一系列的边框，其中边框的计算公式如(3)所示：

。

3.根据权利要求1所述的一种基于卷积神经网络的烟火检测方法，其特征在于，所述步骤4包括如下子步骤：

步骤4.1：将步骤3中进行过Mosaic数据增强处理的图像输入改进后的YOLOv5模型中BackBone层中；在原有YOLOv5的基础上加入了CBAM注意力模块，其中CBAM公式(4)如下：

步骤4.2：其中被送入BackBone层中的数据将经过CBAM的通道注意力模块进行特征提取，对输入特征图在空间维度分别进行最大池化和平均池化，然后分别经过一个共享权重的MLP，然后将两者的输出做逐元素的相加，再经过sigmoid激活函数，得到通道注意力权重，将该权重和输入特征图做逐元素的乘法；其中权系数M_c(F)矩阵公式(5)如下：

其中，σ为Sigmoid激活函数，W₀，W₁为MLP的权重，W₀∈R^C/r×C，W₁∈R^C/r×C，并且r＝16为还原比；

步骤4.3：其中空间注意力模块注重特征位置的区分和通道注意力机制的补充，在通道维度上分别采用平均池化和最大池化，在最大池化和平局池化之后结合

和

两个特征映射。对7×7卷积核进行降维滤波，将信道数减至1；最后利用Sigmoid激活函数得到空间注意特征图；其中空间注意力的权系数M_s(F)矩阵公式(6)如下：

步骤4.4：随后将BackBone层提取特征输入至Head层随后输出特征图，同时图像被划分为小方块并生成锚框，将标注的预测框和特征图进行关联，最后建立损失函数并开启端到端的训练，其中损失函数如公式(7)所示：

其中ρ²(b,b^gt)代表了预测框和真实框的中心点的欧式距离，c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离。v用来衡量两个矩形框相对比例的一致性，α是权重系数：

。

4.根据权利要求1所述的一种基于卷积神经网络的烟火检测方法，其特征在于，所述训练集和验证集的划分比例为8:2。

Images