CN115761627A - 一种火灾烟雾火焰图像识别方法 - Google Patents
一种火灾烟雾火焰图像识别方法 Download PDFInfo
- Publication number
- CN115761627A CN115761627A CN202211422340.4A CN202211422340A CN115761627A CN 115761627 A CN115761627 A CN 115761627A CN 202211422340 A CN202211422340 A CN 202211422340A CN 115761627 A CN115761627 A CN 115761627A
- Authority
- CN
- China
- Prior art keywords
- fire
- layer
- module
- smoke flame
- modules
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000779 smoke Substances 0.000 title claims abstract description 138
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 43
- 230000004927 fusion Effects 0.000 claims description 80
- 230000006870 function Effects 0.000 claims description 46
- 230000004913 activation Effects 0.000 claims description 26
- 238000011176 pooling Methods 0.000 claims description 24
- 238000010586 diagram Methods 0.000 claims description 23
- 230000007246 mechanism Effects 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 16
- 210000002569 neuron Anatomy 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 230000007935 neutral effect Effects 0.000 claims description 9
- 238000011049 filling Methods 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 7
- 230000006872 improvement Effects 0.000 claims description 5
- 230000005764 inhibitory process Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000002401 inhibitory effect Effects 0.000 claims description 3
- 238000011897 real-time detection Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 11
- 238000012544 monitoring process Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 5
- 101100311456 Caenorhabditis elegans kin-18 gene Proteins 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 101001013832 Homo sapiens Mitochondrial peptide methionine sulfoxide reductase Proteins 0.000 description 2
- 102100031767 Mitochondrial peptide methionine sulfoxide reductase Human genes 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000000137 annealing Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Landscapes
- Fire-Detection Mechanisms (AREA)
Abstract
本发明公开了一种火灾烟雾火焰图像识别方法，通过创建火灾烟雾火焰图像数据集；对YOLOv5s模型改进得到用于识别火灾烟雾火焰图像的火灾识别模型；对火灾烟雾火焰图像进行数据增强，将通过数据增强后的火灾烟雾火焰图像输入到火灾识别模型进行训练得到训练好的火灾识别模型；将火灾烟雾火焰图像输入至训练好的火灾识别模型中，得到火灾烟雾火焰图像的识别结果。本发明通过火灾识别模型实现对火灾发生时的早期的火灾烟雾火焰图像进行准确高效的识别。
Description
技术领域
本发明涉及火灾监测技术领域，特别是涉及一种火灾烟雾火焰图像识别方法。
背景技术
火灾监控的传统技术手段主要为接触式火灾探测器，常见于各类公共场景，但其局限于室内探测范围有限、易年久失效等缺点，难以在室内大空间或者室外开放空间进行有效火灾监控。
相比于接触式火灾探测器，非接触式的视频火灾探测技术具有无需额外硬件设备、火警信息直观全面、响应快速、探测范围大等优点。适用于室内大空间、室外开放空间以及野外森林的火灾监控，目前已经在高层建筑、工业厂区、林区开始普及。
卷积神经网络(CNN)模型已经普遍应用在智能识别领域，并且已经取得了不错的效果。为了追求网络识别准确度，CNN模型深度越来越深，CNN模型复杂度也越来越高。但是，在某些真实的应用场景如移动或者嵌入式设备，如此大而复杂的模型是难以被应用的。CNN模型过于庞大，当前面临着边缘设备内存不足的问题，而且火灾烟雾火焰监测场景要求低延迟，高准确性。因此，利用监控摄像头采集到的火灾烟雾火焰图像设计一种小而高效的火灾识别模型对火灾进行高效精准识别显得尤为重要。
发明内容
本发明提供一种火灾烟雾火焰图像识别方法，减少火灾识别模型冗余，在火灾发生时的早期的火灾烟雾火焰图像进行准确高效的识别。
为实现上述效果，本发明的技术方案如下：
一种火灾烟雾火焰图像识别方法，包括以下步骤：
步骤S1：创建火灾烟雾火焰图像数据集；
步骤S2：对YOLOv5s模型改进得到用于识别火灾烟雾火焰图像的火灾识别模型；
步骤S3：对火灾烟雾火焰图像进行数据增强，将通过数据增强后的火灾烟雾火焰图像输入到火灾识别模型进行训练，得到训练好的火灾识别模型；
步骤S4：将火灾烟雾火焰图像输入至训练好的火灾识别模型中，得到火灾烟雾火焰图像的识别结果；
步骤S2包括：S21：对YOLOv5s模型进行结构改进；火灾识别模型由 Backbone网络、Neck网络和Prediction三部分组成；Backbone网络使用深度可分离卷积；
S22：在Backbone网络的底层添加关注通道数的注意力机制模块；
S23：在火灾识别模型的Neck网络引入无参数注意力机制模块。
需要说明的是，所述火灾识别模型具体包括：输入层640*640的图像张量、Backbone网络、Neck网络和Prediction，其中，所述输入层加入Mosaic数据增强；所述Backbone网络是YOLOv5的核心结构，所述Neck网络中加入无参数注意力机制模块；Prediction中将边界锚框的损失函数使用CIOUloss损失函数；在目标检测后处理过程中，火灾识别模型采用NMS非极大值抑制对多个目标锚框进行筛选。
上述方案中，步骤1中火灾烟雾火焰图像数据集包括白天火灾烟雾火焰图像数据集与夜晚红外火灾火焰数据集。火灾烟雾火焰图像的识别无论白天还是夜晚时间段均可适用，根据识别结果，判断是否发生火灾，而且能对火灾边缘智能监测设备进行灵活部署，操作简单，低延时、识别精准且高效。
进一步的，步骤S1具体为，
S11：对火灾视频切帧，得到火灾烟雾火焰图像，构造类烟、类火样本，完成火灾场景的标注，形成火灾烟雾火焰图像数据集；
S12：将火灾烟雾火焰图像数据集按比例划分为训练集、验证集和测试集；
S13：使用图像矩形框标注工具LabelImg对火灾烟雾火焰图像中的烟雾和火焰进行标注，获得目标物的坐标、宽高及目标物名称信息，以xml文件形式保存来制成火灾烟雾火焰图像数据集中图像对应的标签。
可以理解的是，采集的数据来自实际火灾烟雾火焰发生的现实场景，现实场景中的火灾视频可通过普通、红外监控器拍摄采集。针对不同远近距离目标物大小，构建不同目标物在火灾烟雾火焰图像数据集内的样本均衡。
进一步的，步骤S21中，Backbone网络包括依次连接的第一卷积层、两个第一模块1、两个第二模块1、第三模块1、第四模块1、第五模块1、六个第六模块1、模块2；
其中，两个第一模块1、两个第二模块1的卷积核均为3x3；第三模块1、第四模块1卷积核均为3x3；第五模块1、六个第六模块1的卷积核均为5x5；
Neck网络包括依次连接的第二卷积层、第一上采样层、第一融合层、三个第一模块3、第三卷积层、第二上采样层、第二融合层、三个第二模块3、第一模块4、第七模块1、第三融合层、三个第三模块3、第二模块4、第八模块1、第四融合层、三个第四模块3、第三模块4；
其中，第七模块1、第八模块1的卷积核均为5x5；
所述第三模块1的输出端和第二融合层的输入端连接，所述第五模块1的输出端和第一融合层的输入端连接，所述第三卷积层的输出端和第三融合层的输入端连接，所述第二卷积层的输出端和第四融合层的输入端连接；
火灾烟雾火焰图像经过第一卷积层、两个第一模块1、两个第二模块1、第三模块1得到第一特征图，第一特征图经过第四模块1、第五模块1得到第二特征图，第二特征图经过六个第六模块1、模块2得到第三特征图；
第三特征图经过模块2进行特征融合后通过第二卷积层进行卷积、第一上采样层进行上采样得到上采样特征图，上采样特征图与第二特征图进行特征融合，得到第一特征融合图；第一特征融合图依次通过三个第一模块3、第三卷积层、第二上采样层后与第一特征图进行特征融合，得到第二特征融合图；第二特征融合图依次通过三个第二模块3、第一模块4后获得第一输出特征图；
第二特征融合图依次通过三个第二模块3、第一模块4、第七模块1后与第一特征融合图依次通过三个第一模块3、第三卷积层的特征图进行特征融合，得到第三特征融合图；第三特征融合图依次经过三个第三模块3、第二模块4获得第二输出特征图；
第三特征融合图依次经过三个第三模块3、第二模块4、第八模块1后与经过第二卷积层的第三特征图进行特征融合操作，得到第四特征融合图；第四特征融合图通过三个第四模块3与第三模块4，从而获得第三输出特征图。
可以理解的是，火灾识别模型由三部分组成：Backbone网络、Neck网络和Prediction，Backbone网络为主干网络；深度可分离卷积可以大规模减少火灾识别模型参数量；为了保证火灾检测的精确度、实时性及部署要求，主干网络设计不使用残差连接等增加模型参数、主干网络的底层少量添加注意力模块的操作。参考神经科学的无参数注意力机制模块的能量函数，从三维角度可以再次提升对火灾烟雾火焰的识别能力。
进一步的，两个第一模块1、两个第二模块1、第三模块1、第四模块1、第五模块1、六个第六模块1、第七模块1、第八模块1：均包括依次连接的逐层卷积层、逐点卷积层、全局平均池化层、第一全连接层和第二全连接层；其中，逐层卷积层、逐点卷积层构成深度可分离卷积，逐层卷积层、逐点卷积层、第一全连接层使用SiLU激活函数，第二全连接层使用h-sigmoid激活函数；
步骤S21中深度可分离卷积分为逐层卷积层、逐点卷积层；
步骤S22中关注通道数的注意力机制模块为全局平均池化层、第一全连接层和第二全连接层；
模块2：包括采用多残差依次连接的卷积层、第一最大池化层、第二最大池化层、第三最大池化层、融合层；
三个第一模块3、三个第二模块3、三个第三模块3、三个第三模块3：均由 7个或5个依次连接的卷积层以及一个融合层组成；
第一模块4、第二模块4、第三模块4：为步骤S23中无参数注意力机制模块，无参数注意力机制模块由依次连接的Sigmoid激活函数和能量函数组成。
进一步的，所述SiLU激活函数公式如下：
SiLU(x)＝x*Sigmoid(x)
其中，Sigmoid激活函数表示为：
SiLU激活函数不是单调递增的，且自稳定、无上界有下界、平滑、非单调是该激活函数的重要特性，在深层模型上的效果具有优势。
进一步的，步骤S23中所述能量函数，其计算公式为：
其中，Et为能量函数，
N＝H×W为单一通道上的神经元数量，t为目标神经元，Oi为其他神经元，系数γ＝10-4，每个神经元的重要性通过计算
获得。
进一步的，步骤S3中对火灾烟雾火焰图像数据集进行数据增强，具体为，对火灾烟雾火焰图像数据集中多张火灾烟雾火焰图像随机缩放、随机裁剪、随机排布的方式进行拼接，实现Mosaic数据增强。
可以理解的是，Mosaic数据增强可以丰富被检测物体的背景信息，给数据带来正则化作用，且可以让有限的数据产生更多的数据，丰富火灾样本多样性及数量，从而来提高火灾识别模型的鲁棒性。
进一步的，步骤S3中将通过数据增强后的火灾烟雾火焰图像输入到火灾识别模型进行训练，具体为：
S31：训练集输入到火灾识别模型中，根据预设参数与预设训练迭代次数进行特征提取，并将火灾烟雾火焰图像划分成若干个特征点；
S32：将特征点进行位置偏移并根据落入疑似火灾区域的特征点给出多个预测框；通过预测框的得分排序筛选出满足置信度的预测框，并通过非极大值抑制防止同一种类的预测框堆积并筛选出得分最大的预测框，从而获得最优的火灾烟雾火焰位置；
S33：对训练集中的火灾烟雾火焰图像进行重新贴灰条零填充处理以使得火灾烟雾火焰图像的长宽相同，通过训练过程中火灾识别模型生成的预测框，使用基于CIOUloss损失函数的非极大值抑制，获取置信度最大的火灾烟雾火焰预测框；
S34：将整个火灾识别模型迭代训练过程中验证集损失最小的模型参数作为火灾识别模型的预测参数，得到训练好的火灾识别模型。
上述方案中，步骤S33在模型训练过程中，对训练集中的火灾烟雾火焰图像进行重新贴灰条零填充处理后改变火灾烟雾火焰图像尺寸，可以实现在改变火灾烟雾火焰图像尺寸的过程中防止火灾烟雾火焰图像的失真；
进一步的，步骤S33中CIOUloss损失函数的计算公式为：
CIOUloss＝1-CIoU(2)
其中：
其中，B、Bgt分别为预测框和真实框，b、bgt分别为预测框和真实框的中心点位置，ρ为预测框和真实框的中心点之间的欧氏距离，α、ν分别为预测框和真实框的长宽比，w、h分别为预测框的宽和高，wgt、hgt分别为真实框的宽和高。
上述方案中，CIoU考虑了预测框和真实框的重叠面积、中心点距离、长宽比，增加的检测框的损失和长宽损失，使得预测框更加符合真实框；。
进一步的，步骤S4具体为：对于训练好的火灾识别模型进行格式转换得到所需精度的ONNX模型，将ONNX模型转为合适的边缘智能模型，将边缘智能模型部署到边缘智能设备，对边缘智能设备端拍摄的实时视频处理成火灾烟雾火焰图像输入至火灾识别模型，在边缘智能设备的边缘端完成对火灾烟雾火焰的高效识别与实时检测，边缘智能模型对火灾识别模型的输出进行解码得到火灾烟雾火焰的类别、置信度分数和所在位置。
上述方案中，火灾识别模型的主干网络使用深度可分离卷积嵌入注意力的方式而未使用残差、池化等增加参数的操作，在减少火灾识别网络参数及推理时间的同时保证了对火灾识别的精度；边缘智能设备可以是监控器等采集设备。
边缘智能模型还可以对火灾的目标区域进行火灾监测与预报预警，并通过数据可视化呈现火灾发生的实时信息与火灾发生的地理位置信息；
与现有技术相比，本发明技术方案的有益效果是：
本发明基于YOLOv5s模型进行改进，取得了良好的训练效果，在火灾烟雾、火焰的识别精度和检测速度上具有优势，对火灾识别模型减少冗余，达到了检测速度和精度的均衡：
火灾识别模型的Backbone网络使用深度可分离卷积，在减少火灾识别网络的参数及推理时间的同时保证了对火灾识别的精度；
在火灾识别模型的Neck网络引入无参数注意力机制模块，使得火灾识别网络在不增加参数的同时提高对小目标火灾烟雾火焰识别的能力；
使用了在深层模型上有优势、具有自稳定特性的SiLU激活函数，进一步提高火灾识别网络对火灾的识别准确性；
本发明训练好的火灾识别模型可以移植到边缘智能设备，使边缘智能设备在其性能允许的范围内达到最好的发挥，实现火灾识别模型对火灾更加精准实时的识别。
附图说明
附图仅用于示例性说明，不能理解为对本发明的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
图1为本发明实施例提供的方法流程示意图；
图2是本发明实施例提供的数据集划分示意图；
图3是本发明实施例提供的模块1示意图；
图4为本发明实施例提供的模块2示意图；
图5为本发明实施例提供的模块3示意图；
图6为本发明实施例提供的模块4示意图；
图7为本发明实施例提供的改进的YOLOv5s网络整体结构图；
图8为本发明实施例提供的火灾识别网络部署流程图；
图9为本发明实施例提供的火灾识别系统总体设计图；
图10为本发明实施例提供的火灾识别效果图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都是本发明保护的范围。
在介绍本申请实施例之前首先对本申请中涉及到的相关名词作如下释义：
Concat：融合；
Upsampl：上采样；
SGD：梯度下降法；
MSRA：多尺度注意力模块；
ONNX：Open Neural network Exchange，开放神经网络交换；
实施例1
为了便于理解，请参阅图1，本发明提供的一种火灾烟雾火焰图像识别方法的一个实施例，包括以下步骤：
步骤S1：创建火灾烟雾火焰图像数据集；
步骤S2：对YOLOv5s模型改进得到用于识别火灾烟雾火焰图像的火灾识别模型；
步骤S3：对火灾烟雾火焰图像数据集进行数据增强，将通过数据增强后的数据集训练集输入到火灾识别模型进行训练得到训练好的火灾识别模型；
步骤S4：将数据集输入至训练好的火灾识别模型中，得到火灾烟雾火焰图像的识别结果，判断是否发生火灾；
步骤S2具体为：S21：根据火灾实际情境以及检测要求对YOLOv5s模型进行结构改进；火灾识别模型由Backbone网络、Neck网络和Prediction三部分组成；Backbone网络使用深度可分离卷积；
S22：在Backbone网络的底层添加关注通道数的注意力机制模块；
S23：在火灾识别模型的Neck网络引入无参数注意力机制模块；无参数注意力机制模块由依次连接的激活函数和能量函数组成。
本发明训练好的火灾识别模型可以移植到边缘智能设备，使边缘智能设备在其性能允许的范围内达到最好的发挥，实现火灾识别模型对火灾更加精准实时的识别，为智慧消防提供有效解决方案。
实施例2
具体地，在实施例1的基础上，结合具体的实施例子对方案进行说明，进一步体现本方案的技术效果。具体为：
本实施例所提供的基于改进的YOLOv5s的边缘智能的火灾烟雾火焰图像识别方法,包括以下步骤：
步骤S1：创建火灾烟雾火焰图像数据集；采集真实火灾场景日照光、夜间红外下的视频数据，通过每隔1s切帧获取火灾烟雾火焰图像，对火灾烟雾火焰图像进行筛选，选出其中有火灾烟雾火焰目标的图片。
步骤S2：对YOLOv5s模型改进得到用于识别火灾烟雾火焰图像的火灾识别模型；
步骤S21：对YOLOv5s模型进行结构改进；火灾识别模型由Backbone网络、 Neck网络和Prediction三部分组成；火灾识别模型的Backbone网络使用深度可分离卷积；
S22：在Backbone网络的底层添加关注通道数的注意力机制模块；
S23：在火灾识别模型的Neck网络引入无参数注意力机制模块；无参数注意力机制模块由依次连接的激活函数和能量函数组成。
具体的，Backbone网络包括依次连接的第一卷积层、两个第一模块1、两个第二模块1、第三模块1、第四模块1、第五模块1、六个第六模块1；其中，两个第一模块1、两个第二模块1的卷积核均为3x3，步长均为2；第三模块1、第四模块1卷积核均为3x3；第五模块1、六个第六模块1的卷积核均为5x5，六个第六模块1的步长为6；
Neck网络包括依次连接的第二卷积层、第一上采样层、第一融合层、三个第一模块3、第三卷积层、第二上采样层、第二融合层、三个第二模块3、第一模块4、第七模块1、第三融合层、三个第三模块3、第二模块4、第八模块1、第四融合层、三个第四模块3、第三模块4；其中，三个第一模块3、三个第二模块3、三个第三模块3、三个第三模块3的步长为3；第七模块1、第八模块1 的卷积核均为5x5；
所述第三模块1的输出端和第二融合层的输入端连接，所述第五模块1的输出端和第一融合层的输入端连接，所述第三卷积层的输出端和第三融合层的输入端连接，所述第二卷积层的输出端和第四融合层的输入端连接。
具体的，两个第一模块1、两个第二模块1、第三模块1、第四模块1、第五模块1、六个第六模块1、第七模块1、第八模块1：均包括依次连接的逐层卷积层、逐点卷积层、全局平均池化层、第一全连接层和第二全连接层；其中，逐层卷积层、逐点卷积层、第一全连接层使用SiLU激活函数，第二全连接层使用 h-sigmoid激活函数；深度可分离卷积分为逐层卷积层、逐点卷积层；全局平均池化层、第一全连接层和第二全连接层构成一个关注通道数的注意力机制模块；
模块2：包括采用多残差依次连接的卷积层、第一最大池化层、第二最大池化层、第三最大池化层、融合层；
三个第一模块3、三个第二模块3、三个第三模块3、三个第三模块3：均由 7个或5个依次连接的卷积层以及一个融合层组成；
第一模块4、第二模块4、第三模块4：为一个关注三维空间的无参数注意力机制模块，由依次连接的Sigmoid激活函数和能量函数组成。
训练过程：
步骤S3：使用可视化的图像矩形框标注工具LabelImg对日夜间火灾中的烟雾和火焰进行标注，获得目标物的坐标、宽高及目标物名称等信息，以xml文件形式保存来制成火灾烟雾火焰图像数据集中火灾烟雾火焰图像对应的标签，并构造类烟、类火样本；火灾烟雾火焰图像数据集中白天火灾烟雾火焰数据集作为训练集，夜晚火灾烟雾火焰数据集作为验证集，类烟、类火样本作为测试集；将火灾烟雾火焰数据集的训练集、验证集和测试集按比例划分为8:1:1；
S31：训练集输入到火灾识别模型中，根据预设参数与预设训练迭代次数进行特征提取，并将火灾烟雾火焰图像划分成若干个特征点；
S32：将特征点进行位置偏移并根据落入疑似火灾区域的特征点给出多个预测框；通过预测框的得分排序筛选出满足置信度的预测框，并通过非极大值抑制防止同一种类的预测框堆积并筛选出得分最大的预测框，从而获得最优的火灾烟雾火焰位置；
火灾所处环境复杂，且周围外界天气、光照条件等环境也会发生变化，此时，对日夜间火灾烟雾火焰数据集进行Mosaic数据增强，将火灾烟雾火焰图像通过随机缩放、随机裁剪、随机排布的方式进行拼接，从而极大的丰富了被检测物体的背景信息。
根据日夜间火灾烟雾火焰数据集特点，对于anchor-based的YOLOv5s模型，火灾识别模型无需对对象边界框预设锚定框进行单独额外操作，而是使用自适应锚定框，在每次训练时，自适应的计算不同训练集中的最佳锚框值，从而获得最佳锚框；
S33：对训练集中的火灾烟雾火焰图像进行重新贴灰条零填充处理以使得火灾烟雾火焰图像的长宽相同，通过训练过程中火灾识别模型生成的预测框，使用基于CIOUloss损失函数的非极大值抑制，获取置信度最大的火灾烟雾火焰预测框；
将日夜间火灾烟雾火焰数据集中训练集输入到火灾识别模型中进行训练；在网络训练之前，采用MSRA初始化且不加载任何预训练权重；训练时，输入的图片张量为(640,640,3)，采用SGD优化器、余弦退火学习率(cos-lr)进行训练，初始化学习率为0.01，权重衰减为0.0005，SGD动量为0.9，训练批次为8，训练总迭代次数300次；训练过程中最后100次迭代每10次迭代保存一次训练参数；
S34：在训练结束后，将整个火灾识别模型迭代训练过程中验证集损失最小的模型参数作为火灾识别模型的预测参数，得到训练好的火灾识别模型。
步骤S4：如图8所示，对于训练好的火灾识别模型进行格式转换得到所需精度的ONNX模型，选择单批次输入为32，精度选择FP16，将ONNX模型转为合适的边缘智能模型，将边缘智能模型部署到边缘智能设备，对边缘智能设备端拍摄的实时视频处理成火灾烟雾火焰图像输入至火灾识别模型，在边缘智能设备的边缘端完成对火灾烟雾火焰的高效识别与实时检测，边缘智能模型对火灾识别模型的输出进行解码得到火灾烟雾火焰的类别、置信度分数和所在位置。
通过火灾烟雾火焰的类别区分火焰和烟雾，置信度分数为烟雾或火焰识别的精度，从图中可以直接看到火灾烟雾火焰的所在位置。
边缘智能设备安装在火灾易发生区域进行火灾实时监控，对拍摄的视频处理成帧图片，帧图片作为火灾烟雾火焰图像，将火灾烟雾火焰图像重新贴灰条零填充处理成460×460大小：当火灾烟雾火焰图像的长度不足460时对长度进行贴灰条零填充；当火灾烟雾火焰图像的宽度不足460时对宽度进行贴灰条零填充，保证图片的长宽相同，使得火灾烟雾火焰图像不失真，最后将贴灰条零填充处理的火灾烟雾火焰图像送入边缘智能端的火灾识别模型中进行检测。
如图7所示，火灾烟雾火焰图像输入到火灾识别模型中，火灾烟雾火焰图像通过Backbone网络进行特征提取：经过第一卷积层、两个第一模块1、两个第二模块1、第三模块1得到64×64特征图，64×64特征图经过第四模块1、第五模块1得到128×128特征图，128×128特征图经过六个第六模块1、模块2得到 256×256特征图；
此时，如图3所示，火灾烟雾火焰图像经过逐层卷积、逐点卷积以及全局平均池化层、第一全连接层和第二全连接层；在本实施例中，仅对第一全连接层和第二全连接层使用可选项以满足火灾识别模型的识别高效性与准确性的均衡，更好地提取火灾烟雾火焰的特征。此时，其中，逐层卷积层、逐点卷积层、第一全连接层使用SiLU激活函数，第二全连接层使用h-sigmoid激活函数，可选项即为关注通道数的注意力机制模块。
64×64特征图用于检测火灾大目标，128×128特征图用于检测火灾中等目标，256×256用于检测火灾小目标；64×64特征图经过模块2进行特征融合；再将三个特征图输入到Neck网络进行进一步加强特征提取，通过无参数注意力机制模块来对火灾烟雾火焰图片进行加强特征提取；其中，如图6所示，无参数注意力机制模块(即模块4)由依次连接的激活函数和能量函数组成；如图4所示，SPPF 快速特征金字塔包括采用多残差依次连接的卷积层、第一最大池化层、第二最大池化层、第三最大池化层、融合层，第一最大池化层、第二最大池化层、第三最大池化层的池化核分别是5×5、9×9、13×13。
Neck网络；256×256特征图经过模块2进行特征融合后通过第二卷积层进行卷积、第一上采样层进行上采样得到上采样特征图，上采样特征图与128×128 特征图进行特征融合，得到第一特征融合图；第一特征融合图依次通过三个第一模块3、第三卷积层、第二上采样层后与64×64特征图进行特征融合，得到第二特征融合图；第二特征融合图依次通过三个第二模块3、第一模块4后获得64×64 输出特征图；
第二特征融合图依次通过三个第二模块3、第一模块4、第七模块1后与第一特征融合图依次通过三个第一模块3、第三卷积层的特征图进行特征融合，得到第三特征融合图；第三特征融合图依次经过三个第三模块3、第二模块4获得 128×128输出特征图；
第三特征融合图依次经过三个第三模块3、第二模块4、第八模块1后与经过第二卷积层的256×256特征图进行特征融合操作，得到第四特征融合图；第四特征融合图通过三个第四模块3与第三模块4，从而获得256×256输出特征图；
将64×64输出特征图、128×128输出特征图、256×256输出特征图输入到Prediction进行目标分类检测；若出现火情时使用基于引入惩罚系数的CIOUloss损失函数的非极大值抑制，置信度阀值设置为0.5，从而得到置信度最大的火灾烟雾火焰预测框，实现火灾烟雾火焰的精准识别。
实施例3
具体地，在实施例2的基础上，结合具体的实施例子对方案进行说明，进一步体现本方案的技术效果。具体为：
步骤S23中使用的激活函数为SiLU激活函数，公式如下：
SiLU(x)＝x*Sigmoid(x)
其中，sigmoid激活函数表示为：
h-sigmoid激活函数为sigmoid激活函数的分段性近似表示，公式为：
其中，x表示输入单元。
步骤S23中所述能量函数，其计算公式为：
其中，
N＝H×W为单一通道上的神经元数量，t为目标神经元，Oi为其他神经元，系数γ＝10-4，每个神经元的重要性通过计算
获得。
本发明结合日夜间火灾烟雾火焰真实场景及需要部署到边缘智能设备的需要，在火灾监控区域发生火情时，部署火灾识别模型的边缘智能设备通过交换机、云计算服务器、火灾监测系统平台进行联动，如图9所示，通过数据可视化呈现火灾发生的实时信息、火灾报警信息与火灾发生的地理位置信息等信息，为智慧消防提供有效解决方案。
表1不同模型的识别效果对比
其中，Model指不同的模型，Params指不同的模型占用内存大小，mAP指火灾烟雾火焰图像中的火灾烟雾识别和火焰识别的平均精度。
如图10所示，通过本发明部署后的火灾识别模型对火灾烟雾火焰图像进行识别，可见对火灾烟雾火焰图像中的火焰识别的精度为0.89，对火灾烟雾火焰图像中的烟雾识别的精度为0.70。对比其他模型，可见本发明火灾识别模型占用内存小且具有良好的识别效果。
需要说明的是，无参数注意力机制模块关注三维空间。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种火灾烟雾火焰图像识别方法，其特征在于，包括以下步骤：
步骤S1：创建火灾烟雾火焰图像数据集；
步骤S2：对YOLOv5s模型改进得到用于识别火灾烟雾火焰图像的火灾识别模型；
步骤S3：对火灾烟雾火焰图像进行数据增强，将通过数据增强后的火灾烟雾火焰图像输入到火灾识别模型进行训练，得到训练好的火灾识别模型；
步骤S4：将火灾烟雾火焰图像输入至训练好的火灾识别模型中，得到火灾烟雾火焰图像的识别结果；
步骤S2包括：S21：对YOLOv5s模型进行结构改进；火灾识别模型由Backbone网络、Neck网络和Prediction三部分组成；Backbone网络使用深度可分离卷积；
S22：在Backbone网络的底层添加关注通道数的注意力机制模块；
S23：在火灾识别模型的Neck网络引入无参数注意力机制模块。
2.根据权利要求1所述一种火灾烟雾火焰图像识别方法，其特征在于，步骤S1具体为，
S11：对火灾视频切帧，得到火灾烟雾火焰图像，构造火灾烟雾火焰场景标注，形成火灾烟雾火焰图像数据集；
S12：将火灾烟雾火焰图像数据集按比例划分为训练集、验证集和测试集；
S13：使用图像矩形框标注工具LabelImg对火灾烟雾火焰图像中的烟雾和火焰进行标注，获得目标物的坐标、宽高及目标物名称信息，以xml文件形式保存制成火灾烟雾火焰图像数据集中图像对应的标签。
3.根据权利要求1所述一种火灾烟雾火焰图像识别方法，其特征在于，步骤S21中，Backbone网络包括依次连接的第一卷积层、两个第一模块1、两个第二模块1、第三模块1、第四模块1、第五模块1、六个第六模块1、模块2；
其中，两个第一模块1、两个第二模块1的卷积核均为3x3；第三模块1、第四模块1卷积核均为3x3；第五模块1、六个第六模块1的卷积核均为5x5；
Neck网络包括依次连接的第二卷积层、第一上采样层、第一融合层、三个第一模块3、第三卷积层、第二上采样层、第二融合层、三个第二模块3、第一模块4、第七模块1、第三融合层、三个第三模块3、第二模块4、第八模块1、第四融合层、三个第四模块3、第三模块4；
其中，第七模块1、第八模块1的卷积核均为5x5；
所述第三模块1的输出端和第二融合层的输入端连接，所述第五模块1的输出端和第一融合层的输入端连接，所述第三卷积层的输出端和第三融合层的输入端连接，所述第二卷积层的输出端和第四融合层的输入端连接；
火灾烟雾火焰图像经过第一卷积层、两个第一模块1、两个第二模块1、第三模块1得到第一特征图，第一特征图经过第四模块1、第五模块1得到第二特征图，第二特征图经过六个第六模块1、模块2得到第三特征图；
第三特征图经过模块2进行特征融合后通过第二卷积层进行卷积、第一上采样层进行上采样得到上采样特征图，上采样特征图与第二特征图进行特征融合，得到第一特征融合图；第一特征融合图依次通过三个第一模块3、第三卷积层、第二上采样层后与第一特征图进行特征融合，得到第二特征融合图；第二特征融合图依次通过三个第二模块3、第一模块4后获得第一输出特征图；
第二特征融合图依次通过三个第二模块3、第一模块4、第七模块1后与第一特征融合图依次通过三个第一模块3、第三卷积层的特征图进行特征融合，得到第三特征融合图；第三特征融合图依次经过三个第三模块3、第二模块4获得第二输出特征图；
第三特征融合图依次经过三个第三模块3、第二模块4、第八模块1后与经过第二卷积层的第三特征图进行特征融合操作，得到第四特征融合图；第四特征融合图通过三个第四模块3与第三模块4，从而获得第三输出特征图。
4.根据权利要求3所述一种火灾烟雾火焰图像识别方法，其特征在于，两个第一模块1、两个第二模块1、第三模块1、第四模块1、第五模块1、六个第六模块1、第七模块1、第八模块1：均包括依次连接的逐层卷积层、逐点卷积层、全局平均池化层、第一全连接层和第二全连接层；其中，逐层卷积层、逐点卷积层构成深度可分离卷积，逐层卷积层、逐点卷积层、第一全连接层使用SiLU激活函数，第二全连接层使用h-sigmoid激活函数；
步骤S21中深度可分离卷积分为逐层卷积层、逐点卷积层；
步骤S22中关注通道数的注意力机制模块为全局平均池化层、第一全连接层和第二全连接层；
模块2：包括采用多残差依次连接的卷积层、第一最大池化层、第二最大池化层、第三最大池化层、融合层；
三个第一模块3、三个第二模块3、三个第三模块3、三个第三模块3：均由7个或5个依次连接的卷积层以及一个融合层组成；
第一模块4、第二模块4、第三模块4：为步骤S23中无参数注意力机制模块，无参数注意力机制模块由依次连接的Sigmoid激活函数和能量函数组成。
5.根据权利要求4所述一种火灾烟雾火焰图像识别方法，其特征在于，所述SiLU激活函数公式如下：
SiLU(x)＝x*Sigmoid(x)
其中，Sigmoid激活函数表示为：
6.根据权利要求5所述一种火灾烟雾火焰图像识别方法，其特征在于，步骤S23中所述能量函数，其计算公式为：
其中，Et为能量函数，
N＝H×W为单一通道上的神经元数量，t为目标神经元，Oi为其他神经元，系数γ＝10-4，每个神经元的重要性通过计算
获得。
7.根据权利要求6所述一种火灾烟雾火焰图像识别方法，其特征在于，步骤S3中对火灾烟雾火焰图像数据集进行数据增强，具体为，对火灾烟雾火焰图像数据集中多张火灾烟雾火焰图像随机缩放、随机裁剪、随机排布的方式进行拼接，实现Mosaic数据增强。
8.根据权利要求7所述一种火灾烟雾火焰图像识别方法，其特征在于，步骤S3中将通过数据增强后的火灾烟雾火焰图像输入到火灾识别模型进行训练，具体为：
S31：训练集输入到火灾识别模型中，根据预设参数与预设训练迭代次数进行特征提取，并将火灾烟雾火焰图像划分成若干个特征点；
S32：将特征点进行位置偏移并根据落入疑似火灾区域的特征点给出多个预测框；通过预测框的得分排序筛选出满足置信度的预测框，并通过非极大值抑制防止同一种类的预测框堆积并筛选出得分最大的预测框，从而获得最优的火灾烟雾火焰位置；
S33：对训练集中的火灾烟雾火焰图像进行重新贴灰条零填充处理以使得火灾烟雾火焰图像的长宽相同，通过训练过程中火灾识别模型生成的预测框，使用基于CIOUloss损失函数的非极大值抑制，获取置信度最大的火灾烟雾火焰预测框；
S34：将整个火灾识别模型迭代训练过程中验证集损失最小的模型参数作为火灾识别模型的预测参数，得到训练好的火灾识别模型。
9.根据权利要求8所述一种火灾烟雾火焰图像识别方法，其特征在于，步骤S33中CIOUloss损失函数的计算公式为：
CIOUloss＝1-CIoU
其中：
其中，B、Bgt分别为预测框和真实框，b、bgt分别为预测框和真实框的中心点位置，ρ为预测框和真实框的中心点之间的欧氏距离，α、ν分别为预测框和真实框的长宽比，w、h分别为预测框的宽和高，wgt、hgt分别为真实框的宽和高。
10.根据权利要求1所述一种火灾烟雾火焰图像识别方法，其特征在于，步骤S4具体为：对于训练好的火灾识别模型进行格式转换得到所需精度的ONNX模型，将ONNX模型转为合适的边缘智能模型，将边缘智能模型部署到边缘智能设备，对边缘智能设备端拍摄的实时视频处理成火灾烟雾火焰图像输入至火灾识别模型，在边缘智能设备的边缘端完成对火灾烟雾火焰的高效识别与实时检测，边缘智能模型对火灾识别模型的输出进行解码得到火灾烟雾火焰的类别、置信度分数和所在位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211422340.4A CN115761627A (zh) | 2022-11-14 | 2022-11-14 | 一种火灾烟雾火焰图像识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211422340.4A CN115761627A (zh) | 2022-11-14 | 2022-11-14 | 一种火灾烟雾火焰图像识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115761627A true CN115761627A (zh) | 2023-03-07 |
Family
ID=85370533
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211422340.4A Pending CN115761627A (zh) | 2022-11-14 | 2022-11-14 | 一种火灾烟雾火焰图像识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115761627A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116362944A (zh) * | 2023-05-31 | 2023-06-30 | 四川三思德科技有限公司 | 基于差异性的抗飞防作业干扰处理方法、装置及介质 |
| CN116740630A (zh) * | 2023-05-12 | 2023-09-12 | 广州铁路投资建设集团有限公司 | 基于深度模型融合框架的施工现场火灾识别方法及装置 |
| CN117197658A (zh) * | 2023-08-08 | 2023-12-08 | 北京科技大学 | 基于多情境生成图像的建筑火灾多目标检测方法与系统 |
| CN117953432A (zh) * | 2024-03-26 | 2024-04-30 | 湖北信通通信有限公司 | 一种基于ai算法的烟火智能识别方法及系统 |
| CN118038173A (zh) * | 2024-03-12 | 2024-05-14 | 中国矿业大学 | 一种基于机器视觉的高架仓库火灾定位方法 |
-
2022
- 2022-11-14 CN CN202211422340.4A patent/CN115761627A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116740630A (zh) * | 2023-05-12 | 2023-09-12 | 广州铁路投资建设集团有限公司 | 基于深度模型融合框架的施工现场火灾识别方法及装置 |
| CN116362944A (zh) * | 2023-05-31 | 2023-06-30 | 四川三思德科技有限公司 | 基于差异性的抗飞防作业干扰处理方法、装置及介质 |
| CN116362944B (zh) * | 2023-05-31 | 2023-07-28 | 四川三思德科技有限公司 | 基于差异性的抗飞防作业干扰处理方法、装置及介质 |
| CN117197658A (zh) * | 2023-08-08 | 2023-12-08 | 北京科技大学 | 基于多情境生成图像的建筑火灾多目标检测方法与系统 |
| CN118038173A (zh) * | 2024-03-12 | 2024-05-14 | 中国矿业大学 | 一种基于机器视觉的高架仓库火灾定位方法 |
| CN117953432A (zh) * | 2024-03-26 | 2024-04-30 | 湖北信通通信有限公司 | 一种基于ai算法的烟火智能识别方法及系统 |
| CN117953432B (zh) * | 2024-03-26 | 2024-06-11 | 湖北信通通信有限公司 | 一种基于ai算法的烟火智能识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115761627A (zh) | 一种火灾烟雾火焰图像识别方法 | |
| Tao et al. | Smoke detection based on deep convolutional neural networks | |
| CN111951212A (zh) | 对铁路的接触网图像进行缺陷识别的方法 | |
| CN108985192A (zh) | 一种基于多任务深度卷积神经网络的视频烟雾识别方法 | |
| CN112861635B (zh) | 一种基于深度学习的火灾及烟雾实时检测方法 | |
| CN113850242B (zh) | 一种基于深度学习算法的仓储异常目标检测方法及系统 | |
| CN112837315A (zh) | 一种基于深度学习的输电线路绝缘子缺陷检测方法 | |
| CN110163211B (zh) | 一种图像识别方法、装置和存储介质 | |
| CN112966589A (zh) | 一种在危险区域的行为识别方法 | |
| CN110852222A (zh) | 一种基于目标检测的校园走廊场景智能监控方法 | |
| CN111985374A (zh) | 人脸定位方法、装置、电子设备及存储介质 | |
| CN114399734A (zh) | 一种基于视觉信息的森林火灾预警方法 | |
| Qiang et al. | Forest fire smoke detection under complex backgrounds using TRPCA and TSVB | |
| CN110135446A (zh) | 文本检测方法及计算机存储介质 | |
| CN112836657A (zh) | 一种基于轻量化YOLOv3的行人检测方法及系统 | |
| Tang et al. | Smoking behavior detection based on improved YOLOv5s algorithm | |
| CN115294520A (zh) | 一种基于卷积神经网络的烟火检测方法 | |
| US20230306742A1 (en) | Computer Vision Systems and Methods for Hazard Detection from Digital Images and Videos | |
| CN107948586A (zh) | 基于视频拼接的跨区域运动目标检测方法和装置 | |
| CN116206223A (zh) | 一种基于无人机边缘计算的火灾检测方法及系统 | |
| CN109684982B (zh) | 结合易混目标排除的基于视频分析的火焰检测方法 | |
| CN114662605A (zh) | 基于改进的YOLOv5模型的火焰检测方法 | |
| CN116778346B (zh) | 一种基于改进自注意力机制的管线识别方法及系统 | |
| CN114494893B (zh) | 基于语义重用上下文特征金字塔的遥感图像特征提取方法 | |
| Huang et al. | Temporally-aggregating multiple-discontinuous-image saliency prediction with transformer-based attention |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |