CN114330503A - 一种烟雾火焰识别方法和装置 - Google Patents

Abstract

本申请公开了一种烟雾火焰识别方法，包括以下步骤：建立烟雾、火焰数据集，对数据集进行预处理和标注，形成训练数据集和测试数据集。使用k‑means++聚类算法得到k个目标锚框；将预处理过的数据集输入到骨干网络，在骨干网络的第二个3×3卷积层之前添加一个1×1卷积核，在骨干网络的第三个neck CSP之前添加注意力机制模块，所述注意力机制采用non_local方法；在neck阶段对骨干网络中提取的特征图，采用FPN和PAN结构，先上采样再下采样，融合不同尺度的特征信息；使用所述训练数据集，对模型进行训练。本申请还包含实现所述方法的装置。本申请的方案解决有技术的人工智能算法检测火焰时小目标物检测效果差、算法运行资源要求高的问题。

Description

一种烟雾火焰识别方法和装置

技术领域

本申请涉及计算机人工智能技术领域，尤其涉及一种基于烟雾火焰识别方法和装置。

背景技术

火灾在人们日常生活中频繁发生且危害巨大，早期的基于图像的火焰检测技术，主要是基于火焰的颜色、亮度、形状等特征实现火焰检测。由于火焰的发生场景、燃烧形态、伴随产生的烟雾的形态等，具有多样性，极容易受环境的影响，把人工智能和深度学习技术应用到烟雾火焰识别中，通过图像处理与识别技术，避免了繁琐而耗时的特征提取过程，可以自动地从火焰和烟雾数据中学习丰富的特征，提高火灾检测的准确率并实现火灾定位。YOLO系列算法使计算得到的图像特征更为通用。YOLOV5发布了四种不同版本的权重参数供选择，用以权衡算法计算速度和计算精度。YOLO算法的计算速度与RCNN系列算法相比有了很大的提升；与Faster R-CNN相比，YOLO将算法速度提升了三倍，但是，YOLO算法在为了追求计算速度的同时，损失了部分计算精度和准确度，尤其是对于小目标物的检测，效果比较差。

发明内容

针对现有技术的不足，本申请提出一种烟雾火焰识别方法和装置，解决现有技术的人工智能算法检测火焰时小目标物检测效果差、算法运行资源要求高的问题。尤其适用于基于YOLOV5的烟雾火焰识别，能够以高准确率、高鲁棒性实现烟雾火焰目标识别，并且能够在CPU环境下达到50FPS，成功部署工程应用。

一方面，本申请实施例提出一种烟雾火焰识别方法，包括以下步骤：

建立烟雾、火焰数据集，对数据集进行预处理和标注，形成训练数据集和测试数据集。

使用k-means++聚类算法得到k个目标锚框；

将预处理过的数据集输入到骨干网络，在骨干网络的第二个3×3卷积层之前添加一个1×1卷积核，在骨干网络的第三个neck CSP之前添加注意力机制模块，所述注意力机制采用non_local方法；

在neck阶段对骨干网络中提取的特征图，采用FPN和PAN结构，先上采样再下采样，融合不同尺度的特征信息；

使用所述训练数据集，对模型进行训练。

优选地，所述使用k-means++聚类算法得到k个目标锚框的步骤，进一步包含：

在选取第一个聚类中心点时，采用随机的方法。

跟聚类中心的距离在一定范围内的数据，归类为同一类；

在选取第n+1个中心点时，距离当前n个聚类中心越远的点有更高的概率被选中，直至所有点都被聚类；

最终选取k个聚类中心，其中k是设定参数。

优选地，骨干网络中采用Focus结构，将原始图像640×640×3接入Focus结构中，通过切片操作，变为320×320×12的特征图，再进行一次32个卷积核操作，变为320×320×32的特征图。

优选地，在数据集预处理的步骤中，分别对烟雾火焰数据集中的图像进行数据增强，包括以下至少一种：几何畸变、光照、遮挡、随机水平翻转、随机裁剪、随机旋转、随机缩放；

优选地，对扩充后的数据集，采用LabelImg进行COCO格式标注，并对标注后的数据集进行随机分类，其中90％作为烟雾火焰训练数据集，10％作为测试数据集。

优选地，对模型进行训练的步骤，进一步包含：根据选择的损失函数，利用梯度下降反向传播方法，对神经网络进行迭代更新，将最大迭代次数计算后的网络权重作为最优网络权重，得到初步的烟雾火焰识别模型；使用已建立的测试集对上述模型进行测试，根据测试结果调整网络结构，将检测过程中效果比较差的图片，加入训练集重新训练，直到测试结果达到预期的效果，得到最终的烟雾火焰识别模型。

进一步地，本申请方法，还包含发布的步骤：将训练得到的模型转换成libTorch发布格式，利用CMake工具构建模型应用程序；进行封装，形成可调用类库发布。

另一方面，本申请还提出一种烟雾火焰识别装置，用于实现本申请任意一项实施例所述方法，包括：数据集模块、聚类模块、神经网络模块、训练环境；

所述数据集模块，用于存储所述训练数据集和测试数据集；

所述聚类模块，用于使用k-means++聚类算法处理数据得到k个目标锚框；

所述神经网络模块，用于神经网络计算，其中在骨干网络的第二个3×3卷积层之前添加一个1×1卷积核，在骨干网络的第三个neck CSP之前添加注意力机制模块，所述注意力机制采用non_local方法；在neck阶段对骨干网络中提取的特征图，采用FPN和PAN结构，先上采样再下采样，融合不同尺度的特征信息；

训练环境采用pytorch框架，ubuntu20.04操作系统，硬件环境：i9-10900X处理器，RTX3090，64G内存。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

本申请通过改进YOLOV5深度卷积神经网络检测视频图像中是否存在火焰和烟雾，实现图像目标识别。

本发明基于YOLOV5的烟雾火焰识别具有高精度和高鲁棒性，适用于不同环境下的烟雾火焰识别，有助于提高火灾的预警可靠性。

本发明基于YOLOV5的烟雾火焰识别很好的权衡了算法计算速度和精度，不需要依赖GPU环境，计算速度满足视频播放的帧率，实现工程应用。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明烟雾火焰识别方法的实施例流程图；

图2为烟雾火焰识别方法的K＝3的聚类图；

图3为烟雾火焰识别方法的网络结构示意图；

图4为训练过程中的精度召回曲线示意图；

图5为烟雾火焰识别方法的识别效果图；

图6为本申请烟雾火焰识别装置的实施例示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本发明提供了一种基于YOLOV5的烟雾火焰识别方法，属于计算机识别和深度学习技术领域，主要步骤包括：构建带有标注和标签的烟雾火焰数据集；对YOLOV5原有的神经网络进行修改；基于已构建的数据集，训练修改后的神经网络，获得新的模型权重；微调神经网络训练参数直至神经网络收敛；模型转换和发布。本发明提供的方法具有高精度和高鲁棒性，适用不同环境下的烟雾火焰识别，并且很好的权衡了算法的计算速度和精度，满足工程部署应用需求。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本发明烟雾火焰识别方法的实施例流程图。

本发明提供一种基于YOLOV5的烟雾火焰识别方法，如图1所示，主要流程包括：

步骤11、建立烟雾火焰数据集，采用网络爬虫、视频截取、现场拍照的方式收集包含烟雾、火焰的图像，建立烟雾、火焰的初始数据集。

步骤12、数据集预处理和标注。

为了丰富深度学习数据集，泛化模型，分别对烟雾火焰数据集中的图像进行数据增强，其中数据增强采用的操作包括：几何畸变、光照、遮挡、随机水平翻转、随机裁剪、随机旋转、随机缩放。并将图片做归一化处理，统一成640×640大小。

对扩充后的数据集，采用LabelImg进行COCO格式标注，并对标注后的数据集进行随机分类，其中90％作为烟雾火焰训练数据集，10％作为测试数据集。

步骤13、构建神经网络结构。

步骤13A、本例中以YOLOV5s为基础，训练步长设置为300、初始学习率设置为0.01、每次训练抓取样本数量设置为1。使用k-means++聚类算法得到k个目标锚框，将原锚框修改为聚类后新的锚框。

具体地，在输入骨干网络之前，采用改进的k-means++聚类算法进行聚类，得到k个先验框。此处k_means++按照如下思路选取k个聚类中心：

(1)在选取第一个聚类中心点时，采用随机的方法。

(2)跟聚类中心的距离在一定范围内的数据，归类为同一类；

(3)在选取第n+1个中心点时，距离当前n个聚类中心越远的点会有更高的概率被选中，重复2、3，直至所有点都被聚类。

(4)最终计算出k个聚类中心，其中k是设定参数，如图2所示，是一个k＝3的聚类和聚类中心21、22、23的位置示意图。

步骤13B、将预处理过的数据集输入到骨干网络。骨干网络中采用Focus结构，不同于以往的Darknet53，此处采用切片操作，将原始图像640×640×3接入Focus结构中，通过切片操作，变为320×320×12的特征图，再进行一次32个卷积核操作，变为320×320×32的特征图。

步骤13C、在算法骨干网络的第二个3×3卷积层之前添加一个1×1卷积核，在算法骨干网络的第三个neck_CSP之前添加注意力机制模块。此处增加1×1卷积核，主要是为了增强对小目标特征的检测。

具体地，在骨干网络中，以Focus网络为基础，在网络的卷积层第二个3×3卷积层之前，添加一个1×1卷积核，以此来增强网络对小目标物的特征提取。在第三个neck_CSP之前添加注意力机制模块，可以快速捕获时间、时空和空间的长范围依赖，相比于多层卷积的计算速度更快，需要的层数更少。网络结构图3所示。

其中采用1×1卷积核，是为了通过卷积的个数来控制图像的计算深度，达到升维的目的。

本例注意力机制采用non_local方法，注意力机制是深度学习中常用的一种方法，主要目的是在计算一张图片时，把算法关注的集中度放在比较重要的部分，忽略不重要的部分。本例在网络中增加注意力机制模块，对图片中每个像素都计算出一个权重值，在后续处理的过程中把计算的重点转移到注意力权重比较大的像素，以此来实现扩大图像感受野、提高计算速度的目的。

步骤13D、在neck_CSP阶段对骨干网络中提取的特征图，采用FPN和PAN结构，先上采样再下采样，融合不同尺度的特征信息。在损失函数阶段，采用GIOU_Loss函数，有效解决了边界框不重合引起的问题，可在众多可选择的目标框中获取最优目标框。最后，由输出端输出检测结果。

步骤14、本例模型训练环境采用pytorch框架，ubuntu20.04操作系统，硬件环境：i9-10900X处理器，RTX3090，64G内存。具体步骤如下：

步骤14A、根据选择的损失函数，利用梯度下降反向传播方法，对神经网络进行迭代更新，将最大迭代次数计算后的网络权重作为最优网络权重，得到初步的烟雾火焰识别模型。

步骤14B、使用已建立的测试集对上述计算的模型进行测试，根据测试结果调整网络结构，将检测过程中效果比较差的图片，加入训练集重新训练，直到测试结果达到预期的效果，得到最终的烟雾火焰识别模型。

训练过程中精度召回曲线如图4所示，精度召回曲线代表的是精准率与召回率的关系，其中X轴为召回率，Y轴为精准率。准确率和召回率是互相影响的，理想情况下无法做到两者都高，一般情况下准确率高、召回率就低，召回率低、准确率高。用不同的阀值，统计出一组不同阀值下的精确率和召回率，曲线所包含的面积越大，说明输入的计算参数越优。

步骤15、将训练得到的模型转换为发布格式，构建应用程序并进行封装，形成可调用类库发布。

由于本发明在Pytorch深度学习框架中进行模型训练，所以选用libTorch发布模型，如图5所示，首先将训练得到的模型转换成libTorch发布格式，利用CMake工具构建模型应用程序，并对模型进行进一步的封装，最后形成可调用类库发布。

模型识别效果如图5所示，由图5可以看出，本例计算的模型可以很好的识别并分类标注图像中的烟雾和火焰。

图6为本申请烟雾火焰识别装置的实施例示意图。

另一方面，本申请还提出一种烟雾火焰识别装置，用于实现本申请任意一项实施例所述方法，包括：数据集模块61、聚类模块62、神经网络模块63、发布模块64、训练环境65；

所述数据集模块，用于存储所述训练数据集和测试数据集；

所述聚类模块，用于使用k-means++聚类算法处理数据得到k个目标锚框；

所述神经网络模块，用于神经网络计算，其中在骨干网络的第二个3×3卷积层之前添加一个1×1卷积核，在骨干网络的第三个neck CSP之前添加注意力机制模块，所述注意力机制采用non_local方法；在neck阶段对骨干网络中提取的特征图，采用FPN和PAN结构，先上采样再下采样，融合不同尺度的特征信息；

所述发布模块，用于将训练得到的模型转换为发布格式，构建应用程序并进行封装，形成可调用类库发布。

训练环境采用pytorch框架，ubuntu20.04操作系统，硬件环境：i9-10900X处理器，RTX3090，64G内存。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

因此，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请中任一实施例所述的方法。

进一步地，本申请还提出一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请任一实施例所述的方法。

可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现本申请实施例所述方法的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现本申请实施例所述方法指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现本申请实施例所述方法的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种烟雾火焰识别方法，其特征在于，包括以下步骤：

建立烟雾、火焰数据集，对数据集进行预处理和标注，形成训练数据集和测试数据集；

使用k-means++聚类算法得到k个目标锚框；

将预处理过的数据集输入到骨干网络，在骨干网络的第二个3×3卷积层之前添加一个1×1卷积核，在骨干网络的第三个neck CSP之前添加注意力机制模块，所述注意力机制采用non_local方法；

在neck阶段对骨干网络中提取的特征图，采用FPN和PAN结构，先上采样再下采样，融合不同尺度的特征信息；

使用所述训练数据集，对模型进行训练。

2.如权利要求1所述烟雾火焰识别方法，其特征在于，所述使用k-means++聚类算法得到k个目标锚框的步骤，进一步包含：

在选取第一个聚类中心点时，采用随机的方法；

跟聚类中心的距离在一定范围内的数据，归类为同一类；

在选取第n+1个中心点时，距离当前n个聚类中心越远的点有更高的概率被选中，直至所有点都被聚类；

最终选取k个聚类中心，其中k是设定参数。

3.如权利要求1所述烟雾火焰识别方法，其特征在于，

骨干网络中采用Focus结构，将原始图像640×640×3接入Focus结构中，通过切片操作，变为320×320×12的特征图，再进行一次32个卷积核操作，变为320×320×32的特征图。

4.如权利要求1所述烟雾火焰识别方法，其特征在于，

在数据集预处理的步骤中，分别对烟雾火焰数据集中的图像进行数据增强，包括以下至少一种：几何畸变、光照、遮挡、随机水平翻转、随机裁剪、随机旋转、随机缩放。

5.如权利要求4所述烟雾火焰识别方法，其特征在于，

对扩充后的数据集，采用LabelImg进行COCO格式标注，并对标注后的数据集进行随机分类，其中90％作为烟雾火焰训练数据集，10％作为测试数据集。

6.如权利要求1所述烟雾火焰识别方法，其特征在于，对模型进行训练的步骤，进一步包含：

根据选择的损失函数，利用梯度下降反向传播方法，对神经网络进行迭代更新，将最大迭代次数计算后的网络权重作为最优网络权重，得到初步的烟雾火焰识别模型；

使用已建立的测试集对上述模型进行测试，根据测试结果调整网络结构，将检测过程中效果比较差的图片，加入训练集重新训练，直到测试结果达到预期的效果，得到最终的烟雾火焰识别模型。

7.如权利要求1所述烟雾火焰识别方法，其特征在于，还包含发布的步骤：

将训练得到的模型转换成libTorch发布格式，利用CMake工具构建模型应用程序；进行封装，形成可调用类库发布。

8.一种烟雾火焰识别装置，用于实现权利要求1～7任意一项所述方法，其特征在于，包括：数据集模块、聚类模块、神经网络模块、训练环境；

所述数据集模块，用于存储所述训练数据集和测试数据集；

所述聚类模块，用于使用k-means++聚类算法处理数据得到k个目标锚框；

所述神经网络模块，用于神经网络计算，其中在骨干网络的第二个3×3卷积层之前添加一个1×1卷积核，在骨干网络的第三个neck CSP之前添加注意力机制模块，所述注意力机制采用non_local方法；在neck阶段对骨干网络中提取的特征图，采用FPN和PAN结构，先上采样再下采样，融合不同尺度的特征信息；

训练环境采用pytorch框架，ubuntu20.04操作系统，硬件环境：i9-10900X处理器，RTX3090，64G内存。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1～7中任一所述的方法。

10.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1～7中任一所述的方法。

Images