CN115393774A

CN115393774A - 一种轻量化的火灾烟雾检测方法、终端设备及存储介质

Info

Publication number: CN115393774A
Application number: CN202211099669.1A
Authority: CN
Inventors: 张登银; 李旭; 金小飞; 陆松浩
Original assignee: Nanjing University of Posts and Telecommunications
Current assignee: Nanjing University of Posts and Telecommunications
Priority date: 2022-09-09
Filing date: 2022-09-09
Publication date: 2022-11-25
Also published as: WO2024051297A1

Abstract

本发明公开了一种轻量化的火灾烟雾检测方法、终端设备及存储介质，属于烟雾检测技术领域，主要基于混合高斯模型和YUV颜色模型相结合，筛选出类似烟雾的前景，并调用改进的yolo算法对类似烟雾的前景进行进一步筛选，将网络YOLOv5s的Backbone主干网络替换为参数更少的Mobilenetv3的主干网络进行特征提取，在mobile‑yolov5的主干网络中添加了SE注意力机制，引入了ACON激活函数以取代YOLOv5的Leaky ReLU激活函数，形成ACON‑CSP模块进行特征提取，本发明利用混合高斯和YUV相结合对烟雾前景进行提取来进行预处理，预处理阶段排除静态干扰、非烟雾颜色干扰的同时，缩小烟雾检测的范围；在保证了相对精度的同时，提升了检测的速度，为户外计算机较低的终端设备进行火灾烟雾检测提供了一种可能的方法。

Description

一种轻量化的火灾烟雾检测方法、终端设备及存储介质

技术领域

发明涉及一种轻量化的火灾烟雾检测方法、终端设备及存储介质，属于烟雾检测技术领域。

背景技术

火灾是由人们用火不当或者自然界自燃引起的一种灾害，若火势得不到及时控制，则会持续相当长的时间，对大范围面积内的生命造成威胁，对自然环境也产生不可逆的影响。在各种自然灾害中，火灾是最普遍、最经常威胁公众安全和社会发展的灾害之一，而在火灾发生的早期，会伴随着烟雾的不断产生和飘散，若能在此阶段及时检测到烟雾并进行有效扑救，就可以把财产损失和社会影响降到最低，所以火灾早期的烟雾检测至关重要。传统的烟雾检测方法大多基于物理传感器的探测技术，包括离子式烟雾传感器、光电式烟雾传感器等，但并不适用于灵敏度要求高或复杂多样、范围较大的环境中。传统的烟雾检测装置探测范围小、设备成本高，且极易受天气光照等影响，烟雾误报率较高。

目前针对于火灾检测报警的设备应用最多就是烟雾感应器，一般安装在容易发生火灾的室内场所，比如停车场、工厂、企业办公区域以及家居等环境中，因为它生产成本低且安装简单，所以被广泛使用。这种检测器的原理是根据火灾发生时产生的烟雾浓度、环境温度以及火势变大后环境亮度的改变等条件，触发其中的物理原件来感知火灾的发生，其优点是随及火势变大后环境亮度的改变等条件，触发其中的物理原件来感知火灾的发生，其优点是对环境光线没有要求，即使在暗光下发生的火灾烟雾也可以被检测出。但是其具有较大的局限性，因为只有当烟雾的浓度或者周边环境温度的上升达到一定的标准才能检测出火灾发生，所以一般只适用于较小空间内，另外其灵敏度会随时间的推移而降低，导致即使在小空间内也无法检测出火灾，浓度等影响，传感器信号的传送速度较慢且信号变弱而失效，因此识别效果差、误报率高从而失去最佳的救援和抢救时间。大致由两个研究分支构成，一个是以火焰检测为主，一个是以烟雾检测为主。

从实际应用来看，以烟雾检测为主的技术更具有优势，因为火灾发生的初期火焰一般不明显，尤其是在森林等高大密集地带，火焰很容易被遮挡，而火灾产生的烟雾因其具有向上飘动且面积逐渐增大的性质，较容易被摄像机捕捉到。如果能及时将烟雾检测出来，便可以提前采取措施将火灾控制住。随着图像识别技术的发展和视频监控设施的广泛应用，基于视频的烟雾识别方法成为国内外学者的研究热点。但是，当前市场上，具有烟雾检测功能的视频监控系统或者智能终端设备还比较少，大多数基于深度学习的烟雾检测系统多停留在研究阶段，并没有上市使用，主要原因在于：烟雾的形态不固定，任意扩散，在烟雾现场存在较多像烟雾的目标，不利于真实火灾烟雾的定位和检测。为此我们提出了一种轻量化的火灾烟雾检测方法、终端设备及存储介质，来解决上述问题。

发明内容

本发明的目的在于克服现有技术中的不足，提供了一种轻量化的火灾烟雾检测方法、终端设备及存储介质，解决烟雾现场存在较多像烟雾的目标，不利于真实烟雾的定位和检测的技术问题。

为达到上述目的，本发明是采用下述技术方案实现的：

第一方面，本发明提出了一种轻量化的火灾烟雾检测方法，包括以下步骤：

获取视频图像；

基于混合高斯模型和YUV颜色模型相结合，筛选出类似烟雾的前景；

调用改进的yolo算法对所述类似烟雾的前景进行进一步筛选；

预测每帧图像中烟雾的具体位置和范围，完成烟雾检测过程。

基于第一方面，进一步地，基于混合高斯模型和YUV颜色模型相结合，筛选出类似烟雾的前景具体包括：

利用混合高斯算法对视频每帧进行像素匹配，得到相应的静态背景和动态前景；

对动态前景的面积增长率进行判断，若所述面积增长率大于0，则按照YUV颜色模型对动态前景再次进行提取，得到粗筛选后的烟雾前景最终框定出视频烟雾的具体位置和范围。

基于第一方面，进一步地，所述利用混合高斯算法对视频每帧进行像素匹配中，高斯分布概率密度函数加权和公式为：

其中，x_t为当前帧像素点，k为高斯模型总数，w_i,t为t时刻第i个高斯分布的权重，η为t时刻第i个高斯分布的概率密度函数，μ_i,t和τ_i,t为其均值与协方差矩阵，

为方差，I为三维单位矩阵。

基于第一方面，进一步地，还包括将当前帧的像素与设定好的混合高斯模型一一匹配，直到找到与之相适应的高斯模型，如下式所示：

|x_t-μ_i,t-1|≤D·σ_i,t-1 (1-2)

其中，D为置信参数，σ_i,t-1为t-1时刻第i个高斯分布的标准差；

若某一高斯分布与像素匹配成功，则置1，并对高斯模型中的参数进行更新，如下式所示：

其中α为学习速率，ρ＝α·η为参数的更新速率；

若不匹配，则保持该高斯分布参数中的均值μ_i,t与方差

不变，只对权重w_i,t做出修改，此时M_i,t为0，当k个高斯分布中无一与像素点匹配时，则创建新的高斯分布来取代原有分布中权值较小的高斯分布，并进行参数的归一化处理；

将x_t与所得的B个高斯模型匹配，当某一模型满足该像素点需要时，则视该像素点为背景，否则属于前景，如下式所示：

其中，b为初始参数，T为预设定阈值。

基于第一方面，进一步地，所述按照YUV颜色模型对动态前景再次进行提取中，RGB颜色空间转换到YUV颜色空间的公式如下：

其中Y、色度分量U和V取值范围均为0-255；

且满足以下公式的区域判断为类似烟雾区域：

式中U(x,y)和V(x,y)分别是点(x,y)的U分量和V分量。

基于第一方面，进一步地，所述调用改进的yolo算法对所述类似烟雾的前景进行进一步筛选具体包括：

提取烟雾特征时,把预处理后的烟雾数据集作为模型的输入，在mobile-yolov5模型中进行反复训练和调整参数，最后生成表征烟雾特征的权重，并在粗筛选得到的烟雾前景中进行调用，对烟雾区域进行二次细筛选。

基于第一方面，进一步地，所述mobile-yolov模型中将YOLOv5s的Backbone主干网络替换为Mobilenetv3的主干网络，且在mobile-yolov5的主干网络中添加SE注意力机制。

基于第一方面，进一步地，还包括引入ACON激活函数以取代YOLOv5的Leaky ReLU激活函数，形成ACON-CSP模块进行特征提取。

第二方面，本发明提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面中任一项方案所述的火灾烟雾检测方法。

第三方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面中任一项方案所述的火灾烟雾检测方法。

与现有技术相比，本发明所达到的有益效果：

本发明公开了一种轻量化的火灾烟雾检测方法、终端设备及存储介质，本发明利用混合高斯和YUV相结合对烟雾前景进行提取来进行预处理，预处理阶段排除静态干扰、非烟雾颜色干扰的同时，缩小烟雾检测的范围；在保证了相对精度的同时，大大提升了检测的速度；

本发明利用轻量化的mobile-yolov5训练数据并提取烟雾特征；最终把两者进行融合，预测出烟雾的具体位置和范围,并进行烟雾框定，完成对烟雾的检测，与其他大规模卷积神经网络相比，本发明可以减少优化过程中的梯度信息重复，自适应的选择是否激活神经元，大大提升了网络精度，能够为实际生活中实现烟雾检测产品的落地生产提供一种可能。

附图说明

图1为本发明实施例一中轻量化的火灾烟雾检测方法的流程示意图；

图2为本发明实施例一轻量化的火灾烟雾检测方法中混合高斯背景建模流程示意图；

图3为本发明实施例一轻量化的火灾烟雾检测方法中类似烟雾区域提取的流程图；

图4为本发明实施例一的mobile-yolov5算法结构示意图；

图5为本发明实施例一的SE模块示意图；

图6为本发明实施例一的ACON-CSP模块示意图。

具体实施方式

下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解，本申请实施例以及实施例中的具体实施方式是对本申请技术方案的详细说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施方式的技术特征可以相互组合。

为解决现有烟雾形态不固定，任意扩散，在烟雾现场存在较多像烟雾的目标，不利于真实烟雾的定位和检测，烟雾区域难以筛选，烟雾场景区别较大，烟雾检测准确率不高的问题，同时也为了应用在实际生活中计算能力较低的终端设备，本发明提供了一种轻量化的火灾烟雾检测方法、终端设备及存储介质，具体实施例如下。

实施例一

如图1所示，本实施例提供了一种轻量化的火灾烟雾检测方法，其包括以下步骤：

1.1混合高斯进行动态前景提取：

在处理彩色图像时，混合高斯背景建模认为图像像素点的R、G、B三色通道相互独立且方差相同。当某一像素点X在不同图像中的像素信息其中为t时刻该点像素值，以此来描述像素点的特征。高斯分布概率密度函数加权和如公式(1-1)所示。

为方差，I为三维单位矩阵。混合高斯背景建模流程图如图2所示。

1)将当前帧的像素与设定好的混合高斯模型一一匹配，直到找到与之相适应的高斯模型。如公式(1-2)所示。

|x_t-μ_i,t-1|≤D·σ_i,t-1 (1-2)

其中，D为置信参数，其值通常设定为2.5，σ_i，t-1为t-1时刻第i个高斯分布的标准差。

2)若某一高斯分布与像素匹配成功，则置1，并对高斯模型中的参数进行更新，如公式(1-3)所示。

其中α为学习速率，ρ＝α·η为参数的更新速率。

3)若不匹配，则保持该高斯分布参数中的均值μ_i，t，与方差

不变，只对权重w_i，t做出修改，此时M_i，t为0。当k个高斯分布中无一与像素点匹配时，则需创建新的高斯分布来取代原有分布中权值较小的高斯分布，并进行参数的归一化处理。

4)按照公式λ_i，t＝w_i，t/σ_i，t的大小对高斯分布进行排序，排名越靠前的模型权重就越大，与像素点的匹配次数就越多，即模型也就越稳定，选择其中的B个高斯模型描述场景信息。将x_t与所得的B个高斯模型匹配，当某一模型满足该像素点需要时，则视该像素点为背景，否则属于前景。如公式(1-4)所示。

其中，b为初始参数，T为预设定阈值。

1.2烟雾增长特征

烟雾运动具有增长性和扩散性特性，具体表现为，随着时间的增加，连续视频图像序列中烟雾区域面积越来越大，如图3所示。

1)通过式(1-5)可求烟雾区域的面积增长率：

式中：

为t₀时刻运动区域的面积；t-t₀为时作间隔。

2)若判断面积增长率大于0，则认为是类似烟雾运动特性，保留至下一步。

3)若判断面积增长率小于等于0，则舍弃该图片。

1.3 YUV烟雾颜色特征进行似烟雾筛选

在RGB和HSI颜色空间，疑似烟雾像素点的分类结果会受背景光照和环境条件的影响。在YUV颜色空间，Y是亮度分量(Luminance或Luma)，也就是灰阶值；U和V是色度分量(Chrominance或Chroma)，用于描述影像色彩及饱和度。在YUV颜色空间，亮度信号Y和色度信号U、V是分离的，颜色信息对光照变化不敏感。因此，本文采用基于YUV颜色空间的烟雾颜色检测方法。

1)从RGB颜色空间转换到YUV颜色空间的公式如下：

其中Y取值范围0-255，色度分量U和V取值范围也是0-255。

通常在低温情况下，烟雾颜色从青白色变为白色，随着温度升高，又变为灰黑色和黑色。为了清楚地解释该现象，我们选取一些样本图像，分别提取输入RGB图像的Y、U、V分量。经过大量烟雾图片实验，可以看出，烟雾像素点的|U-V|值主要分之在70到160之间。烟雾颜色像素点(1-7)决定：

其中，U(x，y)和V(x，y)分别是点(x，y)的U分量和V分量。通过大量实验，阈值,T_U，T_UV分别取值140和70。

2)将满足公式1-7中符合的区域判断为类似烟雾区域。

步骤二：提取烟雾特征时,把预处理后的烟雾数据集作为模型的输入，在mobile-yolov5模型中进行反复训练和调整参数，最后生成表征烟雾特征的权重，并在粗筛选得到的烟雾前景中进行调用，对烟雾区域进行二次细筛选。

主干提取网络的改进:

如图4-6所示，将YOLOv5s的Backbone主干网络替换为Mobilenetv3的主干网络，来进行特征提取，同时为了提高准确性，在mobile-yolov5的主干网络中添加了SE注意力机制，以加强卷积后每个通道的语义信息。然后引入了ACON激活函数以取代YOLOv5的LeakyReLU激活函数。ACON-CSP模块主要对特征图进行特征提取，从图像中提取丰富的信息。与其他大规模卷积神经网络相比，ACON-CSP结构可以减少优化过程中的梯度信息重复。ACON激活函数可以自适应的选择是否激活神经元，通过替换原网络的激活层，能够提升网络精度。

MobileNet系列网络作为轻量级网络的代表，被广泛应用到嵌入式端和移动端，MobileNetv3作为MobileNet系列的最新版，它综合了以下四个特点。

1.MobileNetV1的深度可分离卷积，引入深度可分离卷积，将普通卷积替换为深度卷积和点卷积，深度卷积针对每个输入通道采用不同的卷积核，即网络的分组数与网络的channel数量相等，使网络的计算量减到最低，再使用点卷积进行channel之间的融合。通过深度可分离卷积，在保持较好的精度的同时，计算量大幅度降低。

2.MobileNetV2具有的线性瓶颈的逆残差结构，MobileNetV2的线性瓶颈的逆残差结构与原始的残差结构不同，原始的残差结构采用先降维、再升维的方法，深度卷积因其参数少，提取的特征相对较少，先进行压缩，提取的特征会更少，因此先扩张来进行特征提取再压缩，此外，深度可分离卷积得到的特征对应于低维空间，如果后续接线性映射则能够保留大部分特征，而如果接非线性映射则会破坏特征，使得模型效果变差。因此把每一个Block中最后的ReLU6层换成了线性映射Linear，来减少特征的损耗，获得更好的检测效果。

3.轻量级的注意力模型。如图5所示，引入轻量级注意力机制SENet网络，注意力网络SENet是通过对每个通道进行全局平均池化，使其具有全局的感受野，进而使浅层网络也具有了全局信息；再通过FC→Relu→FC→h-swish为每个通道生成相应的权重，来提升重要的特征并抑制不重要的特征。

4.利用h-swish代替swish函数h-swish是基于swish的改进，swish函数具有无上界、有下界、平滑和非单调的特点，并且在深层模型上的效果优于ReLU，但其sigmoid函数σ(x)在移动端非常消耗计算资源，为了能够在移动设备上应用swish并降低它的计算资源的消耗，h-swish改用sigmoid函数σ(x)的近似函数ReLU6来逼近Swish，使用ReLU6在量化模式下能提高大约15％的效率，且ReLU6函数在许多软硬件框架中都已实现，易于量化部署，计算推理速度快。

YOLOv5算法是在YOLOv4和YOLOv3的基础上发展而来，和YOLOv4相比，YOLOv5的架构小了大约90％，在准确度上，YOLOv5的表现优于目前市场的YOLOv3和YOLOv4算法。YOLOv5结构分为输入端，Backbone，Neck和Prediction四个部分。其中，输入端包括Mosaic数据增强、自适应图片缩放、自适应锚框计算，Backbone包括Focus结构、CSP结构，Neck包括FPN+PAN结构，Prediction包括GIOU_Loss结构。

SPP(Spatial Pyramid Pooling)模块分别使用4个不同大小的卷积核对前层特征进行最大池化处理，卷积核的尺寸分别为13×13、9×9、5×5、1×1，然后将4个处理后的结果连接起来组成新的特征层，在增加网络深度的同时留了前层特征，以获取更多局部特征信息。

PANet模块对MobileNetV3主干网络特征提取的结果首先进行上采样，再进行下采样，加强了特征金字塔的信息提取能力。通过不同层的自适应池化，将特征网格与全部特征层直接融合在一起，在下采样的过程中将融合的结果传入Head头进行回归与分类。通过PANet结构得到3个特征层的预测结果，这3个特征层的大小分别为52×52、26×26、13×13。

Yolo Head将输入图像划分为对应大小的网络，例如对于13×13大小的特征层，将其划分为13×13的网格，目标中心所在的网格负责该目标的预测，每个网格点会有3个预设的先验框，不同大小特征层网格点的先验框大小也不相同。每个预设的先验框经过预测得到网格中心的偏移量x_offset和y_offset、预测框的宽高h和w，以及物体的置信度和分类结果。在预测过程中将每个网格加上其偏移量得到预测框的中心，然后通过先验框结合h和w便可得到预测框的位置。

本实施例模型将所有卷积核大小为3×3的标准卷积替换为深度可分离卷积，进一步减少了模型参数量。

本实施例在烟雾检测中，首先产生一些烟雾候选区域，其次通过分类网络得到类别得分，与此同时通过回归网络得到更加精确的位置参数，最后通过非极大值抑制得出最后的检测结果。将网络YOLOv5s的Backbone主干网络替换为参数更少的Mobilenetv3的主干网络，进行特征提取，来减少计算量。同时为了提高准确性，在mobile-yolov5的主干网络中添加了SE注意力机制，以加强卷积后每个通道的语义信息。然后引入了ACON激活函数以取代YOLOv5的Leaky ReLU激活函数，形成ACON-CSP模块。ACON-CSP模块主要对特征图进行特征提取，从图像中提取丰富的信息。与其他大规模卷积神经网络相比，ACON-CSP结构可以减少优化过程中的梯度信息重复，自适应的选择是否激活神经元，来提升网络精度。并且利用混合高斯和YUV相结合对烟雾前景进行提取来进行预处理，预处理阶段排除静态干扰、非烟雾颜色干扰的同时，缩小烟雾检测的范围；在保证了相对精度的同时，提升了检测的速度，为户外计算机较低的终端设备进行火灾烟雾检测提供了一种可能的方法。

实施例二

本实施例提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现实施例一的方法，具备执行方法相应的功能模块和有益效果，未在本实施例中详尽描述的内容详见实施例一。

实施例三

本实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现实施例一的方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、装置、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims

1.一种轻量化的火灾烟雾检测方法，其特征在于，包括以下步骤：

获取视频图像；

调用改进的yolo算法对所述类似烟雾的前景进行进一步筛选；

2.根据权利要求1所述的火灾烟雾检测方法，其特征在于，基于混合高斯模型和YUV颜色模型相结合，筛选出类似烟雾的前景具体包括：

3.根据权利要求2所述的火灾烟雾检测方法，其特征在于，所述利用混合高斯算法对视频每帧进行像素匹配中，高斯分布概率密度函数加权和公式为：

为方差，I为三维单位矩阵。

4.根据权利要求3所述的火灾烟雾检测方法，其特征在于，还包括将当前帧的像素与设定好的混合高斯模型一一匹配，直到找到与之相适应的高斯模型，如下式所示：

|x_t-μ_i,t-1|≤D·σ_i,t-1 (1-2)

其中α为学习速率，ρ＝α·η为参数的更新速率；

若不匹配，则保持该高斯分布参数中的均值μ_i,t与方差

其中，b为初始参数，T为预设定阈值。

5.根据权利要求2所述的火灾烟雾检测方法，其特征在于，所述按照YUV颜色模型对动态前景再次进行提取中，RGB颜色空间转换到YUV颜色空间的公式如下：

其中Y、色度分量U和V取值范围均为0-255；

且满足以下公式的区域判断为类似烟雾区域：

式中U(x,y)和V(x,y)分别是点(x,y)的U分量和V分量。

6.根据权利要求1所述的火灾烟雾检测方法，其特征在于，所述调用改进的yolo算法对所述类似烟雾的前景进行进一步筛选具体包括：

7.根据权利要求6所述的火灾烟雾检测方法，其特征在于，所述mobile-yolov模型中将YOLOv5s的Backbone主干网络替换为Mobilenetv3的主干网络，且在mobile-yolov5的主干网络中添加SE注意力机制。

8.根据权利要求7所述的火灾烟雾检测方法，其特征在于，还包括引入ACON激活函数以取代YOLOv5的Leaky ReLU激活函数，形成ACON-CSP模块进行特征提取。

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的方法。