CN114359733A - 一种基于视觉的烟雾火情的检测方法及系统 - Google Patents

Abstract

本发明涉及消防技术领域，具体是一种基于视觉的烟雾火情的检测方法及系统，包括以下步骤：获取图像步骤：采集并从图像中提取烟雾火情图像和负样本；图像预处理步骤：将获取的烟雾火情图像和负样本进行预处理，使之成为训练数据；模型训练步骤：将训练数据输入给内卷残差深度神经网络，以设置网络参数进行若干次训练，并保存训练好的检测模型；火情识别步骤：采集图像并转换到模型输入格式，再输入给训练好的检测模型，判断监控区域内是否发生烟雾火情。本发明通过一个内卷残差深度神经网络，通过该网络可以获得不同尺度烟雾火情的位置信息，满足了对变化多样的烟雾火情特征进行有效提取，使得网络的检测率更高，模型的泛化性能更好。

Description

一种基于视觉的烟雾火情的检测方法及系统

技术领域

本发明涉及消防技术领域，尤其涉及一种基于视觉的烟雾火情的检测方法及系统。

背景技术

随着社会的不断发展，在社会财富日益增多的同时，导致发生烟雾火情的危险性也在增多，近年来，烟雾火情发生在小区建筑、交通工具、工业生产、森林等方面也愈加频繁，给人们造成巨大的生命财产损失，因此如何及时检测到烟雾火情并发出报警就成为研究的重点。

早期的烟雾火情探测主要依据烟雾、温度和亮光等方法进行判断，其不利于烟雾火情的及早发现，也无法适用于大空间和室外等环境；近年来，基于图像的火情检测也在不断发展，传统的烟雾火情检测方法是利用图像的机器学习方法，其基于数据先验与统计学，因此其算法的鲁棒性不佳。

中国专利号201810212672.7公开了一种基于机器学习监测视频图像烟雾的火情预警方法，其特征是，包括如下步骤：步骤1)收集并标记各种烟雾场景的图片数据集，其中非火情预警烟雾场景归为A类，火情预警烟雾场景归为B类；步骤2)上下文目标检测层非火灾预警烟雾场景训练：步骤3)上下文目标检测层火情预警烟雾场景训练，重复步骤2)，训练图片为B类火情预警烟雾图片；步骤4)疑似火情烟雾图片检测。

现有技术使用深度学习的火情检测方法，但大多数火情检测方法只关注单一环境，因此在其他环境中误检率较高，导致检测准确率较低，因此，亟需设计一种基于视觉的烟雾火情的检测方法及系统来解决上述的问题。

发明内容

本发明的目的在于提供一种基于视觉的烟雾火情的检测方法及系统，以解决上述背景技术中提出的检测准确率较低问题。

本发明的技术方案是：一种基于视觉的烟雾火情的检测方法，包括以下步骤：

获取图像步骤：采集并从图像中提取烟雾火情图像和负样本；

图像预处理步骤：将获取的烟雾火情图像和负样本进行预处理，使之成为训练数据；

模型训练步骤：将训练数据输入给内卷残差深度神经网络，以设置网络参数进行若干次训练，并保存训练好的检测模型；

火情识别步骤：采集图像并转换到模型输入格式，再输入给训练好的检测模型，判断监控区域内是否发生烟雾火情。

进一步地，在所述图像预处理步骤中，图像预处理的方法为：

划分训练集和测试集子步骤：将烟雾火情数据和负样本以预定的比例划分为训练集和测试集；

图像处理子步骤：随机对图像进行增强处理，并添加雨或雾到图像中；

生成训练数据子步骤：将烟雾火情图片与负样本数据进行混合、仿射变换，将图像转换为模型输入大小，生成训练数据。

进一步地，所述模型训练步骤包括：

获取低层语义特征图子步骤：将输入的训练数据进行切片、重组合成训练特征图，再进行内卷操作、批归一化处理和对Mish激活函数进行激活，再进行多尺度最大池化，提取得到低层语义特征图；

获取模型特征层子步骤：将低层语义特征图进行多个方向的上采样、多尺度特征提取融合高层语义特征，再通过1x1卷积将降维得到检测模型的输出的特征层，作为原输入图像感受野对应的一系列预测框的分类置信度、位置信息和置信度。

进一步地，在所述获取模型特征层子步骤中，采用非极大值抑制对预测框集合进行后处理，获得烟雾火情检测结果，具体处理为：通过距离交并比获得重叠区域和两个box的中心距离，然后通过距离交并比IoU和两个box的中心点之间的距离来删除预测框B_i。

进一步地，在所述获取模型特征层子步骤中，设定置信度最高的预测框为M，非极大值抑制的置信度s_i更新公式为：

其中，s_i是分类置信度，Iou是预测框M、B_i的交并比，ε是NMS阈值，p是M、B_i两个框的中心点之间的距离，c是包含两个框的最小框的对角线长度。

进一步地，在所述获取低层语义特征图子步骤中，内卷操作过程为：先以单个像素X_i,j为条件产生内卷核H_i,j公式，H_i,j＝φ(X_i,j)＝W₁σ(W₀X_i,j)；

其中，W₀，W₁代表两个线性变换，σ表示批处理归一化后的对于两个线性变换的非线性激活函数，然后把核与对应的位置相乘，再进行加运算，代替原来该像素的位置，内卷运算公式表示为：

其中，X为输入特征，c为输入通道，k为卷积核的大小，Δk为考虑对中心像素进行卷积的邻域偏移量集合，G计算每个组共享相同的内卷核的组数。

进一步地，在所述图像处理子步骤中，图像进行增强处理的方式包括：图像缩放、翻转和旋转、仿射变换、调整图像的明暗度中的一种或多种。

进一步地，在所述划分训练集和测试集子步骤中，烟雾火情数据和负样本以9:1比例划分为训练集和测试集。

一种基于视觉的烟雾火情的检测系统，包括：

获取图像模块：采集并从图像中提取烟雾火情图像和负样本；

图像预处理模块：将获取的烟雾火情图像和负样本进行预处理，使之成为训练数据；

模型训练模块：将训练数据输入给内卷残差深度神经网络，以设置网络参数进行若干次训练，并保存训练好的检测模型，内卷残差深度神经网络主要包括内卷操作模块、跨阶段残差网络、空间金字塔池化以及跨阶段特征金字塔结构；

火情识别模块：采集图像并转换到模型输入格式，再输入给训练好的检测模型，判断监控区域内是否发生烟雾火情。

进一步地，在所述图像预处理模块中，图像预处理的方法为：

划分训练集和测试集子模块：将烟雾火情数据和负样本以预定的比例划分为训练集和测试集；

图像处理子模块：随机对图像进行增强处理，并添加雨或雾到图像中；

生成训练数据子模块：将烟雾火情图片与负样本数据进行混合、仿射变换，将图像转换为模型输入大小，生成训练数据。

进一步地，所述模型训练模块包括：

获取低层语义特征图子模块：将输入的训练数据进行切片、重组合成训练特征图，再通过所述跨阶段残差网络进行内卷操作、批归一化处理和对Mish激活函数进行激活，再通过所述空间金字塔池化结构进行多尺度最大池化，提取得到低层语义特征图；

获取模型特征层子模块：将低层语义特征图再通过跨阶段特征金字塔结构进行多个方向的上采样、多尺度特征提取融合高层语义特征，再通过1x1卷积将降维得到检测模型的输出的特征层，作为原输入图像感受野对应的一系列预测框的分类置信度、位置信息和置信度。

进一步地，在所述获取模型特征层子模块中，采用非极大值抑制对预测框集合进行后处理，获得烟雾火情检测结果，具体处理为：通过距离交并比获得重叠区域和两个box的中心距离，然后通过距离交并比IoU和两个box的中心点之间的距离来删除预测框B_i。

进一步地，在所述获取模型特征层子模块中，设定置信度最高的预测框为M，非极大值抑制的置信度s_i更新公式为：

其中，s_i是分类置信度，Iou是预测框M、B_i的交并比，ε是NMS阈值，p是M、B_i两个框的中心点之间的距离，c是包含两个框的最小框的对角线长度。

进一步地，在所述获取低层语义特征图子模块中，内卷操作过程为：先以单个像素X_i,j为条件产生内卷核H_i,j公式，H_i,j＝φ(X_i,j)＝W₁σ(W₀X_i,j)；

其中，W₀，W₁代表两个线性变换，σ表示批处理归一化后的对于两个线性变换的非线性激活函数，然后把核与对应的位置相乘，再进行加运算，代替原来该像素的位置，内卷运算公式表示为：

其中，X为输入特征，c为输入通道，k为卷积核的大小，Δk为考虑对中心像素进行卷积的邻域偏移量集合，G计算每个组共享相同的内卷核的组数。

进一步地，在所述图像处理子模块中，图像进行增强处理的方式包括：图像缩放、翻转和旋转、仿射变换、调整图像的明暗度中的一种或多种。

进一步地，在所述划分训练集和测试集子模块中，烟雾火情数据和负样本以9:1比例划分为训练集和测试集。

本发明通过改进在此提供一种基于视觉的烟雾火情的检测方法及系统，与现有技术相比，具有如下改进及优点：

(1)本发明通过一个内卷残差深度神经网络，通过该网络可以获得不同尺度烟雾火情的位置信息，满足了对变化多样的烟雾火情特征进行有效提取，使得网络的检测率更高，模型的泛化性能更好。

(2)本发明通过设计多样的图像增强方式，以产生多样化的烟雾火情训练样本，提高模型对不同场景的检测率，克服监测场景变化多样的困难。

(3)本发明通过使用内卷操作，使得参数量和计算量更少，且可获得更广的感受野，更有效的提取图像的特征。

附图说明

下面结合附图和实施例对本发明作进一步解释:

图1是本发明实施例的检测烟雾火情流程图；

图2是本发明实施例的烟雾火情检测模型训练流程图；

图3是本发明实施例的内卷运算流程图。

具体实施方式

下面将结合附图1至图3对本发明进行详细说明，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

本发明实施例的，如图1～图3所示，一种基于视觉的烟雾火情的检测方法，包括以下步骤：

获取图像步骤：采集并从图像中提取烟雾火情图像和负样本；

图像预处理步骤：将获取的烟雾火情图像和负样本进行预处理，使之成为训练数据；

模型训练步骤：将训练数据输入给内卷残差深度神经网络，以设置网络参数进行若干次训练，并保存训练好的检测模型；

火情识别步骤：采集图像并转换到模型输入格式，再输入给训练好的检测模型，判断监控区域内是否发生烟雾火情。

进一步地，在图像预处理步骤中，图像预处理的方法为：

划分训练集和测试集子步骤：将烟雾火情数据和负样本以预定的比例划分为训练集和测试集；

图像处理子步骤：随机对图像进行增强处理，并添加雨或雾到图像中；

生成训练数据子步骤：将烟雾火情图片与负样本数据进行混合、仿射变换，将图像转换为模型输入大小，生成训练数据。

进一步地，模型训练步骤包括：

获取低层语义特征图子步骤：将输入的训练数据进行切片、重组合成训练特征图，再进行内卷操作、批归一化处理和对Mish激活函数进行激活，再进行多尺度最大池化，提取得到低层语义特征图；

获取模型特征层子步骤：将低层语义特征图进行多个方向的上采样、多尺度特征提取融合高层语义特征，再通过1x1卷积将降维得到检测模型的输出的特征层，作为原输入图像感受野对应的一系列预测框的分类置信度、位置信息和置信度。

进一步地，在获取模型特征层子步骤中，采用非极大值抑制对预测框集合进行后处理，获得烟雾火情检测结果，具体处理为：通过距离交并比获得重叠区域和两个box的中心距离，然后通过距离交并比IoU和两个box的中心点之间的距离来删除预测框B_i。

进一步地，在获取模型特征层子步骤中，设定置信度最高的预测框为M，非极大值抑制的置信度s_i更新公式为：

其中，s_i是分类置信度，Iou是预测框M、B_i的交并比，ε是NMS阈值，p是M、B_i两个框的中心点之间的距离，c是包含两个框的最小框的对角线长度。

进一步地，在获取低层语义特征图子步骤中，内卷操作过程为：先以单个像素X_i,j为条件产生内卷核H_i,j公式，H_i,j＝φ(X_i,j)＝W₁σ(W₀X_i,j)；

其中，W₀，W₁代表两个线性变换，σ表示批处理归一化后的对于两个线性变换的非线性激活函数，然后把核与对应的位置相乘，再进行加运算，代替原来该像素的位置，内卷运算公式表示为：

其中，X为输入特征，c为输入通道，k为卷积核的大小，Δk为考虑对中心像素进行卷积的邻域偏移量集合，G计算每个组共享相同的内卷核的组数。

进一步地，在图像处理子步骤中，图像进行增强处理的方式包括：图像缩放、翻转和旋转、仿射变换、调整图像的明暗度中的一种或多种。

进一步地，在划分训练集和测试集子步骤中，烟雾火情数据和负样本以9:1比例划分为训练集和测试集。

一种基于视觉的烟雾火情的检测系统，包括：

获取图像模块：采集并从图像中提取烟雾火情图像和负样本；

图像预处理模块：将获取的烟雾火情图像和负样本进行预处理，使之成为训练数据；

模型训练模块：将训练数据输入给内卷残差深度神经网络，以设置网络参数进行若干次训练，并保存训练好的检测模型，内卷残差深度神经网络主要包括内卷操作模块、跨阶段残差网络、空间金字塔池化以及跨阶段特征金字塔结构；

火情识别模块：采集图像并转换到模型输入格式，再输入给训练好的检测模型，判断监控区域内是否发生烟雾火情。

进一步地，在图像预处理模块中，图像预处理的方法为：

划分训练集和测试集子模块：将烟雾火情数据和负样本以预定的比例划分为训练集和测试集；

图像处理子模块：随机对图像进行增强处理，并添加雨或雾到图像中；

生成训练数据子模块：将烟雾火情图片与负样本数据进行混合、仿射变换，将图像转换为模型输入大小，生成训练数据。

进一步地，模型训练模块包括：

获取低层语义特征图子模块：将输入的训练数据进行切片、重组合成训练特征图，再通过跨阶段残差网络进行内卷操作、批归一化处理和对Mish激活函数进行激活，再通过空间金字塔池化结构进行多尺度最大池化，提取得到低层语义特征图；

获取模型特征层子模块：将低层语义特征图再通过跨阶段特征金字塔结构进行多个方向的上采样、多尺度特征提取融合高层语义特征，再通过1x1卷积将降维得到检测模型的输出的特征层，作为原输入图像感受野对应的一系列预测框的分类置信度、位置信息和置信度。

进一步地，在获取模型特征层子模块中，采用非极大值抑制对预测框集合进行后处理，获得烟雾火情检测结果，具体处理为：通过距离交并比获得重叠区域和两个box的中心距离，然后通过距离交并比IoU和两个box的中心点之间的距离来删除预测框B_i。

进一步地，在获取模型特征层子模块中，设定置信度最高的预测框为M，非极大值抑制的置信度s_i更新公式为：

其中，s_i是分类置信度，Iou是预测框M、B_i的交并比，ε是NMS阈值，p是M、B_i两个框的中心点之间的距离，c是包含两个框的最小框的对角线长度。

进一步地，在获取低层语义特征图子模块中，内卷操作过程为：先以单个像素X_i,j为条件产生内卷核H_i,j公式，H_i,j＝φ(X_i,j)＝W₁σ(W₀X_i,j)；

其中，W₀，W₁代表两个线性变换，σ表示批处理归一化后的对于两个线性变换的非线性激活函数，然后把核与对应的位置相乘，再进行加运算，代替原来该像素的位置，内卷运算公式表示为：

其中，X为输入特征，c为输入通道，k为卷积核的大小，Δk为考虑对中心像素进行卷积的邻域偏移量集合，G计算每个组共享相同的内卷核的组数。

进一步地，在图像处理子模块中，图像进行增强处理的方式包括：图像缩放、翻转和旋转、仿射变换、调整图像的明暗度中的一种或多种。

进一步地，在划分训练集和测试集子模块中，烟雾火情数据和负样本以9:1比例划分为训练集和测试集。

本发明的工作原理为：获取图像步骤：采集并从图像中提取烟雾火情图像和负样本；图像预处理步骤：将获取的烟雾火情图像和负样本进行预处理，使之成为训练数据；模型训练步骤：将训练数据输入给内卷残差深度神经网络，以设置网络参数进行若干次训练，并保存训练好的检测模型；火情识别步骤：采集图像并转换到模型输入格式，再输入给训练好的检测模型，判断监控区域内是否发生烟雾火情。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (16)

1.一种基于视觉的烟雾火情的检测方法，其特征在于，包括以下步骤：

获取图像步骤：采集并从图像中提取烟雾火情图像和负样本；

图像预处理步骤：将获取的烟雾火情图像和负样本进行预处理，使之成为训练数据；

模型训练步骤：将训练数据输入给内卷残差深度神经网络，以设置网络参数进行若干次训练，并保存训练好的检测模型；

火情识别步骤：采集图像并转换到模型输入格式，再输入给训练好的检测模型，判断监控区域内是否发生烟雾火情。

2.如权利要求1所述的基于视觉的烟雾火情的检测方法，其特征在于，在所述图像预处理步骤中，图像预处理的方法为：

划分训练集和测试集子步骤：将烟雾火情数据和负样本以预定的比例划分为训练集和测试集；

图像处理子步骤：随机对图像进行增强处理，并添加雨或雾到图像中；

生成训练数据子步骤：将烟雾火情图片与负样本数据进行混合、仿射变换，将图像转换为模型输入大小，生成训练数据。

3.如权利要求1所述的基于视觉的烟雾火情的检测方法，其特征在于，所述模型训练步骤包括：

获取低层语义特征图子步骤：将输入的训练数据进行切片、重组合成训练特征图，再进行内卷操作、批归一化处理和对Mish激活函数进行激活，再进行多尺度最大池化，提取得到低层语义特征图；

获取模型特征层子步骤：将低层语义特征图进行多个方向的上采样、多尺度特征提取融合高层语义特征，再通过1x1卷积将降维得到检测模型的输出的特征层，作为原输入图像感受野对应的一系列预测框的分类置信度、位置信息和置信度。

4.如权利要求3所述的基于视觉的烟雾火情的检测方法，其特征在于，在所述获取模型特征层子步骤中，采用非极大值抑制对预测框集合进行后处理，获得烟雾火情检测结果，具体处理为：通过距离交并比获得重叠区域和两个box的中心距离，然后通过距离交并比IoU和两个box的中心点之间的距离来删除预测框B_i。

5.如权利要求4所述的基于视觉的烟雾火情的检测方法，其特征在于，在所述获取模型特征层子步骤中，设定置信度最高的预测框为M，非极大值抑制的置信度s_i更新公式为：

其中，s_i是分类置信度，Iou是预测框M、B_i的交并比，ε是NMS阈值，p是M、B_i两个框的中心点之间的距离，c是包含两个框的最小框的对角线长度。

6.如权利要求3所述的基于视觉的烟雾火情的检测方法，其特征在于，在所述获取低层语义特征图子步骤中，内卷操作过程为：先以单个像素X_i,j为条件产生内卷核H_i,j公式，H_i,j＝φ(X_i,j)＝W₁σ(W₀X_i,j)；

其中，W₀，W₁代表两个线性变换，σ表示批处理归一化后的对于两个线性变换的非线性激活函数，然后把核与对应的位置相乘，再进行加运算，代替原来该像素的位置，内卷运算公式表示为：

其中，X为输入特征，c为输入通道，k为卷积核的大小，Δk为考虑对中心像素进行卷积的邻域偏移量集合，G计算每个组共享相同的内卷核的组数。

7.如权利要求2所述的基于视觉的烟雾火情的检测方法，其特征在于，在所述图像处理子步骤中，图像进行增强处理的方式包括：图像缩放、翻转和旋转、仿射变换、调整图像的明暗度中的一种或多种。

8.如权利要求2所述的基于视觉的烟雾火情的检测方法，其特征在于，在所述划分训练集和测试集子步骤中，烟雾火情数据和负样本以9:1比例划分为训练集和测试集。

9.一种基于视觉的烟雾火情的检测系统，其特征在于，包括：

获取图像模块：采集并从图像中提取烟雾火情图像和负样本；

图像预处理模块：将获取的烟雾火情图像和负样本进行预处理，使之成为训练数据；

模型训练模块：将训练数据输入给内卷残差深度神经网络，以设置网络参数进行若干次训练，并保存训练好的检测模型，内卷残差深度神经网络主要包括内卷操作模块、跨阶段残差网络、空间金字塔池化以及跨阶段特征金字塔结构；

火情识别模块：采集图像并转换到模型输入格式，再输入给训练好的检测模型，判断监控区域内是否发生烟雾火情。

10.如权利要求9所述的基于视觉的烟雾火情的检测系统，其特征在于，在所述图像预处理模块中，图像预处理的方法为：

划分训练集和测试集子模块：将烟雾火情数据和负样本以预定的比例划分为训练集和测试集；

图像处理子模块：随机对图像进行增强处理，并添加雨或雾到图像中；

生成训练数据子模块：将烟雾火情图片与负样本数据进行混合、仿射变换，将图像转换为模型输入大小，生成训练数据。

11.如权利要求9所述的基于视觉的烟雾火情的检测系统，其特征在于，所述模型训练模块包括：

获取低层语义特征图子模块：将输入的训练数据进行切片、重组合成训练特征图，再通过所述跨阶段残差网络进行内卷操作、批归一化处理和对Mish激活函数进行激活，再通过空间金字塔池化结构进行多尺度最大池化，提取得到低层语义特征图；

获取模型特征层子模块：将低层语义特征图再通过跨阶段特征金字塔结构进行多个方向的上采样、多尺度特征提取融合高层语义特征，再通过1x1卷积将降维得到检测模型的输出的特征层，作为原输入图像感受野对应的一系列预测框的分类置信度、位置信息和置信度。

12.如权利要求11所述的基于视觉的烟雾火情的检测系统，其特征在于，在所述获取模型特征层子模块中，采用非极大值抑制对预测框集合进行后处理，获得烟雾火情检测结果，具体处理为：通过距离交并比获得重叠区域和两个box的中心距离，然后通过距离交并比IoU和两个box的中心点之间的距离来删除预测框B_i。

13.如权利要求12所述的基于视觉的烟雾火情的检测系统，其特征在于，在所述获取模型特征层子模块中，设定置信度最高的预测框为M，非极大值抑制的置信度s_i更新公式为：

其中，s_i是分类置信度，Iou是预测框M、B_i的交并比，ε是NMS阈值，p是M、B_i两个框的中心点之间的距离，c是包含两个框的最小框的对角线长度。

14.如权利要求11所述的基于视觉的烟雾火情的检测系统，其特征在于，在所述获取低层语义特征图子模块中，内卷操作过程为：先以单个像素X_i,j为条件产生内卷核H_i,j公式，H_i,j＝φ(X_i,j)＝W₁σ(W₀X_i,j)；

其中，W₀，W₁代表两个线性变换，σ表示批处理归一化后的对于两个线性变换的非线性激活函数，然后把核与对应的位置相乘，再进行加运算，代替原来该像素的位置，内卷运算公式表示为：

其中，X为输入特征，c为输入通道，k为卷积核的大小，Δk为考虑对中心像素进行卷积的邻域偏移量集合，G计算每个组共享相同的内卷核的组数。

15.如权利要求10所述的基于视觉的烟雾火情的检测系统，其特征在于，在所述图像处理子模块中，图像进行增强处理的方式包括：图像缩放、翻转和旋转、仿射变换、调整图像的明暗度中的一种或多种。

16.如权利要求10所述的基于视觉的烟雾火情的检测系统，其特征在于，在所述划分训练集和测试集子模块中，烟雾火情数据和负样本以9:1比例划分为训练集和测试集。

Images