CN114332739A - 一种基于运动目标检测和深度学习技术的烟雾检测方法 - Google Patents

Abstract

本发明涉及一种基于运动目标检测和深度学习技术的烟雾检测方法，包括如下步骤：获取烟雾检测卷积神经网络模型并对其进行训练，采用运动目标检测方法对待检测视频进行处理，获取包含运动目标的图像；将包含运动目标的图像输入烟雾检测卷积神经网络模型中，判断是否为烟雾，并输出检测结果。本发明可针对火灾发生早期产生的烟雾目标进行快速准确地检测，从而及时发现火情，为后期扑火和救援提供预警和相关信息，解决了复杂场景下视频烟雾检测精度低、漏检率和误报率高、检测速度慢的问题，实现了危险环境下对于烟雾的实时检测，且方法简单，易于实现。

Description

一种基于运动目标检测和深度学习技术的烟雾检测方法

技术领域

本发明属于图像检测技术领域，具体涉及一种基于运动目标检测和深度学习技术的烟雾检测方法。

背景技术

据世界统计中心统计，近年来火灾威胁日趋严重，其造成的损失值将占大多数国家国民生产总值的1％以上。火灾检测一直是消防安全技术的一个重要研究方向，随着社会的进步和科学的发展，火灾检测的方法也越来越先进。研究表明，在火灾发生的初期，空旷的区域很难发现火焰，但是很容易发现烟雾，因此可通过视频检测烟雾的方法对火灾进行检测。

基于视频监控的检测技术通常由视频采集和图像分析两大软件部分组成，即把由摄像头采集的视频序列输进计算机，由计算机对视频时间序列进行实时分析，根据视频帧的图像特征来进行图像识别，完成检测和预警。与传统的预警方法相比，该方法有效地提高了检测准确率，并且对各种空间场所具有广泛适用性，具有实时预测的能力，缩短了预报时间，同时视频画面提供给监控人员更丰富的信息。

随着监控设备的普及，视频流可提供丰富的特征信息，为检测技术提供了基础。虽然现有的基于视频的烟雾检测技术多种多样，但是烟雾具有独特的色彩和纹理、不规则的形状、扩散方向不确定等特点，且易被自然界中的因素干扰，因此通过一个或者多个特性进行烟雾检测很难达到良好的效果，使得视频烟雾检测技术具有较高的误检率，技术实现难度也较大。

目前，有烟雾检测系统是用来了半自动化的检测方法，即由视频监控自动预警，然后再由监控人员进行确认。这种方法虽然与全程人工监控的方法相比在效率上得到提升，但如果能够提高烟雾检测方法的准确率，降低其误报率，就能够进一步实现智能化，从而保障人民民众的生命财产安全。

发明内容

本发明的目的是提供一种基于运动目标检测和深度学习技术的烟雾检测方法，用于提高烟雾检测的准确率。

为达到上述目的，本发明采用的技术方案是：

一种基于运动目标检测和深度学习技术的烟雾检测方法，包括如下步骤：

S1：获取烟雾检测卷积神经网络模型，并对其进行训练，包括：

(1)获取烟雾图像，构建数据集，并对数据集进行预处理，

(2)对获取的数据集进行数据集增强，并按设定比例将数据集分为训练集、验证集和测试集，

(3)构建卷积神经网络，将训练集输入卷积神经网络进行训练，验证集用于输出每次训练后的误差数据，训练完成后得到烟雾检测卷积神经网络模型，并利用测试集对烟雾检测卷积神经网络模型进行测试；

S2：采用运动目标检测方法对待检测视频进行处理，获取包含运动目标的图像；

S3：将包含运动目标的图像输入烟雾检测卷积神经网络模型中，判断是否为烟雾，并输出检测结果。

优选地，在S1(1)中，通过网络爬虫技术获取烟雾图像；预处理采用高斯滤波消除图像中的高斯噪声。

优选地，在S1(2)中，数据集增强的方法包括：通过缩放、旋转、偏移、翻转、裁剪技术扩展数据集修复图像形变。

优选地，在S1(3)中，构建卷积神经网络包括：以ResNet-18作为卷积神经网络的主体，融合不同尺度特征图的信息，将融合的特征图再进行一次卷积和池化，连接全连接层，输出层使用Sigmoid激活函数。

优选地，在S2中，运动目标检测方法包括如下步骤：

(1)根据待检测视频的第一帧图像，进行背景模型初始化，得到初始化的背景模型样本空间，

(2)获取待检测视频的下一帧图像，根据前景检测计算公式，计算下一帧图像的单个像素点与背景模型样本空间之间的距离，

(3)判断单个像素点是否为运动目标，根据下一帧图像的各个像素点的判断结果构建掩模，

(4)对得到的掩模进行开运算，提取下一帧图像中运动目标的区域，并根据前景点计数和随机子采样更新背景模型样本空间。

进一步优选地，背景模型初始化包括：根据待检测视频的第一帧图像，从每个像素点的空间X个邻域中选择W个样本点

构建背景模型样本空间M_j(t)，当t＝1时，M_j(1)为初始化的背景模型样本空间，背景模型样本空间M_j(t)为：

其中：

1≤i≤W，1≤j≤m×n，

m×n为图像的大小。

进一步优选地，前景检测计算公式为：

||x_t||²＝R²+G²+B²，

||v_i||²＝R_i ²+G_i ²+B_i ²，

(x_y，v_i)²＝(R_iR+G_iG+B_iB)，

其中：

R、G、B为像素点在空间坐标下的三维坐标，

||x_t||²为t时刻像素点与原点之间的欧式距离，

R_i、G_i、B_i为R、G、B圆柱模型下的坐标，

||v_i||²为像素点在圆柱模型下的距离，

(x_y，v_i)²为像素点的点积，

p为空间距离的偏移程度，

d_j(t+1)为单个像素点与背景模型样本空间中每个样本点的距离，

D_j(t+1)为单个像素点与背景模型样本空间之间的距离。

进一步优选地，判断单个像素点是否为运动目标的过程包括：统计单个像素点与背景模型样本空间之间的距离D_j(t+1)中小于第一阈值K的数量Sum_j(t+1)，若Sum_j(t+1)大于第二阈值Q，则单个像素点为运动目标，判断公式为：

进一步优选地，开运算采用核算子进行卷积滤波，核算子为：

进一步优选地，前景点计数为若单个像素点持续多次被判断为运动目标，则将其更新为背景；随机子采样为采用时间随机的方式对背景模型样本空间进行更新。

由于上述技术方案运用，本发明与现有技术相比具有下列优点：

本发明通过采用运动目标检测方法，可针对火灾发生早期产生的烟雾目标进行快速准确地检测，从而及时发现火情，为后期扑火和救援提供预警和相关信息，解决了复杂场景下视频烟雾检测精度低、漏检率和误报率高、检测速度慢的问题，实现了危险环境下对于烟雾的实时检测，且方法简单，易于实现。

附图说明

附图1为本实施例的烟雾检测方法整体流程图；

附图2为本实施例的获取烟雾检测卷积神经网络模型的流程图；

附图3为本实施例的运动目标检测方法的流程图；

附图4为本实施例的最终检测结果示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于运动目标检测和深度学习技术的烟雾检测方法，如图1所示，包括如下步骤：

S1：获取烟雾检测卷积神经网络模型，并对其进行训练，如图2所示，包括：

(1)通过网络爬虫技术获取烟雾图像，构建数据集，并对数据集进行预处理，预处理采用高斯滤波消除图像中的高斯噪声，

(2)对获取的数据集进行数据集增强，即通过缩放、旋转、偏移、翻转、裁剪技术扩展数据集修复图像形变；并按设定比例将数据集分为训练集、验证集和测试集，设定比例可为 6∶2∶2，

(3)利用Pytorch框架构建卷积神经网络，以ResNet-18作为卷积神经网络的主体，以 ResNet模块作为主体，让隐藏层跳跃式连接，避免了信息逐层传递过程中丢失和梯度弥散等问题，当然也可以采用SENet，GoogleNet，VGGNet等其他常见卷积神经网络，将经过不同 ResNet Block得到的特征图在通道维度上进行拼接，ResNet-18的主体由4种不同的基础残差块组成，每种基础残差块会被连续串联两次，将融合后面三种基础残差块得到的特征图，使用上采样技术来保证三组特征图都有同样的维度大小，将融合的特征图再进行一次卷积和池化，连接全连接层，为了适应烟雾识别的二分类问题，输出层使用Sigmoid激活函数替换原网络的Softmax激活函数；

将训练集输入卷积神经网络进行训练，验证集用于输出每次训练后的误差数据，训练完成后得到烟雾检测卷积神经网络模型，并利用测试集对烟雾检测卷积神经网络模型进行测试，经过训练的卷积神经网络可以获得输入图片中烟雾的特征图，通过Sigmoid激活函数输出输入图像属于烟雾类别的概率；卷积神经网络训练结束的条件可包括但不限于以下中的至少一项：实际训练时间超过预设训练时间；实际训练次数超过预设训练次数；损失函数计算所的差异小于预设差异阈值。

S2：采用运动目标检测方法对待检测视频进行处理，获取包含运动目标的图像，该方法的核心思想是先设定一个和图像大小相等的序列图像，为所有像素点建立样本集，样本集中包含N个样本像素值，然后用样本集计算出图像与背景模型的匹配程度，如果像素点与背景模型中的某个样本值之间满足一定的匹配度，则该像素点被分类为背景点，否则被分类为运动目标，如图3所示，具体步骤如下：

(1)根据待检测视频的第一帧图像，进行背景模型初始化，得到初始化的背景模型样本空间，具体而言：

选定待检测视频的第一帧图像，依据图像相邻像素的空间相关性，从每个像素点的空间X 个邻域中选择W个样本点

构建背景模型样本空间M_j(t)，当t＝1时，M_j(1)为初始化的背景模型样本空间，背景模型样本空间M_j(t)为：

其中：

1≤i≤W，1≤j≤m×n，

m×n为图像的大小；

(2)获取待检测视频的下一帧图像，根据前景检测计算公式，计算下一帧图像的单个像素点与背景模型样本空间之间的距离，前景检测计算公式具体为：

||x_t||²＝R²+G²+B²，

||v_i||²＝R_i ²+G_i ²+B_i ²，

(x_y，v_i)²＝(R_iR+G_iG+B_iB)，

其中：

R、G、B为像素点在空间坐标下的三维坐标，

||x_t||²为t时刻像素点与原点之间的欧式距离，

R_i、G_i、B_i为R、G、B圆柱模型下的坐标，

||v_i||²为像素点在圆柱模型下的距离，

(x_y，v_i)²为像素点的点积，

p为空间距离的偏移程度，

d_j(t+1)为单个像素点与背景模型样本空间中每个样本点的距离，

D_j(t+1)为单个像素点与背景模型样本空间之间的距离。

(3)判断单个像素点是否为运动目标，根据下一帧图像的各个像素点的判断结果构建掩模(mask)，具体判断过程包括：统计单个像素点与背景模型样本空间之间的距离D_j(t+1) 中小于第一阈值K的数量Sum_j(t+1)，若Sum_j(t+1)大于第二阈值Q，则单个像素点为运动目标，判断公式为：

(4)为了消除得到的掩模(mask)可能会出现的“鬼影”，对得到的掩模(mask)进行开运算，即先腐蚀再膨胀，采用常见的滤波器对掩模(mask)进行开运算的效果不显著，无法达到预期效果，因此构造了核算子进行卷积滤波，达到了预期消除“鬼影”的效果，便于下一步更加准确的提取运动目标，核算子具体为：

由于光照、天气等原因，背景是不断变化的，因此背景模型样本空间需要不断地更新，以保证对运动目标检测的准确性，本方法以保守更新策略为基础，增加了前景点计数和随机子采样两种更新规则，具体而言：

前景点计数为若单个像素点持续多次被判断为运动目标，则将其更新为背景，

随机子采样为采用时间随机的方式对背景模型样本空间进行更新，由于像素点有W个样本点，假设某个样本在t时刻没有被更新的概率为

那么在经过Δt的时间后，该样本点仍然保留在背景模型的概率P(t，t+Δt)为：

S3：将包含运动目标的图像输入烟雾检测卷积神经网络模型中，判断是否为烟雾，并输出检测结果。

实施例：

S1：获取烟雾检测卷积神经网络模型，并对其进行训练，包括：

(1)通过网络爬虫技术获取烟雾图像，构建数据集，在收集到的图像中随机挑选具有光照变化、场景变化以及尺度变化的图像组成数据集的正样本，选取与数据集样本数量一致的不包含烟雾的图像作为数据集的负样本，正、负样本共同组成数据集D，并且将所有图像的大小resize到416*416；并对数据集进行预处理，预处理采用高斯滤波消除图像中的高斯噪声；

(2)对获取的数据集进行数据集增强；并按6∶2∶2将数据集分为训练集D_Train、验证集 D_Valid和测试集D_Test，并在测试集D_Test的基础上通过人工模拟的方式拍摄两段视频数据作为最终评估的数据之一；

(3)利用Pytorch框架构建卷积神经网络，以ResNet-18作为卷积神经网络的主体，融合不同尺度特征图的信息，将融合的特征图再进行一次卷积和池化，连接全连接层，输出层使用Sigmoid激活函数；将训练集D_Train输入卷积神经网络进行训练，验证集D_Valid用于输出每次训练后的误差数据，训练完成后得到烟雾检测卷积神经网络模型，并利用测试集D_Test对烟雾检测卷积神经网络模型进行测试。

S2：采用运动目标检测方法对待检测视频进行处理，获取包含运动目标的图像，包括：

(1)选定待检测视频的第一帧图像，依据图像相邻像素的空间相关性，从每个像素点的空间8个邻域中选择20个样本点，构建背景模型样本空间M_j(t)，当t＝1时，M_j(1)为初始化的背景模型样本空间；

(2)获取待检测视频的下一帧图像，根据前景检测计算公式，计算下一帧图像的单个像素点与背景模型样本空间之间的距离；

(3)判断单个像素点是否为运动目标，如果单个像素点与各个样本点之间的距离小于5 的个数大于1个，那么就判定该像素点为运动目标，将掩模(mask)中对应位置的像素值设置为255，否则就将掩模(mask)中对应位置的像素值设置为1；根据图像的各个像素点的判断结果构建掩模(mask)；

(4)对得到的掩模(mask)进行开运算，提取图像中运动目标的区域，并将提取出来的图像大小调整至416*416，并根据前景点计数和随机子采样更新背景模型样本空间。

S3：将包含运动目标的图像输入烟雾检测卷积神经网络模型中，判断是否为烟雾，并输出检测结果，如图4所示，如果是烟雾则根据掩模(mask)在图像中框出烟雾的位置，保留该图像，并相工作人员发出警报，否则就获取下一帧图像进行检测，直到人为干涉停止检测。

上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于运动目标检测和深度学习技术的烟雾检测方法，其特征在于：包括如下步骤：

S1：获取烟雾检测卷积神经网络模型，并对其进行训练，包括：

(1)获取烟雾图像，构建数据集，并对数据集进行预处理，

(2)对获取的数据集进行数据集增强，并按设定比例将数据集分为训练集、验证集和测试集，

(3)构建卷积神经网络，将训练集输入卷积神经网络进行训练，验证集用于输出每次训练后的误差数据，训练完成后得到烟雾检测卷积神经网络模型，并利用测试集对烟雾检测卷积神经网络模型进行测试；

S2：采用运动目标检测方法对待检测视频进行处理，获取包含运动目标的图像；

S3：将包含运动目标的图像输入烟雾检测卷积神经网络模型中，判断是否为烟雾，并输出检测结果。

2.根据权利要求1所述的基于运动目标检测和深度学习技术的烟雾检测方法，其特征在于：在S1(1)中，通过网络爬虫技术获取烟雾图像；预处理采用高斯滤波消除图像中的高斯噪声。

3.根据权利要求1所述的基于运动目标检测和深度学习技术的烟雾检测方法，其特征在于：在S1(2)中，数据集增强的方法包括：通过缩放、旋转、偏移、翻转、裁剪技术扩展数据集修复图像形变。

4.根据权利要求1所述的基于运动目标检测和深度学习技术的烟雾检测方法，其特征在于：在S1(3)中，构建卷积神经网络包括：以ResNet-18作为卷积神经网络的主体，融合不同尺度特征图的信息，将融合的特征图再进行一次卷积和池化，连接全连接层，输出层使用Sigmoid激活函数。

5.根据权利要求1所述的基于运动目标检测和深度学习技术的烟雾检测方法，其特征在于：在S2中，运动目标检测方法包括如下步骤：

(1)根据待检测视频的第一帧图像，进行背景模型初始化，得到初始化的背景模型样本空间，

(2)获取待检测视频的下一帧图像，根据前景检测计算公式，计算下一帧图像的单个像素点与背景模型样本空间之间的距离，

(3)判断单个像素点是否为运动目标，根据下一帧图像的各个像素点的判断结果构建掩模，

(4)对得到的掩模进行开运算，提取下一帧图像中运动目标的区域，并根据前景点计数和随机子采样更新背景模型样本空间。

6.根据权利要求5所述的基于运动目标检测和深度学习技术的烟雾检测方法，其特征在于：背景模型初始化包括：根据待检测视频的第一帧图像，从每个像素点的空间X个邻域中选择W个样本点

构建背景模型样本空间M_j(t)，当t＝1时，M_j(1)为初始化的背景模型样本空间，背景模型样本空间M_j(t)为：

其中：

1≤i≤W，1≤j≤m×n，

m×n为图像的大小。

7.根据权利要求5所述的基于运动目标检测和深度学习技术的烟雾检测方法，其特征在于：前景检测计算公式为：

||x_t||²＝R²+G²+B²，

||v_i||²＝R_i ²+G_i ²+B_i ²，

(x_y，v_i)²＝(R_iR+G_iG+B_iB)，

其中：

R、G、B为像素点在空间坐标下的三维坐标，

||x_t||²为t时刻像素点与原点之间的欧式距离，

R_i、G_i、B_i为R、G、B圆柱模型下的坐标，

||v_i||²为像素点在圆柱模型下的距离，

(x_y，v_i)²为像素点的点积，

p为空间距离的偏移程度，

d_j(t+1)为单个像素点与背景模型样本空间中每个样本点的距离，

D_j(t+1)为单个像素点与背景模型样本空间之间的距离。

8.根据权利要求5所述的基于运动目标检测和深度学习技术的烟雾检测方法，其特征在于：判断单个像素点是否为运动目标的过程包括：统计单个像素点与背景模型样本空间之间的距离D_j(t+1)中小于第一阈值K的数量Sum_j(t+1)，若Sum_j(t+1)大于第二阈值Q，则单个像素点为运动目标，判断公式为：

9.根据权利要求5所述的基于运动目标检测和深度学习技术的烟雾检测方法，其特征在于：开运算采用核算子进行卷积滤波，核算子为：

10.根据权利要求5所述的基于运动目标检测和深度学习技术的烟雾检测方法，其特征在于：前景点计数为若单个像素点持续多次被判断为运动目标，则将其更新为背景；随机子采样为采用时间随机的方式对背景模型样本空间进行更新。

Images