CN110322659A - 一种烟雾检测方法 - Google Patents

Abstract

本发明公开了一种烟雾检测方法，包括以下步骤：视频流接入：通过从前端摄像头设备或者本地视频文件中读取视频流，对接入的视频流进行解码，获取到帧视频图像；视频图像预处理：使用图像预处理技术对获取到的视频图像进行预处理，以提升后期烟雾检测的准确率；基于背景建模的运动目标检测；深度卷积神经网络目标分类；视频烟雾目标标定：对判定为烟雾的图像块进行位置记录，然后在视频中标定烟雾的区域。本发明方法，集合了深度卷积神经网络和背景差分法的优点，从而实现了对烟雾的准确和实时的检测并定位，有效降低了误检率，还能实时对视频中烟雾进行预警，具有重要意义和应用价值。

Description

一种烟雾检测方法

技术领域

本发明涉及视觉检测技术领域，具体是一种烟雾检测方法。

背景技术

人类长期跟火灾进行斗争，积累了大量防火和灭火的经验，逐步掌握了火灾的燃烧机理、燃烧条件和发展过程，创造了各种各样的防火、灭火方法。根据烟雾、气体、温度等物理量变化，采用感温、感烟、感光、气体探测以及复合式探测而设计了各式各样的烟雾探测器。但是烟雾探测器由于自身的特性而受到空间的限制，存在以下弊端：1)需要烟雾到达后才能探测；2)在大空间室内环境下，烟雾上升到一定高度后会被周围的空气冷却，甚至停留空中不在上升，导致传统的烟雾检测器失去了作用；3)在室外环境，烟雾探测器无法检测大范围，而且烟雾易被气流吹散，烟雾到达不了烟雾探测器。故而近年来，火灾的探测技术正逐渐朝着视频图像处理的趋势发展。

由于火灾的特点在早期通常以烟雾的形势表现出来，针对烟雾检测的技术得到许多专家的积极研究。基于模式识别的烟雾检测方法采用人工智能技术实现对监控区域的实时探测，从而能够更准确的定位烟雾发生地点，避免火灾发生更多地延伸。相比烟雾探测器，具有监控范围广、监控距离远、反应快速等显著的特点。

但是，现有技术中对视频图像进行帧差法检测运动目标，并对运动目标的面积、颜色、方向或者形状等特征进行特征检测或者是特征融合检测，这种基于特征的检测方法受限于烟雾的形态，而烟雾的形态中颜色、形状、面积、方向又很不稳定，难以提取其特征，导致检测准确率不高。因此，有必要找到一种新的烟雾检测方法，能够在大数据量的视频数据中实时检测到烟雾已经成为亟待解决的技术问题。

发明内容

为解决上述问题，本发明提供一种烟雾检测方法。

本发明采用的技术方案是：一种烟雾检测方法，包括以下步骤：

S1、训练烟雾分类检测模型

S11、获取正样本图片集和负样本图片集并保存到相应标记文件中；

S12、对步骤S11中的正样本图片和负样本图片进行尺度变换，统一尺寸；

S13、将统一尺寸后的正负样本图片集中的图片数据和标记文件同时输入到深度卷积神经网络架构中进行训练，得到训练后的烟雾分类检测模型，根据上一次训练的结果，调整优化深度卷积神经网络训练参数设置，重新训练，直至得到最优的烟雾分类检测模型；

S2、接入视频流，获取视频帧图像；

S3、读取步骤S2中的视频帧图像，进行预处理；

S4、对步骤S3中预处理后的视频帧图像使用背景建模方法检测前景运动目标，提取出所有的候选目标图像块；

S5、将步骤S4中的候选目标图像块作为数据源输入到深度卷积神经网络架构中，以步骤S1训练好的最优烟雾分类检测模型为基础参数，对候选目标图像块进行烟雾和非烟雾的分类检测，若某图像块的输出结果被判定为烟雾类别，则认为该图像块是烟雾；

S6、对步骤S5中判定为烟雾的图像块进行位置记录，然后在原始视频图像中使用矩形边界框标记视频中出现的烟雾区域。

进一步地，所述步骤S11中，收集各种场景下的烟雾图片，然后使用图像分割工具提取烟雾图片的小样本图片，作为深度卷积神经网络训练的正样本图片集，同时收集与烟雾相似度很高的图片作为负样本图片集，对正负样本图片集的存储路径和类别标签0或者1进行处理保存到相应标记文件中。烟雾样本图片为原始烟雾图片和多样化后的图片，通常采用旋转、平移、加入高斯噪声等方式对原始图片进行多样化处理，以扩充正样本集。烟雾样本图片集由各种场景下的烟雾图片组成，包括但不限于以下场景图片：

A、包含白天和黑夜中不同光照下的烟雾图片；

B、由各种燃烧物质产生的不同颜色的烟雾图片；

C、室内环境、街道或者森林等室外环境下的烟雾图片；

D、包含淡烟和浓烟的图片。

进一步地，所述步骤S12中，每张样本图片的尺寸大小为128*128像素。

进一步地，所述步骤S2中，通过从前端摄像头设备或者本地视频文件中读取视频流，对接入的视频流进行解码，获取视频帧图像。

进一步地，所述步骤S4中，使用背景建模方法对视频帧图像进行前景运动目标检测，获取出运动目标区域，作为烟雾的第一候选目标，对所述第一候选目标进行面积计算，去除面积过小的目标，有效剔除噪声干扰物，得到烟雾的第二候选目标，根据所述第二候选目标的位置信息，提取所有的第二候选目标在原始图像中的图像块。

进一步地，所述步骤S4中，背景模型构建方法如下：

S41、模型初始化：使用第一帧视频图像来初始化每个像素点的背景模型；

S42、前景运动目标检测：当获取到第t帧视频图像时，将t帧图像与背景模型进行比较，计算t帧图像中的像素值与模型中的像素值的距离，若距离小于预设的阈值，则近似样本像素点数目增加(即模型中与t帧中这个像素相似的点更多了)；当近似样本像素点数目大于预设的阈值后，则判定该像素点为背景，否则为前景，然后根据背景模型对后续的帧视频图像进行运动目标分割，得到包含前景目标的二值化图像，对得到前景目标的二值化图像进行连通域处理，得到N个连通域，即烟雾的第一候选目标；

计算每个连通域的面积，然后将面积小于阈值的连通域剔除，消除噪声干扰物，从而得到其余的M个连通域，根据M个连通域的边界框信息，映射到原始图像中获得图像块信息，作为第二候选目标图像块；

S43、模型更新：根据当前帧视频图像和前一帧的背景模型更新背景模型，使模型能适应实际场景的变化。

进一步地，所述M个连通域的边界框信息的获取方法为：将M个连通域对应的像素点映射到原始图像中，对于每个连通域从左向右扫描得到最左边像素值为1的x方向的位置信息x₁，再从右向左扫描得到最右边像素值为1的x方向的位置信息x₂，再从上向下扫描得到最上边像素值为1的y方向的位置信息y₁，最后从下向上扫描得到最下边像素值为1的y方向的位置信息y₂，最后得到连通域的边界框为{(x₁,y₁),(x₂,y₂)}。

进一步地，所述步骤S41中，背景模型的表达式为：

M(x)＝{v_i(y)|y∈N₈(x)}

其中，v_i(y)表示取值于y点的像素值，用具有i下标的v_i表示背景样本的值，i＝1,2,…N为背景样本的个数；N₈(x)表示x的8个邻域；

t帧图像中的像素值与模型中的像素值的距离判定表达式为

其中，#_min为预设两个像素点之间的距离的最小阈值，S_R(v(x))为以当前值v(x)为圆心和R为半径的一个球体。

本发明的有益效果是：1、本发明提供的一种烟雾检测方法，能够实时对视频中的烟雾进行检测以提前预警火灾，同时能够提高烟雾检测正确性，降低火灾蔓延的可能性；

2、本发明提供的一种烟雾检测方法，在不依赖于人为选择颜色、运动方向或者纹理等特征进行烟雾检测的情况下，利用深度卷积神经网络算法自动的提取烟雾特征，并进行分析和训练，通过优化损失函数得到最优的烟雾检测模型，有效地克服了烟雾形态不稳定性的特点；

3、本发明提供的一种烟雾检测方法，利用烟雾的动态特征，使用基于VIBE的背景建模方法从视频图像中提取运动的前景目标，然后通过深度卷积神经网络模型进行前景目标的分类判定；

4、本发明提供的一种烟雾检测方法，集合了深度卷积神经网络和背景差分法的优点，从而实现了对烟雾的准确和实时的检测并定位，有效降低了误检率，还能实时对视频中烟雾进行预警，具有重要意义和应用价值。

附图说明

图1为本发明方法流程图；

图2为本发明烟雾检测流程图。

具体实施方式

为了加深对本发明的理解，下面将结合实施例和附图对本发明作进一步详述，该实施例仅用于解释本发明，并不构成对本发明保护范围的限定。

本发明方法包含5个步骤：

110、视频流接入：通过从前端摄像头设备或者本地视频文件中读取视频流，对接入的视频流进行解码，获取到帧视频图像。

120、视频图像预处理：使用图像预处理技术对获取到的视频图像进行预处理，以提升后期烟雾检测的准确率。

130、基于背景建模的运动目标检测：对视频图像使用背景建模方法检测前景运动目标，提取出所有的候选目标。

140、深度卷积神经网络目标分类：将所述的步骤130中的候选目标图像块作为数据源，输入到DCNN网络框架中对目标进行烟雾与非烟雾的分类判定，然后将分类为烟雾类别的所有候选目标块作为最终检测结果。

150、视频烟雾目标标定：对步骤140中判定为烟雾的图像块进行位置记录，然后在视频中标定烟雾的区域。

接下来对本发明做进一步详细的描述。

如图1至图2所示，一种烟雾检测方法，包括以下步骤：

S1、训练烟雾分类检测模型

S11、收集各种场景下的烟雾图片，然后使用图像分割工具提取烟雾图片的小样本图片，作为深度卷积神经网络训练的正样本图片集，同时收集与烟雾相似度很高的图片作为负样本图片集，对正负样本图片集的存储路径和类别标签0或者1进行处理保存到相应标记文件中。本实施例中基于DCNN的烟雾分类，首先收集烟雾样本图像，获得初级烟雾样本集，然后对该样本集的所有样本分别进行翻转、旋转、缩放、裁剪、平移、插值、高斯加噪处理，处理后的样本加入到样本集后，得到扩充后的烟雾样本集。

S12、对步骤S11中的正样本图片和负样本图片进行尺度变换，统一尺寸；每张样本图片的尺寸大小为128*128像素。尺度变换方法采用但不限于双线性插值法，其表达式为：

其中，Q₁₁＝(x₁,y₁)、Q₁₂＝(x₁,y₂)、Q₂₁＝(x₂,y₁)以及Q₂₂＝(x₂,y₂)；Q表示一个坐标信息，x，y分别表示横坐标、纵坐标。

S13、将统一尺寸后的正负样本图片集中的图片数据和标记文件同时输入到深度卷积神经网络架构中进行训练，得到训练后的烟雾分类检测模型，根据上一次训练结果，调整优化深度卷积神经网络训练参数设置，重新训练，直至得到最优的烟雾分类检测模型。采用深度卷积神经网络训练模型，无需人为选择烟雾的特征作为识别项，通过所有的卷积层自动提取烟雾的特征，并加以训练。在该技术方案中，DCNN可以采用梯度优化算法优化损失函数以找到最优权值使损失最小，根据损失函数计算结果最小的训练后的DCNN模型作为最优DCNN模型，对图像进行烟雾分类检测，提升烟雾检测的准确率。

S2、接入视频流，获取视频帧图像；通过从前端摄像头设备或者本地视频文件中读取视频流，对接入的视频流进行解码，获取视频帧图像。

S3、读取步骤S2中的视频帧图像，进行预处理，去除噪声等干扰物。

S4、对步骤S3中预处理后的视频帧图像使用背景建模方法检测前景运动目标，获取出运动目标区域，作为烟雾的第一候选目标，对所述第一候选目标进行面积计算，去除面积过小的目标，有效剔除噪声等干扰物，得到烟雾的第二候选目标，根据所述第二候选目标的位置信息，提取所有的第二候选目标在原始图像中的图像块。

背景建模方法采用的是VIBE方法，该方法采用邻域像素来创建背景模型，通过比对背景模型和当前输入像素值来检测前景。具体构建方法如下：

S41、模型初始化：使用第一帧视频图像来初始化每个像素点的背景模型；每个像素点与其领域的8个像素在空域上有相似的分布，故而随机的选择它的领域点的像素值作为该像素点处的模型，得到初始化的背景模型。背景模型的表达式为：

M(x)＝{v_i(y)|y∈N₈(x)}

其中，v_i(y)表示取值于x点的像素值，用具有i下标的v_i表示背景样本的值，i＝1,2,…N为背景样本的个数；N₈(x)表示x的8个邻域。

S42、前景运动目标检测：当获取到第t帧视频图像时，将t帧图像与背景模型进行比较，计算t帧图像中的像素值与模型中的像素值的距离，当视频图像中像素点的与模型的距离大于阈值时，则判定为背景，否则相反。判定表达式为

其中，#_min为预设两个像素点之间的距离的最小阈值；S_R(v(x))为以当前值v(x)为圆心和R为半径的一个球体。

若距离小于预设的阈值，则近似样本像素点数目增加(即模型中与t帧中这个像素相似的点更多了)；当近似样本像素点数目大于预设的阈值后，则判定该像素点为背景，否则为前景，然后根据背景模型对后续的帧视频图像进行运动目标分割，得到包含前景目标的二值化图像，对得到前景目标的二值化图像进行连通域处理，得到N个连通域，即烟雾的第一候选目标；

计算每个连通域的面积s_i，然后将面积s_i小于阈值的连通域剔除，消除噪声等干扰物，从而得到其余的M个连通域；

将M个连通域对应的像素点映射到原始图像中，对于每个连通域从左向右扫描得到最左边像素值为1的x方向的位置信息x₁，再从右向左扫描得到最右边像素值为1的x方向的位置信息x₂，再从上向下扫描得到最上边像素值为1的y方向的位置信息y₁，最后从下向上扫描得到最下边像素值为1的y方向的位置信息y₂，最后得到连通域的边界框为{(x₁,y₁),(x₂,y₂)}，根据M个连通域的边界框信息，即可映射到原始图像中获得图像块信息，作为第二候选目标图像块。

S43、模型更新：根据当前帧视频图像和前一帧的背景模型更新背景模型，使模型能适应实际场景的变化。该模型更新机制在时间和空间上都具有随机性。

S5、将步骤S4中的第二候选目标图像块作为数据源输入到深度卷积神经网络架构中，以步骤S1训练好的最优烟雾分类检测模型为基础参数，对候选目标图像块进行烟雾和非烟雾的分类检测，若某图像块的输出结果被判定为烟雾类别，则认为该图像块是烟雾。

S6、对步骤S5中判定为烟雾的图像块进行位置记录，然后在原始视频图像中使用矩形边界框标记视频中出现的烟雾区域。

本发明提供的一种烟雾检测方法，能够在视频数据中实时检测到烟雾。该方法将使用深度卷积神经网络技术对样本进行训练，在无需人为参与的情况下，充分提取了烟雾的静态特征，再结合背景差分法提取前景目标，获取烟雾的动态特征，集合了深度卷积神经网络和背景差分法的优点，有效克服了烟雾形态不稳定性的特点，从而实现了对烟雾的准确和实时的检测并定位。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (8)

1.一种烟雾检测方法，其特征在于，包括以下步骤：

S1、训练烟雾分类检测模型

S11、获取正样本图片集和负样本图片集并保存到相应标记文件中；

S12、对步骤S11中的正样本图片和负样本图片进行尺度变换，统一尺寸；

S13、将统一尺寸后的正负样本图片集中的图片数据和标记文件同时输入到深度卷积神经网络架构中进行训练，得到训练后的烟雾分类检测模型，根据上一次训练的结果，调整优化深度卷积神经网络训练参数设置，重新训练，直至得到最优的烟雾分类检测模型；

S2、接入视频流，获取视频帧图像；

S3、读取步骤S2中的视频帧图像，进行预处理；

S4、对步骤S3中预处理后的视频帧图像使用背景建模方法检测前景运动目标，提取出所有的候选目标图像块；

S5、将步骤S4中的候选目标图像块作为数据源输入到深度卷积神经网络架构中，以步骤S1训练好的最优烟雾分类检测模型为基础参数，对候选目标图像块进行烟雾和非烟雾的分类检测，若某图像块的输出结果被判定为烟雾类别，则认为该图像块是烟雾；

S6、对步骤S5中判定为烟雾的图像块进行位置记录，然后在原始视频图像中使用矩形边界框标记视频中出现的烟雾区域。

2.根据权利要求1所述的烟雾检测方法，其特征在于，所述步骤S11中，收集各种场景下的烟雾图片，然后使用图像分割工具提取烟雾图片的小样本图片，作为深度卷积神经网络训练的正样本图片集，同时收集与烟雾相似度很高的图片作为负样本图片集，对正负样本图片集的存储路径和类别标签0或者1进行处理保存到相应标记文件中。

3.根据权利要求1所述的烟雾检测方法，其特征在于，所述步骤S12中，每张样本图片的尺寸大小为128*128像素。

4.根据权利要求1所述的烟雾检测方法，其特征在于，所述步骤S2中，通过从前端摄像头设备或者本地视频文件中读取视频流，对接入的视频流进行解码，获取视频帧图像。

5.根据权利要求1所述的烟雾检测方法，其特征在于，所述步骤S4中，使用背景建模方法对视频帧图像进行前景运动目标检测，获取出运动目标区域，作为烟雾的第一候选目标，对所述第一候选目标进行面积计算，去除面积过小的目标，有效剔除噪声干扰物，得到烟雾的第二候选目标，根据所述第二候选目标的位置信息，提取所有的第二候选目标在原始图像中的图像块。

6.根据权利要求1或5所述的烟雾检测方法，其特征在于，所述步骤S4中，背景模型构建方法如下：

S41、模型初始化：使用第一帧视频图像来初始化每个像素点的背景模型；

S42、前景运动目标检测：当获取到第t帧视频图像时，将t帧图像与背景模型进行比较，计算t帧图像中的像素值与模型中的像素值的距离，若距离小于预设的阈值，则近似样本像素点数目增加；当近似样本像素点数目大于预设的阈值后，则判定该像素点为背景，否则为前景，然后根据背景模型对后续的帧视频图像进行运动目标分割，得到包含前景目标的二值化图像，对得到前景目标的二值化图像进行连通域处理，得到N个连通域，即烟雾的第一候选目标；

计算每个连通域的面积，然后将面积小于阈值的连通域剔除，消除噪声干扰物，从而得到其余的M个连通域，根据M个连通域的边界框信息，映射到原始图像中获得图像块信息，作为第二候选目标图像块；

S43、模型更新：根据当前帧视频图像和前一帧的背景模型更新背景模型，使模型能适应实际场景的变化。

7.根据权利要求6所述的烟雾检测方法，其特征在于，所述M个连通域的边界框信息的获取方法为：将M个连通域对应的像素点映射到原始图像中，对于每个连通域从左向右扫描得到最左边像素值为1的x方向的位置信息x₁，再从右向左扫描得到最右边像素值为1的x方向的位置信息x₂，再从上向下扫描得到最上边像素值为1的y方向的位置信息y₁，最后从下向上扫描得到最下边像素值为1的y方向的位置信息y₂，最后得到连通域的边界框为{(x₁,y₁),(x₂,y₂)}。

8.根据权利要求6所述的烟雾检测方法，其特征在于，所述步骤S41中，背景模型的表达式为：

M(x)＝{v_i(y)|y∈N₈(x)}

其中，v_i(y)表示取值于y点的像素值，用具有i下标的v_i表示背景样本的值，i＝1,2,…N为背景样本的个数；N₈(x)表示x的8个邻域；

t帧图像中的像素值与模型中的像素值的距离判定表达式为

其中，#_min为预设两个像素点之间的距离的最小阈值，S_R(v(x))为以当前值v(x)为圆心和R为半径的一个球体。