CN112115878A - 一种基于烟雾区域密度的森林火灾烟雾根节点检测方法 - Google Patents

Abstract

本发明公开了一种基于烟雾区域密度的森林火灾烟雾根节点检测方法。通过Lambert‑Beer定律，可推导出烟雾密度与图像灰度具有一定的函数关系，图像灰度随烟雾密度的递增而递增，因而将图像灰度的相对大小视为烟雾密度的相对大小，通过烟雾根节点密度较大的原理，对骨骼端点进行筛选以减少烟雾根候选点的数量。该方法可以通过对一帧烟雾图像进行识别判定烟雾根候选点的位置，改变了需要多帧烟雾图像以判定烟雾根候选点的局面，大大减少了计算量，对输入帧灰度图的二次密度判定使得获得的烟雾根候选点的准确率得到了提升。

Description

一种基于烟雾区域密度的森林火灾烟雾根节点检测方法

技术领域

本发明属于森林防火和视频目标检测领域，尤其涉及一种基于视频的烟雾源 根节点检测方法。

背景技术

由于森林的特殊性，森林火灾一旦引发，很容易在风力推动下迅速蔓延，由 于森林的面积较大，火灾发生时不一定能及时发现，发现火灾时往往已经蔓延 了相当宽的距离，此时森林火灾的扑救也存在相当大的难度，森林火灾往往会 造成巨大的资源损毁，因此对森林火灾的早期识别十分重要。烟雾是森林火灾 的早期的明显特征，森林火灾早期烟雾往往为向上飘散的不规则形状，越是向 上，烟雾越稀薄，越是难以被检测出，但早期烟雾的源头的位置往往是确定的， 较短时间内是不变的，基于此原理，通过烟雾的分布形态确定烟雾源的位置成 为重要的突破口之一。

专利申请号为201910490504.9，发明名称为“一种基于MSER的远距离复杂环 境下的烟雾根节点检测方法”的中国专利。该发明在采用MSER算法对远距离烟 雾场景进行候选区域提取，并通过角点提取算法和凸包检测算法对图像中可能 存在干扰项进行排除，然后通过骨骼提取算法对候选区域提取烟雾根节点候选 点，最后采用连续帧的帧间信息提取出烟雾根节点。

专利申请号为201711440134，发明名称为“一种基于特征根和流体力学的森 林火灾烟视频目标检测方法”的中国专利。该发明在权利要求书“步骤1”图像 预处理部分采用了帧间差分算法进行动态背景的提取。对连通域进行骨骼化并 提取端点，再对多帧图像端点进行烟雾根候选点判定算法计算出烟雾根候选点 坐标。

专利申请号为201811318766，发明名称为“一种基于最小二乘法的烟雾根节 点检测方法”的中国专利。该发明通过连续帧图像中连通域分布情况进行连通 区域替代点的统计计算，得出在连续帧图像中持续存在的动态区域。通过回归 算法得出持续存在动态区域的相交点，确定烟雾源。

专利申请号为201910613683.0，发明名称为“一种大范围尺度空间下的自适 应烟雾根节点检测方法”的中国专利。该发明在说明书“步骤401-步骤411”中 采用了基于贝叶斯理论的图像融合方法，该方法以4张Vibe图像以及3张MSER图 像为基础，采用分区网格的形式对图像进行概率统计。计算每个网格区域的融 合概率后，对超过阈值概率的区域进行融合计算，得出融合图像。根据其融合 算法的计算原理，该算法最多可以包含连续7帧的图像信息，并且每轮计算需要 对10*10网格区域内的所有像素点进行遍历统计。这种计算过程对多帧图像是不 友好的，即便是最小单位的连续帧图像计算出根节点也需要极大的计算量。并 且为了保证算法的运行速度，其包含连续帧图像的数量不允许过多，存在很大 的局限性。

以上专利算法的应用背景为烟雾根检测算法，但均立足于多帧烟雾图像的处 理，对连续帧间持续存在信息的连贯性要求较高。且对多帧图像处理会导致加 大计算量，无法高效的获得计算结果，帧间信息的不连贯也会导致无法正确的 得到烟雾根位置结果。

发明内容

基于以上问题，本发明提供了一种基于动静态网格融合策略的森林火灾烟 雾根节点检测方法，能够通过对原视频帧图像对烟雾源根节点进行定位。

一种基于烟雾区域密度的森林火灾烟雾根节点检测方法，其特征在于，包 含以下步骤：

第一步，视频信息预处理，通过采集固定摄像头的连续帧烟雾图像，进行 帧图像提取，并通过基本的图像处理方法，得到特定尺寸的单通道灰度图像；

第二步，烟雾轮廓提取，对获得的单通道灰度帧图像用Sobel算法提取静态 轮廓；Sobel算法的计算方法为,首先求解图像像素x方向梯度，当梯度大于设定 的阈值时，认定该点为边缘点，遍历像素后获得烟雾竖直方向的边缘；其次求 解图像像素y方向的梯度，当梯度大于设定阈值时，认定该点为边缘点，遍历像 素后获得烟雾水平方向的边缘，最后，合并梯度，将竖直方向边缘图与水平方 向边缘线性相加，获得该帧图像的Sobel轮廓图像，并对提取出的Sobel图像进 行二值化，腐蚀操作，以过滤背景轮廓噪声；

第三步，动态区域提取，对第一步中获得的单通道灰度帧图像通过Vibe算 法进行动态区域提取，获得该帧图像的Vibe动态区域图像；

第四步，图像融合，将每帧Sobel图像与该帧对应的Vibe图像进行融合，融 合方法为，对每帧原始图像所对应的两帧图像进行网格分割操作，网格大小为 20*20像素，每张图像共有24*16个网格区域，计算各个网格对应的Sobel图像与 Vibe图像的像素值之和，以选定不同网格区域的融合方式进行图像融合；

第五步，骨骼图像提取，对融合得到的单通道二值化连通域进行骨骼图像 提取，并计算骨骼图相端点坐标，即为当前帧图像的烟雾根候选点坐标；

第六步，在第一步获得的单通道灰度图像中以烟雾根候选点为圆心，半径 为8个像素画圆，认定像素值大于150的像素点为前景像素，像素值小于150的像 素点为背景像素，计算每个圆形区域内前景像素的个数，和前景像素像素值之 和，将像素值之和与像素个数做比，得到每个圆形区域所对应的像素密度，选 择像素密度大于整体烟雾密度的骨骼端点认定为进一步筛选过的烟雾根候选点。

第六步中的烟雾相对密度烟雾根筛选判定方法，通过Lambert-Beer定律， 可推导出烟雾密度与图像灰度具有一定的函数关系，即烟雾化方程:

其中mD为烟雾密度，I为图像灰度，J为背景灰度，A为天空灰度，J和A在同 一环境下为常值，通过烟雾化方程可知，图像灰度随烟雾密度的递增而递增， 因而将图像灰度的相对大小视为烟雾密度的相对大小，通过烟雾根节点密度较 大的原理，对骨骼端点进行筛选以减少烟雾根候选点的数量,具体执行方法为：

步骤601，以单通道灰度图格式读入当前帧，以上一步得到的烟雾根候选 点为圆心，半径为8个像素画圆，获得与烟雾根候选点数量相同的烟雾根候选区 域；

步骤602，认定像素值大于150的像素点为前景像素，像素值小于150的像素 点为背景像素，计算每个圆形区域内前景像素的个数，和前景像素像素值之和， 将像素值之和与像素个数做比，得到每个圆形区域所对应的像素密度，其中 f(x,y)表示位于位置(x,y)且像素值大于150的像素的像素值，N代表该圆形区域 中像素值大于150的像素个数，计算公式如下：

步骤603，计算烟雾区域总体密度，再对第一步获得的单通道灰度图进行处 理，若某像素点在第四步获得的融合图像中像素值为0，则视为背景区域像素， 否则视为前景区域像素，若前景区域中某像素点的像素值大于150，则视为前景 区域中的前景像素，否则视为前景区域中的背景像素，判别公式如下：

f(x,y)表示前景像素中位于位置(x,y)的像素的像素值，M代表前景像素的个 数，烟雾总体密度计算公式如下：

步骤604，选择像素密度大于烟雾总体密度的骨骼端点认定为进一步筛选过 的烟雾根候选点，并画圈标识。

本文的有益效果在于：通过Lambert-Beer定律，可推导出烟雾密度与图像灰 度具有一定的函数关系，图像灰度随烟雾密度的递增而递增，因而将图像灰度 的相对大小视为烟雾密度的相对大小，通过烟雾根节点密度较大的原理，对骨 骼端点进行筛选以减少烟雾根候选点的数量。该方法可以通过对一帧烟雾图像 进行识别判定烟雾根候选点的位置，改变了需要多帧烟雾图像以判定烟雾根候 选点的局面，大大减少了计算量，对输入帧灰度图的二次密度判定使得获得的 烟雾根候选点的准确率得到了提升。

具体实施方式

通过下面文本说明书，本发明的前述以及其他的特征将变得明显。在说明书 中，具体公开了本发明的特定实施方式，其表明了其中可以采用文本发明的原 则部分实施方式，应了解的是，本发明不限于所描述的实施方式，相反，本发 明包括落入所附权利要求的范围内的全部修改、变形以及等同物。

步骤101，视频信息预处理，通过采集固定摄像头的连续帧烟雾图像，进行 帧图像提取，对帧图像进行单通道灰度化处理，并裁剪为480*320像素，获得单 通道灰度图像；

步骤201，以单通道灰度图格式读入当前帧，遍历像素并分别对x方向和y 方向进行梯度求导，得到x方向与y方向的静态轮廓图像；

步骤202，将x方向轮廓图像像素灰度值G_x与y方向轮廓图像的像素灰度值G_y线性相加，由于森林火灾初始烟雾往往为向上飘散的不规则烟雾，因此x方向梯 度所影响的竖直方向烟雾边界比y方向梯度所影响的水平方向烟雾边界更为重 要，因此x方向梯度给予更大的比重，获得当前帧的轮廓图像像素G，计算公式 如下：

|G|＝0.75×|G_x|+0.25×|G_y| (1)

步骤203，将得到的轮廓图像进行形态学操作，腐蚀操作处理，腐蚀核为3*3， 森林场景中树木轮廓难以辨认，无法被Sobel提取出来，较小的腐蚀核即可过滤 掉背景中树木轮廓，获得更清晰的烟雾轮廓图像。

步骤301，对第一步获得的单通道灰度图像通过Vibe算法进行动态区域提取， 获得该帧图像的Vibe动态区域图像。

步骤401，建立一个与初始图像大小相等，格式一致，像素值全为0的模板 图像Model；

步骤402，将生成的Sobel静态轮廓图像与Vibe动态区域图像进行配对操作， 此时获得的Sobel静态轮廓图像也许依旧存在没有被过滤掉的背景像素，而Vibe 图像也存在着烟雾边缘像素移动缓慢，不能提取出完整的动态烟雾区域的问题， 需要对对应同一张输入帧图像的Sobel静态轮廓图像和Vibe动态区域图像进行 融合。对对应的两个图像进行网格分割操作，网格大小为20*20像素，每张图片 共有24*16个网格区域，这样既能保证辨别出烟雾区域与背景区域，又控制了计 算量；

步骤403，遍历网格，计算每个网格的像素之和，numS(i,j)表示Sobel图像 位于(i,j)位置的网格像素和，numV(i,j)表示Vibe图像位于(i,j)位置的网格像素 和，融合条件公式如下：

其中Area_Sobel(i,j)为Sobel图像位于(i,j)位置的小区域，Area_Vibe(i,j)为Sobel图像位于(i,j)位置的小区域，由于每张图共有网格24*16个，即i_max＝24， j_max＝16，Area_Model(i,j)为模板图像位于(i,j)位置的小区域，当且仅当两张图像 对应网格区域的像素值和均不为零时，认定该网格区域为烟雾区域，否则，认 定为背景区域，对背景区域采用全部置0的操作方式，而仅对烟雾区域进行策略 性融合，融合策略公式如下：

其中M_(i,j)(m,n)表示模板图像位于(i,j)区域的网格的像素坐标，S_(i,j)(m,n)表示Sobel图像位于(i,j)区域的网格的像素坐标，V_(i,j)(m,n)表示Vibe图像位于(i,j) 区域的网格的像素坐标，对被认定为烟雾区域的网格采用以像素为单位的融合 策略，当两张图像对应网格区域的对应像素点有一方不为0，或双方均不为0时， 将该像素点的像素置为255，若两张图片对应网格区域的对应像素均为0，则认 定该像素为烟雾区域的非烟雾像素点，即背景像素；

步骤404，将融合后的图像显示在模板图像上，再次二值化操作，即得到融 合后的烟雾特征图像。

步骤501，对获得的烟雾特征图像闭操作获得连通域；

步骤502，对连通图像进行骨骼提取，得出当前图像的骨骼图像，骨骼图像 计算过程中，提取条件如下：

其中P₁为中心像素值，P_i,i＝2,3,...,9，为以P₁为中心从像素12点方向开始顺时针排列的临域像素值，B_(Pi)表示以像素P_i为中心，邻域像素之和在2*255和6*255 之间，A_(Pi)表示以像素P_i为中心，临域8枚像素中按照顺时针方向，相邻两个像 素出现0至255变化的次数。

步骤503，对提取完毕的骨骼图像进行骨骼端点提取计算，设定P为当前骨骼 图像上的骨骼点，对P周围360°分布的8个像素点值进行像素值判定，若有且仅 有一个像素点像素值与P点相同，则P点即为符合条件的烟雾根候选点。

步骤601，以单通道灰度图格式读入当前帧，以上一步得到的烟雾根候选 点为圆心，半径为8个像素画圆，获得与烟雾根候选点数量相同的烟雾根候选区 域；

步骤602，认定像素值大于150的像素点为前景像素，像素值小于150的像素 点为背景像素，计算每个圆形区域内前景像素的个数，和前景像素像素值之和， 将像素值之和与像素个数做比，得到每个圆形区域所对应的像素密度，其中 f(x,y)表示位于位置(x,y)且像素值大于150的像素的像素值，N代表该圆形区域 中像素值大于150的像素个数，计算公式如下：

步骤603，计算烟雾区域总体密度，再对第一步获得的单通道灰度图进行处 理，若某像素点在第四步获得的融合图像中像素值为0，则视为背景区域像素， 否则视为前景区域像素，若前景区域中某像素点的像素值大于150，则视为前景 区域中的前景像素，否则视为前景区域中的背景像素，判别公式如下：

f(x,y)表示前景像素中位于位置(x,y)的像素的像素值，M代表前景像素的个 数，烟雾总体密度计算公式如下：

步骤604，选择像素密度大于烟雾总体密度的骨骼端点认定为进一步筛选过 的烟雾根候选点，并画圈标识。

Claims (2)

1.一种基于烟雾区域密度的森林火灾烟雾根节点检测方法，其特征在于，包含以下步骤：

第一步，视频信息预处理，通过采集固定摄像头的连续帧烟雾图像，进行帧图像提取，并通过基本的图像处理方法，得到特定尺寸的单通道灰度图像；

第二步，烟雾轮廓提取，对获得的单通道灰度帧图像用Sobel算法提取静态轮廓；Sobel算法的计算方法为,首先求解图像像素x方向梯度，当梯度大于设定的阈值时，认定该点为边缘点，遍历像素后获得烟雾竖直方向的边缘；其次求解图像像素y方向的梯度，当梯度大于设定阈值时，认定该点为边缘点，遍历像素后获得烟雾水平方向的边缘，最后，合并梯度，将竖直方向边缘图与水平方向边缘线性相加，获得该帧图像的Sobel轮廓图像，并对提取出的Sobel图像进行二值化，腐蚀操作，以过滤背景轮廓噪声；

第三步，动态区域提取，对第一步中获得的单通道灰度帧图像通过Vibe算法进行动态区域提取，获得该帧图像的Vibe动态区域图像；

第四步，图像融合，将每帧Sobel图像与该帧对应的Vibe图像进行融合，融合方法为，对每帧原始图像所对应的两帧图像进行网格分割操作，网格大小为20*20像素，每张图像共有24*16个网格区域，计算各个网格对应的Sobel图像与Vibe图像的像素值之和，以选定不同网格区域的融合方式进行图像融合；

第五步，骨骼图像提取，对融合得到的单通道二值化连通域进行骨骼图像提取，并计算骨骼图相端点坐标，即为当前帧图像的烟雾根候选点坐标；

第六步，在第一步获得的单通道灰度图像中以烟雾根候选点为圆心，半径为8个像素画圆，认定像素值大于150的像素点为前景像素，像素值小于150的像素点为背景像素，计算每个圆形区域内前景像素的个数，和前景像素像素值之和，将像素值之和与像素个数做比，得到每个圆形区域所对应的像素密度，选择像素密度大于整体烟雾密度的骨骼端点认定为进一步筛选过的烟雾根候选点。

2.根据权利要求1所述的一种基于烟雾区域密度的森林火灾烟雾根节点检测方法，其特征在于所述第六步中的烟雾相对密度烟雾根筛选判定方法，通过Lambert-Beer定律，可推导出烟雾密度与图像灰度具有一定的函数关系，即烟雾化方程:

其中mD为烟雾密度，I为图像灰度，J为背景灰度，A为天空灰度，J和A在同一环境下为常值，通过烟雾化方程可知，图像灰度随烟雾密度的递增而递增，因而将图像灰度的相对大小视为烟雾密度的相对大小，通过烟雾根节点密度较大的原理，对骨骼端点进行筛选以减少烟雾根候选点的数量,具体执行方法为：

步骤601，以单通道灰度图格式读入当前帧，以上一步得到的烟雾根候选点为圆心，半径为8个像素画圆，获得与烟雾根候选点数量相同的烟雾根候选区域；

步骤602，认定像素值大于150的像素点为前景像素，像素值小于150的像素点为背景像素，计算每个圆形区域内前景像素的个数，和前景像素像素值之和，将像素值之和与像素个数做比，得到每个圆形区域所对应的像素密度，其中f(x,y)表示位于位置(x,y)且像素值大于150的像素的像素值，N代表该圆形区域中像素值大于150的像素个数，计算公式如下：

步骤603，计算烟雾区域总体密度，再对第一步获得的单通道灰度图进行处理，若某像素点在第四步获得的融合图像中像素值为0，则视为背景区域像素，否则视为前景区域像素，若前景区域中某像素点的像素值大于150，则视为前景区域中的前景像素，否则视为前景区域中的背景像素，判别公式如下：

f(x,y)表示前景像素中位于位置(x,y)的像素的像素值，M代表前景像素的个数，烟雾总体密度计算公式如下：

步骤604，选择像素密度大于烟雾总体密度的骨骼端点认定为进一步筛选过的烟雾根候选点，并画圈标识。