CN107480729A - 一种基于深度时空域特征的输电线路山火检测方法 - Google Patents

Abstract

本发明公开了一种基于深度时空域特征的输电线路山火检测方法，包括以下步骤：对从前端摄像头获取到的视频使用Vibe算法检测运动目标；对运动目标区域分块提取静态深度空域特征和动态光流深度时域特征，采用预先训练好的深度CNN神经网络模型进行级联分类，以检测出准确的山火区域。本发明由于采用深度静态空域特征与深度动态域特征相结合的方式，可以很好的排除颜色类似运动目标的干扰，从而提升准确率，具有较强的实用价值。

Description

一种基于深度时空域特征的输电线路山火检测方法

技术领域

本发明属于输电线路防外破领域，涉及一种用于实现在输电线路保护区域内基于图像处理识别出山火的方法，具体说是一种基于深度时空域特征的输电线路山火检测方法，该方法，

背景技术

输电线路山火检测可以通过烟雾和火焰两方面进行检测，而基于烟雾的山火检测难以将山火发出的烟雾和其它诸如炊烟、工业烟囱烟雾等非险情烟雾有效区分开来，因此其实用价值不如基于火焰的山火检测。

基于火焰的山火检测通过火焰检测来触发山火报警。火焰检测有两种方式：静态火焰检测和动态火焰检测。静态火焰检测输入是单张图像，通过各种图像处理和机器学习技术检测出图像中的火焰区域；而动态火焰检测输入是视频图像序列，可以利用时域和空域信息检测出动态跳跃的火焰。以下分别介绍这两种检测方法的研究现状。

①静态火焰检测方法。静态火焰检测方法一般通过提取图像的颜色、形状、纹理及深度特征来检测火焰。由于火焰最显著的静态特征是其颜色，所以对火焰颜色的特征提取是火焰识别过程的关键。但由于一些如太阳、晚霞、车灯发出的光等对象也具有火焰类似的颜色静态特征，因此基于静态特征的检测方法的一大挑战就是如何去除这些干扰目标。

②动态火焰检测方法。动态火焰检测方法利用视频的时域信息，将火焰的跳跃、闪烁等动态特征纳入模型考虑中进行火焰检测，但不能区分闪烁的车灯与真实的火焰。

发明内容

本发明的目的是提供一种基于深度时空域特征的输电线路山火检测方法，本发明采用深度静态空域特征与深度动态域特征相结合的方式，可以很好的排除颜色类似运动目标的干扰，从而提升准确率，具有较强的实用价值。

本发明的目的通过以下技术方案实现：

一种基于深度时空域特征的输电线路山火检测方法包括以下步骤：

(1)对从前端摄像头获取到的视频图像帧序列使用Vibe算法检测运动目标；

(2)对运动目标区域分块提取静态深度空域特征和动态光流深度时域特征，采用预先训练好的深度CNN神经网络模型进行级联分类，以检测出准确的山火区域。

本发明中，所述的对从前端摄像头获取到的视频使用Vibe算法检测运动目标的步骤为：

步骤1：背景模型初始化

算法从单一帧进行模板的初始化。算法假定相邻的像素有着相似的时域分布，因此，某一像素的初始化值随机取自它们的邻近点在第1帧的值。如

M⁰(x)＝{v⁰(y|y∈N_G(x))}

步骤2：背景建模与前景检测

背景建模为每个背景点x存储一个样本集M(x)＝{v₁,v₂,...v_N}，然后对于每个新像素值，计算其和样本集中每个样本值的距离，若距离小于阈值R，则近似样本点数目增加，当该数目大于阈值，则认为新像素点为背景，否则为前景，即：

#{S_R(v(x))∩{v₁,v₂,...,v_N}}≥#min

#{SR(v(x))∩{v1，v2，...，vN}}≥#min

一般应用时样本集数目N取20，阈值#min取2，距离相近判定的阈值R取20。

步骤3：背景更新

每次确定需要更新像素点的背景模型时，以新的像素值随机取代该像素样本集中的一个样本值，按一定更新率更新背景模型。当一个像素点被判定为背景时，它有1/rate的概率更新背景模型，rate是时间采样因子，一般取值为16。

所述的对运动目标区域分块提取静态深度空域特征和动态光流深度时域特征，采用预先训练好的深度CNN神经网络模型进行级联分类，以检测出准确的山火区域的步骤为：

步骤1：空域深度特征提取与分类

利用vibe算法检测出运动前景后，采用16*16的小块对前景区域按从上到下，从左到右的方式进行遍历，当当前块的前景像素大于一定阈值时，先对当前块进行预处理，然后采用CNN卷积神经网络提取当前块的空域特征并分类。预处理时先将16*16的块大小采用biliner双线性插值算法规一化为28*28，然后计算RGB 3通道均值，并将各像素点处值减去此均值。当采用CNN网络分类当前块不是山火块时按遍历顺序继续处理下一块，否则对当前块继续下一步操作。

步骤2：光流特征提取

使用光流进行运动检测时，给图像中的每个像素点赋予一个速度矢量，这样就形成了一个运动矢量场。在某一特定时刻，图像上的点与三维物体上的点一一对应，这种对应关系可以通过投影来计算得到。

以原始图像序列的光流序列作为CNN的输入，对于一组连续的L帧的光流，把每一帧的x和y方向的光流图像块重叠在一起构成通道为2L的光流序列，本处L取5.

稠密的光流可以看成是连续两帧t,t+1的位移向量场dt,dt(u,v)表示点(u,v)从t时刻到t+1时刻的位移矢量，和分别表示水平和垂直方向上的分量。为了表示一个帧序列的运动，将连续L帧重叠起来形成通道为2L的光流序列作为输入。将w,h表示成输入的宽度和高度，那么卷积神经网络的输入Ir为，

U＝[1；w],v＝[1；h],k＝[1；L]

对任意的点(u,v),通道Ir(u,v,c),c＝[1；2L]表示L帧序列的运动编码。

步骤3：时域深度特征提取与分类

用CNN卷积神经网络在光流场序列中提取深度特征用于目标运动行为分类，当判断当前块是火焰块时，则将当前块标注为山火区域，否则转到步骤1继续处理下一块。

本发明采用深度静态空域特征与深度动态域特征相结合的方式，与其它方法相比，主要有以下优点：

①在静态空域上提取深度图像特征，自抽象自学习的特征与基于颜色特征的静态检测方法相比表达力更强，准确率更高；

②在动态时域上提取深度光流序列图像特征，基于山火与其它运动目标的光流差异性，能更准确的检测出火焰目标。

③静态特征与动态特征采用级联方式相结合，只有在静态检测判断为候选火焰区域时才进一步进行动态特征检测，提高了时间效率。

附图说明

图1是基于深度时空域特征的输电线路山火检测方法流程图；

具体实施方式

为了更好的理解本发明的技术方案，以下结合附图1对本发明作进一步的描述。附图1描述了基于深度时空域特征的输电线路山火检测方法流程图。

基于深度时空域特征的输电线路山火检测方法包括以下步骤：

(1)对从前端摄像头获取到的视频图像帧序列使用Vibe算法检测运动目标；

(2)对运动目标区域分块提取静态深度空域特征和动态光流深度时域特征，采用预先训练好的深度CNN神经网络模型进行级联分类，以检测出准确的山火区域；

所述的对从前端摄像头获取到的视频使用Vibe算法检测运动目标的步骤为：

步骤1：背景模型初始化

算法从单一帧进行模板的初始化。算法假定相邻的像素有着相似的时域分布，因此，某一像素的初始化值随机取自它们的邻近点在第1帧的值。如

M⁰(x)＝{v⁰(y|y∈N_G(x))}

步骤2：背景建模与前景检测

背景建模为每个背景点x存储一个样本集M(x)＝{v₁,v₂,...v_N}，然后对于每个新像素值，计算其和样本集中每个样本值的距离，若距离小于阈值R，则近似样本点数目增加，当该数目大于阈值，则认为新像素点为背景，否则为前景，即：

#{S_R(v(x))∩{v₁,v₂,...,v_N}}≥#min

一般应用时样本集数目N取20，阈值#min取2，距离相近判定的阈值R取20。

步骤3：背景更新

每次确定需要更新像素点的背景模型时，以新的像素值随机取代该像素样本集中的一个样本值，按一定更新率更新背景模型。当一个像素点被判定为背景时，它有1/rate的概率更新背景模型，rate是时间采样因子，一般取值为16。

所述的运动目标区域分块提取静态深度空域特征和动态光流深度时域特征，采用预先训练好的深度CNN神经网络模型进行级联分类，以检测出准确的山火区域的步骤为：

步骤1：空域深度特征提取与分类

利用vibe算法检测出运动前景后，采用16*16的小块对前景区域按从上到下，从左到右的方式进行遍历，当当前块的前景像素大于一定阈值时，先对当前块进行预处理，然后采用CNN卷积神经网络提取当前块的空域特征并分类。预处理时先将16*16的块大小采用biliner双线性插值算法规一化为28*28，然后计算RGB 3通道均值，并将各像素点处值减去此均值。当采用CNN网络分类当前块不是山火块时按遍历顺序继续处理下一块，否则对当前块继续下一步操作。

步骤2：光流特征提取

使用光流进行运动检测时，给图像中的每个像素点赋予一个速度矢量，这样就形成了一个运动矢量场。在某一特定时刻，图像上的点与三维物体上的点一一对应，这种对应关系可以通过投影来计算得到。

以原始图像序列的光流序列作为CNN的输入，对于一组连续的L帧的光流，把每一帧的x和y方向的光流图像块重叠在一起构成通道为2L的光流序列，本处L取5.

稠密的光流可以看成是连续两帧t,t+1的位移向量场dt,dt(u,v)表示点(u,v)从t时刻到t+1时刻的位移矢量，和分别表示水平和垂直方向上的分量。为了表示一个帧序列的运动，将连续L帧重叠起来形成通道为2L的光流序列作为输入。将w,h表示成输入的宽度和高度，那么卷积神经网络的输入Ir为，

U＝[1；w],v＝[1；h],k＝[1；L]

对任意的点(u,v),通道Ir(u,v,c),c＝[1；2L]表示L帧序列的运动编码。

步骤3：时域深度特征提取与分类

用CNN卷积神经网络在光流场序列中提取深度特征用于目标运动行为分类，当判断当前块是火焰块时，则将当前块标注为山火区域，否则转到步骤1继续处理下一块。

实施实例

对于一张视频图像帧，给出了使用基于深度时空域特征的输电线路山火检测方法的实例。下面结合本发明的方法详细说明该实例实施的具体步骤，如下：

对于某一视频图像帧，

(1)从前端摄像头获取到的视频图像帧序列使用Vibe算法检测运动目标。

(2)采用空域深度特征提取与分类方法，得到的候选山火块。

(3)采用光流特征提取方法，对前后两帧提取的水平和垂直光流场。

(4)采用时域深度特征提取与分类方法，得到的当前图像帧中最终的山火块。

Claims (3)

1.一种基于深度时空域特征的输电线路山火检测方法包括以下步骤：

(1)对从前端摄像头获取到的视频图像帧序列使用Vibe算法检测运动目标；

(2)对运动目标区域分块提取静态深度空域特征和动态光流深度时域特征，采用预先训练好的深度CNN神经网络模型进行级联分类，以检测出准确的山火区域。

2.根据权利要求1所述的基于深度时空域特征的输电线路山火检测方法，其特征在于：步骤(1)中，对从前端摄像头获取到的视频每一帧使用Vibe算法检测运动目标的步骤为：

步骤1：背景模型初始化

算法从单一帧进行模板的初始化；算法假定相邻的像素有着相似的时域分布，因此，某一像素的初始化值随机取自它们的邻近点在第1帧的值；

M⁰(x)＝{v⁰(y|y∈N_G(x))}；

步骤2：背景建模与前景检测

背景建模为每个背景点x存储一个样本集M(x)＝{v₁,v₂,...v_N}，然后对于每个新像素值，计算其和样本集中每个样本值的距离，若距离小于阈值R，则近似样本点数目增加，当该数目大于阈值，则认为新像素点为背景，否则为前景，即：

#{S_R(v(x))∩{v₁,v₂,...,v_N}}≥#min；

应用时样本集数目N取20，阈值#min取2，距离相近判定的阈值R取20；

步骤3：背景更新

每次确定需要更新像素点的背景模型时，以新的像素值随机取代该像素样本集中的一个样本值，按一定更新率更新背景模型；当一个像素点被判定为背景时，它有1/rate的概率更新背景模型，rate是时间采样因子，取值为16。

3.根据权利要求1所述的基于深度时空域特征的输电线路山火检测方法，其特征在于：步骤(2)中，提取静态深度空域特征和动态光流深度时域特征，采用预先训练好的深度CNN神经网络模型进行级联分类，以检测出准确的山火区域的步骤为：

步骤1：空域深度特征提取与分类

利用vibe算法检测出运动前景后，采用16*16的小块对前景区域按从上到下，从左到右的方式进行遍历，当当前块的前景像素大于一定阈值时，先对当前块进行预处理，然后采用CNN卷积神经网络提取当前块的空域特征并分类；预处理时先将16*16的块大小采用biliner双线性插值算法规一化为28*28，然后计算RGB 3通道均值，并将各像素点处值减去此均值；当采用CNN网络分类当前块不是山火块时按遍历顺序继续处理下一块，否则对当前块继续下一步操作；

步骤2：光流特征提取

使用光流进行运动检测时，给图像中的每个像素点赋予一个速度矢量，这样就形成了一个运动矢量场；在某一特定时刻，图像上的点与三维物体上的点一一对应，这种对应关系通过投影来计算得到；

以原始图像序列的光流序列作为CNN的输入，对于一组连续的L帧的光流，把每一帧的x和y方向的光流图像块重叠在一起构成通道为2L的光流序列，L取5；

稠密的光流可以看成是连续两帧t,t+1的位移向量场dt,dt(u,v)表示点(u,v)从t时刻到t+1时刻的位移矢量，和分别表示水平和垂直方向上的分量；为了表示一个帧序列的运动，将连续L帧重叠起来形成通道为2L的光流序列作为输入；将w,h表示成输入的宽度和高度，那么卷积神经网络的输入Ir为，

U＝[1；w],v＝[1；h],k＝[1；L]

对任意的点(u,v),通道Ir(u,v,c),c＝[1；2L]表示L帧序列的运动编码；

步骤3：时域深度特征提取与分类

用CNN卷积神经网络在光流场序列中提取深度特征用于目标运动行为分类，当判断当前块是火焰块时，则将当前块标注为山火区域，否则转到步骤1继续处理下一块。