CN108009529B - 一种基于特征根和流体力学的森林火灾烟视频目标检测方法 - Google Patents

Abstract

本发明公开了一种基于特征根和流体力学的森林火灾烟视频目标检测方法，首先通过提取视频中连续帧图像进行视频中动态区域提取；其次通过形态学算法对动态区域进行连通区域骨骼图计算；然后提取出连续帧骨骼图像端点中可疑的烟根特征候选点；接下来对烟根特征候选点做基于Navier‑Stokes方程的判定，得出烟根特征的预测烟图像；最后通过将预测图像与当前实际图像融合判定，得出烟存在区域。由于算法存在一定的预测性，可以持续影响连续帧的判定信息，使得判定结果稳定，可以有效避免由于图像处理阶段带来的偶然计算误。

Description

一种基于特征根和流体力学的森林火灾烟视频目标检测方法

技术领域

本发明属于森林防火和视频目标检测领域，尤其涉及一种基于视频的森林火灾检测方法。

背景技术

基于视频图像的烟检测技术主流方法大致可以分为基于颜色强度、基于动态检测、基于纹理检测三大种类。虽然在检测方法发展的过程中出现了特征融合、多特征提取、光流法等新种类检测方法，但究其根源依然是对颜色、动态、纹理三大特征的更新融合改进。这种特性决定了方法对图像质量的硬性要求，同时针对不同场景需要进行特定的阈值调试和检测。而新出现的基于深度学习网络的特征分类方法虽然对阈值的依赖较少，但其训练过程中所需要的大量训练数据对森林火灾这种特殊的情况而言，训练集并不充裕。

专利申请号为CN201710321924.5，发明名称为“一种基于视频的森林火灾检测方法”的中国专利，首先对视频中的前景运动区域进行提取，其次根据火灾烟雾的颜色、形状等特征进行烟雾区域的分割，最后通过观测视频帧中所有备选区域的生长变化情况进行火灾烟雾的区域判定。上述方法除了结合了烟雾自身的形状、颜色等特征之外，也充分利用了帧间信息，保证了判定方法的稳定性和连续性。但是该方法对生长区域的检测仅仅依靠像素面积的重叠进行判定，对检测场景环境条件要求较高，对风速变化较敏感，缺乏预测性。

专利申请号为CN201710384686.2，发明名称为“一种基于稠密光流的视频图像烟雾检测方法”的中国专利。该算法首先将彩色图像进行灰度化处理，对所得到的灰度图形用运动目标检测的方法得到运动物体的前景图像。其次，对前景图像进行二值化处理以及形态学滤波，利用混合高斯背景建模和帧差相结合的方法，提取运动区域。之后将此运动区域池化为上、中、下三部分，并在每个池化区域提取光流矢量特征和边缘方向直方图。最后使用支持向量机进行训练和检测烟雾。由于该方法使用稠密光流法对烟雾进行图像检测，当监测图像分辨率提高时，会对计算能力的要求大大增加。而且对于监控视频图像中大量的云、雾干扰不能起到很好的分辨效果，容易导致矢量计算出现大量误差。由于对视频的监控依然是被动跟踪的方法，缺少一定的预测性，对帧间信息的使用不够充分。

以上两种方法均为基于图像跟踪的检测方法。通过检测算法，对图像中烟区域进行标记，其主要问题在于没有从烟本身的发展趋势、扩散趋势方面分析烟的本质。更重要的是忽略了对烟产生点周围的自然环境的关注，例如风速，因此不能带来预测性的结果判定。

发明内容

为了改善上述问题，本发明借鉴了人眼对烟的识别过程，相比较自然现象中的云、雾现象而言，烟最大的特点在于其有燃烧源，即特定产生烟的源点。源点产生的烟通过空气流动进行扩散分布，形成独特的形态特征。在林火燃烧的早期过程中，由于燃烧源没有形成大规模扩散，可以认为其位置固定。而云、雾由于没有固定的产生源点，并不存在跟特征。基于这种思想，本发明吸取传统算法中的特征提取、形态学操作等方法，融合流体力学理论，形成新型的烟雾识别体系结构。

本发明首先通过提取视频中连续帧图像进行视频中动态区域提取；其次通过形态学算法对动态区域进行连通区域骨骼图计算；然后提取出连续帧骨骼图像端点中可疑的烟根特征候选点；接下来对烟根特征候选点做基于Navier-Stokes方程的判定，得出烟根特征的预测烟图像；最后通过将预测图像与当前实际图像融合判定，得出烟存在区域。由于算法存在一定的预测性，可以持续影响连续帧的判定信息，使得判定结果稳定，可以有效避免由于图像处理阶段带来的偶然计算误。

一种基于特征根和流体力学的森林火灾烟视频目标检测方法，其特征在于，包含以下步骤：

步骤1：从视频的设定帧数第i帧开始进行烟检测，将第i帧视频图像I_i进行彩色-灰度转化得到灰度图像G_i，设定长度为6的图像栈计算区域，通过逐帧迭代法计算出第I_i+j帧图像的灰度图像G_i+j，将G_i+j，j＝0，1，…，5共6张灰度图像存入图像栈；

步骤2：对图像栈中存储的6张灰度图进行帧间差分算法，得到5张差分图像D_i+j，差分采用方法为前向差分法，其中将D_i+2作为当前帧核心判定图像，帧间差分公式如下：

其中G_i(x，y)为第i帧图像灰度图，G_i+1(x，y)为第i+1帧灰度图，T为差分阈值；

步骤3：对步骤2中得到的5张差分图像进行形态学闭操作和连通域骨骼提取操作，得到5张骨骼图像记为SK_i+j；

步骤4：在骨骼图像SK_i+j中提取出骨骼图像端点，统计所有端点位置，对所有统计端点进行半径为R1的临近端点标记，将标记结果进行端点位置合并，用新合并点位置信息代替原有统计信息中被合并标记点的位置信息，得到每一张骨骼图像处理后的端点坐标和方向端点生成方向，记为L_i+j和S_i+j；

步骤5：选取D_i+2图像的合并端点位置点信息L_i+2，计算后两帧图像合并端点位置点信息L_i+3，L_i+4，并计算L_i+3，L_i+4与L_i+2的距离关系，关系判定采用欧式距离进行，其中第一个阈值信息对应步骤4中的R1，第二个阈值信息设定为R2，其中R2＞R1，得到四组分类点集信息：C23，C24，D23，D24；

步骤6：根据步骤5得到的四组点集信息进行烟特征根候选点判定算法，得出当前帧，即i+2帧，烟特征根候选点坐标，记为SR，并更新历史帧信息栈O_i，O_i+1，若i＝0，则将第i，i+1帧图像的合并端点信息L_i，L_i+1存入历史帧信息栈O_i，O_i+1，其余情况下，O_i，O_i+1应为本帧判定图像的前两帧图像判定结果，即本帧图像的前两帧图像通过步骤6计算出的烟特征根候选点坐标；

步骤7：将当前判定帧，即i+2帧，得出的烟特征根候选点SR送入由流体力学方程Navier-Stokes方程为核心构成的速度分布判定条件，得到当前帧条件下烟雾的模拟速度分布和扩散情况，生成基于候选点SR的模拟区域烟简图ARE_SR；

步骤8：将步骤7得到的模拟区域烟简图ARE_SR与图像栈中G_i+2灰度图进行基于阈值处理的同或计算操作，像素值相同则结果为255，不同结果为0，若简图计算区域内255数值分布均在由步骤7计算出的速度分布场包含像素范围内，则判定为烟区域。

步骤5所述的四组分类点集信息具体判定计算过程如下：

2.1)以L_i+2中点集信息为基本坐标信息，循环计算L_i+3和L_i+4中所有点坐标信息和当前基本坐标信息的欧氏距离，将L_i+3中相对于L_i+2中欧式距离小于R1的点集存入C23，欧式距离属于(R1，R2)的点集存入D23；

2.2)同理计算出L_i+2与L_i+4点集列表，记为C24，D24。

步骤6所述的烟特征根候选点坐标计算具体步骤如下：

3.1)对于L_i+2中的任意点，根据步骤5的判据，若在C23、C24中均有与之对应的判定点，则该点被列入烟特征根候选点；

3.2)对于L_i+2中的任意点A，若在C23、D24中均有与之对应的判定点，记为Q1，Q2，而C24、D23没有对应点，则对Q1，Q2这两点间的欧氏距离判定，设其为CD34，若CD34小于等于R1，则将A点列入烟特征根候选点，否则进行第3.3)步的判定；

3.3)若CD34大于R1，则读入当前帧图像的前两帧图像(G_i，G_i+1)的烟特征根候选点计算结果O_i，O_i+1，其中i＞0，如果i＝0，则O_i，O_i+1分别等于L_i，L_i+1，在O_i，O_i+1中分别找出距离当前A点欧氏距离小于R2的最近数据点W1，W2，其中W1属于O_i，W2属于O_i+1，若在R2范围内不存在W1或W2，则判定A点不为烟特征根候选点；

3.4)将得到的四个坐标点W1，W2，Q1，Q2进行线性回归计算，计算出预测直线Line，线性回归计算方法采用梯度下降法进行最优解计算，设预测直线Line＝mx+b，计算公式为：

其中

为待求极值的偏导数方程，具体公式为：

其中x_s，y_s为W1，W2，Q1，Q2中四点归一化后的横纵坐标，梯度下降计算过程中，m，b初始值为0，学习速率为0.001；

3.5)将待判定点A横坐标x_a带入线性回归方程得出预测结果Y_b，将Y_b与A点纵坐标y_a进行误差范围判定，若Y_b-y_a≤R2，则将A点列入烟特征根候选区域；

3.6)若R2≤Y_b-y_a≤R3，其中R3＞R2，则读取W1，W2，A，Q1，Q2五坐标点对应原灰度图像上灰度值，并判定相应图坐标点的方向信息S，若满足GVR≤55且SVR＝1，则列入烟特征根候选区域，GVR和SVR公式如下：

其中，方程(6)中GV_Wh，GV_Qh表示点Wh，Qh在其对应灰度图象下的灰度值；方程(7)中，S_W1，S_W2，S_Q1，S_Q2表示点W1，W2，Q1，Q2在步骤4下保存的方向信息；

3.7)对于L_i+2中的任意点B，若在D23、D24中均有与之对应的判定点，而C23、C24中没有对应点，则直接进行线性回归计算，从第3.3)步直接进行；

3.8)对于L_i+2中的任意点C，若在D23、C24中均有与之对应的判定点，而C23、D24中没有对应点，则计算方式从第3.2)步直接进行。

步骤7所述的生成基于候选点SR的模拟区域烟简图具体步骤如下：

4.1)以候选节点PR的坐标和其方向信息SR为基本信息，设定流体力学判据计算区域，若方向信息SR为0°、45°，则设定以PR坐标点为原点，长和宽各为L1，L2的矩形区域；若方向信息为90°，则设定以PR坐标点为原点，长为[-L1/2，L1/2]，宽为L2的矩形区域；若方向信息SR为135°、180°，则设定以PR坐标为原点，长和宽各为-L1，L2的矩形区域；若方向信息为225°，则设定以PR坐标为原点，长宽各为-L1，-L2的矩形区域；若方向信息为270°，则设定以PR坐标为原点，长为[-L1/2，L1/2]，宽为-L2的矩形区域；若方向信息为315°，则设定以PR坐标为原点，长宽各为L1，-L2的矩形区域；其中L1、L2长度计算公式为：

L1＝R_L/20 (8)

L2＝R_W/20 (9)

其中R_L、R_W分别为图像水平分辨率大小和垂直分辨率大小；

4.2)在每个烟计算区域进行基于流体力学方程Navier-Stokes方程的速度场计算，采用不可压缩流体运动控制方程，表示如下：

其中方程(10)为动量方程保证动量守恒，方程(11)为连续性方程保证质量守恒；u为速度项，p为压力项，ρ为流体密度，γ为粘性系数，f为外力项；方程(10)在笛卡尔坐标系下的表现形式如下：

其中(14)式方程为压力的泊松方程，计算空间选择为2D空间，计算边界条件为：

对泊松方程进行求解时需要进行迭代计算，粘性系数和密度选择1进行计算；

4.3)对每个计算区域中像素点的初始条件给定依靠骨骼图进行计算，对于骨骼图像中每个烟骨骼像素点进行求导运算，水平方向分量和垂直方向分量分别作为图像初始条件的u、v速度集，求导差分方法为选择向后差分法，步长设定为1像素值，对于骨骼点以外的像素点速度计算通过设定衰减系数给定，水平方向速度每个像素衰减5％，垂直方向每个像素衰减5％，若出现多骨骼点速度场在同一像素重叠出现，取多速度平均值代替次点速度，距离图像中骨骼部分10像素以外的衰减不再计算，维持距离骨骼像素10像素点时的最低速度，速度衰减计算公式如下：

其中，V_SKx为当前骨骼像素点水平方向的速度值，V_qx为距离骨骼像素q个像素的非骨骼点像素点的水平速度值，同理，垂直方向速度值计算公式如下：

4.4)引入模拟烟像素点，在烟根坐标点加入扩散源，随每轮速度迭代计算加入新的源像素点，加入颜色为二值图像的白色烟雾点，像素值为255，随着每轮计算，新加入的白色烟扩散点会随着速度计算进行沿着速度方向的运输传递，计算过程中不考虑烟像素值的扩散情况；

4.5)将得到的初始速度场分布矩阵带入Navier-Stokes方程进行运算求解，得出迭代计算结果，计算结果为速度场分布和第4.4)步相结合的区域范围图像，记为ARE_SR，其中SR为当前烟根特征候选点。

本发明的一种基于特征根和流体力学的森林火灾烟视频目标检测方法吸取传统图像处理算法中的特征提取、形态学操作，融合特征根和流体力学理论，形成新型的烟雾识别体系结构，算法存在预测性，可以持续影响连续帧的判定信息，使得判定结果稳定，可以有效避免由于图像处理阶段带来的偶然计算误。

附图说明

图1为本发明的算法流程图。

图2为本发明过程中的帧间差分图。

图3为本发明过程中烟雾根候选点的提取图。

具体实施方式

1.一种基于特征根和流体力学的森林火灾烟视频目标检测方法，包含以下步骤：

步骤1：从视频的设定帧数第i帧开始进行烟检测，将第i帧视频图像I_i进行彩色-灰度转化得到灰度图像G_i，设定长度为6的图像栈计算区域，通过逐帧迭代法计算出第I_i+j，帧图像的灰度图像G_i+j，将G_i+j，j＝0，1，…，5共6张灰度图像存入图像栈；

步骤2：对图像栈中存储的的6张灰度图进行帧间差分算法，得到5张差分图像D_i+j，差分采用方法为前向差分法，其中将D_i+2作为当前帧核心判定图像，帧间差分公式如下：

其中G_i(x，y)为第i帧图像灰度图，G_i+1(x，y)为第i+1帧灰度图，T为差分阈值；

步骤3：对步骤2中得到的5张差分图像进行形态学闭操作和连通域骨骼提取操作，得到5张骨骼图像记为SK_i+j；

步骤4：在骨骼图像SK_i+j中提取出骨骼图像端点，统计所有端点位置，对所有统计端点进行半径为R1的临近端点标记，将标记结果进行端点位置合并，用新合并点位置信息代替原有统计信息中被合并标记点的位置信息，得到每一张骨骼图像处理后的端点坐标和方向端点生成方向，记为L_i+j和S_i+j；

步骤5：选取D_i+2图像的合并端点位置点信息L_i+2，计算后两帧图像合并端点位置点信息L_i+3，L_i+4，并计算L_i+3，L_i+4与L_i+2的距离关系，关系判定采用欧式距离进行，其中第一个阈值信息对应步骤4中的R1，第二个阈值信息设定为R2，其中R2＞R1，得到四组分类点集信息：C23，C24，D23，D24；

步骤6：根据步骤5得到的四组点集信息进行烟特征根候选点判定算法，得出当前帧，即i+2帧，烟特征根候选点坐标，记为SR，并更新历史帧信息栈O_i，O_i+1，若i＝0，则将第i，i+1帧图像的合并端点信息L_i，L_i+1存入历史帧信息栈O_i，O_i+1，其余情况下，O_i，O_i+1应为本帧判定图像的前两帧图像判定结果，即本帧图像的前两帧图像通过步骤6计算出的烟特征根候选点坐标；

步骤7：将当前判定帧，即i+2帧，得出的烟特征根候选点SR送入由流体力学方程Navier-Stokes方程为核心构成的速度分布判定条件，得到当前帧条件下烟雾的模拟速度分布和扩散情况，生成基于候选点SR的模拟区域烟简图ARE_SR；

步骤8：将步骤7得到的模拟区域烟简图ARE_SR与图像栈中G_i+2灰度图进行基于阈值处理的同或计算操作(同或计算：像素值相同则结果为255，不同结果为0)，若简图计算区域内255数值分布均在由步骤7计算出的速度分布场包含像素范围内，则判定为烟区域。

2.步骤3所述的闭操作公式及核心形态尺寸如下：

2-1)膨胀操作定义：

2-2)腐蚀操作定义：

2-3)膨胀核心形状及尺寸：矩形、17X17

2-4)腐蚀核心形状及尺寸：矩形、9X9

其中A为原图像，B为闭操作核心。

3.步骤3所述的骨骼提取条件如下：

3-1)2×255≤B(P₁)≤6×255

3-2)A(P₁)＝1

3-3)P₂×P₄×P₆＝0

3-4)P₄×P₆×P₈＝0

其中P₁为中心像素值，P_i，i＝2，3，...，9，为以P₁为中心从像素12点方向开始顺时针排列的临域像素值，B_(pi)表示以像素Pi为中心，邻域像素之和在2×255和6×255之间，A_(Pi)表示以像素P_i为中心，临域8枚像素中按照顺时针方向，相邻两个像素出现0至255变化的次数。

4.步骤4所述的骨骼图像端点提取和端点合并方法具体步骤如下：

4-1)对烟雾二值化骨骼图像进行端点提取，设定P为当前骨骼图像上的骨骼点，对P周围360°分布的8个像素点值进行像素值判定，若有且仅有一个像素点像素值与P点相同，记录该点相对于中心点P的位置信息S(0°、45°、90°、135°、180°、225°、270°、315°、360°)，并将P列入单帧图像候选点范围列表CL1，循环执行此步骤，直到所有骨骼点均完成操作判定，得到CL1；

4-2)对单帧图像的候选点列表CL1进行位置相近点的合并优化，设定全局判定半径R1，对CL1中所有端点间欧式距离小于R1的点进行合并，删除这些端点坐标并用新坐标点代替，合并点坐标计算公式如下：

其中n为距离当前判定端点欧式距离小于R1的端点个数，x_m和y_m分别为第m个端点的横纵坐标，X，Y为代替点横纵坐标；

4-3)将经过步骤4-2)计算后的端点坐标信息存入列表L_i，方向信息存入列表S_i，其中i为当前帧数。

5.步骤5所述的四组分类点集信息具体判定计算过程如下：

5-1)以L_i+2中点集信息为基本坐标信息，循环计算L_i+3和L_i+4中所有点坐标信息和当前基本坐标信息的欧氏距离，将L_i+3中相对于L_i+2中欧式距离小于R1的点集存入C23，欧式距离属于(R1，R2)的点集存入D23；

5-2)同理计算出L_i+2与L_i+4点集列表，记为C24，D24。

6.步骤6所述的烟特征根候选点坐标计算具体步骤如下：

6-1)对于L_i+2中的任意点，根据步骤5的判据，若在C23、C24中均有与之对应的判定点，则该点被列入烟特征根候选点；

6-2)对于L_i+2中的任意点A，若在C23、D24中均有与之对应的判定点，记为Q1，Q2，而C24、D23没有对应点，则对Q1，Q2这两点间的欧氏距离判定，设其为CD34，若CD34小于等于R1，则将A点列入烟特征根候选点，否则进行第6-3)步的判定；

6-3)若CD34大于R1，则读入当前帧图像的前两帧图像(G_i，G_i+1)的烟特征根候选点计算结果O_i，O_i+1(其中i＞0，如果i＝0，则O_i，O_i+1分别等于L_i，L_i+1)，在O_i，O_i+1中分别找出距离当前A点欧氏距离小于R2的最近数据点W1，W2，其中W1属于O_i，W2属于O_i+1，若在R2范围内不存在W1或W2，则判定A点不为烟特征根候选点；

6-4)将得到的四个坐标点W1，W2，Q1，Q2进行线性回归计算，计算出预测直线Line，线性回归计算方法采用梯度下降法进行最优解计算，设预测直线Line＝mx+b，计算公式为：

其中

为待求极值的偏导数方程，具体公式为：

其中x_s，y_s为W1，W2，Q1，Q2中四点归一化后的横纵坐标，梯度下降计算过程中，m，b初始值为0，迭代梯度寻找轮次为100，学习速率为0.001；

6-5)将待判定点A横坐标x_a带入线性回归方程得出预测结果Y_b，将Y_b与A点纵坐标y_a进行误差范围判定，若Y_b-y_a≤R2，则将A点列入烟特征根候选区域；

6-6)若R2≤Y_b-y_a≤R3，其中R3＞R2，则读取W1，W2，A，Q1，Q2五坐标点对应原灰度图像上灰度值，并判定相应图坐标点的方向信息S，若满足GVR≤55且SVR＝1，则列入烟特征根候选区域，GVR和SVR公式如下：

其中，方程(6)中GV_Wh，GV_Qh表示点Wh，Qh在其对应灰度图象下的灰度值；方程(7)中，S_W1，S_W2，S_Q1，S_Q2表示点W1，W2，Q1，Q2在步骤4下保存的方向信息；

6-7)对于L_i+2中的任意点B，若在D23、D24中均有与之对应的判定点，而C23、C24中没有对应点，则直接进行线性回归计算，从第6-3)步直接进行；

6-8)对于L_i+2中的任意点C，若在D23、C24中均有与之对应的判定点，而C23、D24中没有对应点，则计算方式从第6-2)步直接进行。

7.步骤7所述的生成基于候选点SR的模拟区域烟简图具体步骤如下：

7-1)以候选节点PR的坐标和其方向信息SR为基本信息，设定流体力学判据计算区域，若方向信息SR为0°、45°，则设定以PR坐标点为原点，长和宽各为L1，L2的矩形区域；若方向信息为90°，则设定以PR坐标点为原点，长为[-L1/2，L1/2]，宽为L2的矩形区域；若方向信息SR为135°、180°，则设定以PR坐标为原点，长和宽各为-L1，L2的矩形区域；若方向信息为225°，则设定以PR坐标为原点，长宽各为-L1，-L2的矩形区域；若方向信息为270°，则设定以PR坐标为原点，长为[-L1/2，L1/2]，宽为-L2的矩形区域；若方向信息为315°，则设定以PR坐标为原点，长宽各为L1，-L2的矩形区域；其中L1、L2长度计算公式为：

L1＝R_L/20 (8)

L2＝R_W/20 (9)

其中R_L、R_W分别为图像水平分辨率大小和垂直分辨率大小；

7-2)在每个烟计算区域进行基于流体力学方程Navier-Stokes方程的速度场计算，采用不可压缩流体运动控制方程，表示如下：

其中方程(10)为动量方程保证动量守恒，方程(11)为连续性方程保证质量守恒；u为速度项，p为压力项，ρ为流体密度，γ为粘性系数，f为外力项；方程(10)在笛卡尔坐标系下的表现形式如下：

其中(14)式方程为压力的泊松方程，计算空间选择为2D空间，计算边界条件为：

对泊松方程进行求解时需要进行迭代计算，粘性系数和密度选择1进行计算；

7-3)对每个计算区域中像素点的初始条件给定依靠骨骼图进行计算，对于骨骼图像中每个烟骨骼像素点进行求导运算，水平方向分量和垂直方向分量分别作为图像初始条件的u、v速度集，求导差分方法为选择向后差分法，步长设定为1像素值，对于骨骼点以外的像素点速度计算通过设定衰减系数给定，水平方向速度每个像素衰减5％，垂直方向每个像素衰减5％，若出现多骨骼点速度场在同一像素重叠出现，取多速度平均值代替次点速度，距离图像中骨骼部分10像素以外的衰减不再计算，维持距离骨骼像素10像素点时的最低速度，速度衰减计算公式如下：

其中，V_SKx为当前骨骼像素点水平方向的速度值，V_qx为距离骨骼像素q个像素的非骨骼点像素点的水平速度值，同理，垂直方向速度值计算公式如下：

7-4)引入模拟烟像素点，在烟根坐标点加入扩散源，随每轮速度迭代计算加入新的源像素点，加入颜色为二值图像的白色烟雾点，像素值为255，随着每轮计算，新加入的白色烟扩散点会随着速度计算进行沿着速度方向的运输传递，计算过程中不考虑烟像素值的扩散情况；

7-5)将得到的初始速度场分布矩阵带入Navier-Stokes方程进行运算求解，得出迭代计算结果，计算结果为速度场分布和步骤7-4)相结合的区域范围图像，记为ARE_SR，其中SR为当前烟根特征候选点。

8.步骤8所述的基于阈值处理的同或计算操作具体步骤如下：

8-1)读取当前SR点所在帧图像的灰度图，对由步骤7中确定的流体力学判据计算区域中包含的像素点进行阈值为200的二值化像素操作，公式如下：

其中Gvi为计算区域内i点二值化后的像素值，Gvc_i为灰度图中计算区域内i点的像素值；

8-2)对区域内处理后的像素值和经过计算后的ARE_SR区域图像进行同或计算。

Claims (4)

1.一种基于特征根和流体力学的森林火灾烟视频目标检测方法，其特征在于，包含以下步骤：

步骤1：从视频的设定帧数第i帧开始进行烟检测，将第i帧视频图像I_i进行彩色-灰度转化得到灰度图像G_i，设定长度为6的图像栈计算区域，通过逐帧迭代法计算出第I_i+j帧图像的灰度图像G_i+j，将G_i+j，j＝0，1，…，5共6张灰度图像存入图像栈；

步骤2：对图像栈中存储的6张灰度图进行帧间差分算法，得到5张差分图像D_i+j，差分采用方法为前向差分法，其中将D_i+2作为当前帧核心判定图像，帧间差分公式如下：

其中G_i(x，y)为第i帧图像灰度图，G_i+1(x，y)为第i+1帧灰度图，T为差分阈值；

步骤3：对步骤2中得到的5张差分图像进行形态学闭操作和连通域骨骼提取操作，得到5张骨骼图像记为SK_i+j；

步骤4：在骨骼图像SK_i+j中提取出骨骼图像端点，统计所有端点位置，对所有统计端点进行半径为R1的临近端点标记，将标记结果进行端点位置合并，用新合并点位置信息代替原有统计信息中被合并标记点的位置信息，得到每一张骨骼图像处理后的端点坐标和方向端点生成方向，记为L_i+j和S_i+j；

步骤5：选取D_i+2图像的合并端点位置点信息L_i+2，计算后两帧图像合并端点位置点信息L_i+3，L_i+4，并计算L_i+3，L_i+4与L_i+2的距离关系，关系判定采用欧式距离进行，其中第一个阈值信息对应步骤4中的R1，第二个阈值信息设定为R2，其中R2＞R1，得到四组分类点集信息：C23，C24，D23，D24；

步骤6：根据步骤5得到的四组点集信息进行烟特征根候选点判定算法，得出当前帧，即i+2帧，烟特征根候选点坐标，记为SR，并更新历史帧信息栈O_i，O_i+1，若i＝0，则将第i，i+1帧图像的合并端点信息L_i，L_i+1存入历史帧信息栈O_i，O_i+1，其余情况下，O_i，O_i+1应为本帧判定图像的前两帧图像判定结果，即本帧图像的前两帧图像通过步骤6计算出的烟特征根候选点坐标；

步骤7：将当前判定帧，即i+2帧，得出的烟特征根候选点SR送入由流体力学方程Navier-Stokes方程为核心构成的速度分布判定条件，得到当前帧条件下烟雾的模拟速度分布和扩散情况，生成基于候选点SR的模拟区域烟简图ARE_SR；

步骤8：将步骤7得到的模拟区域烟简图ARE_SR与图像栈中G_i+2灰度图进行基于阈值处理的同或计算操作，像素值相同则结果为255，不同结果为0，若简图计算区域内255数值分布均在由步骤7计算出的速度分布场包含像素范围内，则判定为烟区域。

2.如权利要求1所述的一种基于特征根和流体力学的森林火灾烟视频目标检测方法，其特征在于，步骤5所述的四组分类点集信息具体判定计算过程如下：

2.1)以L_i+2中点集信息为基本坐标信息，循环计算L_i+3和L_i+4中所有点坐标信息和当前基本坐标信息的欧氏距离，将L_i+3中相对于L_i+2中欧式距离小于R1的点集存入C23，欧式距离属于(R1，R2)的点集存入D23；

2.2)同理计算出L_i+2与L_i+4点集列表，记为C24，D24。

3.如权利要求1所述的一种基于特征根和流体力学的森林火灾烟视频目标检测方法，其特征在于，步骤6所述的烟特征根候选点坐标计算具体步骤如下：

3.1)对于L_i+2中的任意点，根据步骤5的判据，若在C23、C24中均有与之对应的判定点，则该点被列入烟特征根候选点；

3.2)对于L_i+2中的任意点A，若在C23、D24中均有与之对应的判定点，记为Q1，Q2，而C24、D23没有对应点，则对Q1，Q2这两点间的欧氏距离判定，设其为CD34，若CD34小于等于R1，则将A点列入烟特征根候选点，否则进行第3.3)步的判定；

3.3)若CD34大于R1，则读入当前帧图像的前两帧图像(G_i，G_i+1)的烟特征根候选点计算结果O_i，O_i+1，其中i＞0，如果i＝0，则O_i，O_i+1分别等于L_i，L_i+1，在O_i，O_i+1中分别找出距离当前A点欧氏距离小于R2的最近数据点W1，W2，其中W1属于O_i，W2属于O_i+1，若在R2范围内不存在W1或W2，则判定A点不为烟特征根候选点；

3.4)将得到的四个坐标点W1，W2，Q1，Q2进行线性回归计算，计算出预测直线Line，线性回归计算方法采用梯度下降法进行最优解计算，设预测直线Line＝mx+b，计算公式为：

其中

为待求极值的偏导数方程，具体公式为：

其中x_s，y_s为W1，W2，Q1，Q2中四点归一化后的横纵坐标，梯度下降计算过程中，m，b初始值为0，学习速率为0.001；

3.5)将待判定点A横坐标x_a带入线性回归方程得出预测结果Y_b，将Y_b与A点纵坐标y_a进行误差范围判定，若Y_b-y_a≤R2，则将A点列入烟特征根候选区域；

3.6)若R2≤Y_b-y_a≤R3，其中R3＞R2，则读取W1，W2，A，Q1，Q2五坐标点对应原灰度图像上灰度值，并判定相应图坐标点的方向信息S，若满足GVR≤55且SVR＝1，则列入烟特征根候选区域，GVR和SVR公式如下：

其中，方程(6)中GV_Wh，GV_Qh表示点Wh，Qh在其对应灰度图像 下的灰度值；方程(7)中，S_W1，S_W2，S_Q1，S_Q2表示点W1，W2，Q1，Q2在步骤4下保存的方向信息；

3.7)对于L_i+2中的任意点B，若在D23、D24中均有与之对应的判定点，而C23、C24中没有对应点，则直接进行线性回归计算，从第3.3)步直接进行；

3.8)对于L_i+2中的任意点C，若在D23、C24中均有与之对应的判定点，而C23、D24中没有对应点，则计算方式从第3.2)步直接进行。

4.如权利要求1所述的一种基于特征根和流体力学的森林火灾烟视频目标检测方法，其特征在于，步骤7所述的生成基于候选点SR的模拟区域烟简图具体步骤如下：

4.1)以候选节点PR的坐标和其方向信息SR为基本信息，设定流体力学判据计算区域，若方向信息SR为0°、45°，则设定以PR坐标点为原点，长和宽各为L1，L2的矩形区域；若方向信息为90°，则设定以PR坐标点为原点，长为[-L1/2，L1/2]，宽为L2的矩形区域；若方向信息SR为135°、180°，则设定以PR坐标为原点，长和宽各为-L1，L2的矩形区域；若方向信息为225°，则设定以PR坐标为原点，长宽各为-L1，-L2的矩形区域；若方向信息为270°，则设定以PR坐标为原点，长为[-L1/2，L1/2]，宽为-L2的矩形区域；若方向信息为315°，则设定以PR坐标为原点，长宽各为L1，-L2的矩形区域；其中L1、L2长度计算公式为：

L1＝＝R_L/20 (8)

L2＝＝R_W/20 (9)

其中R_L、R_W分别为图像水平分辨率大小和垂直分辨率大小；

4.2)在每个烟计算区域进行基于流体力学方程Navier-Stokes方程的速度场计算，采用不可压缩流体运动控制方程，表示如下：

其中方程(10)为动量方程保证动量守恒，方程(11)为连续性方程保证质量守恒；u为速度项，p为压力项，ρ为流体密度，γ为粘性系数，f为外力项；方程(10)在笛卡尔坐标系下的表现形式如下：

其中(14)式方程为压力的泊松方程，计算空间选择为2D空间，计算边界条件为：

对泊松方程进行求解时需要进行迭代计算，粘性系数和密度选择1进行计算；

4.3)对每个计算区域中像素点的初始条件给定依靠骨骼图进行计算，对于骨骼图像中每个烟骨骼像素点进行求导运算，水平方向分量和垂直方向分量分别作为图像初始条件的u、v速度集，求导差分方法为选择向后差分法，步长设定为1像素值，对于骨骼点以外的像素点速度计算通过设定衰减系数给定，水平方向速度每个像素衰减5％，垂直方向每个像素衰减5％，若出现多骨骼点速度场在同一像素重叠出现，取多速度平均值代替次点速度，距离图像中骨骼部分10像素以外的衰减不再计算，维持距离骨骼像素10像素点时的最低速度，速度衰减计算公式如下：

其中，V_SKx为当前骨骼像素点水平方向的速度值，V_qx为距离骨骼像素q个像素的非骨骼点像素点的水平速度值，同理，垂直方向速度值计算公式如下：

4.4)引入模拟烟像素点，在烟根坐标点加入扩散源，随每轮速度迭代计算加入新的源像素点，加入颜色为二值图像的白色烟雾点，像素值为255，随着每轮计算，新加入的白色烟扩散点会随着速度计算进行沿着速度方向的运输传递，计算过程中不考虑烟像素值的扩散情况；

4.5)将得到的初始速度场分布矩阵带入Navier-Stokes方程进行运算求解，得出迭代计算结果，计算结果为速度场分布与第4.4)步相结合的区域范围图像，记为ARE_SR，其中SR为当前烟根特征候选点。

Images