CN112927459B - 一种基于无人机视觉的九宫格火势预测方法及应用 - Google Patents

Abstract

本发明公开了一种基于无人机视觉的九宫格火势预测方法及应用，首先基于HSV颜色空间检测火焰目标，然后经过连通域筛选，ROI区域截取并且基于双边滤波保边去噪。为了提高森林火灾和水上火灾的防御和扑灭计划的成功率，本文提出了一种基于四旋翼无人机视觉的九宫格火势预测算法，将优化后的图像进行图像处理，利用火焰特征矩阵来预测火势走向，用每个宫格获取的像素点个数分析火焰大小，为火灾火势发展综合预警系统中的开发提供新的解决思路和方法，经过多次实验测试，本文提出的九宫格火势预测算法准确度达到85％，具有较好的预测效果。

Description

一种基于无人机视觉的九宫格火势预测方法及应用

技术领域

本发明涉及森林救火领域以及水上火灾救援领域，无人机机器视觉，图像处理技术领域，具体是一种基于无人机视觉的九宫格火势预测方法及应用。

背景技术

全球气候变暖、森林火灾日益频发，森林消防控制灾害面临着前所未有的考验，另外随着水上运输业的不断发展，港口吞吐量不断上涨，各类危险品运输船只和码头增多，因水域的地理特殊性，给消防监督管理工作增加了新的难度。

对于火势发展预测，马瑞生等提出通过实时视频传输和无人机技术相结合的方法，形成一个无人机林火监控平台；李源提出改进火源识别算法，使用红外热成像模块并使用“图像显著算法”，可以在巡航过程中准确地找到火点，到达火灾现场后，自主寻找火源并向火源位置靠近，再通过无人机的测距信息、姿态信息和拍照信息的叠加输出，由地面站计算出火源的三维信息，蔓延速度；阿尔及利亚作者法鲁贾阿比德在基于《森林火灾预测和检测系统得机器学习算法调查》文章中，简要介绍了森林火灾问题；高德民等人提出了基于无线传感器网络的森林火灾预测决策树算法，然后对森林火灾预测和探测系统中的各种方法和系统进行了综述，除了报告火灾预测和探测系统的工作外，还讨论了评估影响火灾发生和风险的因素的研究；李兴东等人提出了一种基于元胞自动机得林火蔓延模型；汪文野等人提出基于神经网络的森林火灾预测分析；杨斌等提出根据火灾所产生烟的光谱特性，在颜色特征识别的基础上，建立对应的分析识别模型，使用线性噪声清除方法，减少识别上的误差，满足实时性的需求，解决无人机遥感在火灾监测中的自动识别问题；王正非提出了林火蔓延模型。

但对于火势发展预测，国内外并未提出相关办法，李兴东等人所提出的基于元胞自动机的林火蔓延模型预测时间过长，谢红等人提出了“火焰分割算法”，精确地找到了火源，但是这种方法受背景和光照因素的很大影响。所以本文旨在研究如何更有效地预测火势的发展，因此本发明提供了一种基于无人机视觉的九宫格火势预测方法及应用，以解决上述背景技术中提出的问题。

发明内容

为了提高森林火灾和水上火灾防御和扑灭计划的成功率，本文提出了一种基于无人机视觉的九宫格火势预测方法，将优化后的图像进行图像处理，利用火焰特征矩阵来预测火势走向，用每个宫格获取的像素点个数分析火焰大小，为火灾火势发展综合预警系统中的开发提供新的解决思路和方法。

为实现上述目的，本发明提供如下技术方案：

一种基于无人机视觉的九宫格火势预测方法，包括如下步骤：

步骤S1：启动无人机，无人机通过自主控制找到火灾发生区域；

步骤S2：无人机通过机器视觉设备获取火灾发生区的图像；

步骤S3：将所获取的图像，先基于HSV颜色空间检测火焰目标，然后经过连通域筛选，ROI区域截取并且基于双边滤波保边去噪；

步骤S4：将处理后的图像进行九宫格区域划分；

步骤S5：获取每个宫格所含有的火焰像素点的个数，并对像素点的值进行滤波处理，防止因噪声干扰而导致数据失真；

步骤S6：将划分好的九宫格火焰图像特征值化，形成特征矩阵；

步骤S7：通过特征矩阵以及所获取的每个宫格所含有的像素点的数量来预测火焰的大小以及火势的大致走向。

作为本发明进一步的方案，选取HSV颜色空间来对火焰颜色进行颜色特征提取，对原图像二值化的表达式如式：

式中，Gray(x，y)表示像素坐标的灰度值，H代表元图像的HSV空间中的H分量区间(1,9)表示火焰的颜色分量。

作为本发明进一步的方案，所述连通域筛选提出的算法流程如下:

①对二值图像进行15x15正方形结构元素的开运算操作；

②从左至右自上而下遍历扫描所有连通域；

③统计每个连通域跟踪像素点的个数，筛选图像面积小于总面积的0.20％的连通域，再将这些连通域像素二值化值标记为0，这三步噪声滤波算法能够较好的对背景干扰信息进行去除。

作为本发明进一步的方案，采用连通域筛选以去除噪点以及背景非目标火焰的干扰,从而提高后续ROI截取的精度，所述特征值化的获取方法主要流程如下：

①对每一张火灾火势图像进行九宫格化的像素点区域划分，并自上而下，从左到右进行遍历，对每个区域进行特征识别，并进行可视化标定；

②计算并输出每一个像素区域标定火势的像素点的个数并输出打印；

③有火势识别像素点区域进行特征值标定1，反之标定为0；

④建立特征化矩阵；

其特征化矩阵γ可以表示如下:

a_ij＝Flag_(Direction)，i∈[2，4]，j＝[2，4]

其中Flag_(Direction)表示九宫格中每一个像素点矩形区域的火焰特征值，Direction表示像素点矩形区域的方向位置，该特征化矩阵分为两部分，其中当i∈[2，4]，j＝[2，4]时表示火焰特征值0或1，而a₁₂，a₁₃，a₁₄分别表示第2、3、4列火焰特征值为1的个数，a₂₁，a₃₁，a₄₁则表示第2，3，4行火焰特征值为1的个数。

作为本发明进一步的方案，所述预测火焰的大小以及火势的大致走向是指将每个宫格所获取的像素点个数数据进行滤波处理，将九宫格每个宫格获取到的像素值数据进行滤波处理，使得到得每个值与其采样值X(K)(K＝1～N)之间误差的平方和为最小，Y为采样值的算术平均值，即：

设第二次测量的测量值包含信号成分Si和噪声成分Ci，则进行N次测量的信号成分之和为N·S，噪声的强度是用均方根来衡量的，当噪声为随机信号时，进行N次测量的噪声强度之和为

S、C分别表示进行N次测量后信号和噪声的平均幅度，这样对N次测量进行算术平均后的信噪比为

其中，S/C是求算术平均值前的信噪比，因此采用数据滤波后，使信噪比提高了

倍。

所述的一种基于无人机视觉的九宫格火势预测方法的应用，具体操作步骤如下：

无人机的飞控系统中的气压计、陀螺仪和加速度计对飞行姿态进行控制，并通过北斗模块进行定位，飞抵火灾现场，并拍摄火灾现场图像，利用本发明方法，通过图像处理模块进行处理后，并对火灾蔓延趋势进行预测，通过NRF无线传输模块与地面站进行信息传输和图像传输，通过基站将预测结果发送回地面，方便地面做出决策，地面站向现场救灾人员传达灭火决策，提高森林火灾和水上火灾防御和扑灭计划的成功率。

与现有技术相比，本发明的有益效果是：

1、本发明将优化后的图像进行图像处理，利用火焰特征矩阵来预测火势走向，用每个宫格获取的像素点个数分析火焰大小，为火灾火势发展综合预警系统中的开发提供新的解决思路和方法。

2、对火焰识别过程中，背景的复杂性以及极其类似火焰颜色的弱光或者强光都会对识别效果产生干扰，并且火焰的二值化图像噪声严重，因此采用较大连通域筛选以去除噪点以及背景非目标火焰的干扰，从而提高后续ROI截取的精度。

3、在RGB颜色空间中，确定火焰色彩空间阈值，需要综合筛选R、G、B三个颜色分量中的像素，在考虑光照影响的前提下，颜色的提取往往会不准确，因此综合考虑，选取HSV颜色空间来对火焰颜色进行颜色特征提取。

附图说明

图1为本发明基于HSV的火焰识别特征增强算法流程图。

图2为本发明图像增强方法检测结果。

图3为本发明九宫格火势发展预测算法使用流程图。

图4为本发明实验仿真时九宫格各部分火焰像素点检测结果matlab展示。

图5为本发明的应用流程图。

图6为本发明中表1中实验仿真九宫格各部分火焰像素点检测结果。

图7为本发明中表2中实验结果分析。

图8为本发明中表3中基于元胞自动机的林火蔓延模型比较实验分析。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施案例仅仅是本发明一部分实施内容，而并非全部。基于本发明中的实施内容，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1～8，本发明实施例中，一种基于无人机视觉的九宫格火势预测方法及应用，传统的基于RGB的火焰分割算法受光照和背景影响较大，在复杂的背景和多变的光照情况下容易产生误差。为克服这些问题，本文提取一种基于HSV的火焰识别算法，算法框架如图1所示。先基于HSV颜色通道分离H分量以提取火焰的颜色特征，然后对二值图像进行形态学处理和连通域筛选获得目标ROI。而为了提高火势发展预测的精度，本文提出一种九宫格火势预测算法，利用火焰特征矩阵并且结合获取到的每个宫格的像素点个数，就可以更加准确的知道火势的发展以及火势的大小。

应用九宫格火势预测算法的具体操作步骤如下。

步骤S1：启动无人机，无人机通过自主控制找到火灾发生区域；

步骤S2：无人机通过机器视觉设备获取火灾发生区的图像；

步骤S3：将所获取的图像，先基于HSV颜色空间检测火焰目标，然后经过连通域筛选，ROI区域截取并且基于双边滤波保边去噪；

步骤S4：将处理后的图像进行九宫格区域划分；

步骤S5：获取每个宫格所含有的火焰像素点的个数，并对像素点的值进行滤波处理，防止因噪声干扰而导致数据失真；

步骤S6：将划分好的九宫格火焰图像特征值化，形成特征矩阵；

步骤S7：通过特征矩阵以及所获取的每个宫格所含有的像素点的数量来预测火焰的大小以及火势的大致走向。

作为本发明进一步的方案，选取HSV颜色空间来对火焰颜色进行颜色特征提取，对原图像二值化的表达式如式：

式中，Gray(x，y)表示像素坐标的灰度值，H代表元图像的HSV空间中的H分量区间(1,9)表示火焰的颜色分量。

作为本发明进一步的方案，所述连通域筛选提出的算法流程如下:

①对二值图像进行15x15正方形结构元素的开运算操作；

②从左至右自上而下遍历扫描所有连通域；

③统计每个连通域跟踪像素点的个数，筛选图像面积小于总面积的0.20％的连通域，再将这些连通域像素二值化值标记为0，这三步噪声滤波算法能够较好的对背景干扰信息进行去除。

作为本发明进一步的方案，所述特征值化的获取方法主要流程如下：

①对每一张火灾火势图像进行九宫格化的像素点区域划分，并自上而下，从左到右进行遍历，对每个区域进行特征识别，并进行可视化标定；

②计算并输出每一个像素区域标定火势的像素点的个数并输出打印；

③有火势识别像素点区域进行特征值标定1，反之标定为0；

④建立特征化矩阵；

其特征化矩阵γ可以表示如下:

a_ij＝Flag_(Direction)，i∈[2，4]，j＝[2，4]

其中Flag_(Direction)表示九宫格中每一个像素点矩形区域的火焰特征值，Direction表示像素点矩形区域的方向位置，该特征化矩阵分为两部分，其中当i∈[2，4]，j＝[2，4]时表示火焰特征值0或1，而a₁₂，a₁₃，a₁₄分别表示第2、3、4列火焰特征值为1的个数，a₂₁，a₃₁，a₄₁则表示第2，3，4行火焰特征值为1的个数，这样更有利于分析火势。

作为本发明进一步的方案，所述预测火焰的大小以及火势的大致走向是指将每个宫格所获取的像素点个数数据进行滤波处理，将九宫格每个宫格获取到的像素值数据进行滤波处理，使得到得每个值与其采样值X(K)(K＝1～N)之间误差的平方和为最小，Y为采样值的算术平均值，即：

设第二次测量的测量值包含信号成分Si和噪声成分Ci，则进行N次测量的信号成分之和为N·S，噪声的强度是用均方根来衡量的，当噪声为随机信号时，进行N次测量的噪声强度之和为

S、C分别表示进行N次测量后信号和噪声的平均幅度，这样对N次测量进行算术平均后的信噪比为

其中，S/C是求算术平均值前的信噪比，因此采用数据滤波后，使信噪比提高了

倍。

需要指出的是，对火焰识别过程中，背景的复杂性以及极其类似火焰颜色的弱光或者强光都会对识别效果产生干扰，并且火焰的二值化图像噪声严重，因此采用较大连通域筛选以去除噪点以及背景非目标火焰的干扰，从而提高后续ROI截取的精度，实验效果如图2所示。

需要指出的是，对于九宫格火势发展预测算法，具体流程如图3所示，实验仿真所收集的数据如表1所示，进行matlab仿真如图4所示，在一次实验的基础上，取20次实验作为样本总数，并且使得每次实验燃烧初始点一致，观察预测方向是否与实际火势发展方向一致，并记录数据如表2，其中有三次火势发展预测方向与实际火势发展方向有偏差，可推算本次实验的可信度约为85％

需要指出的是，相对于李兴东等人提出的基于元胞自动机的林火蔓延模型，本发明的九宫格火势发展预测算法准确率较高，经过多次实验后所得结果如表3。

需要指出的是，该应用流程图如图5所示，无人机的飞控系统中的气压计、陀螺仪和加速度计对飞行姿态进行控制，并通过北斗模块进行定位，飞抵火灾现场，并拍摄火灾现场图像，利用本发明方法，通过图像处理模块进行处理后，并对火灾蔓延趋势进行预测，通过NRF无线传输模块与地面站进行信息传输和图像传输，通过基站将预测结果发送回地面，方便地面做出决策，地面站向现场救灾人员传达灭火决策，提高森林火灾和水上火灾防御和扑灭计划的成功率。

需要指出的是，本发明不仅能够应用于森林火灾，同理可以应用于水上火灾的救援。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于无人机视觉的九宫格火势预测方法，其特征在于，包括如下步骤：

步骤S1：启动无人机，无人机通过自主控制找到火灾发生区域；

步骤S2：无人机通过机器视觉设备获取火灾发生区的图像；

步骤S3：将所获取的图像，先基于HSV颜色空间检测火焰目标，然后经过连通域筛选，

ROI区域截取并且基于双边滤波保边去噪；

步骤S4：将处理后的图像进行九宫格区域划分；

步骤S5：获取每个宫格所含有的火焰像素点的个数，并对像素点的值进行滤波处理，防止因噪声干扰而导致数据失真；

步骤S6：将划分好的九宫格火焰图像特征值化，形成特征矩阵；

步骤S7：通过特征矩阵以及所获取的每个宫格所含有的像素点的数量来预测火焰的大小以及火势的大致走向。

2.根据权利要求1所述的一种基于无人机视觉的九宫格火势预测方法，其特征在于，选取HSV颜色空间来对火焰颜色进行颜色特征提取，对原图像二值化的表达式如式：

式中，Gray(x，y)表示像素坐标的灰度值，H代表元图像的HSV空间中的H分量区间(1,9)表示火焰的颜色分量。

3.根据权利要求1所述的一种基于无人机视觉的九宫格火势预测方法，其特征在于，采用连通域筛选以去除噪点以及背景非目标火焰的干扰,从而提高后续ROI截取的精度，所述连通域筛选提出的算法流程如下:

①对二值图像进行15x15正方形结构元素的开运算操作；

②从左至右自上而下遍历扫描所有连通域；

③统计每个连通域跟踪像素点的个数，筛选图像面积小于总面积的0.20％的连通域，再将这些连通域像素二值化值标记为0，这三步噪声滤波算法能够较好的对背景干扰信息进行去除。

4.根据权利要求1所述的一种基于无人机视觉的九宫格火势预测方法，其特征在于，所述图像特征值化的获取方法主要流程如下：

①对每一张火灾火势图像进行九宫格化的像素点区域划分，并自上而下，从左到右进行遍历，对每个区域进行特征识别，并进行可视化标定；

②计算并输出每一个像素区域标定火势的像素点的个数并输出打印；

③有火势识别像素点区域进行特征值标定1，反之标定为0；

④建立特征化矩阵；

其特征化矩阵γ可以表示如下:

a_ij＝Flag_(Direction)，i∈[2，4]，j＝[2，4]

其中Flag_(Direction)表示九宫格中每一个像素点矩形区域的火焰特征值，Direction表示像素点矩形区域的方向位置，该特征化矩阵分为两部分，其中当i∈[2，4]，j＝[2，4]时表示火焰特征值0或1，而a₁₂，a₁₃，a₁₄分别表示第2、3、4列火焰特征值为1的个数，a₂₁，a₃₁，a₄₁则表示第2，3，4行火焰特征值为1的个数。

5.根据权利要求1所述的一种基于无人机视觉的九宫格火势预测方法，其特征在于，所述预测火焰的大小以及火势的大致走向是指将每个宫格所获取的像素点个数数据进行滤波处理，将九宫格每个宫格获取到的像素值数据进行滤波处理，使得到得每个值与其采样值X(K)(K＝1～N)之间误差的平方和为最小，Y为采样值的算术平均值，即：

设第二次测量的测量值包含信号成分Si和噪声成分Ci，则进行N次测量的信号成分之和为N·S，噪声的强度是用均方根来衡量的，当噪声为随机信号时，进行N次测量的噪声强度之和为，

S、C分别表示进行N次测量后信号和噪声的平均幅度，这样对N次测量进行算术平均后的信噪比为

其中，S/C是求算术平均值前的信噪比，因此采用数据滤波后，使信噪比提高了

倍。

6.根据权利要求1-5任一项所述的一种基于无人机视觉的九宫格火势预测方法的应用，其特征在于，具体如下：

S1:无人机的飞控系统中的气压计、陀螺仪和加速度计对飞行姿态进行控制，并通过北斗模块进行定位，飞抵火灾现场，并拍摄火灾现场图像；

S2:利用一种基于无人机视觉的九宫格火势预测方法，通过图像处理模块进行处理后，并对火灾蔓延趋势进行预测；

S3:通过NRF无线传输模块与地面站进行信息传输和图像传输，通过基站将拍摄结果发送回地面，方便地面做出决策。

Images