CN111062293B - 一种基于深度学习的无人机森林火焰识别方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的无人机森林火焰识别方法，属于无人机视觉与数字图像处理技术领域，首先运用直方图均衡化、多级中值滤波算法对返回的火焰图像进行预处理，接着采用颜色空间模型算法对视频进行疑似火焰像素进行检测，然后利用数学形态学对视频图像进行开运算处理；本发明利用改进的中值滤波去除视频图像的噪声，相较于普通中值滤波，改进后的滤波不仅保留了其在光学测量图象的相位分析处理方法中有特殊作用，同时还采用了条纹中心分析方法，通过扩大窗口来相对地减少冲激噪声空间密度使得图像的细节更好，同时提高了处理效率。

Description

一种基于深度学习的无人机森林火焰识别方法

技术领域

本发明属于无人机视觉与数字图像处理技术领域，具体为一种基于深度学习的无人机森林火焰识别方法。

背景技术

伴随着科技的快速发展，无人化操作成为时下的发展趋势，发展前景广阔，无人机经常会执行一些特殊任务，这无疑向无人机对目标的识别能力、以及灵活性提出了更好更高的要求。基于视频火焰识别的无人机森林防火方法特点是组成结构简单、成本低、性价比高等等，同时由于这种方法可以将得到的图像进行共面处理，得到无畸变且行对准图像，此时图像处理精确度更高，更有利于无人机的准确识别。

通常所用的分帧方法，首先得确定视频的帧数。加载所有帧图像所需的时间长，占用内存多。处理时，仅使用当前帧，MATLAB图像处理工具箱中mmreader可以读入视频，利用get函数得到图像帧的数目，通过mmread(A，i)可加载所需要的帧。

现在大多数方法有基于空间或者空间的火焰区域提取，但是采用RGB颜色模型对亮度的依赖性比较高，在亮度改变的情况下，颜色模型对火焰像素检测会包含大量无关像素。颜色模型的饱和度相比于另外几个的区分度没那么明显，所以检测的火焰区域会出现漏掉或者多出来的现象。由此可见，单独使用一种颜色模型都很难提取出令人满意的区域。颜色特征和运动特征是火焰像素区别于其他对象像素的显著特征，因此本发明结合和两个颜色空间，基于图像的运动像素的提取和颜色颜色像素来识别火焰像素，再采用均值分割的方法来提取火焰区域。

广泛使用的降噪方法，一般是利用形态开闭操作对图进行降噪，每进行一次开操作为腐蚀-膨胀，目的是消除图像中大于领域内点的孤立异常值。闭操作为膨胀-腐蚀，目的是消除图像中小于领域内点的孤立异常值。

中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号平滑处理技术，它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值。中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点。中值滤波法对消除椒盐噪声非常有效，在光学测量条纹图象的相位分析处理方法中有特殊作用，但在条纹中心分析方法中作用不大。

所以，目前对于传统的中值滤波在降噪处理和细节保护上不太理想，这就使得无人机的识别结果不精确，从而影响无人机对火焰的识别。

发明内容

本发明克服现有技术存在的不足，提供一种超快速低损碳化硅衬底抛光液及其制备方法，目的是获得低粗糙度、高平整度、亚表面损伤小的碳化硅衬底表面，为后续进行化学机械精密抛光提供基础加工条件。

本发明是通过如下技术方案实现的。

一种基于深度学习的无人机森林火焰识别方法，具体包括以下步骤：

1)获取无人机视觉范围内的视频；具体可以为利用摄像头获取无人机的图像，将摄像头安装在无人机正前方，获取摄像头范围内视频，将视频返回。

2)对获取的视频进行分帧处理，获得一系列图像；

3)对图像进行增强对比度效果的预处理；

4)利用改进的中值滤波算法进一步处理经过所述预处理的图片；所述的改进的中值滤波是通过扩大窗口来相对地减少冲激噪声空间密度。

5)对疑似火焰的图片像素进行识别；所述识别是综合RGB和HSV两个模型提取火焰区域，判断是否为运动像素，同时满足颜色特征和运动特征的像素被识别为疑似火焰像素图像；

6)对图像进行形态学处理，消除图像中小于领域内点的孤立异常值。

7)结合深度学习神经网络算法-YOLO，对检测到的火焰目标进行实时跟踪识别。

所述的改进的中值滤波具体方法为：设S(z，y)表示中心像素点(x，y)在滤波时所对应的掩模窗口，令Z1为S(x，y)中的灰度最小值，Z2为S(x，y)中的灰度最大值，Z3为S(z，Y)中的灰度中值，Z(z，Y)为在坐标(z，y)上的灰度，S为S(x，y)允许的最大尺寸，自适应中值滤波器算法工作的2个层面定义为A层和B层；其中灰度中值Z3的计算方法结合了均值思想，把排序得到的中值与窗口中所有像素点的均值加权得到灰度中值，所述中值的权重为0.3，均值的权重为0.7。

A层:

Z_A1＝Z_med-Z_min Z_A2＝Z_max-Z_med

当Z_A1>T(T为阈值)，且Z_A2>T则转到B层，否则，增大窗口尺寸；

如果窗口尺寸小于则重复A层；否则，输出Z(x，y)；

B层：

Z_B1＝Z(x,y)-Z_min，Z_B2＝Z_max-Z(x，y)，

当Z_B1＞T，Z_B2＞T，则输出Z(x,y)；否则输出Z_med

A层用来判断是否为一脉冲，B层用来判断Z(x，y)是否为一脉冲；当A层和B层都不是，算法就利用输出一个不变的像素值Z(x，y)来代替领域中值作为输出，以避免不必要的细节损失。

所述算法中阈值T的计算方法为：给定一个可接受的信噪比M；先初始化一个阈值T；通过上述算法获得一个新的图像，计算其信噪比M_n，如果M_n大于M，将T/2赋值给T，则再次计算信噪比，接受当前T值作为阈值。

优选的，所述对图像进行增强对比度效果的预处理是进行直方图均衡化处理。图像运用直方图均衡化进行预处理，直方图均衡化的作用是图像增强。

均衡化过程中，必须要保证两个条件：①像素无论怎么映射，一定要保证原来的大小关系不变，较亮的区域，依旧是较亮的，较暗依旧暗，只是对比度增大，绝对不能明暗颠倒；②如果是八位图像，那么像素映射函数的值域应在0和255之间的，不能越界。综合以上两个条件，累积分布函数是个好的选择，因为累积分布函数是单调增函数(控制大小关系)，并且值域是0到1(控制越界问题)，所以直方图均衡化中使用的是累积分布函数。累积分布函数具有一些好的性质，比较概率分布函数和累积分布函数，前者的二维图像是参差不齐的，后者是单调递增的。直方图均衡化过程中，映射方法是：

其中n为图像中像素的总和，L为图像中可能的灰度级总数。

优选的，对疑似火焰的图片像素进行识别：

1、输入火焰图像。求出高度和宽度，并且求出灰度直方图

2、求出分量并且将模型转化为模型，求出三个分量

3、遍历各个像素点，根据运动像素和颜色特征的三个规则检测疑似火焰

像素。

具体为：先利用火焰的颜色特征来排除大量的无关视频，颜色像素检测依据规则为：

规则1：R>G>＝B

规则2：R>150

规则3：S>0.3

上述规则中R代表火焰的红色分量，G代表火焰的绿色分量，B代表火焰的蓝色分量，S代表火焰的饱和度，规则1和规则2说明火焰的颜色以红色分量为主，而且与其他对象相比，火焰的值更大；规则3中，用火焰像素的饱和度来排除那些非火焰对象的像素；RGB和HSV结合起来提取火焰区域；

其次，运用运动检测的方法识别其是否为运动像素，以过滤类似火焰颜色像素的静态像素；

动态像素检测是通过比较相邻两帧对应像素点的灰度值变化，计算公式如下：

ΔF(i,j,t)＝1如果|I(i,j,t-1)|>T

ΔF(i,j,t)＝0

其中I(i,j,t)，表示第t帧的像素的强度；综合RGB和HSV两个模型提取火焰区域，然后再判断是否为运动像素；只有同时满足颜色特征和运动特征的像素才被识别为疑似火焰像素。

优选的，所述形态学处理是利用形态开闭操作对图进行降噪，每进行一次开操作为腐蚀-膨胀，每进行一次闭操作为膨胀-腐蚀。

本发明相对于现有技术所产生的有益效果为。

本发明结合了视频分帧算法、直方图均衡化算法、颜色像素检测算法、形态学处理算法、以及改进的中值滤波算法。其中颜色像素检测算法综合RGB和HSV两个模型提取火焰区域，然后再判断是否为运动像素。只有同时满足颜色特征和运动特征的像素才被识别为疑似火焰像素，RGB和HSV结合起来提取火焰区域，提取的区域相比于单模型来说更加准确。而改进的中值滤波算法较标准中值滤波能够有效地消除被污染图像中的高密度脉冲噪声，即改进的中值滤波具有更优良的滤波性能，可更好地保留原始图像细节和边缘，在噪声方面有更好的鲁棒性，同时大大缩短了算法运行时间，且滑动窗口越大，效果越明显。因此两者结合可能有更理想的识别精度与降噪效果，从而使无人机识别火焰更加精确。能够低成本快速精确的进行无人机视频火焰的识别，对于森林防火防灾具有参考价值。

附图说明

图1为本发明所述图像处理模块中的改进的中值滤波算法流程图。

图2为本发明所述无人机森林火焰识别流程图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，结合实施例和附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。下面结合实施例和附图详细说明本发明的技术方案，但保护范围不被此限制。

如图2所示，是本发明所述无人机森林火焰识别流程图，

首先利用摄像头进行视频的采集，视频通过USB传输到无线视频发送模块，将获得的数据信息无线实时发送到嵌入式图像处理模块存储。

通过嵌入式图像处理模块，所获视频经过视频分帧单元，得到一帧帧视频图像，接着通过图像预处理单元，直方图均衡化算法拉伸像素强度分布范围来增强图像效果。然后这些图像进入降噪处理单元，这一单元通过如图1所示的改进的中值滤波算法，获得了一系列降噪效果理想和细节保护到位的图片。紧接着在颜色识别单元，采用RGB和HSV算法结合起来提取火焰区域，提取的区域相比于单模型来说更加准确。为了进一步确定火焰像素，上述图片将进入运动像素检测单元，因为火焰具有闪烁特性，所以火焰像素一定是动态像素对满足上述颜色特征的像素，进一步运用运动检测的方法识别其是否为运动像素，以过滤类似火焰颜色像素的静态像素，动态像素检测是通过比较相邻两帧对应像素点的灰度值变化。接下来通过形态学处理单元开闭操作对图再次进行降噪，目的是消除图像中大于领域内点的孤立异常值以及消除图像中小于领域内点的孤立异常值。最后我们通过实时跟踪处理单元，采用神经网络算法-YOLO，对检测到的火焰目标进行实时跟踪识别。

具体的步骤为：

1)利用高清摄像机获取无人机视觉范围内的视频，得到火焰图像。具体是将摄像头安装在无人机正前方，获取摄像头范围内视频，将视频返回。

2)对获取的视频进行分帧处理，获得一系列图像。

A＝mmread(‘folder')；可读取视频，frames＝get(A，’NumberOfFramers’)；可得到视频A的帧总数，singleFrame＝read(A，i)；可得到第i帧的帧图像，singleFrame为帧图像的图形句柄。

3)对图像进行预处理进行直方图均衡化，增强图像效果。

直方图均衡化是通过拉伸像素强度分布范围来增强图像对比度的一种方法，说得更清楚一些,以直方图为例，你可以看到像素主要集中在中间的一些强度值上。直方图均衡化要做的就是拉伸这个范围。

图像运用直方图均衡化进行预处理，直方图均衡化的作用是图像增强。

均衡化过程中，必须要保证两个条件：①像素无论怎么映射，一定要保证原来的大小关系不变，较亮的区域，依旧是较亮的，较暗依旧暗，只是对比度增大，绝对不能明暗颠倒；②如果是八位图像，那么像素映射函数的值域应在0和255之间的，不能越界。综合以上两个条件，累积分布函数是个好的选择，因为累积分布函数是单调增函数(控制大小关系)，并且值域是0到1(控制越界问题)，所以直方图均衡化中使用的是累积分布函数。累积分布函数具有一些好的性质，比较概率分布函数和累积分布函数，前者的二维图像是参差不齐的，后者是单调递增的。直方图均衡化过程中，映射方法是：

其中n为图像中像素的总和，L为图像中可能的灰度级总数。

4)利用改进的中值滤波算法进一步处理前述图片

当空间密度较大时，为了改进标准中值滤波算法处理冲激噪声能力不足的问题，加权自适应中值滤波算法采用了通过扩大窗口来相对地减少冲激噪声空间密度这一策略。

基本思想是：设S(z，y)表示中心像素点(x，y)在滤波时所对应的掩模窗口，令Z1为S(x，y)中的灰度最小值，Z2为S(x，y)中的灰度最大值，Z3为S(z，Y)中的灰度中值，Z(z，Y)为在坐标(z，y)上的灰度，S为S(x，y)允许的最大尺寸，自适应中值滤波器算法工作的2个层面定义为A层和B层；其中灰度中值Z3的计算方法结合了均值思想，把排序得到的中值与窗口中所有像素点的均值加权得到灰度中值，所述中值的权重为0.3，均值的权重为0.7。

A层:

Z_A1＝Z_med-Z_min Z_A2＝Z_max-Z_med

当Z_A1>T(T为阈值)，且Z_A2>T则转到B层，否则，增大窗口尺寸；

如果窗口尺寸小于则重复A层；否则，输出Z(x，y)；

B层：

Z_B1＝Z(x，y)-Z_min，Z_B2＝Z_max-Z(x，y)，

当Z_B1＞T，Z_B2＞T，则输出Z(x,y)；否则输出Z_med

A层用来判断是否为一脉冲，B层用来判断Z(x，y)是否为一脉冲；当A层和B层都不是，算法就利用输出一个不变的像素值Z(x，y)来代替领域中值作为输出，以避免不必要的细节损失。

所述算法中阈值T的计算方法为：给定一个可接受的信噪比M；先初始化一个阈值T；通过上述算法获得一个新的图像，计算其信噪比M_n，如果M_n大于M，将T/2赋值给T，则再次计算信噪比，接受当前T值作为阈值。

5)对疑似火焰像素处理。

由于火焰视频图像的背景相对固定，如树木和草等绿色植物，红色物体的干扰很少，而树枝叶的摆动又使得视频图像中包含大量的运动像素。因此，先利用火焰的颜色特征来排除大量的无关视频。颜色像素检测用到的主要规则为如下：

规则1：R>G>＝B

规则2：R>150

规则3：S>0.3

上述规则中R代表火焰的红色分量，G代表火焰的绿色分量，B代表火焰的蓝色分量，S代表火焰的饱和度。规则1和规则2说明火焰的颜色以红色分量为主，而且与其他对象相比，火焰的值更大。规则中3，用火焰像素的饱和度来排除那些非火焰对象的像素。RGB和HSV结合起来提取火焰区域，提取的区域相比于单模型来说更加准确。

因为火焰具有闪烁特性，所以火焰像素一定是动态像素对满足上述颜色特征的像素，进一步运用运动检测的方法识别其是否为运动像素，以过滤类似火焰颜色像素的静态像素。动态像素检测是通过比较相邻两帧对应像素点的灰度值变化，计算公式如下：

ΔF(i,j,t)＝1如果|I(i,j,t-1)|>T

ΔF(i,j,t)＝0其他

其中I(i,j,t)，表示第t帧的像素的强度。综合RGB和HSV两个模型提取火焰区域，然后再判断是否为运动像素。只有同时满足颜色特征和运动特征的像素才被识别为疑似火焰像素。

6)对图像进行形态学处理。

利用形态开闭操作对图进行降噪，每进行一次开操作为腐蚀-膨胀，目的是消除图像中大于领域内点的孤立异常值。闭操作为膨胀-腐蚀，目的是消除图像中小于领域内点的孤立异常值。

7)结合深度学习神经网络算法-YOLO，对检测到的火焰目标进行实时跟踪识别。

以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定专利保护范围。

Claims (4)

1.一种基于深度学习的无人机森林火焰识别方法，其特征在于，具体包括以下步骤：

1）获取无人机视觉范围内的视频；

2）对获取的视频进行分帧处理，获得一系列图像；

3）对图像进行增强对比度效果的预处理；

4）利用改进的中值滤波算法进一步处理经过所述预处理的图片；所述的改进的中值滤波是通过扩大窗口来相对地减少冲激噪声空间密度；

5）对疑似火焰的图片像素进行识别；所述识别是综合RGB和HSV两个模型提取火焰区域，判断是否为运动像素，同时满足颜色特征和运动特征的像素被识别为疑似火焰像素图像；

6）对图像进行形态学处理，消除图像中小于领域内点的孤立异常值；

7）结合深度学习神经网络算法-YOLO，对检测到的火焰目标进行实时跟踪识别；

所述的改进的中值滤波算法为：设S(z，y)表示中心像素点(x，y)在滤波时所对应的掩模窗口，令Z1为S(x，y) 中的灰度最小值，Z2为S(x，y)中的灰度最大值， Z3为S(z，Y)中的灰度中值，Z(z，Y)为在坐标 (z，y)上的灰度，S为S(x，y)允许的最大尺寸，自适应中值滤波器算法工作的2个层面定义为 A层和B层；其中灰度中值Z3的计算方法结合了均值思想，把排序得到的中值与窗口中所有像素点的均值加权得到灰度中值，所述中值的权重为 0.3，均值的权重为0.7；

A层：

当

>T，T为阈值，且

>T则转到B层，否则，增大窗口尺寸；

如果窗口尺寸小于则重复A层；否则，输出Z(x，y)；

B层：

当

，则输出Z(x,y)；否则输出

A层用来判断是否为一脉冲，B层用来判断Z(x，y)是否为一脉冲；当A层和B层都不是，算法就利用输出一个不变的像素值Z(x，y)来代替领域中值作为输出，以避免不必要的细节损失；

所述算法中阈值T的计算方法为：给定一个可接受的信噪比M；先初始化一个阈值T；通过上述算法获得一个新的图像，计算其信噪比

，如果

大于M，将T/2赋值给T，则再次计算信噪比，接受当前T值作为阈值。

2.根据权利要求1所述的一种基于深度学习的无人机森林火焰识别方法，其特征在于，所述对图像进行增强对比度效果的预处理是进行直方图均衡化处理。

3.根据权利要求1所述的一种基于深度学习的无人机森林火焰识别方法，其特征在于，对疑似火焰的图片像素进行识别，具体为：先利用火焰的颜色特征来排除大量的无关视频，颜色像素检测依据规则为：

规则1： R>G>=B

规则2： R>150

规则3： S>0.3

上述规则中R代表火焰的红色分量，G代表火焰的绿色分量，B代表火焰的蓝色分量，S代表火焰的饱和度，规则1和规则2说明火焰的颜色以红色分量为主，而且与其他对象相比，火焰的值更大；规则3中，用火焰像素的饱和度来排除那些非火焰对象的像素；RGB和HSV结合起来提取火焰区域；

其次，运用运动检测的方法识别其是否为运动像素，以过滤类似火焰颜色像素的静态像素；动态像素检测是通过比较相邻两帧对应像素点的灰度值变化，计算公式如下：

ΔF(i,j,t)=1 如果|I(i,j,t-1)|>T

ΔF(i,j,t)=0

其中I(i,j,t)，表示第t帧的像素的强度；综合RGB和HSV两个模型提取火焰区域，然后再判断是否为运动像素；只有同时满足颜色特征和运动特征的像素才被识别为疑似火焰像素。

4.根据权利要求1所述的一种基于深度学习的无人机森林火焰识别方法，其特征在于，所述形态学处理是利用形态开闭操作对图进行降噪，每进行一次开操作为腐蚀-膨胀，每进行一次闭操作为膨胀-腐蚀。

Images