CN113112510B - 一种语义分割的森林火灾检测方法、控制器及存储介质 - Google Patents

Abstract

本发明公开了一种语义分割的森林火灾检测方法和装置，包括：采集森林火灾遥感图像，建立森林火灾遥感图像数据集；构建对抗样本生成模型；把森林火灾遥感图像输入到对抗样本生成模型，得到具有噪声干扰的森林火灾遥感图像，把具有噪声干扰的森林火灾遥感图像增加到森林火灾遥感图像数据集中；把森林火灾遥感图像数据集的森林火灾遥感图像输入到语义分割网络进行训练，得到最优语义分割网络；把森林火灾遥感图像输入到最优语义分割网络，得到森林火灾足迹信息。

Description

一种语义分割的森林火灾检测方法、控制器及存储介质

技术领域

本发明涉及图像处理领域，特别涉及一种语义分割的森林火灾检测方法、控制器及存储介质。

背景技术

目前评森林火灾迹地存在依赖大量野外调查，森林火灾迹地样本数据集难以标记，火灾足迹形状不规则，人工观察火灾足迹费时费力，且容易漏掉个别的火灾足迹；此外由于遥感机载遥感雷达影像存在噪声干扰，火灾区域附近的住宅区、水库等区域会严重干扰火灾足迹区域的分割，从而影响图像分割的准确率。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种一种语义分割的森林火灾检测方法、控制器及存储介质，所述一种语义分割的森林火灾检测方法、控制器及存储介质借助深度学习算法提高模型检测准确度，森林火灾足迹目前还没有用到深度特征融合的语义分割方法来实现火灾足迹的检测，以飞机搭载的机载遥感系统可以灵活地对大片森林面积及遥远的山区森林面积进行图像识别，获取森林地表信息，相对于星载遥感，机载遥感影像具有灵活的遥感图像分辨率，可以获得清晰的图像，根据不同次数大范围的机载遥感图像的分割结果，森林维护人员得到火灾足迹信息后实施后期火灾联防处理，森林维护人员可以根据森林火灾足迹的图像的分割图，迅速了解该地区频繁发生火灾的位置信息和时间信息，以及森林火灾发生的蔓延趋势和影响范围，在火灾迹地的信息充分了解后，森林维护人员重点预防联防易发生火灾的区域范围，实施精准的有针对性的综合防控措施。

第一方面，本发明实施例提出一种语义分割的森林火灾检测方法，包括：

采集森林火灾遥感图像，建立森林火灾遥感图像数据集；

构建对抗样本生成模型；

把所述森林火灾遥感图像输入到所述对抗样本生成模型，得到具有噪声干扰的森林火灾遥感图像，把所述具有噪声干扰的森林火灾遥感图像增加到所述森林火灾遥感图像数据集中；

把所述森林火灾遥感图像数据集的所述森林火灾遥感图像输入到语义分割网络进行训练，得到最优语义分割网络；

把所述森林火灾遥感图像输入到所述最优语义分割网络，得到森林火灾足迹信息。

根据本发明实施例的语义分割的森林火灾检测方法，至少具有如下技术效果:在网络训练过程中，采用对抗样本训练方法以增强网络模型的鲁棒性，获得全局感受野，在卷积过程中调整空洞卷积率，从而提高图像分割的准确率。最终把发生过火灾的区域范围完全识别，使网络模型可以准确分割具有噪声扰动的图像。借助深度学习算法提高模型检测准确度，森林火灾足迹目前还没有用到深度特征融合的语义分割方法来实现火灾足迹的检测，以飞机搭载的机载遥感系统可以灵活地对大片森林面积及遥远的山区森林面积进行图像识别，获取森林地表信息，相对于星载遥感，机载遥感影像具有灵活的遥感图像分辨率，可以获得清晰的图像，根据不同次数大范围的机载遥感图像的分割结果，森林维护人员得到火灾足迹信息后实施后期火灾联防处理，森林维护人员可以根据森林火灾足迹的图像的分割图，迅速了解该地区频繁发生火灾的位置信息和时间信息，以及森林火灾发生的蔓延趋势和影响范围，在火灾迹地的信息充分了解后，森林维护人员重点预防联防易发生火灾的区域范围，实施精准的有针对性的综合防控措施。

根据本发明实施例的语义分割的森林火灾检测方法，所述构建对抗样本生成模型如公式(1)所示：

S＝{δ:||δ||_∞≤ε} (2)

其中，x_i表示输入的所述森林火灾遥感图像，y_i表示标签集，i∈(1,2.....N),表示N个样本；δ表示叠加在所述森林火灾遥感图像的扰动，f_θ表示自带参数θ的神经网络模型；L是损失函数，S是扰动集，如公式(2)所示；ε表示干扰所述森林火灾遥感图像像素的变化量的绝对值的最大值，max表示寻找使所述损失函数最大的干扰，min表示对所述神经网络模型进行优化的最小化。

根据本发明实施例的语义分割的森林火灾检测方法，所述语义分割网络包括编码步骤和解码步骤。

根据本发明实施例的语义分割的森林火灾检测方法，所述编码步骤包括对所述森林火灾遥感图像进行粗卷积，所述粗卷积为对所述森林火灾遥感图像输出特征图y上的每个位置i和卷积核w，在输入特征图x上进行如公式(3)的转换，

其中r表示在采样点之间引入r-1个零，k表示所述卷积核w的感受野大小为k×k。

根据本发明实施例的语义分割的森林火灾检测方法，所述编码步骤还包括对所述森林火灾遥感图像进行空洞卷积步骤，所述空洞卷积步骤包括:

对所述森林火灾遥感图像进行第一空洞卷积得到第一空洞卷积图像、

对所述森林火灾遥感图像进行第二空洞卷积得到第二空洞卷积图像、

对所述森林火灾遥感图像进行第三空洞卷积得到第三空洞卷积图像、

对所述森林火灾遥感图像进行第四空洞卷积得到第四空洞卷积图像、

对所述森林火灾遥感图像进行特征图池化得到特征图池化图像，

所述第一空洞卷积的大小为1*1，空洞率为1，所述第二空洞卷积的大小为3*3，空洞率为6，所述第三空洞卷积的大小为3*3，空洞率为16，所述第四空洞卷积大小为3*3，空洞率为32。

根据权利要求1所述的语义分割的森林火灾检测方法，其特征在于，还包括把所述第一空洞卷积图像、所述第二空洞卷积图像、所述第三空洞卷积图像、所述第四空洞卷积图像和所述特征图池化图像输入到1*1卷积核进行卷积，得到特征图f，所述特征图f的输出通道为1。

根据本发明实施例的语义分割的森林火灾检测方法，所述解码步骤包括：

把所述森林火灾遥感图像输入到1*1卷积核进行低层特征处理，得到低层特征图；

把所述特征图f进行4倍上采样，得到上采样特征图；

使用concat函数连接所述上采样特征图和所述低层特征图，得到连接后的特征图。

根据本发明实施例的语义分割的森林火灾检测方法，所述解码步骤还包括：

把所述连接后的特征图输入到3*3卷积核进行细化特征处理，得到细化特征图；把所述细化特征图进行4倍上采样，得到上采样细化特征图。

构建遥感森林火灾迹地分割的损失函数，图像分割损失函数是模型输出图中每个空间位置对应于真实值(森林火灾迹地区域)的信息对比，即所形成分割图的损失是为了减少真实图像(真实的火灾迹地区域)和预测的分割图的区域的差异。该损失表示为总结起来如公式(4)所示，

其中，l_t的表达式如公式(5)所示。

M_t是真实图像像素值，是预测的图像与M相同位置的像素值，L_sm表示所有像素的总的损失值，t是图像的像素的个数，这里/>和/>是在位置(i,j)属于c类的真实值和预测的概率，即属于森林火灾区域足迹的像素类。

针对上述目标损失函数，我们使用小批量梯度下降算法优化上述目标函数。

第二方面，本发明实施例还提供了一种控制器，包括存储器、处理器及储存在存储器上并能够在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明第一方面所述的一种语义分割的森林火灾检测方法。

第三方面，本发明实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行本发明第一方面所述的一种语义分割的森林火灾检测方法。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的语义分割的森林火灾检测方法的流程图；

图2为本发明实施例的语义分割网络处理流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

参照图1，描述根据本发明第一实施例的语义分割的森林火灾检测方法，包括：

S101：采集森林火灾遥感图像，建立森林火灾遥感图像数据集；

S102：构建对抗样本生成模型；

S103：把所述森林火灾遥感图像输入到所述对抗样本生成模型，得到具有噪声干扰的森林火灾遥感图像，把所述具有噪声干扰的森林火灾遥感图像增加到所述森林火灾遥感图像数据集中；

S104：把所述森林火灾遥感图像数据集的所述森林火灾遥感图像输入到语义

分割网络进行训练，得到最优语义分割网络；

S105：把所述森林火灾遥感图像输入到所述最优语义分割网络，得到森林火灾足迹信息。

根据本发明实施例的语义分割的森林火灾检测方法，至少具有如下技术效果:在网络训练过程中，采用对抗样本训练方法以增强网络模型的鲁棒性，获得全局感受野，在卷积过程中调整空洞卷积率，从而提高图像分割的准确率。最终把发生过火灾的区域范围完全识别，使网络模型可以准确分割具有噪声扰动的图像。借助深度学习算法提高模型检测准确度，森林火灾足迹目前还没有用到深度特征融合的语义分割方法来实现火灾足迹的检测，以飞机搭载的机载遥感系统可以灵活地对大片森林面积及遥远的山区森林面积进行图像识别，获取森林地表信息，相对于星载遥感，机载遥感影像具有灵活的遥感图像分辨率，可以获得清晰的图像，根据不同次数大范围的机载遥感图像的分割结果，森林维护人员得到火灾足迹信息后实施后期火灾联防处理，森林维护人员可以根据森林火灾足迹的图像的分割图，迅速了解该地区频繁发生火灾的位置信息和时间信息，以及森林火灾发生的蔓延趋势和影响范围，在火灾迹地的信息充分了解后，森林维护人员重点预防联防易发生火灾的区域范围，实施精准的有针对性的综合防控措施。

参照图1，根据本发明第一实施例的语义分割的森林火灾检测方法，所述构建对抗样本生成模型如公式(1)所示：

S＝{δ:||δ||_∞≤ε} (2)

其中，x_i表示输入的所述森林火灾遥感图像，y_i表示标签集，i∈(1,2.....N),表示N个样本；δ表示叠加在所述森林火灾遥感图像的扰动，f_θ表示自带参数θ的神经网络模型；L是损失函数，S是扰动集，如公式(2)所示；ε表示干扰所述森林火灾遥感图像像素的变化量的绝对值的最大值，max表示寻找使所述损失函数最大的干扰，min表示对所述神经网络模型进行优化的最小化。

参照图2，根据本发明第一实施例的语义分割的森林火灾检测方法，所述语义分割网络包括编码步骤和解码步骤。

参照图2，根据本发明第一实施例的语义分割的森林火灾检测方法，所述编码步骤包括对所述森林火灾遥感图像进行粗卷积，所述粗卷积为对所述森林火灾遥感图像输出特征图y上的每个位置i和卷积核w，在输入特征图x上进行如公式(3)的转换，

其中r表示在采样点之间引入r-1个零，k表示所述卷积核w的感受野大小为k×k。

参照图2，根据本发明第一实施例的语义分割的森林火灾检测方法，所述编码步骤还包括对所述森林火灾遥感图像进行空洞卷积步骤，所述空洞卷积步骤包括:

对所述森林火灾遥感图像进行第一空洞卷积得到第一空洞卷积图像、

对所述森林火灾遥感图像进行第二空洞卷积得到第二空洞卷积图像、

对所述森林火灾遥感图像进行第三空洞卷积得到第三空洞卷积图像、

对所述森林火灾遥感图像进行第四空洞卷积得到第四空洞卷积图像、

对所述森林火灾遥感图像进行特征图池化得到特征图池化图像，

所述第一空洞卷积的大小为1*1，空洞率为1，所述第二空洞卷积的大小为3*3，空洞率为6，所述第三空洞卷积的大小为3*3，空洞率为16，所述第四空洞卷积大小为3*3，空洞率为32。

参照图2，根据本发明实施例的语义分割的森林火灾检测方法，还包括把所述第一空洞卷积图像、所述第二空洞卷积图像、所述第三空洞卷积图像、所述第四空洞卷积图像和所述特征图池化图像输入到1*1卷积核进行卷积，得到特征图f，所述特征图f的输出通道为1。

参照图2，根据本发明第一实施例的语义分割的森林火灾检测方法，所述解码步骤包括：

把所述森林火灾遥感图像输入到1*1卷积核进行低层特征处理，得到低层特征图；

把所述特征图f进行4倍上采样，得到上采样特征图；

使用concat函数连接所述上采样特征图和所述低层特征图，得到连接后的特征图。

一种控制器，其特征在于，包括至少一个处理器，以及与至少一个处理器连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行语义分割的森林火灾检测方法任一项所述的方法。

一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行本发明第一方面所述的一种语义分割的森林火灾检测方法。

应当认识到，本发明实施例中的方法步骤可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所述技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (7)

1.一种语义分割的森林火灾检测方法，其特征在于，包括：

采集森林火灾遥感图像，建立森林火灾遥感图像数据集；

构建对抗样本生成模型；

把所述森林火灾遥感图像输入到所述对抗样本生成模型，得到具有噪声干扰的森林火灾遥感图像，把所述具有噪声干扰的森林火灾遥感图像增加到所述森林火灾遥感图像数据集中；

把所述森林火灾遥感图像数据集的所述森林火灾遥感图像输入到语义分割网络进行训练，得到最优语义分割网络；

把所述森林火灾遥感图像输入到所述最优语义分割网络，得到森林火灾足迹信息；

其中，所述构建对抗样本生成模型如公式(1)所示：

S＝{δ:||δ||_∞≤ε} (2)

其中，x_i表示输入的所述森林火灾遥感图像，y_i表示标签集，i∈(1,2.....N),表示N个样本；δ表示叠加在所述森林火灾遥感图像的扰动，f_θ表示自带参数θ的神经网络模型；L是损失函数，S是扰动集，如公式(2)所示；ε表示干扰所述森林火灾遥感图像像素的变化量的绝对值的最大值，max表示寻找使所述损失函数最大的干扰，min表示对所述神经网络模型进行优化的最小化；

所述语义分割网络包括编码步骤和解码步骤，所述编码步骤包括对所述森林火灾遥感图像进行粗卷积，所述粗卷积为对所述森林火灾遥感图像输出特征图y上的每个位置i和卷积核w，在输入特征图x上进行如公式(3)的转换，

其中r表示在采样点之间引入r-1个零，k表示所述卷积核w的感受野大小为k×k；

其中，所述语义分割网络中图像分割损失函数的表达式如公式(4)所示：

l_t的表达式如公式(5)所示：

其中，M_t是真实图像像素值，是预测的图像与M相同位置的像素值，L_sm表示所有像素的总的损失值，t是图像的像素的个数，这里/>和/>是在位置(i,j)属于c类的真实值和预测的概率，即属于森林火灾区域足迹的像素类。

2.根据权利要求1所述的语义分割的森林火灾检测方法，其特征在于，所述编码步骤还包括对所述森林火灾遥感图像进行空洞卷积步骤，所述空洞卷积步骤包括:

对所述森林火灾遥感图像进行第一空洞卷积得到第一空洞卷积图像、

对所述森林火灾遥感图像进行第二空洞卷积得到第二空洞卷积图像、

对所述森林火灾遥感图像进行第三空洞卷积得到第三空洞卷积图像、

对所述森林火灾遥感图像进行第四空洞卷积得到第四空洞卷积图像、

对所述森林火灾遥感图像进行特征图池化得到特征图池化图像，

所述第一空洞卷积的大小为1*1，空洞率为1，所述第二空洞卷积的大小为3*3，空洞率为6，所述第三空洞卷积的大小为3*3，空洞率为16，所述第四空洞卷积大小为3*3，空洞率为32。

3.根据权利要求2所述的语义分割的森林火灾检测方法，其特征在于，还包括把所述第一空洞卷积图像、所述第二空洞卷积图像、所述第三空洞卷积图像、所述第四空洞卷积图像和所述特征图池化图像输入到1*1卷积核进行卷积，得到特征图f，所述特征图f的输出通道为1。

4.根据权利要求3所述的语义分割的森林火灾检测方法，其特征在于，所述解码步骤包括：

把所述森林火灾遥感图像输入到1*1卷积核进行低层特征处理，得到低层特征图；

把所述特征图f进行4倍上采样，得到上采样特征图；

使用concat函数连接所述上采样特征图和所述低层特征图，得到连接后的特征图。

5.根据权利要求4所述的语义分割的森林火灾检测方法，其特征在于，所述解码步骤还包括：

把所述连接后的特征图输入到3*3卷积核进行细化特征处理，得到细化特征图；

把所述细化特征图进行4倍上采样，得到上采样细化特征图。

6.一种控制器，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任意一项所述的语义分割的森林火灾检测方法。

7.一种计算机可读存储介质，其特征在于，存储有计算机可执行指令，所述计算机可执行指令用于执行如权利要求1至5中任意一项所述的语义分割的森林火灾检测方法。