CN112434663A - 基于深度学习的输电线路山火检测方法、系统及介质 - Google Patents

Abstract

本发明涉及遥感影像处理技术领域，公开一种基于深度学习的输电线路山火检测方法、系统及介质，以提高火点信息提取的精度。方法包括：将原始卫星影像数据和火点标签影像数据一一对应；搭建深度学习框架并构建影像火点提取的SA Res U‑Net网络模型，其分别由主干网络、可分离注意力模块和特征融合模型组成；各可分离注意力模块分别用于在将主干网络相对应倍数下采样的数据，基于两个具有不同大小卷积核的特征层聚集信息后输出给特征融合模型的过程中；特征融合模型用于在融合不同层次的信息时，减少或消除非火点区域数据并增强火点区域信息；设计损失函数对网络模型进行优化；利用优化后的网络模型进行火点提取。

Description

基于深度学习的输电线路山火检测方法、系统及介质

技术领域

本发明涉及遥感影像处理技术领域，尤其涉及一种基于深度学习的输电线路山火检测方法、系统及介质。

背景技术

受人民群众的生产生活用火习俗和气象等因素的综合作用，每逢春节、春耕、清明、秋收等时节，当遭遇持续干燥的天气时，易爆发输电线路大面积山火。当同一地区遭遇多条线路同时跳闸或出现保护拒动等情形，还可能造成大面积停电事件，对大电网的安全稳定运行构成了严重威胁。卫星遥感技术具备监测范围广、空间分辨率高以及灵敏度高等优势，能够实现广域输电线路走廊火情监测。

目前国网输电线路山火监测主要是通过极轨气象卫星(MODIS、FY-3B、FY-3C、NPP、NOAA-18、NOAA-19等)和同步卫星(FY-4A、Himawari-8等)，利用红外遥感识别来进行火点监测任务，但是存在以下几个突出的问题：(1)现有的气象极轨卫星运行轨道低，每天过境地球表面同一个点仅2次。根据2009年-2019年国网公司500kV以上输电线路山火跳闸数据统计，线路山火跳闸最集中时段为14:00-17:00，占总跳闸数的50％。受太阳高度角影响，现有的气象极轨卫星过境中国华北、华中区域时间多集中在12:45-14:00，目前仅有一颗中国的FY-3B星在山火高发时段过境，造成电网山火监测漏报率高。(2)现有的气象同步卫星距地36000公里，可每隔15分钟获取一次覆盖全国区域的卫星影像，但其空间分辨率低至4公里，电网小面积山火难以识别。(3)现有的气象卫星搭载的红外载荷主要针对气象观测业务设计，红外影像空间分辨率低至1公里，对于输电线路周边的百平方米小面积山火难以准确监测。(4)当前利用极轨气象卫星和同步卫星进行火点监测，国内外成熟的方法主要包括：光谱法、阈值法(单通道阈值法和多通道阈值法)、上下文法、多时相检测法和可燃物覆盖法等，上述火点监测算法受极轨卫星影像和同步卫星影像空间分辨率的限制，对于一些重点区域的精确观测以及小火点的提取具有较大的误差，难以满足精确检测小火点的要求。因此，开展近实时中高空间分辨率(优于60m)卫星山火监测研究，对于电网山火监测具有极为重要的意义。

利用Landsat-8这类具有近红外及短波红外波段的卫星影像数据，相对于MODIS、NPP等极轨卫星的火点产品，增加了对小火点的检测能力。伴随着深度学习的火热，利用全卷积网络进行遥感影像端到端的密集预测，为火点信息提取提供了新的思路和方法。在Landsat-8这类中高分辨率遥感影像中，可以通过利用语义分割方法将影像中火点信息分割并标记出来。基于深度学习的火点信息提取技术能够从海量数据中进行学习，并自动提取代表性的特征；通过构建相应的火点信息提取网络模型，实现火点信息的自动解译。

发明内容

本发明目的在于公开一种基于深度学习的输电线路山火检测方法、系统及介质，以提高火点信息提取的精度。

为达上述目的，本发明公开一种基于深度学习的输电线路山火检测方法，包括：

构建基于热红外波段采集且空间分辨率符合要求的卫星影像数据集；

将收集的卫星影像进行火点区域标记，构建标签影像，将原始卫星影像数据和火点标签影像数据一一对应，得到训练集、验证集和测试集；

搭建深度学习框架并构建影像火点提取的SA Res U-Net网络(Separableattention Residual U-Net，可分离注意力残差U-Net网络)模型，所述SA Res U-Net网络模型分别由主干网络、可分离注意力模块和特征融合模型组成；各所述可分离注意力模块分别用于在将所述主干网络相对应倍数下采样的数据，基于两个具有不同大小卷积核的特征层聚集信息后输出给所述特征融合模型的过程中；所述特征融合模型用于在融合不同层次的信息时，减少或消除非火点区域数据并增强火点区域信息；

设计损失函数对所述SA Res U-Net网络模型进行优化；

利用优化后的SA Res U-Net网络模型进行火点提取。

优选地，所述主干网络基本结构单元采用残差映射，各所述基本结构单元包括主分支和支路分支，所述主分支包括三个卷积层，所述支路分支采用了1×1大小的卷积核，每个卷积层后面紧接ReLU层和BN层。

优选地，所述可分离注意力模块对于任意给定的特征图，分别传递大小为3×3和5×5的两个卷积核，当两个特征层具有相同大小后，使用全局平均池来获取全局信息，并在末端添加了一个S形函数以携带通道之间的非线性相互作用和非排他性关系，最后添加两种不同信息的特征层对信息进行再聚合后输出给所述特征融合模型。

优选地，所聚集的两个特征层为：通过减少和增加信道的数量重建数据之间的关系，然后与原始卷积层相乘，增强有用信息，实现了门控功能之后的特征层。

优选地，在所述特征融合模型的数据处理过程中，包括：

首先将不同特征图层的信息进行特征连接，得到新的特征图W，然后对特征图W进行如下操作：

W'＝M₁(W)＝σ{B[f^3×3(W)]}

式中，f^3×3表示3×3的卷积核，B表示批标准化层，σ为ReLU函数；

然后通过如下公式减少或消除非火点区域数据并增强火点区域信息：

t＝M₂(W')＝δ[f^1×1(σ{f^1×1[F_gp(W')]})]

其中，

f^1×1表示1×1的卷积核，δ表示Sigmoid函数；

h和w表示特征图的长度和宽度，i、j分别为像素的行列坐标；

将t和W'中对应的参数相乘，将相乘操作得到的特征图和W′相加，得到输出结果V；

V＝W′·t+W′

最后，对特征图V进行4倍上采样操作，获得最终火点区域的提取结果图。

优选地，所述损失函数采用Focal loss损失函数，用Adam优化器对火点提取网络进行优化训练；将前层的特征图与解码器部分的上采样特征图进行特征融合。

优选地，所述卫星影像数据集来源于Landsat-8影像。进一步地，在构建卫星影像数据集的过程中，还包括：通过对样本影像的镜像、旋转、缩放、裁剪、平移以及添加高斯噪声方式进行数据增广。

为达上述目的，本发明还公开一种基于深度学习的输电线路山火检测系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

为达上述目的，本发明还公开一种计算机存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述方法中的步骤。

本发明具有以下有益效果：

1、本发明提出了利用Landsat-8等卫星影像和SA Res U-Net的输电线路山火监测方法，该方法能够从浅层局部特征到深层次抽象特征进行自适应学习与分析，改进后的网络采用了多级特征整合和多尺度特征整合的策略，能够获取丰富的多尺度上下文特征信息，并融合了可分离注意力模块和特征融合模型的优势，提升了整个网络架构的特征表达能力；且能自适应调整了深度学习网络参数，提高了火点信息提取的精度。

2、为了解决深度神经网络参数多、计算量大的问题，采用改进的SA Res U-Net网络模型作为骨干网络；同时，在融合不同层次的信息时，对不同特征层的语义信息进行深度挖掘，实现减少或消除非火点区域数据并增强火点区域信息的效果。从而能够从背景中准确分割出火点区域范围和边界，边缘信息更加完整，且准确率高，鲁棒性强。

下面将参照附图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为火点区域正负训练样本集示例图。

图2为本发明实施例的流程图。

图3为传统U-Net网络中的基本单元结构与SA Res U-Net网络中的残差映射结构单元。

图4为SA Res U-Net网络中的可分离注意力模块示意图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

实施例1

参照图1至图4，本实施例公开一种利用Landsat-8卫星影像和可分离注意力残差U-Net网络的输电线路山火监测方法。所述方法包括以下步骤：

步骤1：通过相关文献调研，从Google、Baidu或者其它开源科研网站收集和整理全球有关野火的Landsat-8卫星影像信息，构建用于输电线路山火监测的大规模Landsat-8卫星影像数据集。Landsat-8携带有两个主要载荷：陆地成像仪OLI(Operational LandImager)和热红外传感器TIRS(Thermal Infrared Sensor)。OLI陆地成像仪包括9个波段，全色波段空间分辨率为15米，其它7个波段空间分辨率为30米。TIRS包括2个热红外波段，波长中心位置分别为10.9微米与12.0微米，空间分辨率为100米。本实施例构建的用于输电线路山火监测的Landsat-8卫星影像数据集，不包括15米的全色波段，将2个热红外波段重采样至30米空间分辨率，影像总共涵盖10个波段。

步骤2：通过将收集的Landsat-8影像进行火点区域标记，并采集火点区域训练样本，构建标签影像，使影像符合格式要求。对收集的Landsat-8影像和对应的火点标签影像进行分块处理，采用水平和垂直方向重叠64个像素的策略，将Landsat-8影像和标签影像分成128*128大小的图像块(图1所示)，并对数据集进行数据增广，主要包括样本影像的镜像、旋转、缩放、裁剪、平移以及添加高斯噪声等操作。

步骤3：将原始影像数据集和火点标签影像数据集一一对应，并将数据集随机分为三个组：训练集(60％)、验证集(15％)和测试集(25％)。针对小面积火点区域提取难的问题，并进一步测试模型的鲁棒性，在训练集样本中随机选取了四种不同比例(16％、32％、48％和64％)的图像用于模型的训练，并测试每种模型的泛化性能。在这些对比中，验证集和测试集仍然使用相同的图像，比例分别为15％和25％。

步骤4：通过搭建深度学习框架，并构建用于Landsat-8影像火点提取的SA Res U-Net网络模型。本实施例实验采用Python编程语言和开源的深度学习框架：Tensorflow1.8和Keras2.1来实现网络环境的搭建，计算机硬件环境为[Inter(R)Xeon(R)E5-2687W CPU@3.00GHz,32.00GB RAM和NVIDIA Tesla K40c(12GB)]。SA Res U-Net网络整体结构如图2所示，该网络以残差神经网络为主干网络获取火点影像的信息特征。不同于传统U-Net网络中的基本单元结构(图3(a)所示)，SA Res U-Net网络模型的主干网络基本结构单元采用残差映射(图3(b)所示)。该网络单元包括两个分支，即：主分支(瓶颈块，bottleneck block)和支路分支(残差映射块，identity-mapping block)。用到的卷积层，其卷积核大小包括3×3和1×1两种，并设置stride大小为1，padding大小为1，采用了修正线性单元(Rectifiedlinear unit，ReLU)和批标准化层(Batch Normalization,BN)。它可以表示为：

其中主分支bottlenecks block

包含了三个卷积层，每个卷积层后面都紧接着ReLU层和BN层；支路分支

采用了1×1大小的卷积核，卷积层后面同样接着ReLU层和BN层，该操作主要为了促进网络中信息的传递，减轻梯度消失问题，有利于训练，使模型更快收敛，因为梯度在网络训练过程中，可以直接向前传递。

SA Res U-Net网络分别由主干网络、可分离注意力模块(Split AttentionModule,SAM)(图4所示)和特征融合模型(Feature Fusion Module,FFM)组成。在图4所示的可分离注意力模块中，对于任意给定的特征图，U∈R^h×w×C(h和w表示特征图的长度和宽度，C表示特征通道数)。首先，分别传递大小为3×3和5×5的两个卷积核：

当U₁和U₂具有相同的大小时，两个不同大小的卷积核只改变感受野范围的大小。然后，使用全局平均池来获取全局信息，表示为s∈R^C，这意味着s中的第C个元素是通过收缩空间维数为h×w的特征信息而获得的。

式中m分别由上述等式中的1和2表示，表示两个独立的特征层。此外，我们在网络的末端添加了一个S形函数，以便利用s中的聚合信息，并使其能够了解通道之间的非线性相互作用和非排他性关系。

z＝F_gp(s,W)＝σ[g(s,W)]＝σ[W₂δ(W_1s)]

式中δ和σ分别表示为Sigmoid函数和ReLU函数，

(r为比例因子)，本实施例实验中r设为16)。该方法通过减少和增加信道的数量重建数据之间的关系，然后与原始卷积层相乘，增强有用信息，实现了门控功能。

U′_m＝z×U_m

式中U′_m为对特征图U进行SAM模块操作之后，得到的输出特征图结果，m为1或2。最后，添加两种不同信息的特征层，对信息进行再聚合：

U′＝U′₁+U′₂

在SA Res U-Net网络的右侧需要集成提取的四层深度特征图，即C₁是4倍下采样特征图，C₂是8倍下采样特征图，C₃是16倍下采样特征图，C₄是32倍下采样特征图。其中，C₂、C₃、C₄层经过了SAM模块处理，C₄层之后紧跟全局平均池化层操作。四种不同的深度特征图如果直接进行融合处理，则数据之间的信息将难免互相影响。因此，本实施例通过在网络末端连接FFM模块，对四种不同的深度特征图进行处理。FFM模块首先将C₁、C₂、C₃、C₄四层特征图的信息进行特征连接(Concatenate)处理，得到新的特征图W，即W＝C₁+C₂+C₃+C₄，然后对新的特征图W进行如下操作：

W'＝M₁(W)＝σ{B[f^3×3(W)]}

式中f^3×3表示3×3的卷积核，B表示批标准化层(Batch Normalization,BN)，σ为ReLU函数。为了细化获得的火点区域边界信息，抑制火点区域外的噪声信息，本实施例在得到的特征图W′后增加了注意力模块，减少或消除非火点区域数据，增强火点区域信息，以获得更好的提取效果。所加的注意力模块处理，不同于上述的SAM模块，其相应的操作如下公式所示：

t＝M₂(W')＝δ[f^1×1(σ{f^1×1[F_gp(W')]})]

在上式中，

f^1×1表示1×1卷积核，δ和σ分别表示为Sigmoid函数和ReLU函数，

h和w表示特征图的长度和宽度，i、j分别为像素的行列坐标。将t和W'中对应的参数相乘，将相乘操作得到的特征图和W′相加，得到输出结果V。

V＝W′·t+W′

最后，对经过FFM模块融合得到的特征图V进行4倍上采样操作来获得最终火点区域的提取结果图。

SA Res U-Net网络的主干网络部分通过2倍、4倍、8倍、16倍和32倍下采样提取不同级别的特征，以构建特征金字塔。8倍、16倍和32倍下采样层使用SAM模块来分割和集成特征信息。最后，使用FFM模块融合不同层次的信息，并使用4倍上采样来获得最终火点区域的提取结果图。

步骤5：通过设计损失函数对其进行优化，采用Focal loss损失函数，用Adam优化器对火点提取网络进行优化训练。将前层的特征图与解码器部分的上采样特征图进行特征融合，可以清楚地细化火点区域提取结果，该机制有助于梯度向前传递并提高网络训练性能。采用Focal loss损失函数，能够解决样本不平衡性问题。

步骤6：通过利用训练集和验证集中的影像，对本实施例中所提的SA Res U-Net网络进行模型训练，通过不断训练优化Focal loss函数和验证集的总体正确率，达到模型收敛的效果。模型训练完成后，利用训练好的SA Res U-Net网络进行火点区域提取，输入待测试的Landsat-8影像，输出即为分割好的火点区域信息，并用测试集中的影像数据测试SARes U-Net网络的准确率。在利用Landsat-8影像进行火点区域检测时，对火点区域提取结果进行精度评估，本实施例采用的评价指标主要包括：总体正确率(Overall Accuracy,OA)、查全率(Recall)、查准率(Precision)、F1分数(F1-score)和交叠率(Intersection-over-union,IoU)，对应指标的公式如下：

TP表示真阳性值(即预测为正，实际也为正)，TN表示真阴性值(即预测为负、实际也为负)，FP表示假阳性值(即预测为正，实际为负)，FN表示假阴性值(即预测与负、实际为正)。

本实施例所提的SA Res U-Net网络模型在大规模Landsat-8火点数据集上的表现优于主流的全卷积网络方法，例如：FCN-8、SegNet、U-Net、ResUNet、Attention U-Net、Attention ResUNet，进一步证明了所提方法在Landsat-8卫星影像中进行火点区域监测的可行性，也为中高空间分辨率影像火点监测方向提供了新的研究思路。SA Res U-Net网络方法在进行大范围火点信息提取时，相较于目前已有的传统方法，所提方法精度有明显提升，既能够保持大的火点区域提取完整性，又能进一步减弱小火点监测的漏检问题。

实施例2

与上述方法实施例相对应的，本实施例公开一种基于深度学习的输电线路山火检测系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

实施例3

与上述方法实施例相对应的，本实施例公开一种计算机存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述方法中的步骤。

综上，本发明上述各实施例所分别公开的于卫星影像的输电线路山火检测方法、系统及介质，具有以下有益效果：

本发明充分利用全卷积网络的优势，提出了一种利用Landsat-8卫星影像和SARes U-Net的输电线路山火监测方法。利用空间分辨率为30米的Landsat-8 OLI传感器数据，根据历史山火信息进行大规模样本数据集收集，并采取全监督学习图像语义分割策略，利用历史山火样本数据先验信息迁移丰富了火点样本库，并自适应调整了深度学习网络参数，提高了火点信息提取的精度。该方法在进行大范围火点信息提取时，相较于目前已有的传统方法，所提方法精度有明显提升，既能够保持大的火点区域提取完整性，又能进一步减弱小火点监测的漏检问题。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的输电线路山火检测方法，其特征在于，包括：

构建基于热红外波段采集且空间分辨率符合要求的卫星影像数据集；

将收集的卫星影像进行火点区域标记，构建标签影像，将原始卫星影像数据和火点标签影像数据一一对应，得到训练集、验证集和测试集；

搭建深度学习框架并构建影像火点提取的SA Res U-Net网络模型，所述SA Res U-Net网络模型分别由主干网络、可分离注意力模块和特征融合模型组成；各所述可分离注意力模块分别用于在将所述主干网络相对应倍数下采样的数据，基于两个具有不同大小卷积核的特征层聚集信息后输出给所述特征融合模型的过程中；所述特征融合模型用于在融合不同层次的信息时，减少或消除非火点区域数据并增强火点区域信息；

设计损失函数对所述SA Res U-Net网络模型进行优化；

利用优化后的SA Res U-Net网络模型进行火点提取。

2.根据权利要求1所述的基于深度学习的输电线路山火检测方法，其特征在于，所述主干网络基本结构单元采用残差映射，各所述基本结构单元包括主分支和支路分支，所述主分支包括三个卷积层，所述支路分支采用了1×1大小的卷积核，每个卷积层后面紧接ReLU层和BN层。

3.根据权利要求1所述的基于深度学习的输电线路山火检测方法，其特征在于，所述可分离注意力模块对于任意给定的特征图，分别传递大小为3×3和5×5的两个卷积核，当两个特征层具有相同大小后，使用全局平均池来获取全局信息，并在末端添加了一个S形函数以携带通道之间的非线性相互作用和非排他性关系，最后添加两种不同信息的特征层对信息进行再聚合后输出给所述特征融合模型。

4.根据权利要求3所述的基于深度学习的输电线路山火检测方法，其特征在于，所聚集的两个特征层为：通过减少和增加信道的数量重建数据之间的关系，然后与原始卷积层相乘，增强有用信息，实现了门控功能之后的特征层。

5.根据权利要求1至4任一所述的基于深度学习的输电线路山火检测方法，其特征在于，在所述特征融合模型的数据处理过程中，包括：

首先将不同特征图层的信息进行特征连接，得到新的特征图W，然后对特征图W进行如下操作：

W'＝M₁(W)＝σ{B[f^3×3(W)]}

式中，f^3×3表示3×3的卷积核，B表示批标准化层，σ为ReLU函数；

然后通过如下公式减少或消除非火点区域数据并增强火点区域信息：

t＝M₂(W')＝δ[f^1×1(σ{f^1×1[F_gp(W')]})]

其中，

f^1×1表示1×1的卷积核，δ表示Sigmoid函数；

h和w表示特征图的长度和宽度，i、j分别为像素的行列坐标；

将t和W'中对应的参数相乘，将相乘操作得到的特征图和W′相加，得到输出结果V；

V＝W′·t+W′

最后，对特征图V进行4倍上采样操作，获得最终火点区域的提取结果图。

6.根据权利要求5所述的基于深度学习的输电线路山火检测方法，其特征在于，所述损失函数采用Focal loss损失函数，用Adam优化器对火点提取网络进行优化训练；将前层的特征图与解码器部分的上采样特征图进行特征融合。

7.根据权利要求5所述的基于深度学习的输电线路山火检测方法，其特征在于，所述卫星影像数据集来源于Landsat-8影像。

8.根据权利要求7所述的基于深度学习的输电线路山火检测方法，其特征在于，在构建卫星影像数据集的过程中，还包括：

通过对样本影像的镜像、旋转、缩放、裁剪、平移以及添加高斯噪声方式进行数据增广。

9.一种基于深度学习的输电线路山火检测系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至8任一所述方法的步骤。

10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现上述权利要求1至8任一所述方法中的步骤。

Images