CN112307884A - 基于连续时序遥感态势数据的林火蔓延预测方法及电子设备 - Google Patents

基于连续时序遥感态势数据的林火蔓延预测方法及电子设备 Download PDF

Info

Publication number
CN112307884A
CN112307884A CN202010835467.3A CN202010835467A CN112307884A CN 112307884 A CN112307884 A CN 112307884A CN 202010835467 A CN202010835467 A CN 202010835467A CN 112307884 A CN112307884 A CN 112307884A
Authority
CN
China
Prior art keywords
fire
remote sensing
time sequence
prediction
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010835467.3A
Other languages
English (en)
Other versions
CN112307884B (zh
Inventor
谢东海
牟风涛
王永威
刘金龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Space Geodata Beijing Co ltd
Original Assignee
Space Geodata Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Space Geodata Beijing Co ltd filed Critical Space Geodata Beijing Co ltd
Priority to CN202010835467.3A priority Critical patent/CN112307884B/zh
Publication of CN112307884A publication Critical patent/CN112307884A/zh
Application granted granted Critical
Publication of CN112307884B publication Critical patent/CN112307884B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及林火蔓延预测技术领域，具体涉及一种基于连续时序遥感态势数据的林火蔓延预测方法及电子设备，所述方法包括以下步骤，S1利用无人机等遥感态势感知系统获取小时级连续时序的火场态势数据；S2采用深度学习语义分割技术和NDVI指数，对S1中获取的态势数据或卫星与航拍遥感历史数据识别分割得到火场的地势与地物分类信息；S3采用红外温度图像识别技术，对S1中获取的态势数据识别提取各过程时序的监测火线，并解析火线的蔓延方向和速度；S4采用深度学习全连接神经网络技术，综合S2中获取的火场地势与地物分类信息和S3中获取的各过程时序火线蔓延方向和速度，解算未来时刻火线蔓延的方向、速度和方差，拟合获取小时级火线预测带，并逐时序和短周期迭代提高预测精度。本发明应用人工智能深度学习神经网络技术，基于无人机等遥感态势感知系统获取的小时级连续时序的火场态势数据，预测未来小时级火线蔓延趋势，以实现更高精度和时效的林火态势评估和应急救援。

Description

基于连续时序遥感态势数据的林火蔓延预测方法及电子设备
技术领域
本发明涉及林火蔓延预测技术领域，具体涉及一种基于连续时序遥感态势数据的林火蔓延预测方法及电子设备。
背景技术
近年来全球变暖趋势导致世界各地森林火情频繁发生，如何连续快速监测火场态势并预测蔓延趋势，对提高消防救援效能、降低经济损失和生态灾害具有重要的意义。
林火态势监测方面，目前广泛应用卫星遥感技术，美国NASA的Modis卫星提供全球范围内的火点监测产品，日本新一代静止轨道气象卫星Himawari-8具有高频率连续对地观测的能力，可持续对发生的火点进行监测。由于卫星影像的空间分辨率一般较低，只能获取宏观的火场态势；同时受到回归周期、云霾等影响，难以实现小时级连续的高分辨率监测。飞机航拍也是目前常用的手段，可以实现小时级连续的高分辨率监测。因卫星遥感和飞机航拍均需要下载后专业处理，尚未发展实时接收快速处理技术，还没有小时级连续时序的高分辨率实时监测实时处理的能力。
火情蔓延预测方面，因为火情发展受到多种因素的影响，包括气象的风速风向、温度湿度，地势的构型、布局、尺度，地物的类型、分布、密度，特别是植被的季节型含水量变化等，加之卫星和航拍没有小时级连续时序的高分辨率实时监测实时处理的局限，目前火情蔓延的研究主要集中在林火蔓延的模型构建，按模型类型可以分为统计模型、物理模型和半经验模型。林火蔓延模型速度场的计算一般采用经验模型，通过实际观测的数据总结规律，得到林火蔓延速度与地形、可燃物特性等参数之间的关系，主要代表有美国Rothermel模型、加拿大林火蔓延模型、澳大利亚MrArthur模型和中国王正非林火蔓延模型等。林火蔓延模型的数据来源主要是卫星数据，近年来有学者在融合航拍实时观测的火蔓延数据，并根据观测数据与模型结果的对比修正模型参数，尚未有基于小时级连续时序态势数据研发小时级林火蔓延预测技术。
针对现有卫星和航拍林火监测预测的技术与应用瓶颈，本发明提出一种基于连续时序遥感态势数据的林火蔓延预测技术，该技术以无人机等遥感态势感知系统获取的小时级连续时序的火场态势数据为基础，应用人工智能深度学习神经网络技术，综合卫星和航拍遥感数据识别分割得到的火场地势与地物分类信息，解析火场各过程时序的蔓延方向和速度，并预测未来小时级火线蔓延的方向和速度，并逐时序和短周期迭代提高预测精度，以实现更高精度和时效的林火态势评估和应急救援。
发明内容
针对现有技术的局限，本发明公开了一种基于连续时序遥感态势数据的林火蔓延预测方法及电子设备，用于解决现有卫星和航拍林火蔓延态势监测和预测的技术与应用瓶颈。
本发明通过以下技术方案予以实现：
第一方面，本发明公开一种基于连续时序遥感态势数据的林火蔓延预测方法，所述方法包括以下步骤：
S1利用无人机等遥感态势感知系统获取小时级连续时序的火场态势数据；
S2采用深度学习语义分割技术和NDVI指数，对S1中获取的态势数据或卫星与航拍遥感历史数据识别分割得到火场的地势与地物分类信息；
S3采用红外温度图像识别技术，对S1中获取的态势数据识别提取各过程时序的监测火线，并解析火线的蔓延方向和速度；
S4采用深度学习全连接神经网络技术，综合S2中获取的火场地势与地物分类信息和S3中获取的各过程时序火线蔓延方向和速度，解算未来时刻火线蔓延的方向、速度和方差，拟合获取小时级火线预测带，并逐时序和短周期迭代提高预测精度。
更进一步的，所述S1中，遥感态势感知系统可搭载无人机平台和有人机及卫星平台，其获取的火场态势数据包括可见光与红外光双光谱正射影像和实景三维模型。
更进一步的，所述S2中，火场地势与地物识别分割包括基于遥感高程数据的地势类型识别分割、基于遥感可见光与红外光数据的地物类型识别分割。
更进一步的，所述地势类型识别分割，采用FCN深度学习神经网络模型，基于卫星和航拍遥感数据高程信息进行监管区域的地势分类，可定期更新存储或现场处理应用，用于解析火场的地势格局和坡度等地理空间环境信息。
所述地势类型识别分割模型，采用公开的遥感DEM数据进行训练，将其高程信息转换为只有一个通道的灰度影像，裁剪为影像块，图像块中存储归一化的高程值，取值的范围为[0,1]，并采用卫星遥感影像数据辅助进行。
更进一步的，所述地物类型识别分割，采用deeplab v3+深度学习神经网络模型和NDVI指数，基于卫星和航拍遥感影像数据进行监管区域的地物分类，可定期更新存储或现场处理应用，用于解析火场的地物分布和植被密度等地理空间环境信息。
所述地物类型识别分割模型，利用卫星与航拍遥感历史数据进行训练，采用可见光遥感影像的三个通道数据作为输入，并对识别分割图像进行腐蚀再膨胀处理，去除语义分割产生的小目标。
更进一步的，所述地物类型识别分割NDVI指数，利用遥感红外光数据和可见光影像的红色波段数据计算区分不同密度的植被，算式写为：
NDVI＝(NIR-Red)/(NIR+Red)
NIR为近红外波段的反射率，Red为红色波段的反射率。
更进一步的，所述S3中，火线的提取方法为，基于无人机等遥感态势感知系统获取的各过程时序红外光正射影像，识别分割为过火区域、燃烧区域和未燃区域，利用燃烧区域与未燃区域的轮廓定位的方式提取确定火线，再采用自适应的火线拟合策略，进行三次样条函数平滑处理得到一定分辨尺度的拟合火线。
更进一步的，所述S3中，火线蔓延方向的确定方法为，采用自适应的关键点采样策略，选取拟合火线曲率拐点为基础关键点，再根据曲率变化幅度和地势地物分布情况，在基础关键点间均衡选取中间关键点，计算关键点的法线方向即为该关键点的火线蔓延方向。
更进一步的，所述S3中，火线蔓延速度的计算方法为：
根据前一时序拟合火线关键点沿蔓延方向与后一时序拟合火线的间距，计算该关键点的蔓延速度，算式写为：
Figure RE-GDA0002870347060000041
更进一步的，所述S4中，火线蔓延预测采用全连接深度学习神经网络模型，包含两个隐藏层，每个隐藏层都经过BN(Batch Normalization)和ReLU(Rectified Linear Unit)处理，输入数据包括火场地势地物识别分割信息和连续时序拟合火线信息，使用卫星和航拍遥感历史林火数据进行训练优化，解析各时序拟合火线关键点在地势地物静态因素和气象植被等动态因素条件下的蔓延方向和速度，推理当前时序拟合火线关键点的蔓延方向、速度和位置，并拟合获得未来时刻的预测火线。
更进一步的，所述火线蔓延预测模型在林火现场使用时，无人机等遥感态势感知系统获取的第一二个时序拟合火线数据用于火线蔓延预测模型训练并开始火线蔓延预测，自第三个时序开始，每个拟合火线数据均用于迭代优化火线蔓延预测模型并继续后续的火线蔓延预测，以持续提高预测精度。
更进一步的，所述火线蔓延预测模型根据连续时序的训练预测结果，统计预测值和监测值的方差，从而获得一个火线预测带作为最终的预测结果。
更进一步的，所述火线蔓延预测模型可以较短的时间周期迭代得到较长的未来时刻预测结果，进而获得更高精度的预测结果。
第二方面，本发明公开一种电子设备，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行第一方面所述的基于连续时序态势数据的林火蔓延预测方法。
本发明的有益效果为：
本发明以无人机等遥感态势感知系统获取的小时级连续时序的火场态势数据为基础，应用人工智能深度学习神经网络技术，综合卫星和航拍遥感数据识别分割得到的火场地势与地物分类信息，解析火场各过程时序的蔓延方向和速度，并预测未来小时级火线蔓延的方向和速度，并逐时序和短周期迭代提高预测精度，以实现更高精度和时效的林火态势评估和应急救援。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的系统架构图；
图2是本发明实施例无人机态势感知系统的系统构架图；
图3是本发明实施例无人机态势感知系统的数据处理示意图；
图4是本发明实施例无人机态势感知系统的火场扫描示意图；
图5是本发明实施例无人机态势感知系统的连续时序火线蔓延示意图；
图6是本发明实施例地势识别分割模型的训练流程图；
图7是本发明实施例地势识别分割模型的训练用原始数据与转换数据示意图；
图8是本发明实施例地物识别分割模型的系统架构图；
图9是本发明实施例地势与地物识别分割数据融合示意图；
图10是本发明实施例拟合火线示意图；
图11是本发明实施例拟合火线关键点选取示意图；
图12是本发明实施例火线蔓延预测模型的架构图；
图13是本发明实施例火线蔓延预测模型的流程图；
图14是本发明实施例火线蔓延预测模型的地势坡度计算示意图；
图15是本发明实施例火线蔓延预测模型的预测方差示意图；
图16是本发明实施例火线蔓延预测模型的短周期迭代示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本实施例公开基于连续时序遥感态势数据的林火蔓延预测方法，以无人机等遥感态势感知系统获取的小时级连续时序的火场态势数据为基础，综合卫星和航拍数据识别分割得到的火场地势与地物分类信息，应用人工智能深度学习算法，解析火场各过程时序的蔓延方向和速度，并预测未来小时级火线蔓延的方向和速度，逐时序迭代提高预测精度，以实现更高精度和时效的林火态势评估和应急救援。
本实施例系统架构包括三个核心模块：地势地物识别分割模块、火场态势解析模块和火线蔓延预测模块，参见图1。
其中，地势地物识别分割模块采用深度学习的语义分割技术，通过卫星和航拍遥感历史数据作为样本来训练神经网络模型，对典型季节的遥感历史数据或无人机等遥感态势感知系统的正射影像和三维模型进行火场地势和地物分类识别分割，得到火线蔓延分析预测所需的地理空间环境数据。
火场态势解析模块采用红外温度图像识别技术，对无人机等遥感态势感知系统获取的红外光正射影像进行识别分割，提取拟合各过程时序的监测火线，并解析火线的蔓延方向和速度。
火线蔓延预测模块采用深度学习的全连接结构，基于火场的地势地物分类数据和连续时序的火场态势解析数据，通过卫星与航拍遥感历史林火态势数据训练优化的深度神经网络模型，预测未来时刻火线蔓延的方向、速度和方差，拟合火线蔓延预测带，并逐时序和短周期迭代提高预测精度。
实施例2
本实施例公开无人机态势感知系统，包括无人机平台、双光谱视频吊舱、飞控地面站和态势地面站，系统架构见图2。
飞控地面站控制无人机和视频吊舱按设定的航线和姿态扫描监测区域，态势地面站实时接收处理视频吊舱的双光谱视频数据，自动生成双光谱正射影像和实景三维模型，如图3所示，并配套基于动态视频和二维正射影像的纹理、温度、几何特征及三维模型的空间变量的智能识别分析功能模块。
无人机态势感知系统连续时序地扫描林火现场时，可智能识别提取当前时序和连续时序的火线，如图4、图5所示。
无人机态势感知系统基于双光谱航拍视频流的实时数据处理技术包括：
1)实时双光谱正射影像拼接
本实施例公开一种综合利用多种信息的无人机视频实时快速正射拼接方法，该方法以POS数据作为相机位置和姿态的初始值，利用关键帧图像特征点提取和匹配结果来构建图优化的约束，然后基于图优化对相机位置和姿态进行优化更新，最后利用优化后的相机位置和姿态来进行视频图像的实时快速正射拼接。
2)实时迭代实景三维建模
本实施例公开一种融合POS信息、SLAM技术、并行密集匹配和点云匹配技术的实时三维模型重建方法，该方法利用POS数据来直接提取关键帧并作为初值建立初始的点云模型，利用点云融合技术来对密集匹配的点云进行匹配得到精确的点云，并利用点云匹配技术来实现点云的融合，点云融合后生成三角网并进行纹理映射，最终得到具有真实纹理的三维模型。
本实施例的双光谱视频吊舱、态势地面站也可搭载在大型无人机平台和有人机平台，实现机载一体化的态势扫描与分析。
实施例3
本实施例公开基于深度学习语义分割技术和NDVI指数的地势地物识别分割模块。
深度学习在图像识别、目标监测、语义分割等领域都取得了巨大的进展，其中在语义分割方面，以全卷积网络(Full Convolutional Networks)为基础的神经网络能够实现像素级别的语义分割。
1)基于遥感高程数据的地势类型语义分割
本实施例地势识别分割模块采用基于卫星和航拍遥感数据高程信息的深度学习神经网络模型进行监管区域的地势分类，包括平原、丘陵、山地、沟壑等类型，可定期更新存储或现场处理应用，用于解析火场的地势起伏和坡度等地理空间环境信息。
本实施例采用公开的遥感DEM数据进行地势分类深度学习神经网络模型训练，主要使用美国NASA新一代对地观测卫星Terra的ASTER-GDEM V2数据，可以将其高程信息转换为只有一个通道的灰度影像。由于高程数据转换为一个波段，且地势类型也比较简单，本实施例地势识别分割模块采用FCN深度学习神经网络模型。
本实施例地势识别分割模型采用基于FCN的语义分割架构，该架构是为像素级别的图像分割来设计，其训练流程如图6所示。由于直接用高程数据进行标签难度较大，本实施例采用30m分辨率的 ASTER-GDEM V2数据，裁剪为500x500的影像块，图像块中存储了归一化的高程值，取值的范围为[0,1]，作为训练输入数据，参见示意图7。
本实施例采用卫星遥感影像数据辅助进行地势的识别分类，包括广泛使用的Landsat系列，以及我国自主研发的环境卫星和高分卫星的数据。
2)基于遥感可见光数据的地物类型语义分割
本实施例地物识别分割模块采用基于卫星和航拍遥感可见光影像数据的深度学习神经网络模型进行监管区域的地物分类，包括森林、灌木、草地、裸地、农田、城镇、水域等类型，可定期更新存储或现场处理应用，用于解析火场的地物类型和植被密度等地理空间环境信息。
本实施例地物识别分割模块采用可见光遥感影像的三个通道数据作为输入，由于可见光图像信息比高程数据更丰富，而且地物的类型也较多，采用deeplab v3+的深度神经网络模型，系统架构见图8。
Deeplab v3+是google为图像语义分割设计的深度学习神经网络模型，能实现目标的精确语义分割，广泛应用于图像分割领域。该模型采用编解码的方式，编码部分以深度卷积网络为基础提取图像中的语义信息，并采用空洞卷积网络来实现不同分辨率的信息提取，在解码部分利用数据上采样来恢复到原始图像分辨率的大小。
本实施例地物识别分割模块利用卫星与航拍遥感历史图像数据进行训练。
为了解决识别分割后的碎块问题，本实施例利用数学形态学对识别分割后的图像进行处理，首先进行腐蚀处理，然后再进行膨胀处理，可以有效地去除语义分割产生的小目标。
本实施例对于森林、灌木、草地等植被覆盖的类型，同时考虑其密度分级，可以根据需要定义多种密度等级。具体方法是根据NDVI指数来区分不同密度的植被。
本实施例采用无人机态势感知系统的双光谱数据，利用其红外光数据和可见光影像的红色波段数据来计算NDVI指数：
NDVI＝(NIR-Red)/(NIR+Red)
NIR为近红外波段的反射率，Red为红波段的反射率。
NDVI能较好的区分不同密度的植被，一般来说NDVI值越大，植被的生长就越好，密度也越大。典型地，可定义高中低三种植被密度等级，具体NDVI值如下表。
表1、不同密度植被的NDVI分布区间
等级 NDVI
高密度 >＝0.6
中密度 [0.3,0.6)
低密度 <0.3
3)地势与地物识别分割数据融合
将地势与地物识别分割处理的数据进行融合，可以直观表达监管区域和火场的地势地物状态，参见示意图9，图中彩色的色块为地物分类结果，白色的线条则是根据高程信息得到的等高线，以支持火线蔓延分析预测。
实施例4
本实施例公开基于红外温度图像识别技术的火场态势解析模块，根据火场的温度特征，对无人机等遥感态势感知系统获取的连续时序红外光正射影像数据解析各过程时序火线蔓延方向和速度。
火线的提取方法：
采用红外温度图像识别技术对各过程时序的红外光正射影像数据识别分割为过火区域、燃烧区域和未燃区域，利用燃烧区域与未燃区域的轮廓定位的方式提取确定火线，再进行三次样条函数平滑处理得到一定分辨尺度的拟合火线，如图10中的curve-1、curve-2。
火线蔓延方向的确定方法：
根据拟合火线变化幅度和地势地物分布情况选取关键点，如图11 中curve-1上的p1点等，计算关键点的法线方向即为该关键点的火线蔓延方向，如图10中的
Figure RE-GDA0002870347060000111
火线蔓延速度的计算方法：
根据前一时序拟合火线关键点沿蔓延方向与后一时序拟合火线的间距，计算关键点的蔓延速度，如图10中curve-1关键点P1的法线与curve-2的交点P1’，关键点P1的蔓延速度为P1与P1’的距离除以时间差(T2-T1)来得到，算式写为：
Figure RE-GDA0002870347060000112
鉴于火场蔓延态势复杂，火线蔓延过程分析预测采用自适应的火线拟合和关键点采样策略，即根据火场的面积规模和火线的监测尺度，火线拟合平滑的分辨尺度一般设置为10-100米，以过滤不影响态势监测和蔓延预测的火线细小凸凹；相应的，选取拟合火线曲率拐点为基础关键点后，还需根据拟合火线曲率变化幅度和地势地物分布情况，在基础关键点间均衡选取中间关键点，例如，曲率变化大幅度的区间按20米间距均衡选取，中幅度的区间按50米间距均衡选取，小幅度的区间按100米间距均衡选取，如图11所示。
实施例5
本实施例公开基于深度学习全连接神经网络技术的火线蔓延预测模块。
火情蔓延过程与预测，涉及的因素与规律复杂多变，影响因素包括气象的风速风向、温度湿度，地势的构型、布局、尺度，地物的类型、分布、密度，特别是植被的季节性含水量变化等，且林火现场难以实时、全面、精确地监测获得相关因素状态参数，从而难以通过有限的历史数据建立有效的经验模型并实现精确的蔓延预测。
深度学习神经网络得益于庞大的结构设计，能够对真实世界中异常复杂的问题进行精确的模拟分析，获得优异的识别预测结果。本实施例采用基于小时级连续时序火场态势数据的深度学习神经网络模型进行连续迭代优化的小时级火线蔓延过程分析和预测，模型输入仅考虑火情蔓延态势的静态影响因素，包括地势的构型、布局、尺度和地物的类型、分布、密度等，而动态影响因素，包括气象的风速风向、温度湿度和植被的季节性含水量等，则由深度学习神经网络模型利用火场蔓延过程态势数据进行动态识别分析并用于蔓延预测分析。
本实施例火线蔓延预测采用深度学习全连接结构神经网络模型，架构见图12所示，包含两个隐藏层，第一个隐藏层为128维，第二个隐藏层为64维，每个隐藏层都经过BN(Batch Normalization)和ReLU(Rectified Linear Unit)处理，BN可以让神经网络模型的输入保持相同分布，ReLU可以克服梯度消失的问题并加快训练速度。在林火现场应用预测中，过程时序态势数据可以进行不断的迭代，每隔一段时间可以根据最新时序的态势数据来对模型进行优化得到更优的解。
本实施例火线蔓延预测模型的输入数据包括火场地势地物识别分割信息和连续时序监测火线信息，使用卫星和航拍遥感历史林火数据进行训练优化，解析各时序监测火线关键点在地势地物静态因素和气象植被等动态因素条件下的蔓延方向和速度，解算当前时序监控火线关键点的蔓延方向、速度和位置，并拟合获得未来时刻的预测火线，流程如图13所示。
本实施例采用地势方差和相对坡度正弦值对地势识别分割数据进行量化，作为火线蔓延预测模型的输入数据。地势方差可以根据地势分类来设置，相对坡度则根据高程数据计算。坡度需沿着火线关键点蔓延的方向计算。本实施例在关键点的正射影像上按照8邻域的关系，将方向离散分配8个方向，分别对应0、45、90、135、180、225、270 和315度，如图14所示，图中每个方框中的值为高程值，根据火线关键点蔓延方向选择相邻的两个位置计算出相对的坡度，坡度的计算公式为：
θ＝atan(ΔL，ΔZ)，
Figure RE-GDA0002870347060000131
在深度学习模型中，输入的数据尽量要归一化，所以用sin(θ)来作为神经网络的输入值。
本实施例火线蔓延预测模型根据训练预测的结果，可以统计预测值和监测值的方差σ，从而获得一个火线蔓延预测带作为最终的预测结果，如图15所示，ccurrent是当前时序监测火线，cpredict是未来时刻基准预测火线，cpredict+σ是正方差预测火线，cpredict-σ是负方差预测火线。
本实施例在林火现场使用时，无人机等遥感态势感知系统获取的第一二个时序监测火线数据用于火线蔓延预测模型训练并开始火线蔓延预测，自第三个时序开始，每个监测火线数据均用于迭代优化火线蔓延预测模型并继续后续的火线蔓延预测，以持续提高预测精度。
在火灾现场应用中，为合理预测火线蔓延过程和提高火线蔓延预测精度，本实施例提出一种以较小的时间周期迭代得到较长的未来时刻预测结果的方法，例如当前时序监测火线的未来1小时预测火线，可以15分钟为周期连续迭代4次预测，如图16所示，进而获得更高精度的预测结果。
实施例6
本实施例公开一种电子设备，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行基于连续时序态势数据的林火蔓延预测方法。
综上，本发明以无人机等遥感态势感知系统获取的小时级连续时序的火场态势数据为基础，应用人工智能深度学习神经网络技术，综合卫星和航拍遥感数据识别分割得到的火场地势与地物分类信息，解析火场各过程时序的蔓延方向和速度，并预测未来小时级火线蔓延的方向和速度，并逐时序和短周期迭代提高预测精度，以实现更高精度和时效的林火态势评估和应急救援。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于连续时序遥感态势数据的林火蔓延预测方法，其特征在于，所述方法包括以下步骤：
S1利用无人机等遥感态势感知系统获取小时级连续时序的火场态势数据；
S2采用深度学习语义分割技术和NDVI指数，对S1中获取的态势数据或卫星与航拍遥感历史数据识别分割得到火场的地势与地物分类信息；
S3采用红外温度图像识别技术，对S1中获取的态势数据识别提取各过程时序的监测火线，并解析火线的蔓延方向和速度；
S4采用深度学习全连接神经网络技术，综合S2中获取的火场地势与地物分类信息和S3中获取的各过程时序火线蔓延方向和速度，解算未来时刻火线蔓延的方向、速度和方差，拟合获取小时级火线预测带，并逐时序和短周期迭代提高预测精度。
2.根据权利要求1所述的基于连续时序遥感态势数据的林火蔓延预测方法，其特征在于，所述S1中，遥感态势感知系统可搭载无人机平台和有人机及卫星平台，其获取的火场态势数据包括可见光与红外光双光谱正射影像和实景三维模型。
3.根据权利要求1所述的基于连续时序遥感态势数据的林火蔓延预测方法，其特征在于，所述S2中，地势类型识别分割采用FCN深度学习神经网络模型，利用公开的遥感DEM数据进行训练，其高程信息转换为只有一个通道的灰度影像，裁剪为影像块，图像块中存储归一化的高程值，取值的范围为[0,1]，并采用卫星遥感影像数据辅助进行。
4.根据权利要求1所述的基于连续时序遥感态势数据的林火蔓延预测方法，其特征在于，所述S2中，地物类型识别分割采用deeplab v3+深度学习神经网络模型，利用卫星与航拍遥感历史数据进行训练，采用可见光遥感影像的三个通道数据作为输入，并对识别分割图像进行腐蚀再膨胀处理，去除语义分割产生的小目标，
NDVI指数，利用遥感红外光数据和可见光影像的红色波段数据计算区分不同密度的植被，算式写为：
NDVI＝(NIR-Red)/(NIR+Red)
NIR为近红外波段的反射率，Red为红色波段的反射率。
5.根据权利要求1所述的基于连续时序遥感态势数据的林火蔓延预测方法，其特征在于，所述S3中，火线的提取方法为，基于无人机等遥感态势系统获取的各过程时序红外光正射影像，识别分割为过火区域、燃烧区域和未燃区域，利用燃烧区域与未燃区域的轮廓定位的方式提取确定火线，再采用自适应的火线拟合策略，进行三次样条函数平滑处理得到一定分辨尺度的拟合火线。
火线蔓延方向的确定方法为，采用自适应的关键点采样策略，选取拟合火线曲率拐点为基础关键点，再根据曲率变化幅度和地势地物分布情况，在基础关键点间均衡选取中间关键点，计算关键点的法线方向即为该关键点的火线蔓延方向
火线蔓延速度的计算方法为：根据前一时序拟合火线关键点沿蔓延方向与后一时序拟合火线的间距，计算该关键点的蔓延速度，算式写为：
Figure FDA0002639556870000021
6.根据权利要求1所述的基于连续时序遥感态势数据的林火蔓延预测方法，其特征在于，所述S4中，火线蔓延预测采用全连接深度学习神经网络模型，包含两个隐藏层，每个隐藏层都经过BN(Batch Normalization)和ReLU(Rectified Linear Unit)处理，输入数据包括火场地势地物识别分割信息和连续时序拟合火线信息，使用卫星和航拍遥感历史林火数据进行训练优化，解析各时序拟合火线关键点在地势地物静态因素和气象植被等动态因素条件下的蔓延方向和速度，推理当前时序拟合火线关键点的蔓延方向、速度和位置，并拟合获得未来时刻的预测火线。
7.根据权利要求6所述的基于连续时序遥感态势数据的林火蔓延预测方法，其特征在于，火线蔓延预测模型在林火现场使用时，无人机等遥感态势感知系统获取的第一二个时序拟合火线数据用于模型训练并开始预测，自第三个时序开始，每个拟合火线数据均用于模型迭代优化和预测，以持续提高预测精度。
8.根据权利要求6所述的基于连续时序遥感态势数据的林火蔓延预测方法，其特征在于，火线蔓延预测模型根据连续时序的训练预测结果，统计预测值和监测值的方差，从而获得一个火线预测带作为最终的预测结果。
9.根据权利要求6所述的基于连续时序遥感态势数据的林火蔓延预测方法，其特征在于，火线蔓延预测模型可以较短的时间周期迭代得到较长的未来时刻预测结果，进而获得更高精度的预测结果。
10.一种电子设备，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行如权利要求1至9中任一所述的基于连续时序遥感态势数据的林火蔓延预测方法。
CN202010835467.3A 2020-08-19 2020-08-19 基于连续时序遥感态势数据的林火蔓延预测方法及电子设备 Active CN112307884B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010835467.3A CN112307884B (zh) 2020-08-19 2020-08-19 基于连续时序遥感态势数据的林火蔓延预测方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010835467.3A CN112307884B (zh) 2020-08-19 2020-08-19 基于连续时序遥感态势数据的林火蔓延预测方法及电子设备

Publications (2)

Publication Number Publication Date
CN112307884A true CN112307884A (zh) 2021-02-02
CN112307884B CN112307884B (zh) 2024-06-25

Family

ID=74483635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010835467.3A Active CN112307884B (zh) 2020-08-19 2020-08-19 基于连续时序遥感态势数据的林火蔓延预测方法及电子设备

Country Status (1)

Country Link
CN (1) CN112307884B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668670A (zh) * 2021-03-15 2021-04-16 北京简巨科技有限公司 地膜识别方法及其相关设备
CN113269166A (zh) * 2021-07-19 2021-08-17 环球数科集团有限公司 一种跨媒体分析与推理的火灾检测算法
CN113705928A (zh) * 2021-09-15 2021-11-26 中国农业科学院农业资源与农业区划研究所 基于大气再分析数据对植被生长季顶峰时间的预测方法
WO2022110912A1 (zh) * 2020-11-27 2022-06-02 清华大学 基于无人机视频的林火蔓延数据同化方法以及装置
CN114676907A (zh) * 2022-01-17 2022-06-28 中国地质大学（北京） 一种区域地质灾害预警方法、装置、存储介质及设备
WO2022197191A1 (en) * 2021-03-15 2022-09-22 Carbonco Limited Land segmentation and classification
CN115099493A (zh) * 2022-06-27 2022-09-23 东北林业大学 一种基于cnn的林火向任意方向蔓延速率预测方法
CN115661245A (zh) * 2022-10-24 2023-01-31 东北林业大学 一种基于无人机的大尺度火线瞬时定位方法
CN116449854A (zh) * 2023-06-16 2023-07-18 北京博创联动科技有限公司 一种基于物联网技术的智能农机调度方法
CN117935116A (zh) * 2024-01-30 2024-04-26 北京中卓时代消防装备科技有限公司 基于人工智能的实时火场态势感知模型训练方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103700092A (zh) * 2013-12-04 2014-04-02 中国科学院遥感与数字地球研究所 一种基于时序遥感影像的森林火烧迹地自动提取方法
CN106021666A (zh) * 2016-05-10 2016-10-12 四川大学 一种架空输电线路的山火灾害预警方法
CN107730517A (zh) * 2017-11-10 2018-02-23 公安部天津消防研究所 一种基于自适应亮度分割的火灾视频图像分析算法
CN207440962U (zh) * 2017-12-07 2018-06-01 深圳前海奥瑞那安全技术有限公司 一种光电烟感式火灾探测器
CN108898049A (zh) * 2018-05-11 2018-11-27 中南林业科技大学 基于modis数据的林火识别方法
CN109035416A (zh) * 2018-07-12 2018-12-18 南京大学 基于Unity 3D技术的森林火灾消防虚拟仿真系统构建方法
US20190251398A1 (en) * 2018-02-13 2019-08-15 Slingshot Aerospace, Inc. Conditional loss function modification in a neural network
CN110779529A (zh) * 2019-11-21 2020-02-11 南京信息工程大学 一种基于大数据和云计算森林灾害应急指挥调度系统
CN111105582A (zh) * 2019-11-12 2020-05-05 西安天和防务技术股份有限公司 森林防火监测方法、系统、计算机设备和可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103700092A (zh) * 2013-12-04 2014-04-02 中国科学院遥感与数字地球研究所 一种基于时序遥感影像的森林火烧迹地自动提取方法
CN106021666A (zh) * 2016-05-10 2016-10-12 四川大学 一种架空输电线路的山火灾害预警方法
CN107730517A (zh) * 2017-11-10 2018-02-23 公安部天津消防研究所 一种基于自适应亮度分割的火灾视频图像分析算法
CN207440962U (zh) * 2017-12-07 2018-06-01 深圳前海奥瑞那安全技术有限公司 一种光电烟感式火灾探测器
US20190251398A1 (en) * 2018-02-13 2019-08-15 Slingshot Aerospace, Inc. Conditional loss function modification in a neural network
CN108898049A (zh) * 2018-05-11 2018-11-27 中南林业科技大学 基于modis数据的林火识别方法
CN109035416A (zh) * 2018-07-12 2018-12-18 南京大学 基于Unity 3D技术的森林火灾消防虚拟仿真系统构建方法
CN111105582A (zh) * 2019-11-12 2020-05-05 西安天和防务技术股份有限公司 森林防火监测方法、系统、计算机设备和可读存储介质
CN110779529A (zh) * 2019-11-21 2020-02-11 南京信息工程大学 一种基于大数据和云计算森林灾害应急指挥调度系统

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
ANSHUL GAUR等: "Video Flame and Smoke Based Fire Detection Algorithms: A Literature Review", 《 FIRE TECHNOL 》, vol. 56, 25 April 2020 (2020-04-25), pages 1943, XP037550108, DOI: 10.1007/s10694-020-00986-y *
CHIA-YEN CHIANG等: "Deep Learning-Based Automated Forest Health Diagnosis From Aerial Images", 《IEEE ACCESS》, vol. 8, 28 July 2020 (2020-07-28), pages 144064 - 144076, XP011804605, DOI: 10.1109/ACCESS.2020.3012417 *
SEONG WOOK PARK等: "Detection of forest disaster using satellite images with semantic segmentation", 《SPIE REMOTE SENSING》, vol. 11155, 7 October 2019 (2019-10-07), pages 1 - 7, XP060126228, DOI: 10.1117/12.2532990 *
徐铭铭: "基于多特征融合的森林火灾火焰视频识别研究", 《中国优秀硕士学位论文全文数据库 (农业科技辑)》, no. 02, 15 February 2016 (2016-02-15), pages 049 - 142 *
朱敏等: "基于GIS的森林火险评估研究", 《北京林业大学学报》, vol. 30, no. 1, 15 March 2008 (2008-03-15), pages 40 - 45 *
王永超: "森林火灾虚拟仿真体系结构研究", 《广东技术师范学院学报》, no. 03, 25 March 2008 (2008-03-25), pages 5 - 7 *
赵璠等: "西南林区森林火灾火行为模拟模型评价", 《应用生态学报》, vol. 28, no. 10, 6 June 2017 (2017-06-06), pages 3144 - 3154 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022110912A1 (zh) * 2020-11-27 2022-06-02 清华大学 基于无人机视频的林火蔓延数据同化方法以及装置
WO2022197191A1 (en) * 2021-03-15 2022-09-22 Carbonco Limited Land segmentation and classification
CN112668670A (zh) * 2021-03-15 2021-04-16 北京简巨科技有限公司 地膜识别方法及其相关设备
CN113269166A (zh) * 2021-07-19 2021-08-17 环球数科集团有限公司 一种跨媒体分析与推理的火灾检测算法
CN113269166B (zh) * 2021-07-19 2021-09-24 环球数科集团有限公司 一种跨媒体分析与推理的火灾检测算法
CN113705928A (zh) * 2021-09-15 2021-11-26 中国农业科学院农业资源与农业区划研究所 基于大气再分析数据对植被生长季顶峰时间的预测方法
CN113705928B (zh) * 2021-09-15 2023-09-12 中国农业科学院农业资源与农业区划研究所 基于大气再分析数据对植被生长季顶峰时间的预测方法
CN114676907B (zh) * 2022-01-17 2022-09-20 中国地质大学（北京） 一种区域地质灾害预警方法、装置、存储介质及设备
CN114676907A (zh) * 2022-01-17 2022-06-28 中国地质大学（北京） 一种区域地质灾害预警方法、装置、存储介质及设备
CN115099493A (zh) * 2022-06-27 2022-09-23 东北林业大学 一种基于cnn的林火向任意方向蔓延速率预测方法
CN115099493B (zh) * 2022-06-27 2023-11-10 东北林业大学 一种基于cnn的林火向任意方向蔓延速率预测方法
CN115661245A (zh) * 2022-10-24 2023-01-31 东北林业大学 一种基于无人机的大尺度火线瞬时定位方法
CN116449854A (zh) * 2023-06-16 2023-07-18 北京博创联动科技有限公司 一种基于物联网技术的智能农机调度方法
CN116449854B (zh) * 2023-06-16 2023-09-12 北京博创联动科技有限公司 一种基于物联网技术的智能农机调度方法
CN117935116A (zh) * 2024-01-30 2024-04-26 北京中卓时代消防装备科技有限公司 基于人工智能的实时火场态势感知模型训练方法及系统

Also Published As

Publication number Publication date
CN112307884B (zh) 2024-06-25

Similar Documents

Publication Publication Date Title
CN112307884A (zh) 基于连续时序遥感态势数据的林火蔓延预测方法及电子设备
RU2669656C2 (ru) Обнаружение состояния с использованием обработки изображений
KR102540762B1 (ko) 위성영상을 이용한 저수지 모니터링 방법
US11694354B2 (en) Geospatial object geometry extraction from imagery
KR20190057013A (ko) 상세기상 예측정보 실시간 운영 시스템과 이를 이용하는 폭염 및 열대야 영향 예보 활용 방법
Gazzea et al. Automated power lines vegetation monitoring using high-resolution satellite imagery
US11776104B2 (en) Roof condition assessment using machine learning
CN113919226B (zh) 基于权重的采矿植被生态累积效应扰动范围识别方法
CN112445241A (zh) 一种基于无人机遥感技术的地表植被识别方法、系统及可读存储介质
CN117556197B (zh) 一种基于人工智能的台风涡旋初始化方法
CN111539325A (zh) 基于深度学习的森林火灾探测方法
Salman Aal-shamkhi et al. Extraction and modeling of urban sprawl development in Karbala City using VHR satellite imagery
Babu Saheer et al. Data-driven framework for understanding and predicting air quality in urban areas
Comert et al. Rapid mapping of forested landslide from ultra-high resolution unmanned aerial vehicle data
Stark Using deep convolutional neural networks for the identification of informal settlements to improve a sustainable development in urban environments
Penteliuc et al. Prediction of cloud movement from satellite images using neural networks
Shokri et al. POINTNET++ Transfer Learning for Tree Extraction from Mobile LIDAR Point Clouds
Hadzic et al. Rasternet: Modeling free-flow speed using lidar and overhead imagery
Zhou Areal uncertainty in traffic island polygons extracted from airborne laser point clouds
Zhang Single tree detection from airborne laser scanning data: a stochastic approach
Vasavi et al. Rainfall Estimation From Satellite Images Using Cloud Classifications
Quadri A Survey and Analysis of Intelligent Forecasting and Decision-Making Evaluation of Urban Growth using Artificial Intelligence.
ESTIMA AUTOMATIC RURAL ROAD CENTERLINE EXTRACTION FROM AERIAL IMAGES FOR A FOREST FIRE SUPPORT SYSTEM
Duong 3d Canopy Model Reconstruction from Unmanned Aerial System and Automated Single Tree Extraction
MODEL et al. ISTANBUL TECHNICAL UNIVERSITY★ GRADUATE SCHOOL

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant