CN117574317A - 一种基于星空地多模态数据融合的山火监测方法和装置 - Google Patents

一种基于星空地多模态数据融合的山火监测方法和装置 Download PDF

Info

Publication number
CN117574317A
CN117574317A CN202311687544.5A CN202311687544A CN117574317A CN 117574317 A CN117574317 A CN 117574317A CN 202311687544 A CN202311687544 A CN 202311687544A CN 117574317 A CN117574317 A CN 117574317A
Authority
CN
China
Prior art keywords
data
feature
fusion
mode
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311687544.5A
Other languages
English (en)
Inventor
张华玉
欧阳亿
徐勋建
冯涛
唐照华
皮新宇
李丽
简洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Disaster Prevention Technology Co ltd
State Grid Corp of China SGCC
State Grid Hunan Electric Power Co Ltd
Disaster Prevention and Mitigation Center of State Grid Hunan Electric Power Co Ltd
Original Assignee
Hunan Disaster Prevention Technology Co ltd
State Grid Corp of China SGCC
State Grid Hunan Electric Power Co Ltd
Disaster Prevention and Mitigation Center of State Grid Hunan Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Disaster Prevention Technology Co ltd, State Grid Corp of China SGCC, State Grid Hunan Electric Power Co Ltd, Disaster Prevention and Mitigation Center of State Grid Hunan Electric Power Co Ltd filed Critical Hunan Disaster Prevention Technology Co ltd
Priority to CN202311687544.5A priority Critical patent/CN117574317A/zh
Publication of CN117574317A publication Critical patent/CN117574317A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/005—Fire alarms; Alarms responsive to explosion for forest fires, e.g. detecting fires spread over a large or outdoors area

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Processing (AREA)

Abstract

本公开实施例涉及一种基于星空地多模态数据融合的山火监测方法和装置，其中该方法包括：获取星空地多模态数据进行处理得到多模态数据特征进行融合，得到多模态融合特征，将多模态融合特征输入全连接网络模型进行目标分类，得到山火识别结果。采用上述技术方案，基于星空地多源数据进行特征提取融合进而对输电线路附近等山火情况进行监测，多源数据融合监测可以通过相互验证提高火灾监测的准确性，充分利用星空和地面数据的优势，可以提高火灾监测的全面性、准确性和实时性，对于采取及时有效的措施应对火灾具有重要意义。

Description

一种基于星空地多模态数据融合的山火监测方法和装置
技术领域
本公开涉及输电线路山火监测技术领域，尤其涉及一种基于星空地多模态数据融合的山火监测方法、装置、设备及介质。
背景技术
输电线路山火的监测识别是电力行业关注的重要问题之一。极端干旱背景下山火频繁，对输电线路安稳运行造成极大的威胁。不同于森林大火，较小面积的山火就有可能引发电网跳闸，为降低山火对输电线路的影响，全方位立体化的山火监测是必要的。目前常用的山火监测方法已经智能化、多元化发展，卫星、直升机、无人机、地面监测数据等多源星空地数据都为小面积山火及时预警提供了基础。使用卫星和航拍等遥感技术，可以在大范围内监测输电线路沿线的植被状况，检测可能的山火迹象。针对重要输电线路，可采用无人机、直升机等飞行器快速、灵活地飞越输电线路周围的区域，进行实时监测和图像采集，搭载红外相机等传感器还可提供对植被和地表温度的详细信息。在一些地区也部署了各种监测设备，包括火灾监测摄像头、温度传感器等，用于实时监测火灾情况。
卫星、直升机、无人机、地面监测等监测平台在单一的监测中都存在一些弊端，容易造成漏判、误判。融合星空地数据进行山火监测可以提供不同角度和分辨率的信息，通过相互验证提高火灾监测的准确性，提高整体的遥感监测鲁棒性。但是现有的星空地识别算法多基于决策层进行融合监测，即仅对识别出来的火或者非火的结果进行融合，此类方法未能充分发挥多源数据的优势，并不能有效提高数山火监测的准确率。而基于特征级的融合方法由于星空地在数据特点、成像机理、场景复杂度方面差异,特征级的融合监测难以开展。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种基于星空地多模态数据融合的山火监测方法、装置、设备及介质，基于数据特征融合，最大化发挥多源监测数据优势，优化输电线路山火监测的准确度。
本公开实施例提供了一种基于星空地多模态数据融合的山火监测方法，所述方法包括：
获取星空地多模态数据；其中，所述星空地多模态数据包括卫星平台采集的遥感影像数据、空中平台采集的第一视频数据和第一图片数据、地面平台采集第二视频数据、第二图片数据和气象文本数据；
对所述星空地多模态数据进行时空匹配，得到待处理多源数据；
对所述待处理多源数据中的遥感影像数据进行辐射定标、大气校正和几何校正，得到目标遥感影像数据；
对所述待处理多源数据中的第一视频数据和第二视频数据进行样本采样、样本标准化和尺度规范，得到目标视频数据；
对所述待处理多源数据中的第一图片数据和第二图片数据进行样本标准化和尺度规范，得到目标图片数据；
对所述待处理多源数据中的气象文本数据进行异常缺省值清理和数据归一化，得到目标气象文本数据；
对所述目标遥感影像数据、所述目标视频数据、所述目标图片数据和所述目标气象文本数据分别进行遥感影像特征提取、视频数据序列特征提取、图像数据特征提和文本特征提取，得到多模态数据特征；
对所述多模态数据特征进行特征融合，得到多模态融合特征；
将所述多模态融合特征输入全连接网络模型进行目标分类，得到山火识别结果；其中，所述山火识别结果包括是否有山火、山火位置和山火位置的置信度结果。
本公开实施例还提供了一种基于星空地多模态数据融合的山火监测装置，所述装置包括：
获取模块，用于获取星空地多模态数据；其中，所述星空地多模态数据包括卫星平台采集的遥感影像数据、空中平台采集的第一视频数据和第一图片数据、地面平台采集第二视频数据、第二图片数据和气象文本数据；
匹配模块，用于对所述星空地多模态数据进行时空匹配，得到待处理多源数据；
第一预处理模块，用于对所述待处理多源数据中的遥感影像数据进行辐射定标、大气校正和几何校正，得到目标遥感影像数据；
第二预处理模块，用于对所述待处理多源数据中的第一视频数据和第二视频数据进行样本采样、样本标准化和尺度规范，得到目标视频数据；
第三预处理模块，用于对所述待处理多源数据中的第一图片数据和第二图片数据进行样本标准化和尺度规范，得到目标图片数据；
第四预处理模块，用于对所述待处理多源数据中的气象文本数据进行异常缺省值清理和数据归一化，得到目标气象文本数据；
提取模块，用于对所述目标遥感影像数据、所述目标视频数据、所述目标图片数据和所述目标气象文本数据分别进行遥感影像特征提取、视频数据序列特征提取、图像数据特征提和文本特征提取，得到多模态数据特征；
融合模块，用于对所述多模态数据特征进行特征融合，得到多模态融合特征；
分类模块，用于将所述多模态融合特征输入全连接网络模型进行目标分类，得到山火识别结果；其中，所述山火识别结果包括是否有山火、山火位置和山火位置的置信度结果。
本公开实施例还提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现如本公开实施例提供的基于星空地多模态数据融合的山火监测方法。
本公开实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如本公开实施例提供的基于星空地多模态数据融合的山火监测方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点：本公开实施例提供的基于星空地多模态数据融合的山火监测方案，获取星空地多模态数据；其中，星空地多模态数据包括卫星平台采集的遥感影像数据、空中平台采集的第一视频数据和第一图片数据、地面平台采集第二视频数据、第二图片数据和气象文本数据，对星空地多模态数据进行时空匹配，得到待处理多源数据，对待处理多源数据中的遥感影像数据进行辐射定标、大气校正和几何校正，得到目标遥感影像数据，对待处理多源数据中的第一视频数据和第二视频数据进行样本采样、样本标准化和尺度规范，得到目标视频数据，对待处理多源数据中的第一图片数据和第二图片数据进行样本标准化和尺度规范，得到目标图片数据，对待处理多源数据中的气象文本数据进行异常缺省值清理和数据归一化，得到目标气象文本数据，对目标遥感影像数据、目标视频数据、目标图片数据和目标气象文本数据分别进行遥感影像特征提取、视频数据序列特征提取、图像数据特征提和文本特征提取，得到多模态数据特征，对多模态数据特征进行特征融合，得到多模态融合特征，将多模态融合特征输入全连接网络模型进行目标分类，得到山火识别结果；其中，山火识别结果包括是否有山火、山火位置和山火位置的置信度结果。由此，与最接近的现有技术相比，本申请全局视角与局部详细信息结合，星空数据提供了全球范围的视角，能够捕捉大范围的火灾分布情况，地面数据则提供了更高分辨率的、局部细致的信息，能够捕捉火灾现场的详细情况、以及本申请从遥感影像、文本、图像、视频等多种数据类型中获取信息，实现信息的转化和融合，从而提升山火监测模型性能和决策准确率；另外，利用目标多模态特征之间的互补特性以充分挖掘目标的深层特征，从而提高识别模型的鲁棒性和动态适应性，有效提高了平均识别概率和精度，在输电线路山火监测中，该方法对于发现早期山火点，实现山火的高精度识别判性，减少输电线路山火跳闸具有重要意义。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1为本公开实施例提供的一种基于星空地多模态数据融合的山火监测方法的流程示意图；
图2为本公开实施例提供的一种基于星空地多模态数据融合的山火监测方法的场景示意图；
图3为本公开实施例提供的一种多帧连续成像特征特提取网络结构的结构示意图；
图4为本公开实施例提供的一种结合注意力机制的特征融合模型的结构示意图；
图5为本公开实施例提供的一种基于星空地多模态数据融合的山火监测装置的结构示例图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
本申请提出一种基于星空地多模态数据融合的山火监测方法，通过获取多源数据(包括：卫星数据：同步卫星、极轨卫星、资源卫星；空中数据：直升机、无人机、飞艇；地面数据：地面摄像头、气象站)、多源数据时空对齐、多源数据预处理、数据特征提取、特征融合和山火识别分类。本申请基于星空地多源数据进行特征提取融合进而对输电线路附近山火情况进行监测，多源数据融合监测可以通过相互验证提高火灾监测的准确性，充分利用星空和地面数据的优势，可以提高火灾监测的全面性、准确性和实时性，对于采取及时有效的措施应对火灾具有重要意义。下面结合图1进行详细描述。
具体的，图1为本公开实施例提供的一种基于星空地多模态数据融合的山火监测方法的流程示意图，该方法可以由基于星空地多模态数据融合的山火监测装置执行，其中该装置可以采用软件和/或硬件实现，一般可集成在电子设备中。如图1所示，该方法包括：
步骤101、获取星空地多模态数据；其中，星空地多模态数据包括卫星平台采集的遥感影像数据、空中平台采集的第一视频数据和第一图片数据、地面平台采集第二视频数据、第二图片数据和气象文本数据。
具体的，星空地多模态数据包括卫星平台、空中平台、地面平台3大类平台采集的山火监测数据，其中，卫星平台包括同步卫星、极轨卫星、资源卫星，提供的数据类型包括遥感影像数据，空中平台包括直升机、无人机、飞艇，提供的数据类型包括视频数据、图片数据，地面平台包括地面摄像头、气象监测站，提供的数据类型包括视频数据、图片数据和气象文本数据。
步骤102、对星空地多模态数据进行时空匹配，得到待处理多源数据数。
具体的，星空地多模态数据可能使用不同的时间戳格式或地理坐标，需要将它们统一转化为标准的时间格式(如UTC)和坐标系统(如WGS84)下。参照星空地监测设备的特性，匹配时间和空间上相邻的数据作为融合监测的数据组。
步骤103、对待处理多源数据中的遥感影像数据进行辐射定标、大气校正和几何校正，得到目标遥感影像数据。
具体的，对进行时空匹配得到待处理多源数据中的遥感影像数据进行预处理，包括辐射定标、大气校正、几何校正，更具体的，辐射定标，将传感器记录的短波红外、中波红外、长波红外数据量化值(DN)分别转换为绝对辐射亮度(L)，具体公式如下：L＝DN×Gain+offset；其中，Gain为波段的增益系数，offset为波段的偏置系数。大气校正，消除由大气影响所造成的辐射误差，将获取的绝对辐射亮度计算地物真实的辐射亮度和表面反射率。几何校正，纠正系统和非系统因素引起的像元相对地面实际位置产生的挤压、伸展、扭曲或偏移，将获取的真实辐射亮度和表面反射率数据的几何位置进行校正。
步骤104、对待处理多源数据中的第一视频数据和第二视频数据进行样本采样、样本标准化和尺度规范，得到目标视频数据。
步骤105、对待处理多源数据中的第一图片数据和第二图片数据进行样本标准化和尺度规范，得到目标图片数据。
步骤106、对待处理多源数据中的气象文本数据进行异常缺省值清理和数据归一化，得到目标气象文本数据。
具体的，遥感影像预处理，对时空匹配后的视频数据进行预处理，包括样本采样、样本标准化和尺度规范；视频数据预处理，对时空匹配后的图像数据进行预处理，包括样本标准化和尺度规范；图像数据预处理，对时空匹配后的文本数据进行预处理，包括异常缺省值清理、数据归一化。
在一些实施例中，对第一视频数据和第二视频数据进行间隔采样，得到多帧图片，按照预设的图像均值和标准差对多帧图片进行标准化操作，得到多帧标准化图片，根据多帧标准化图片中最大宽度值和最大高度值对多帧标准化图片进行尺寸规范，得到目标视频数据。
具体的，样本采样，对视频数据采用间隔采样方案获取单帧图片，比如采样间隔为16帧；样本标准化，对上述获取到单帧图片进行标准化操作，采用图像均值和标准差均匀化图片数据分布，其中，比如图像均值设置为(0.485，0.456，0.406)，比如标准差设置为(0.229，0.224，0.225)；尺寸规范，对于给定的N个样本(图片)，记录样本中最大的宽L和高H，N个创建值全为0尺寸为L×H的张量，在维度0上进行连接操作，在纵轴方向上堆叠批量维度为N的张量。
步骤107、对目标遥感影像数据、目标视频数据、目标图片数据和目标气象文本数据分别进行遥感影像特征提取、视频数据序列特征提取、图像数据特征提和文本特征提取，得到多模态数据特征。
具体的，数据特征提取包括遥感影像特征提取、视频数据序列特征提取、图像数据特征提和文本特征提取。
在一些实施例中，对于遥感数据和图像数据，采用卷积神经网络对目标遥感影像数据和目标图片数据进行特征提取，得到第一模态数据特征和第二模态数据特征；采用多帧连续成像特征特提取网络获取目标视频数据中的动态特征信息作为第三模态数据特征；将目标气象文本数据按照时间序列构造多参量递归图输入卷积神经网络进行特征提取，得到第四模态数据特征；将第一模态数据特征、第二模态数据特征、第三模态数据特征和第四模态数据特征作为多模态数据特征。
具体的，对于遥感数据和图像数据，采用卷积神经网络，比如模型包括两个卷积层(Conv2d)、最大池化层(MaxPool2d)和一个全连接层(Linear)，卷积层使用ReLU激活函数，而全连接层的输出维度为64。对于视频数据，采用多帧连续成像特征特提取网络获取视频数据中的动态特征信息，视频数据特征提取将上述处理后的多帧数据作为输入，将浅层特这个经DarkNetConv2D_BN_Leaky模块提取浅层特征，然后经过注意力机制模块和深层模块进行提取。DBL模块结构为一个卷积层、BatchNormalization归一化和一个Leaky ReLU激活函数依次堆叠。对于文本数据，与山火检测相关的传感器数据包括温度、相对湿度、风向、风速、降水量、日照时长等，按照时间序列构造多参量递归图，然后使用卷积神经网络进行特征提取。
步骤108、对多模态数据特征进行特征融合，得到多模态融合特征。
具体的，对获取的多模态数据特征，结合注意力机制的特征融合得到多模态融合特征。
在一些实施例中，将维度为N*1的第一模态数据特征、第二模态数据特征、第三模态数据特征和第四模态数据特征输入卷积核大小为1*1、通道数为64的积模块，根据公式(1)进行加权融合计算，得到融合特征；其中，公式(1)为其中，Xi、Yi、Zi、Gi维度为N*1*64；αi、βi、γi、γi为模型训练得到的各特征权重；在注意力机制层，将4N*1*64维度的融合特征Fadd通过卷积核大小为1*1的卷积层得到N*1*64维度的特征图，并与相同维度的深层特征进行堆叠，得到N*1*64维度的融合特征图Fhigh-low，再分别将融合特征图进行处理得到/>后进行转置得到/>并施加矩阵乘法得到特征矩阵Fω作为所述多模态融合特征。
具体的，将遥感影像特征提取模型输出的特征记为Featurel，视频特征提取模型输出的特征记为Feature2，图像特征提取模型输出的特征记为Feature3，文本特征提取模型输出的特征记为Feature4。首先，将维度为N*1的Featurel、Feature2、Feature3、Feature4四个特征送入卷积核大小为1*1、通道数为64的积模块，根据如下公式可得维度为N*1*64的特征输出。将四个维度为N*1*64的特征采用如下公式进行加权融合得到融合特征Fadd。其中，Xi、Yi、Zi、Gi维度为N*1*64。αi、βi、γi、γi为模型训练得到的各特征权重。在注意力机制层,将4N*1*64维度的浅层特征Fadd通过卷积核大小为1*1的卷积层得到N*1*64维度的特征图，并与相同维度的深层特征进行堆叠，即可得到N*1*64维度的融合特征图Fhigh-low，再分别将其进行整形重塑得到/>进行转置得到/>并施加矩阵乘法得到特征矩阵Fω。
步骤109、将多模态融合特征输入全连接网络模型进行目标分类，得到山火识别结果；其中，山火识别结果包括是否有山火、山火位置和山火位置的置信度结果。
具体的，对得到的多模态融合特征送入全连接网络模型进行目标分类，得到是否有山火、山火位置、不同，山火位置的置信度结果。
在一些实施例中，设置决策树，对多模态数据特征训练样本进行类别监测，在存在类别缺失的情况下，对多模态数据特征训练样本进行融合之前随机选取其他不丢失类别中和丢失维度数目相等数量测量参数对多模态数据特征训练样本进行填充处理后进行全连接网络模型训练得到测量序列模型权重，以保证后续识别结果的精确性。
具体的，在实际工程应用中监测数据的完整性难以保证，首先制定决策树，将目标的红外测量数据分为四类：遥感数据、视频数据、图像数据、文本数据，当上述数据中某一类数据缺失时，则随机选取其他不丢失类别中和丢失维度数目相等数量测量参数对数据进行填充。将星空地多监测数据送入模型，经过决策树判断，按照数据丢失类别选择补充方案进行模型训练得到测量序列模型权重，即根据缺失的类型分类进行训练，比如有遥感数据、视频数据、图像数据、文本数据四种数据类型，针对一组数据只有遥感数据、视频数据、图像数据的数据，那么补齐文本数据，进行训练得到模型1权重(通常权重不同对应的模型1不同)；然后针对一组只有遥感数据、视频数据、文本数据的数据，那么就补齐图像数据，进行训练得到模型2权重，也就是说，在数据类别缺失的情况下还可以获取不同的已训练模型进行后续分类处理，进一步满足用户需求。
作为一种场景举例，如图2所示，包括：步骤1星空地多模态数据获取。所采用的星空地多模态数据包括卫星平台、空中平台、地面平台3大类平台采集的山火监测数据，其中卫星数据使用Landsat8的红外波段遥感影像，空中数据使用无人机红外视频数据，地面平台包括地面摄像头的可见光图像和气象文本数据。步骤2多源数据时空匹配：星空地多源数据可能使用不同的时间戳格式或地理坐标，需要将它们统一转化为标准的UTC时间格式和WGS84坐标系统。
步骤3多源数据预处理。遥感影像预处理，对所述步骤2中匹配后的遥感影像数据进行预处理，包括辐射定标、大气校正、几何校正；视频数据预处理，对所述步骤2中匹配的后视频数据进行预处理，包括样本采样、样本标准化和尺度规范；图像数据预处理，对所述步骤2中匹配后的图像数据进行预处理，包括样本标准化和尺度规范；文本数据预处理，对所述步骤2中匹配后的文本数据进行预处理，包括异常缺省值清理、数据归一化。
具体的，步骤3.1样本采样，对视频数据采用间隔采样方案获取单帧图片，采样间隔默认为16帧；步骤3.2样本标准化，对上述步骤3.1获取到单帧图片进行标准化操作，采用图像均值和标准差均匀化图片数据分布，其中图像均值设置为(0.485，0.456，0.406)，标准差设置为(0.229，0.224，0.225)；步骤3.3尺寸规范，对于给定的N个样本，记录样本中最大的宽L和高H，N个创建值全为0尺寸为L×H的张量，在维度0上进行连接操作，在纵轴方向上堆叠批量维度为N的张量。
步骤4数据特征提取，特征包括遥感影像特征提取、视频数据序列特征提取、图像数据特征提和文本特征提取。具体的，步骤4.1对于遥感数据和图像数据，采用卷积神经网络，模型包括两个卷积层(Conv2d)、最大池化层(MaxPool2d)和一个全连接层(Linear)，卷积层使用ReLU激活函数，而全连接层的输出维度为64。步骤4.2对于视频数据，采用多帧连续成像特征特提取网络获取视频数据中的动态特征信息，视频数据特征提取将上述处理后的多帧数据作为输入，将浅层特这个经DarkNetConv2D_BN_Leaky模块提取浅层特征，然后经过注意力机制模块和深层模块进行提取。DBL模块结构为一个卷积层、BatchNormalization归一化和一个Leaky ReLU激活函数依次堆叠，如图3所示的多帧连续成像特征特提取网络结构。步骤4.3对于文本数据，与山火检测相关的传感器数据包括温度、相对湿度、风向、风速、降水量、日照时长等，按照时间序列构造多参量递归图，然后使用卷积神经网络进行特征提取。
步骤5特征融合，对所述步骤5中获取的多源多模态数据特征，结合注意力机制的特征融合得到多模态融合特征。具体的，步骤5.1将遥感影像特征提取模型输出的特征记为Featurel，视频特征提取模型输出的特征记为Feature2，图像特征提取模型输出的特征记为Feature3，文本特征提取模型输出的特征记为Feature4。首先，将维度为N*1的Featurel、Feature2、Feature3、Feature4四个特征送入卷积核大小为1*1、通道数为64的积模块，根据如下公式可得维度为N*1*64的特征输出。步骤5.2将四个维度为N*1*64的特征采用如下公式进行加权融合得到融合特征Fadd。其中，Xi、Yi、Zi、Gi维度为N*1*64。αi、βi、γi、γi为模型训练得到的各特征权重。步骤5.3在注意力机制层，将4N*1*64维度的浅层特征Fadd通过卷积核大小为1*1的卷积层得到N*1*64维度的特征图，并与相同维度的深层特征进行堆叠，即可得到N*1*64维度的融合特征图Fhigh-low，再分别将其进行整形重塑得到/>进行转置得到/>并施加矩阵乘法得到特征矩阵Fω，如图4所示的结合注意力机制的特征融合模型。
步骤6山火识别分类，对所述步骤6中得到的多模态融合特征送入全连接网络模型进行目标分类，得到是否有山火、山火位置、不同，山火位置的置信度结果。
本公开实施例提供的基于星空地多模态数据融合的山火监测方案，获取星空地多模态数据；其中，星空地多模态数据包括卫星平台采集的遥感影像数据、空中平台采集的第一视频数据和第一图片数据、地面平台采集第二视频数据、第二图片数据和气象文本数据，对星空地多模态数据进行时空匹配，得到待处理多源数据，对待处理多源数据中的遥感影像数据进行辐射定标、大气校正和几何校正，得到目标遥感影像数据，对待处理多源数据中的第一视频数据和第二视频数据进行样本采样、样本标准化和尺度规范，得到目标视频数据，对待处理多源数据中的第一图片数据和第二图片数据进行样本标准化和尺度规范，得到目标图片数据，对待处理多源数据中的气象文本数据进行异常缺省值清理和数据归一化，得到目标气象文本数据，对目标遥感影像数据、目标视频数据、目标图片数据和目标气象文本数据分别进行遥感影像特征提取、视频数据序列特征提取、图像数据特征提和文本特征提取，得到多模态数据特征，对多模态数据特征进行特征融合，得到多模态融合特征，将多模态融合特征输入全连接网络模型进行目标分类，得到山火识别结果；其中，山火识别结果包括是否有山火、山火位置和山火位置的置信度结果。由此，与最接近的现有技术相比，本申请全局视角与局部详细信息结合，星空数据提供了全球范围的视角，能够捕捉大范围的火灾分布情况，地面数据则提供了更高分辨率的、局部细致的信息，能够捕捉火灾现场的详细情况、以及本申请从遥感影像、文本、图像、视频等多种数据类型中获取信息，实现信息的转化和融合，从而提升山火监测模型性能和决策准确率；另外，利用目标多模态特征之间的互补特性以充分挖掘目标的深层特征，从而提高识别模型的鲁棒性和动态适应性，有效提高了平均识别概率和精度，在输电线路山火监测中，该方法对于发现早期山火点，实现山火的高精度识别判性，减少输电线路山火跳闸具有重要意义。
图5为本公开实施例提供的一种基于星空地多模态数据融合的山火监测装置的结构示意图，该装置可由软件和/或硬件实现，一般可集成在电子设备中。如图5所示，该装置包括：
获取模块501，用于获取星空地多模态数据；其中，所述星空地多模态数据包括卫星平台采集的遥感影像数据、空中平台采集的第一视频数据和第一图片数据、地面平台采集第二视频数据、第二图片数据和气象文本数据；
匹配模块502，用于对所述星空地多模态数据进行时空匹配，得到待处理多源数据；
第一预处理模块503，用于对所述待处理多源数据中的遥感影像数据进行辐射定标、大气校正和几何校正，得到目标遥感影像数据；
第二预处理模块504，用于对所述待处理多源数据中的第一视频数据和第二视频数据进行样本采样、样本标准化和尺度规范，得到目标视频数据；
第三预处理模块505，用于对所述待处理多源数据中的第一图片数据和第二图片数据进行样本标准化和尺度规范，得到目标图片数据；
第四预处理模块506，用于对所述待处理多源数据中的气象文本数据进行异常缺省值清理和数据归一化，得到目标气象文本数据；
提取模块507，用于对所述目标遥感影像数据、所述目标视频数据、所述目标图片数据和所述目标气象文本数据分别进行遥感影像特征提取、视频数据序列特征提取、图像数据特征提和文本特征提取，得到多模态数据特征；
融合模块508，用于对所述多模态数据特征进行特征融合，得到多模态融合特征；
分类模块509，用于将所述多模态融合特征输入全连接网络模型进行目标分类，得到山火识别结果；其中，所述山火识别结果包括是否有山火、山火位置和山火位置的置信度结果。
可选的，所述第二预处理模块504，具体用于：
对所述第一视频数据和所述第二视频数据进行间隔采样，得到多帧图片；
按照预设的图像均值和标准差对所述多帧图片进行标准化操作，得到多帧标准化图片；
根据所述多帧标准化图片中最大宽度值和最大高度值对所述多帧标准化图片进行尺寸规范，得到所述目标视频数据。
可选的，所述提取模块507，具体用于：
对于遥感数据和图像数据，采用卷积神经网络对所述目标遥感影像数据和所述目标图片数据进行特征提取，得到第一模态数据特征和第二模态数据特征；
采用多帧连续成像特征特提取网络获取所述目标视频数据中的动态特征信息作为第三模态数据特征；
将所述目标气象文本数据按照时间序列构造多参量递归图输入卷积神经网络进行特征提取，得到第四模态数据特征；
将所述第一模态数据特征、所述第二模态数据特征、所述第三模态数据特征和所述第四模态数据特征作为所述多模态数据特征。
可选的，所述融合模块508，具体用于：
将维度为N*1的所述第一模态数据特征、所述第二模态数据特征、所述第三模态数据特征和所述第四模态数据特征输入卷积核大小为1*1、通道数为64的积模块，根据公式(1)进行加权融合计算，得到融合特征；
其中，公式(1)为其中，Xi、Yi、Zi、Gi维度为N*1*64；αi、βi、γi、γi为模型训练得到的各特征权重；
在注意力机制层，将4N*1*64维度的融合特征Fadd通过卷积核大小为1*1的卷积层得到N*1*64维度的特征图，并与相同维度的深层特征进行堆叠，得到N*1*64维度的融合特征图Fhigh-low，再分别将融合特征图进行处理得到后进行转置得到并施加矩阵乘法得到特征矩阵Fω作为所述多模态融合特征。
可选的，所述装置，还包括：
设置模块，用于设置决策树；
监测模块，用于对所述多模态数据特征训练样本进行类别监测；
填充模块，用于在存在类别缺失的情况下，对所述多模态数据特征训练样本进行融合之前随机选取其他不丢失类别中和丢失维度数目相等数量测量参数对所述多模态数据特征训练样本进行填充处理后进行所述全连接网络模型训练得到测量序列模型权重。
本公开实施例所提供的基于星空地多模态数据融合的山火监测系统可执行本公开任意实施例所提供的基于星空地多模态数据融合的山火监测方法，具备执行方法相应的功能模块和有益效果。
本公开实施例还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现本公开任意实施例所提供的基于星空地多模态数据融合的山火监测方法。
根据本公开的一个或多个实施例，本公开提供了一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现如本公开提供的任一所述的基于星空地多模态数据融合的山火监测方法。
根据本公开的一个或多个实施例，本公开提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如本公开提供的任一所述的基于星空地多模态数据融合的山火监测方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (10)

1.一种基于星空地多模态数据融合的山火监测方法，其特征在于，包括：
获取星空地多模态数据；其中，所述星空地多模态数据包括卫星平台采集的遥感影像数据、空中平台采集的第一视频数据和第一图片数据、地面平台采集第二视频数据、第二图片数据和气象文本数据；
对所述星空地多模态数据进行时空匹配，得到待处理多源数据；
对所述待处理多源数据中的遥感影像数据进行辐射定标、大气校正和几何校正，得到目标遥感影像数据；
对所述待处理多源数据中的第一视频数据和第二视频数据进行样本采样、样本标准化和尺度规范，得到目标视频数据；
对所述待处理多源数据中的第一图片数据和第二图片数据进行样本标准化和尺度规范，得到目标图片数据；
对所述待处理多源数据中的气象文本数据进行异常缺省值清理和数据归一化，得到目标气象文本数据；
对所述目标遥感影像数据、所述目标视频数据、所述目标图片数据和所述目标气象文本数据分别进行遥感影像特征提取、视频数据序列特征提取、图像数据特征提和文本特征提取，得到多模态数据特征；
对所述多模态数据特征进行特征融合，得到多模态融合特征；
将所述多模态融合特征输入全连接网络模型进行目标分类，得到山火识别结果；其中，所述山火识别结果包括是否有山火、山火位置和山火位置的置信度结果。
2.根据权利要求1所述的基于星空地多模态数据融合的山火监测方法，其特征在于，所述对所述待处理多源数据中的第一视频数据和第二视频数据进行样本采样、样本标准化和尺度规范，得到目标视频数据，包括：
对所述第一视频数据和所述第二视频数据进行间隔采样，得到多帧图片；
按照预设的图像均值和标准差对所述多帧图片进行标准化操作，得到多帧标准化图片；
根据所述多帧标准化图片中最大宽度值和最大高度值对所述多帧标准化图片进行尺寸规范，得到所述目标视频数据。
3.根据权利要求1所述的基于星空地多模态数据融合的山火监测方法，其特征在于，所述对所述目标遥感影像数据、所述目标视频数据、所述目标图片数据和所述目标气象文本数据分别进行遥感影像特征提取、视频数据序列特征提取、图像数据特征提和文本特征提取，得到多模态数据特征，包括：
对于遥感数据和图像数据，采用卷积神经网络对所述目标遥感影像数据和所述目标图片数据进行特征提取，得到第一模态数据特征和第二模态数据特征；
采用多帧连续成像特征特提取网络获取所述目标视频数据中的动态特征信息作为第三模态数据特征；
将所述目标气象文本数据按照时间序列构造多参量递归图输入卷积神经网络进行特征提取，得到第四模态数据特征；
将所述第一模态数据特征、所述第二模态数据特征、所述第三模态数据特征和所述第四模态数据特征作为所述多模态数据特征。
4.根据权利要求3所述的基于星空地多模态数据融合的山火监测方法，其特征在于，所述对所述多模态数据特征进行特征融合，得到多模态融合特征，包括：
将维度为N*1的所述第一模态数据特征、所述第二模态数据特征、所述第三模态数据特征和所述第四模态数据特征输入卷积核大小为1*1、通道数为64的积模块，根据公式(1)进行加权融合计算，得到融合特征；
其中，公式(1)为其中，Xi、Yi、Zi、Gi维度为N*1*64；αi、βi、γi、γi为模型训练得到的各特征权重；
在注意力机制层，将4N*1*64维度的融合特征Fadd通过卷积核大小为1*1的卷积层得到N*1*64维度的特征图，并与相同维度的深层特征进行堆叠，得到N*1*64维度的融合特征图Fhigh-low，再分别将融合特征图进行处理得到后进行转置得到并施加矩阵乘法得到特征矩阵Fω作为所述多模态融合特征。
5.根据权利要求4所述的基于星空地多模态数据融合的山火监测方法，其特征在于，还包括：
设置决策树；
对多模态数据特征训练样本进行类别监测；
在存在类别缺失的情况下，对所述多模态数据特征训练样本进行融合之前随机选取其他不丢失类别中和丢失维度数目相等数量测量参数对所述多模态数据特征训练样本进行填充处理后进行所述全连接网络模型训练得到测量序列模型权重。
6.一种基于星空地多模态数据融合的山火监测装置，其特征在于，包括：
获取模块，用于获取星空地多模态数据；其中，所述星空地多模态数据包括卫星平台采集的遥感影像数据、空中平台采集的第一视频数据和第一图片数据、地面平台采集第二视频数据、第二图片数据和气象文本数据；
匹配模块，用于对所述星空地多模态数据进行时空匹配，得到待处理多源数据；
第一预处理模块，用于对所述待处理多源数据中的遥感影像数据进行辐射定标、大气校正和几何校正，得到目标遥感影像数据；
第二预处理模块，用于对所述待处理多源数据中的第一视频数据和第二视频数据进行样本采样、样本标准化和尺度规范，得到目标视频数据；
第三预处理模块，用于对所述待处理多源数据中的第一图片数据和第二图片数据进行样本标准化和尺度规范，得到目标图片数据；
第四预处理模块，用于对所述待处理多源数据中的气象文本数据进行异常缺省值清理和数据归一化，得到目标气象文本数据；
提取模块，用于对所述目标遥感影像数据、所述目标视频数据、所述目标图片数据和所述目标气象文本数据分别进行遥感影像特征提取、视频数据序列特征提取、图像数据特征提和文本特征提取，得到多模态数据特征；
融合模块，用于对所述多模态数据特征进行特征融合，得到多模态融合特征；
分类模块，用于将所述多模态融合特征输入全连接网络模型进行目标分类，得到山火识别结果；其中，所述山火识别结果包括是否有山火、山火位置和山火位置的置信度结果。
7.根据权利要求6所述的基于星空地多模态数据融合的山火监测装置，其特征在于，所述第二预处理模块，具体用于：
对所述第一视频数据和所述第二视频数据进行间隔采样，得到多帧图片；
按照预设的图像均值和标准差对所述多帧图片进行标准化操作，得到多帧标准化图片；
根据所述多帧标准化图片中最大宽度值和最大高度值对所述多帧标准化图片进行尺寸规范，得到所述目标视频数据。
8.根据权利要求6所述的基于星空地多模态数据融合的山火监测装置，其特征在于，所述提取模块，具体用于：
对于遥感数据和图像数据，采用卷积神经网络对所述目标遥感影像数据和所述目标图片数据进行特征提取，得到第一模态数据特征和第二模态数据特征；
采用多帧连续成像特征特提取网络获取所述目标视频数据中的动态特征信息作为第三模态数据特征；
将所述目标气象文本数据按照时间序列构造多参量递归图输入卷积神经网络进行特征提取，得到第四模态数据特征；
将所述第一模态数据特征、所述第二模态数据特征、所述第三模态数据特征和所述第四模态数据特征作为所述多模态数据特征。
9.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-5中任一所述的基于星空地多模态数据融合的山火监测方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-5中任一所述的基于星空地多模态数据融合的山火监测方法。
CN202311687544.5A 2023-12-08 2023-12-08 一种基于星空地多模态数据融合的山火监测方法和装置 Pending CN117574317A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311687544.5A CN117574317A (zh) 2023-12-08 2023-12-08 一种基于星空地多模态数据融合的山火监测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311687544.5A CN117574317A (zh) 2023-12-08 2023-12-08 一种基于星空地多模态数据融合的山火监测方法和装置

Publications (1)

Publication Number Publication Date
CN117574317A true CN117574317A (zh) 2024-02-20

Family

ID=89886298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311687544.5A Pending CN117574317A (zh) 2023-12-08 2023-12-08 一种基于星空地多模态数据融合的山火监测方法和装置

Country Status (1)

Country Link
CN (1) CN117574317A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117953313A (zh) * 2024-03-26 2024-04-30 贵州大学 基于人工智能实现矿山数据的异常识别方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117953313A (zh) * 2024-03-26 2024-04-30 贵州大学 基于人工智能实现矿山数据的异常识别方法及系统

Similar Documents

Publication Publication Date Title
US10452951B2 (en) Active visual attention models for computer vision tasks
CN113705108B (zh) 实时滑坡灾害监测预警方法及系统
CN117574317A (zh) 一种基于星空地多模态数据融合的山火监测方法和装置
CN111985455A (zh) 一种光伏组件可见光故障模型的训练和识别方法及装置
CN108629368B (zh) 一种基于联合深度融合的多模态地基云分类方法
CN103761704B (zh) 基于红外遥感数据的图像生成方法和系统
CN114255407B (zh) 基于高分辨率的反无人机多目标识别和跟踪视频探测方法
CN111444801A (zh) 一种无人机红外目标实时检测方法
CN108898070A (zh) 一种基于无人机平台的高光谱遥感提取薇甘菊装置及方法
CN115240089A (zh) 一种航空遥感图像的车辆检测方法
CN111046756A (zh) 高分辨率遥感影像目标尺度特征的卷积神经网络检测方法
Vakalopoulou et al. Simultaneous registration, segmentation and change detection from multisensor, multitemporal satellite image pairs
Yang et al. Comparison of hyperspectral imagery with aerial photography and multispectral imagery for mapping broom snakeweed
CN114241328A (zh) 基于空天遥感数据融合的田间立地秸秆提取方法及装置
CN103870847A (zh) 一种低照度环境下对地监控的运动目标检测方法
CN113516177A (zh) 基于光谱纹理特征和支持向量机的小麦倒伏区域识别方法
CN116563844A (zh) 圣女果成熟度检测方法、装置、设备及存储介质
Li et al. Prediction of wheat gains with imagery from four-rotor UAV
CN116539001A (zh) 一种基于无人机的海上风电塔筒垂直度检测方法及系统
US20220215645A1 (en) Computer Vision Systems and Methods for Determining Roof Conditions from Imagery Using Segmentation Networks
CN115294467A (zh) 茶叶病害的检测方法及相关装置
CN115457313A (zh) 一种基于热红外图像分析光伏设备故障的方法及系统
Cao et al. Weather prediction using cloud’s images
CN113033446A (zh) 一种基于高分辨率遥感影像输电杆塔识别与定位方法
Wang et al. Framework to create cloud-free remote sensing data using passenger aircraft as the platform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination