CN117972337A - 基于多模态深度学习的农业气象灾害监测预测方法 - Google Patents

基于多模态深度学习的农业气象灾害监测预测方法 Download PDF

Info

Publication number
CN117972337A
CN117972337A CN202311714586.3A CN202311714586A CN117972337A CN 117972337 A CN117972337 A CN 117972337A CN 202311714586 A CN202311714586 A CN 202311714586A CN 117972337 A CN117972337 A CN 117972337A
Authority
CN
China
Prior art keywords
data
model
deep learning
monitoring
modal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311714586.3A
Other languages
English (en)
Inventor
周庆国
姜雪涛
江梅雨
吕锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanzhou University
Original Assignee
Lanzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanzhou University filed Critical Lanzhou University
Priority to CN202311714586.3A priority Critical patent/CN117972337A/zh
Publication of CN117972337A publication Critical patent/CN117972337A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02Agriculture; Fishing; Forestry; Mining

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Mining & Mineral Resources (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Animal Husbandry (AREA)
  • Agronomy & Crop Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于多模态深度学习的农业气象灾害监测预测方法,包括以下步骤:收集包含气象因素、农作物生长状况和土壤状况等数据;对文本和图像数据分别进行预处理,并提取数据特征和降维;将提取的特征输入到Transformer模型中进行预训练;将预训练的Transformer模型作为基础模型,然后在新数据中微调该模型;采用十折交叉验证、调整超参数等方法对多模态深度学习模型进行优化和调整。本发明能够整合多种类型的数据,包括气象数据、卫星图像、土壤信息等,综合考虑各种因素对农业气象灾害的影响,从而提高预测的准确性。利用深度学习技术的优势,可以学习不同模态数据之间的关联和特征,处理新数据时只需要微调就能得到预测结果,有利于加速训练过程。

Description

基于多模态深度学习的农业气象灾害监测预测方法
技术领域
本发明属于农业自然灾害预测技术领域,具体涉及一种基于多模态深度学习的农业气象灾害监测预测方法。
背景技术
农业气象灾害是指当天气变化时会引起自然灾害,进而引发农业灾害事故。我国在地域性与季风性气候的影响下,洪涝、干旱、高温和寒冷等气象灾害频发。由于气象灾害具有突发性、广泛性和持续性的特点,常常会带来一定经济损失。因此积极预防农业气象灾害,可以进一步确保农业生产的稳定性,减低不必要的损失,为农业生产活动创造更高效益。
农业气象灾害监测预测是灾害评估和防控的基础和前提,只有做到灾害的准确预测,才有可能对农业气象灾害进行有效防控,从而使灾害的损失降到最低程度。近些年来,随着我国农业现代化建设的不断深入,农业气象灾害监测预测技术方面的研究也在不断增加。在监测方面,地面监测技术以及遥感技术的研究推广提升了灾害监测的效率以及准确性。在预测方面,通过数理统计预报方法以及农业气象与气候相结合模式的研究为我国农业气象灾害的防控作出了巨大的贡献。但是我国对农业气象灾害的基础性研究以及监测的精细化等方面的研究仍旧存在不足。
现有农业气象灾害监测预测方法还存在一些问题。例如,气象灾害指标对致灾因子的概括性尚不足,灾害的形成通常情况下都是多种因素综合影响的结果,用单一要素指标一般很难准确描述灾害的程度。其次,对多模态数据尚未形成体系化、科学性的处理方法,无法有效学习各个模态的丰富特征。深度学习技术在图像识别、语音识别等领域取得了显著成果,然而在农业气象灾害监测预测方面的应用尚不充分。因此,提出一种基于多模态深度学习的农业气象灾害监测预测方法,具有十分重要的意义。
发明内容
为了克服现有技术的不足,本发明提供了一种基于多模态深度学习的农业气象灾害监测预测方法,旨在解决传统农业气象灾害监测预测方法无法有效处理多模态气象数据的问题,提高预测精度。
1.本发明提供一种基于多模态深度学习的农业气象灾害监测预测方法,其特征在于:包括以下步骤:
步骤1:通过多种传感器和遥感技术等手段收集包含气象因素(如温度、湿度、光照、降雨量等)、农作物生长状况(如叶面积指数、生物量等)、土壤状况(如土壤湿度、土壤温度等)等数据;并对多模态数据进行分类,把天气、土壤等统计数据归为文本数据(也成为数值型数据),将不同类型的遥感卫星数据归为图像数据;
步骤2:对收集到的文本数据进行清洗、去除异常值和噪声,通过标准化处理来消除数据间的尺度差异;对收集到的图像数据进行蒙版和填补,通过统一图像色相分布避免设备差异带来的不一致问题;并使用特征提取技术提取多模态数据中的重要特征以及降低数据的维度,这些特征可以反映不同模态数据之间的关联性和互补性;
步骤3:将提取的特征输入到Transformer模型中进行预训练,可以使模型学习到不同模态数据之间的内在联系和特征表示,有利于加速训练过程,减少计算资源和时间的消耗;
步骤4:将预训练的Transformer模型作为基础模型,将新的农业灾害相关的多模态数据集输入到基础模型中,对模型进行微调,并使用反向传播算法来优化模型的参数,以适应新的数据集;
步骤5:采用十折交叉验证、调整超参数等方法对多模态深度学习模型进行优化和调整;十折交叉验证将数据集分成十份,每次使用其中的一份作为测试数据,剩余的九份作为训练数据,通过多次重复验证,得到模型在各种不同数据上的性能表现,从而更好地评估模型的性能;通过调整学习率、批大小和隐藏层大小等超参数,进一步提高模型的性能。
2.根据权利要求1所述的一种基于多模态深度学习的农业气象灾害监测预测方法,其特征在于:步骤2所述标准化处理采用的是最大-最小归一化方法,如式(1)所示,将数据缩放至0到1之间;
其中,x是待归一化的值,x'是归一化后的值,max(x)和min(x)分别代表待归一化数据的最大值和最小值。
3.根据权利要求1所述的一种基于多模态深度学习的农业气象灾害监测预测方法,其特征在于:步骤2所述特征提取技术采用的是主成分分析技术,通过将数据投影到由特征向量组成的新空间中,来实现对数据的降维;这个新空间是由原始数据的协方差矩阵的特征向量组成的,称为特征子空间,投影的过程相当于将原始数据在这个特征子空间中进行线性变换,得到新的低维数据。
4.根据权利要求1所述的一种基于多模态深度学习的农业气象灾害监测预测方法,其特征在于:步骤3所述Transformer模型包括多个模态特定子网络,每个子网络负责处理一种模态的数据;使用多个Transformer编码器对输入数据进行编码,以捕捉数据中的时序和空间依赖关系,然后通过Transformer解码器对编码器输出的向量进行解码,以生成与输入序列相对应的输出序列,编码器和解码器都由多个自注意力层和前馈神经网络层组成,可以有效地处理序列数据;全连接层将不同模态的数据进行线性组合,以产生新的表示,该表示将传递给下一层进行处理。通过这种方式,每个子网络都可以从其他模态的数据中学习到有用的特征。
5.根据权利要求1所述的一种基于多模态深度学习的农业气象灾害监测预测方法,其特征在于:步骤4所述预训练模型是指在公开的气象、土壤和遥感数据上训练Transformer模型,通过学习数据的内在特征和规律,自动学习到一些通用的特征表示。
6.根据权利要求4所述的一种基于多模态深度学习的农业气象灾害监测预测方法,其特征在于:所述模态特定子网络包括双向LSTM神经网络和CNN神经网络,分别用来处理农业灾害相关的文本特征和图像特征,以捕捉不同模态数据的特定特征。
7.根据权利要求4所述的一种基于多模态深度学习的农业气象灾害监测预测方法,其特征在于:所述自注意力层对输入序列进行建模和表示,从而允许模型更好地理解和处理输入数据;通过自注意力层,模型可以有效地捕捉到序列中的重要特征,并将其编码为向量的形式。
8.根据权利要求4所述的一种基于多模态深度学习的农业气象灾害监测预测方法,其特征在于:所述前馈神经网络层采用全连接层和激活函数对自注意力层的输出进行进一步的处理和转换,全连接层将输入数据映射到隐藏层,然后使用激活函数对隐藏层进行非线性变换,以增加模型的表达能力。
有益效果:本发明与现有技术相比,其显著优点是:
本发明提供一种基于多模态深度学习的农业气象灾害监测预测方法,能够整合多种类型的数据,包括气象数据、卫星图像、土壤信息等,提供更全面的信息。综合考虑各种因素对农业气象灾害的影响,从而提高预测的准确性;本发明利用深度学习技术的优势,可以学习不同模态数据之间的关联和特征,处理新数据时只需要微调就能得到预测结果,有利于加速训练过程,减少计算资源和时间的消耗。
附图说明
图1是基于多模态深度学习的农业气象灾害监测预测方法的流程图。
图2是基于多模态深度学习的农业气象灾害监测预测方法中模态特定子网络结构图。
图3是基于多模态深度学习的农业气象灾害监测预测方法中Transformer模型结构图。
具体实施方式
下面结合实例和附图对本发明的一种基于多模态深度学习的农业气象灾害监测预测方法做出详细说明。
本发明所述的一种基于多模态深度学习的农业气象灾害监测预测方法,流程图如图1所示,该预测方法包括以下步骤:
步骤1:使用空气温度传感器、空气湿度传感器、光照传感器、雨量传感器等传感器收集气象数据,使用卫星、飞行器和无人机等获取农作物生长状况,使用土壤墒情检测仪获取土壤状况。并对多模态数据进行分类,把天气、土壤等统计数据归为文本数据(也成为数值型数据),将不同类型的遥感数据归为图像数据。
步骤2:对收集到的文本数据进行清洗、去除异常值和噪声,使用最大-最小归一化方法来消除数据间的尺度差异。对收集到的图像数据进行蒙版和填补,通过统一图像色相分布避免设备差异带来的不一致问题。并使用主成分分析技术来提取多模态数据中的重要特征以及降低数据的维度,这些特征可以反映不同模态数据之间的关联性和互补性。
步骤3:将提取的特征输入到Transformer模型中进行预训练,图3是Transformer模型结构图。使用多个Transformer编码器对输入数据进行编码,以捕捉数据中的时序和空间依赖关系,然后通过Transformer解码器对编码器输出的向量进行解码,以生成与输入序列相对应的输出序列,编码器和解码器都由多个自注意力层和前馈神经网络层组成,可以有效地处理序列数据。
图2是模态特定子网络的结构图,Transformer模型包括多个模态特定子网络,每个子网络负责处理一种模态的数据。这些子网络由双向LSTM神经网络和CNN神经网络组成,分别用来处理农业灾害相关的文本特征和图像特征,以捕捉不同模态数据的特定特征。全连接层将不同模态的数据进行线性组合,以产生新的表示,该表示将传递给下一层进行处理。
步骤4:将预训练的Transformer模型作为基础模型,将新的农业灾害相关的多模态数据集输入到基础模型中,对模型进行微调,并使用反向传播算法来优化模型的参数,以适应新的数据集。
步骤5:将数据集分成十份,每次使用其中的一份作为测试数据,剩余的九份作为训练数据,通过多次重复验证,得到模型在各种不同数据上的性能表现。通过调整学习率、批大小和隐藏层大小等超参数,进一步提高模型的性能。

Claims (7)

1.本发明提供一种基于多模态深度学习的农业气象灾害监测预测方法,其特征在于:包括以下步骤:
步骤1:通过多种传感器和遥感技术等手段收集包含气象因素(如温度、湿度、光照、降雨量等)、农作物生长状况(如叶面积指数、生物量等)、土壤状况(如土壤湿度、土壤温度等)等数据;并对多模态数据进行分类,把天气、土壤等统计数据归为文本数据(也成为数值型数据),将不同类型的遥感卫星数据归为图像数据;
步骤2:对收集到的文本数据进行清洗、去除异常值和噪声,通过标准化处理来消除数据间的尺度差异;对收集到的图像数据进行蒙版和填补,通过统一图像色相分布避免设备差异带来的不一致问题;并使用特征提取技术提取多模态数据中的重要特征以及降低数据的维度,这些特征可以反映不同模态数据之间的关联性和互补性;
步骤3:将提取的特征输入到Transformer模型中进行预训练,可以使模型学习到不同模态数据之间的内在联系和特征表示,有利于加速训练过程,减少计算资源和时间的消耗;
步骤4:使用预训练的Transformer模型作为基础模型,将新的农业灾害相关的多模态数据集输入到基础模型中,对模型进行微调,并使用反向传播算法来优化模型的参数,以适应新的数据集;
步骤5:采用十折交叉验证、调整超参数等方法对多模态深度学习模型进行优化和调整;十折交叉验证将数据集分成十份,每次使用其中的一份作为测试数据,剩余的九份作为训练数据,通过多次重复验证,得到模型在各种不同数据上的性能表现,从而更好地评估模型的性能;通过调整学习率、批大小和隐藏层大小等超参数,进一步提高模型的性能。
2.根据权利要求1所述的一种基于多模态深度学习的农业气象灾害监测预测方法,其特征在于:步骤2所述标准化处理采用的是最大-最小归一化方法,如式(1)所示,将数据缩放至0到1之间;
其中,x是待归一化的值,x'是归一化后的值,max(x)和min(x)分别代表待归一化数据的最大值和最小值。
3.根据权利要求1所述的一种基于多模态深度学习的农业气象灾害监测预测方法,其特征在于:步骤2所述特征提取技术采用的是主成分分析技术,通过将数据投影到由特征向量组成的新空间中,来实现对数据的降维;这个新空间是由原始数据的协方差矩阵的特征向量组成的,称为特征子空间,投影的过程相当于将原始数据在这个特征子空间中进行线性变换,得到新的低维数据。
4.根据权利要求1所述的一种基于多模态深度学习的农业气象灾害监测预测方法,其特征在于:步骤3所述Transformer模型包括多个模态特定子网络,每个子网络负责处理一种模态的数据;使用多个Transformer编码器对输入数据进行编码,以捕捉数据中的时序和空间依赖关系,然后通过Transformer解码器对编码器输出的向量进行解码,以生成与输入序列相对应的输出序列,编码器和解码器都由多个自注意力层和前馈神经网络层组成,可以有效地处理序列数据;全连接层将不同模态的数据进行线性组合,以产生新的表示,该表示将传递给下一层进行处理,通过这种方式,每个子网络都可以从其他模态的数据中学习到有用的特征。
5.根据权利要求1所述的一种基于多模态深度学习的农业气象灾害监测预测方法,其特征在于:步骤4所述预训练模型是指在公开的气象、土壤和遥感数据上训练Transformer模型,通过学习数据的内在特征和规律,自动学习到一些通用的特征表示。
6.根据权利要求4所述的一种基于多模态深度学习的农业气象灾害监测预测方法,其特征在于:所述模态特定子网络包括双向LSTM神经网络和CNN神经网络,分别用来处理农业灾害相关的文本特征和图像特征,以捕捉不同模态数据的特定特征。
7.根据权利要求4所述的一种基于多模态深度学习的农业气象灾害监测预测方法,其特征在于:所述自注意力层对输入序列进行建模和表示,从而允许模型更好地理解和处理输入数据;通过自注意力层,模型可以有效地捕捉到序列中的重要特征,并将其编码为向量的形式。
根据权利要求4所述的一种基于多模态深度学习的农业气象灾害监测预测方法,其特征在于:所述前馈神经网络层采用全连接层和激活函数对自注意力层的输出进行进一步的处理和转换,全连接层将输入数据映射到隐藏层,然后使用激活函数对隐藏层进行非线性变换,以增加模型的表达能力。
CN202311714586.3A 2023-12-13 2023-12-13 基于多模态深度学习的农业气象灾害监测预测方法 Pending CN117972337A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311714586.3A CN117972337A (zh) 2023-12-13 2023-12-13 基于多模态深度学习的农业气象灾害监测预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311714586.3A CN117972337A (zh) 2023-12-13 2023-12-13 基于多模态深度学习的农业气象灾害监测预测方法

Publications (1)

Publication Number Publication Date
CN117972337A true CN117972337A (zh) 2024-05-03

Family

ID=90844928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311714586.3A Pending CN117972337A (zh) 2023-12-13 2023-12-13 基于多模态深度学习的农业气象灾害监测预测方法

Country Status (1)

Country Link
CN (1) CN117972337A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118540670A (zh) * 2024-07-19 2024-08-23 四川科锐得电力通信技术有限公司 一种基于无线传输的气象测风仪的气象数据回传方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118540670A (zh) * 2024-07-19 2024-08-23 四川科锐得电力通信技术有限公司 一种基于无线传输的气象测风仪的气象数据回传方法
CN118540670B (zh) * 2024-07-19 2024-09-17 四川科锐得电力通信技术有限公司 一种基于无线传输的气象测风仪的气象数据回传方法

Similar Documents

Publication Publication Date Title
CN113627266B (zh) 基于Transformer时空建模的视频行人重识别方法
CN117972337A (zh) 基于多模态深度学习的农业气象灾害监测预测方法
Lee et al. Applying machine learning methods to detect convection using Geostationary Operational Environmental Satellite-16 (GOES-16) advanced baseline imager (ABI) data
CN117540908B (zh) 基于大数据的农业资源整合方法和系统
CN113269182A (zh) 一种基于变体transformer对小区域敏感的目标果实检测方法及系统
CN106326925A (zh) 一种基于深度学习网络的苹果病变图像识别方法
AU2021105840A4 (en) Method for predicting typhoon track
CN114065996A (zh) 基于变分自编码学习的交通流预测方法
CN116578761B (zh) 基于深度学习的大数据智能分析方法
CN110046756B (zh) 基于小波去噪与Catboost的短时天气预报方法
CN116911419A (zh) 一种基于趋势相关性特征学习的长时序预测方法
CN117975002A (zh) 一种基于多尺度伪标签融合的弱监督图像分割方法
CN111242028A (zh) 基于U-Net的遥感图像地物分割方法
CN113536373B (zh) 一种脱敏气象数据的生成方法
CN103279581B (zh) 一种利用紧凑视频主题描述子进行视频检索的方法
CN117612025B (zh) 基于扩散模型的遥感图像屋顶识别方法
CN117833216A (zh) 基于混合神经网络的光伏电站发电功率预测方法及装置
CN113343861A (zh) 一种基于神经网络模型的遥感图像水体区域提取方法
CN116561609A (zh) 一种基于时空特征提取的稀疏站点空气质量混合预测模型
CN117332887A (zh) 一种新型水稻产量预估方法
CN116796250A (zh) 一种混叠无线信号智能识别与分离方法及系统
CN115081586B (zh) 基于时间和空间注意力的光伏发电时序预测方法及系统
CN116310581A (zh) 一种半监督变化检测洪涝识别方法
CN111144464B (zh) 基于CNN-Kmeans算法水果自动识别方法
CN114168822A (zh) 一种时间序列数据聚类模型建立及时间序列数据聚类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination