CN116245227A - 逐日气象干旱预测方法、装置、存储介质和设备 - Google Patents
逐日气象干旱预测方法、装置、存储介质和设备 Download PDFInfo
- Publication number
- CN116245227A CN116245227A CN202310051582.5A CN202310051582A CN116245227A CN 116245227 A CN116245227 A CN 116245227A CN 202310051582 A CN202310051582 A CN 202310051582A CN 116245227 A CN116245227 A CN 116245227A
- Authority
- CN
- China
- Prior art keywords
- meteorological
- preset
- drought
- training
- weather
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Abstract
本申请公开了一种逐日气象干旱预测方法、装置、存储介质和设备,该方法为:从气象站点的逐日气象要素数据库中,获取发生在待测日期之前、且时间连续的预设数量个日期的特征要素,特征要素包括预设气象要素的观测值;将发生在待测日期之前、且时间连续的各个日期的预设气象要素的观测值,输入至气象干旱预测模型中,得到气象干旱预测模型输出的当前干旱预测结果,其中,当前干旱预测结果用于指示待测日期的气象干旱等级。该方法利用气象站点的逐日气象观测数据,对LSTM模型进行训练,得到高精度的气象干旱预测模型,该气象干旱预测模型能够以发生在待测时期之前的各个日期的预设气象要素的观测值作为依据,准确预测待测日期的气象干旱等级。
Description
技术领域
本申请涉及自然灾害预测领域,尤其涉及一种逐日气象干旱预测方法、装置、存储介质和设备。
背景技术
气象干旱指:某段时间内,由于蒸散量和降水量的收支不平衡,水分支出大于水分收入而造成的地表水分短缺的现象。气象干旱作为一种典型的气象灾害,利用人工智能方法进行气象干旱预测也是国家级气象灾害风险系统要重点探索方向之一。
现有的气象干旱预测技术,主要通过构建线性回归模型预测气象干旱。然而,受限于线性回归模型自身因素影响,线性回归模型难以准确预测气象干旱的干旱程度,对气象干旱的预测精度较低。
发明内容
本申请提供了一种逐日气象干旱预测方法、装置、存储介质和设备,目的在于准确预测气象干旱的干旱程度。
为了实现上述目的,本申请提供了以下技术方案:
一种逐日气象干旱预测方法,包括:
从气象站点的逐日气象要素数据库中,获取发生在待测日期之前、且时间连续的预设数量个日期的特征要素;所述特征要素为预设气象要素的观测值;
将发生在所述待测日期之前、且时间连续的各个日期的预设气象要素的观测值,输入至气象干旱预测模型中,得到所述气象干旱预测模型输出的当前干旱预测结果;其中,所述气象干旱预测模型基于发生在预设历史时间段内、且时间连续的多个日期的预设气象要素的观测值作为LSTM模型的输入,并以针对所述预设历史时间段内各个日期,预先标注的气象干旱等级作为训练目标,预先训练得到;所述当前干旱预测结果用于指示所述待测日期的气象干旱等级。
可选的,所述基于发生在预设历史时间段内、且时间连续的多个日期的预设气象要素的观测值作为LSTM模型的输入,并以针对所述预设历史时间段内各个日期,预先标注的气象干旱等级作为训练目标,预先训练得到所述气象干旱预测模型的过程,包括:
预先定义LSTM模型的超参数、优化算法、损失函数;所述超参数包括时间窗口大小、输出维度、神经元个数、输入层的激活函数、隐藏层的激活函数、输出层的激活函数、丢弃率、隐藏层层数、训练代数、训练批大小;所述优化算法为Adam模型优化算法;所述损失函数为交叉熵损失函数;
基于所述时间窗口大小、所述输出维度、所述神经元个数、所述输入层的激活函数、所述隐藏层的激活函数、所述输出层的激活函数、所述丢弃率、所述隐藏层层数、所述训练代数、所述训练批大小,编译生成所述LSTM模型;
基于发生在预设历史时间段内、且时间连续的多个日期的预设气象要素的观测值,作为所述LSTM模型的输入,并以针对所述预设历史时间段内各个日期,预先标注的气象干旱等级作为训练目标,使用所述Adm模型优化算法和所述交叉熵损失函数,对所述LSTM模型进行训练,得到所述气象干旱预测模型。
可选的,所述基于发生在预设历史时间段内、且时间连续的多个日期的预设气象要素的观测值,作为所述LSTM模型的输入,包括:
获取气象站点在预设历史时间段内采集的逐日气象观测数据;所述逐日气象观测数据包括发生在所述预设历史时间段内、且时间连续的多个日期的各类气象要素的观测值;所述各类气象要素包括降水、平均气温、日照时数、2m平均风速、平均相对湿度、蒸发、气象干旱综合指数;
对各类气象要素进行全组合,得到多种候选特征要素;所述候选特征要素包括各类气象要素之间的任意一种组合;
利用发生在所述预设历史时间段内、且时间连续的多个日期的各种候选特征要素,对所述LSTM模型进行训练,得到与每种所述候选特征要素对应的候选LSTM模型;
利用混淆矩阵,计算各种所述候选LSTM模型的分类指标;
选择与分类指标最高的候选LSTM模型对应的候选特征要素,作为预设气象要素;其中,所述预设气象要素包括降水、平均气温;
基于发生在所述预设历史时间段内、且时间连续的多个日期的降水观测值、平均气温观测值,作为所述LSTM模型的输入。
可选的,所述利用发生在所述预设历史时间段内、且时间连续的多个日期的各种候选特征要素,对所述LSTM模型进行训练,得到与每个所述候选特征要素对应的候选LSTM模型,包括:
对于每种候选特征要素,对发生在所述预设历史时间段内、且时间连续的多个日期的候选特征要素的观测值进行独热编码处理,以使各个所述日期的候选特征要素的观测值均为连续型数值;
将各个所述日期的候选特征要素的观测值,按照预先定义的时间窗口大小进行时态化处理,得到与每种所述候选特征要素对应的训练样本;
利用与每种所述候选特征要素对应的训练样本,对所述LSTM模型进行训练,得到与每种所述候选特征要素对应的候选LSTM模型。
可选的,所述基于所述时间窗口大小、所述输出维度、所述神经元个数、所述输入层的激活函数、所述隐藏层的激活函数、所述输出层的激活函数、所述丢弃率、所述隐藏层层数、所述训练代数、所述训练批大小,编译生成所述LSTM模型,包括:
创建超参数候选集合;所述超参数候选集合包括所述时间窗口大小、所述神经元个数、所述隐藏层层数、所述训练代数、所述训练批大小各自的多个候选取值;
对所述超参数候选集合中的各类超参数的候选取值进行全组合,得到多个优化参数;所述优化参数包括各类超参数的候选取值之间的任意一种组合;
基于预先定义的输入层的激活函数、隐藏层的激活函数、输出层的激活函数、丢弃率,以及各个所述优化参数,编译生成多个备用LSTM模型;
使用混淆矩阵,计算各个所述备用LSTM模型的分类指标;
将分类指标最高的备用LSTM模型,作为所述气象干旱预测模型训练过程中所使用的LSTM模型;其中,所述LSTM模型所使用的时间窗口大小为30天、隐藏层层数为2、神经元个数为10、训练代数为200、训练批大小为100。
可选的,所述使用混淆矩阵,计算各个所述备用LSTM模型的分类指标,包括:
对于每个所述备用LSTM模型,使用混淆矩阵,重复多次计算所述备用LSTM模型的F1得分;
选择取值最小的F1得分,作为所述备用LSTM模型的分类指标。
可选的,还包括:
获取所述气象站点生成的逐日气象预测数据;所述逐日气象预测数据包括发生在预设未来时间段内、且时间连续的预设数量个日期的预设气象要素的预测值;所述预设气象要素包括降水和平均气温;
将发生在所述预设未来时间段内、且时间连续的各个日期的降水预测值、平均气温预测值,输入至所述气象干旱模型中,得到所述气象干旱模型输出的未来干旱预测结果;所述未来干旱预测结果包括发生在所述预设未来时间段内的每个日期的气象干旱等级。
一种逐日气象干旱预测装置,包括:
要素获取单元,用于从气象站点的逐日气象要素数据库中,获取发生在待测日期之前、且时间连续的预设数量个日期的特征要素;所述特征要素为预设气象要素的观测值;
要素预测单元,用于将发生在所述待测日期之前、且时间连续的各个日期的预设气象要素的观测值,输入至气象干旱预测模型中,得到所述气象干旱预测模型输出的当前干旱预测结果;其中,所述气象干旱预测模型基于发生在预设历史时间段内、且时间连续的多个日期的预设气象要素的观测值作为LSTM模型的输入,并以针对所述预设历史时间段内各个日期,预先标注的气象干旱等级作为训练目标,预先训练得到;所述当前干旱预测结果用于指示所述待测日期的气象干旱等级。
一种计算机可读存储介质,所述计算机可读存储介质包括存储的程序,其中,所述程序被处理器运行时执行所述的逐日气象干旱预测方法。
一种逐日气象干旱预测设备,包括:处理器、存储器和总线;所述处理器与所述存储器通过所述总线连接;
所述存储器用于存储程序,所述处理器用于运行程序,其中,所述程序被处理器运行时执行所述的逐日气象干旱预测方法。
本申请提供的技术方案,从气象站点的逐日气象要素数据库中,获取发生在待测日期之前、且时间连续的预设数量个日期的特征要素,特征要素为预设气象要素的观测值。将发生在待测日期之前、且时间连续的各个日期的预设气象要素的观测值,输入至气象干旱预测模型中,得到气象干旱预测模型输出的当前干旱预测结果,其中,气象干旱预测模型基于发生在预设历史时间段内、且时间连续的多个日期的预设气象要素的观测值作为LSTM模型的输入,并以针对预设历史时间段内各个日期,预先标注的气象干旱等级作为训练目标,预先训练得到,当前干旱预测结果用于指示待测日期的气象干旱等级。本申请利用气象站点的逐日气象观测数据,对LSTM模型进行训练,得到高精度的气象干旱预测模型,该气象干旱预测模型能够以发生在待测时期之前的各个日期的预设气象要素的观测值作为依据,准确预测待测日期的气象干旱等级。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a为本申请实施例提供的一种逐日气象干旱预测方法的流程示意图;
图1b为本申请实施例提供的一种逐日气象干旱预测方法的流程示意图;
图1c为本申请实施例提供的一种逐日气象干旱预测方法的流程示意图;
图1d为本申请实施例提供的一种网络结构示意图;
图2为本申请实施例提供的另一种逐日气象干旱预测方法的流程示意图;
图3为本申请实施例提供的一种逐日气象干旱预测装置的架构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
如图1a、图1b和图1c所示,为本申请实施例提供的一种逐日气象干旱预测方法的流程示意图,包括如下所示步骤。
S101:预先定义长短时记忆网络(Long Short-TermMemory,LSTM)模型的超参数、优化算法、损失函数。
其中,超参数包括时间窗口大小、输出维度、神经元个数、输入层的激活函数、隐藏层的激活函数、输出层的激活函数、丢弃率(Dropout)、隐藏层层数、训练代数(Epoch)、训练批大小(Batchsize)。
时间窗口大小:使用预测气象干旱的时间窗口大小,如30就代表使用过去30天的数据来预测当天的气象干旱等级,选择不同的时间窗口大小可能会影响到模型的精度。
输出维度:即要预测的气象干旱等级的类别数,按气象干旱等级标准,气象干旱等级可分为无旱、轻旱、中旱、重旱、特旱五个等级,输出维度应相应地设置为5。
神经元个数:理论上神经元的个数越多,网络的感知能力越强,但过多的神经元,不仅导致模型训练工作量的增大,还容易出现模型过拟合的情况,一般输入层和隐藏层采用相同的神经元个数。
输入层的激活函数:可以使用Sigmoid、Tanh、ReLU等常用的激活函数,本实施例具体采用线性整流(ReLU)函数,ReLU函数的优点是只需要一个阀值就可以得到激活值,而不用去进行复杂的运算。
隐藏层的激活函数:同输入层一样,本实施例具体采用ReLU函数。
输出层的激活函数:由于LSTM模型是用于气象干旱等级的分类预测,是一个多分类问题,故应在输出层中采用Softmax激活函数,Softmax激活函数是用于多类分类问题的激活函数。
丢弃率:丢弃率是一种有效抑制过拟合的一种正则化手段,为了尽可能减少模型出现过拟合的概率,模型在训练时随机选出隐藏层的神经元,然后将其删除,被删除的神经元不再进行信号的传递,丢弃率随机删除了隐藏层的部分元素,所以输出层的计算无法过度依赖隐藏层的任意一个,从而在模型训练时起到了正则化作用。
隐藏层层数:隐藏层层数的多少代表的是对输入特征多层次抽象的程度,其最终的目的就是为了更好地抽取样本数据的特征以完成分类。
训练代数:一个代数表示将所有的数据在网络中完成了一次训练的过程,将所有数据迭代训练一次是不够的,需要反复多次才能拟合收敛。
训练批大小:在模型实际训练时,在数据量很大的情况下一次性将所有数据进行训练难度很大,可以将数据分成多个批次,每次送入一部分数据,训练批大小就是控制每次训练的样本个数。
具体的,定义各个超参数的具体实现逻辑可以为:
需要说明的是,上述具体实现逻辑仅仅用于举例说明。
此外,本实施例使用Adam模型优化算法来优化LSTM模型,且将LSTM模型的损毁函数设为交叉损失函数。一般来讲,交叉熵损失函数主要用于多分类模型的评估,一般和Softmax激活函数搭配使用,交叉熵损失函数的具体表达式如公式(1)所示。
S102:创建超参数候选集合。
其中,超参数候选集合包括时间窗口大小、神经元个数、隐藏层层数、训练代数、训练批大小各自的多个候选取值。
需要说明的是,LSTM模型的超参数对于模型得分值的提高非常重要,在确定训练样本的特征要素后,开始对时间窗口大小、神经元个数、隐藏层层数、训练代数和批大小五个超参数进行优选。为此,需要创建超参数候选集合。
具体的,超参数候选集合可以为:时间窗口大小的候选取值为[10,30,60,90,120,150],神经元个数的候选取值为[10,20],隐藏层个数的候选取值为[1,2,3],训练代数的候选取值为[100,200],训练批大小的候选取值为[100,300]。
一般来讲,时间窗口大小参考气象干旱等级国家标准中MCI的计算方法,考虑到MCI的计算最长用到了150天的标准化降水指数,因此,对于时间窗口大小的候选取值,具体可以设置为[10,30,60,90,120,150]。
S103:对超参数候选集合中的各类超参数的候选取值进行全组合,得到多个优化参数。
其中,优化参数包括各类超参数的候选取值之间的任意一种组合。
S104:基于预先定义的输入层的激活函数、隐藏层的激活函数、输出层的激活函数、丢弃率,以及各个优化参数,编译生成多个备用LSTM模型。
S105:使用混淆矩阵,计算各个备用LSTM模型的分类指标。
其中,所谓的混淆矩阵具体是指:对分类问题的预测结果的总结,使用计数值汇总正确和不正确预测的数量,并按照每个类别进行细分,混淆矩阵显示了分类模型在进行预测时会对哪一部分产生混淆,不仅能了解模型所犯的错误,更重要的是可以了解发生错误的类型,这种对结果的分解克服了仅使用分类准确率所带来的局限性。
分类指标包括但不限于为:精度(Accuracy)、查准率(Precision)、召回率(Recall)、F1得分。优选的,本实施例具体采用F1得分作为分类指标。
可选的,对于每个备用LSTM模型,使用混淆矩阵,重复多次计算备用LSTM模型的F1得分,并选择取值最小的F1得分,作为备用LSTM模型的分类指标。
需要说明的是,对LSTM模型精度影响比较大的两个超参数是时间窗口大小和隐藏层个数,且从时间窗口大小的角度来看,时间窗口大小越大反而会导致模型得分降低,此外,在除时间窗口大小之外其他超参数固定的情况下,时间窗口大小在10和30上的F1得分接近,而使用60、90、120、150更长的时间窗口大小反而导致得分降低,这在一定程度上可以说明对于气象干旱的形成是近30天内各气象要素累积的一个过程,而对LSTM模型本身来讲,增加隐藏层个数理论上虽然可以增加LSTM模型的能力,但从实践来看,隐藏层个数在1的时候分类指标比2和3反而更高,说明复杂的LSTM模型不一定会比简单的LSTM模型效果更好。
具体的,假设预先定义的输入层的激活函数、隐藏层的激活函数、输出层的激活函数、丢弃率,时间窗口大小为30、隐藏层层数为2、神经元个数为10、训练代数为200、训练批大小为100,编译生成第一备用LSTM模型,以及基于预先定义的输入层的激活函数、隐藏层的激活函数、输出层的激活函数、丢弃率,时间窗口大小为90、隐藏层层数为2、神经元个数为10、训练代数为200、训练批大小为100,编译生成第二备用LSTM模型,使用混淆矩阵计算第一备用LSTM模型和第二备用的LSTM模型的分类指标,如表1所示。
表1
第一备用LSTM模型 | 第二备用LSTM模型 | |
最低训练得分 | 0.51 | 0.81 |
最高训练得分 | 0.96 | 0.98 |
最低测试得分 | 0.15 | 0.74 |
最高测试得分 | 0.94 | 0.85 |
需要说明的是,上述表1所示内容仅仅用于举例说明,表1中所示的最低训练得分、最高训练得分、最低测试得分以及最高测试得分,均为分类指标的具体表达形式。具体的,最低训练得分代表模型的使用训练集训练时所得到F1得分的最小值,最高训练得分代表模型的使用训练集训练时所得到F1得分的最大值,最低测试得分代表模型的使用测试集训练时所得到F1得分的最小值,最高测试得分代表模型的使用测试集训练时所得到F1得分的最大值。
S106:将分类指标最高的备用LSTM模型,作为气象干旱预测模型训练过程中所使用的LSTM模型。
其中,LSTM模型所使用的时间窗口大小为30天、隐藏层层数为2、神经元个数为10、训练代数为200、训练批大小为100。
需要说明的是,对于表1所示的两种备用LSTM模型而言,可优先选择最低训练得分最高的备用LSTM模型,作为气象干旱预测模型训练过程中所使用的LSTM模型。具体的,本实施例中作为气象干旱预测模型训练过程中所使用的LSTM模型的网络架构,可以参见图1d所示。
S107:获取气象站点在预设历史时间段内采集的逐日气象观测数据。
其中,逐日气象观测数据包括发生在预设历史时间段内、且时间连续的多个日期的各类气象要素的观测值。
在本申请实施例中,可以从气象站点的逐日气象要素数据库中,获取气象站点在预设历史时间段内采集的逐日气象观测数据。
在本申请实施例中,各类气象要素包括0808降水(简称降水)、平均气温、日照时数、2m平均风速、平均相对湿度、蒸发、气象干旱综合指数(简称MCI)。
S108:对各类气象要素进行全组合,得到多种候选特征要素。
其中,候选特征要素包括各类气象要素之间的任意一种组合。
S109:利用发生在预设历史时间段内、且时间连续的多个日期的各种候选特征要素,对LSTM模型进行训练,得到与每种候选特征要素对应的候选LSTM模型。
可选的,对于每种候选特征要素,对发生在预设历史时间段内、且时间连续的多个日期的候选特征要素的观测值进行独热(one-hot)编码处理,以使各个日期的候选特征要素的观测值均为连续型数值;将各个日期的候选特征要素的观测值,按照预先定义的时间窗口大小进行时态化处理,得到与每种候选特征要素对应的训练样本;利用与每种候选特征要素对应的训练样本,对LSTM模型进行训练,得到与每种候选特征要素对应的候选LSTM模型。
需要说明的是,候选特征要素的观测值,即部分气象要素的观测值可能为离散型数值,无法作用于LSTM模型的训练过程,为此,需要对候选特征要素的观测值进行one-hot编码处理,以使候选特征要素的观测值均为连续型数值,从而确保候选特征要素的观测值均能作用于LSTM模型的训练过程。
在本申请实施例中,将各个日期的候选特征要素的观测值,按照预先定义的时间窗口大小进行时态化处理,得到与每种候选特征要素对应的训练样本,实质就是:将日期的气象干旱等级记为X变量,将日期的候选特征要素记为Y变量,将X变量和Y变量依次向后滑动到时间窗口大小,然后用滑动后的X变量和Y变量参加训练,记Yt为当前日期的气象干旱等级,Xt为当前日期的候选特征要素,按时间窗口的大小n滑动后形成的时态数据,记为与候选特征要素对应的训练样本。
具体的,以图3所示的多个日期的候选特征要素为例,训练样本的具体表达形式可以为:Yt,Xt→Yt,Xt-1,Yt-1,Xt-2,Yt-2,……Xt-n,Yt-n。
此外,经由时态化处理得到与各种候选特征要素对应的训练样本后,还需对各种训练样本进行标准化处理,以确保各种训练样本的格式统一。标准化处理的具体实现过程,为本领域技术人员所熟悉的公知常识,这里不再赘述。
S110:利用混淆矩阵,计算各种候选LSTM模型的分类指标。
可选的,对于每个候选LSTM模型,使用混淆矩阵,重复多次计算候选LSTM模型的F1得分,并选择取值最小的F1得分,作为候选LSTM模型的分类指标。
具体的,假设LSTM模型的时间窗口大小设为60、神经元个数为10、隐藏层层数设为3、训练代数设为100、训练批大小设为300,各种候选特征要素包括第一候选特征要素、第二候选特征要素、第三候选特征要素、第四候选特征要素、第五候选特征要素。
其中,第一候选特征要素包括要素组合1所示的各个气象要素,第二候选特征要素包括要素组合2所示的各个气象要素,第三候选特征要素包括要素组合3所示的各个气象要素,第四候选特征要素包括要素组合4所示的各个气象要素,第五候选特征要素包括要素组合5所示的各个气象要素。
要素组合1包括降水、平均气温、日照时数、2m平均风速、平均相对湿度、蒸发。
要素组合2包括降水、平均气温、日照时数、蒸发。
要素组合3包括降水、平均气温、日照时数。
要素组合4包括降水、平均气温,要素组合5包括降水。
使用混淆矩阵,计算得出5个候选LSTM模型的分类指标,如表2所示。
表2
要素组合1 | 要素组合2 | 要素组合3 | 要素组合4 | 要素组合5 | |
最低训练得分 | 0.06 | 0.40 | 0.06 | 0.51 | 0.00 |
最高训练得分 | 0.96 | 0.97 | 0.96 | 0.96 | 0.97 |
最低测试得分 | 0.00 | 0.02 | 0.00 | 0.15 | 0.00 |
最高测试得分 | 0.96 | 0.96 | 0.93 | 0.94 | 0.97 |
从表2可以看出,五种要素组合在训练集上表现不一,从最低训练得分来看,要素组合2和要素组合4相对表现较好。而在测试集上,要素组合1、要素组合3和要素组合5都出现了最低测试得分为0的情况,而要素组合4则表现稍好,最低测试得分为0.15。综合上述得分情况,可选择要素组合4所示的候选特征要素,作为训练样本的特征要素。
S111:选择与分类指标最高的候选LSTM模型对应的候选特征要素,作为预设气象要素。
其中,预设气象要素具体可以为降水、平均气温。
S112:基于发生在预设历史时间段内、且时间连续的多个日期的降水观测值、平均气温观测值,作为LSTM模型的输入,并以针对预设历史时间段内各个日期,预先标注的气象干旱等级作为训练目标,使用Adam模型优化算法和交叉熵损失函数,对LSTM模型进行训练,得到气象干旱预测模型。
S113:从气象站点的逐日气象要素数据库中,获取发生在待测日期之前、且时间连续的预设数量个日期的特征要素。
其中,特征要素包括降水观测值、平均气温观测值。
S114:将发生在待测日期之前、且时间连续的各个日期的降水观测值、平均气温观测值,输入至气象干旱预测模型中,得到气象干旱预测模型输出的当前干旱预测结果。
其中,当前干旱预测结果用于指示待测日期的气象干旱等级。
S115:获取所述气象站点生成的逐日气象预测数据。
其中,逐日气象预测数据包括发生在预设未来时间段内、且时间连续的预设数量个日期的预设气象要素的预测值,该预设气象要素包括降水和平均气温。
需要说明的是,逐日气象预测数据具体可以为S2S数据。
S116:将发生在预设未来时间段内、且时间连续的各个日期的降水预测值、平均气温预测值,输入至气象干旱模型中,得到气象干旱模型输出的未来干旱预测结果。
其中,未来干旱预测结果包括发生在预设未来时间段内的每个日期的气象干旱等级。
综上所述,本实施例利用气象站点的逐日气象观测数据,对LSTM模型进行训练,得到高精度的气象干旱预测模型,该气象干旱预测模型能够以发生在待测时期之前的各个日期的预设气象要素的观测值作为依据,准确预测待测日期的气象干旱等级。
需要说明的是,上述实施例提及的S101,为本申请实施例所示逐日气象干旱预测方法的一种可选的实现方式。此外,上述实施例提及的S102,也为本申请实施例所示逐日气象干旱预测方法的一种可选的实现方式。为此,上述实施例提及的流程,可以概括为图2所示的方法。
如图2所示,为本申请实施例提供的另一种逐日气象干旱预测方法的流程示意图,包括如下所示步骤。
S201:从气象站点的逐日气象要素数据库中,获取发生在待测日期之前、且时间连续的预设数量个日期的特征要素。
其中,特征要素为预设气象要素的观测值。
S202:将发生在待测日期之前、且时间连续的各个日期的预设气象要素的观测值,输入至气象干旱预测模型中,得到气象干旱预测模型输出的当前干旱预测结果。
其中,气象干旱预测模型基于发生在预设历史时间段内、且时间连续的多个日期的预设气象要素的观测值作为LSTM模型的输入,并以针对预设历史时间段内各个日期,预先标注的气象干旱等级作为训练目标,预先训练得到;当前干旱预测结果用于指示待测日期的气象干旱等级。
综上所述,本实施例利用气象站点的逐日气象观测数据,对LSTM模型进行训练,得到高精度的气象干旱预测模型,该气象干旱预测模型能够以发生在待测时期之前的各个日期的预设气象要素的观测值作为依据,准确预测待测日期的气象干旱等级。
与上述本申请实施例提供的逐日气象干旱预测方法相对应,本申请实施例还提供了一种逐日气象干旱预测装置。
如图3所示,为本申请实施例提供的一种逐日气象干旱预测装置的架构示意图,包括如下所示单元。
要素获取单元100,用于从气象站点的逐日气象要素数据库中,获取发生在待测日期之前、且时间连续的预设数量个日期的特征要素;特征要素为预设气象要素的观测值。
要素预测单元200,用于将发生在待测日期之前、且时间连续的各个日期的预设气象要素的观测值,输入至气象干旱预测模型中,得到气象干旱预测模型输出的当前干旱预测结果;其中,气象干旱预测模型基于发生在预设历史时间段内、且时间连续的多个日期的预设气象要素的观测值作为LSTM模型的输入,并以针对预设历史时间段内各个日期,预先标注的气象干旱等级作为训练目标,预先训练得到;当前干旱预测结果用于指示待测日期的气象干旱等级。
可选的,要素预测单元200具体用于:预先定义LSTM模型的超参数、优化算法、损失函数;超参数包括时间窗口大小、输出维度、神经元个数、输入层的激活函数、隐藏层的激活函数、输出层的激活函数、丢弃率、隐藏层层数、训练代数、训练批大小;优化算法为Adam模型优化算法;损失函数为交叉熵损失函数;基于时间窗口大小、输出维度、神经元个数、输入层的激活函数、隐藏层的激活函数、输出层的激活函数、丢弃率、隐藏层层数、训练代数、训练批大小,编译生成LSTM模型;基于发生在预设历史时间段内、且时间连续的多个日期的预设气象要素的观测值,作为LSTM模型的输入,并以针对预设历史时间段内各个日期,预先标注的气象干旱等级作为训练目标,使用Adm模型优化算法和交叉熵损失函数,对LSTM模型进行训练,得到气象干旱预测模型。
要素预测单元200具体用于:获取气象站点在预设历史时间段内采集的逐日气象观测数据;逐日气象观测数据包括发生在预设历史时间段内、且时间连续的多个日期的各类气象要素的观测值;各类气象要素包括降水、平均气温、日照时数、2m平均风速、平均相对湿度、蒸发、气象干旱综合指数;对各类气象要素进行全组合,得到多种候选特征要素;候选特征要素包括各类气象要素之间的任意一种组合;利用发生在预设历史时间段内、且时间连续的多个日期的各种候选特征要素,对LSTM模型进行训练,得到与每种候选特征要素对应的候选LSTM模型;利用混淆矩阵,计算各种候选LSTM模型的分类指标;选择与分类指标最高的候选LSTM模型对应的候选特征要素,作为预设气象要素;其中,预设气象要素包括降水、平均气温;基于发生在预设历史时间段内、且时间连续的多个日期的降水观测值、平均气温观测值,作为LSTM模型的输入。
要素预测单元200具体用于:对于每种候选特征要素,对发生在预设历史时间段内、且时间连续的多个日期的候选特征要素的观测值进行独热编码处理,以使各个日期的候选特征要素的观测值均为连续型数值;将各个日期的候选特征要素的观测值,按照预先定义的时间窗口大小进行时态化处理,得到与每种候选特征要素对应的训练样本;利用与每种候选特征要素对应的训练样本,对LSTM模型进行训练,得到与每种候选特征要素对应的候选LSTM模型。
要素预测单元200具体用于:创建超参数候选集合;超参数候选集合包括时间窗口大小、神经元个数、隐藏层层数、训练代数、训练批大小各自的多个候选取值;对超参数候选集合中的各类超参数的候选取值进行全组合,得到多个优化参数;优化参数包括各类超参数的候选取值之间的任意一种组合;基于预先定义的输入层的激活函数、隐藏层的激活函数、输出层的激活函数、丢弃率,以及各个优化参数,编译生成多个备用LSTM模型;使用混淆矩阵,计算各个备用LSTM模型的分类指标;将分类指标最高的备用LSTM模型,作为气象干旱预测模型训练过程中所使用的LSTM模型;其中,LSTM模型所使用的时间窗口大小为30天、隐藏层层数为2、神经元个数为10、训练代数为200、训练批大小为100。
要素预测单元200具体用于:对于每个备用LSTM模型,使用混淆矩阵,重复多次计算备用LSTM模型的F1得分;选择取值最小的F1得分,作为备用LSTM模型的分类指标。
要素预测单元200还用于:获取气象站点生成的逐日气象预测数据;逐日气象预测数据包括发生在预设未来时间段内、且时间连续的预设数量个日期的预设气象要素的预测值;预设气象要素包括降水和平均气温;将发生在预设未来时间段内、且时间连续的各个日期的降水预测值、平均气温预测值,输入至气象干旱模型中,得到气象干旱模型输出的未来干旱预测结果;未来干旱预测结果包括发生在预设未来时间段内的每个日期的气象干旱等级。
综上所述,本实施例利用气象站点的逐日气象观测数据,对LSTM模型进行训练,得到高精度的气象干旱预测模型,该气象干旱预测模型能够以发生在待测时期之前的各个日期的预设气象要素的观测值作为依据,准确预测待测日期的气象干旱等级。
本申请还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的程序,其中,程序执行上述本申请提供的逐日气象干旱预测方法。
本申请还提供了一种逐日气象干旱预测设备,包括:处理器、存储器和总线。处理器与存储器通过总线连接,存储器用于存储程序,处理器用于运行程序,其中,程序运行时执行上述本申请提供的逐日气象干旱预测方法。
本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算设备可读取存储介质中。基于这样的理解,本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一台计算设备(可以是个人计算机,服务器,移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种逐日气象干旱预测方法,其特征在于,包括:
从气象站点的逐日气象要素数据库中,获取发生在待测日期之前、且时间连续的预设数量个日期的特征要素;所述特征要素为预设气象要素的观测值;
将发生在所述待测日期之前、且时间连续的各个日期的预设气象要素的观测值,输入至气象干旱预测模型中,得到所述气象干旱预测模型输出的当前干旱预测结果;其中,所述气象干旱预测模型基于发生在预设历史时间段内、且时间连续的多个日期的预设气象要素的观测值作为LSTM模型的输入,并以针对所述预设历史时间段内各个日期,预先标注的气象干旱等级作为训练目标,预先训练得到;所述当前干旱预测结果用于指示所述待测日期的气象干旱等级。
2.根据权利要求1所述的方法,其特征在于,所述基于发生在预设历史时间段内、且时间连续的多个日期的预设气象要素的观测值作为LSTM模型的输入,并以针对所述预设历史时间段内各个日期,预先标注的气象干旱等级作为训练目标,预先训练得到所述气象干旱预测模型的过程,包括:
预先定义LSTM模型的超参数、优化算法、损失函数;所述超参数包括时间窗口大小、输出维度、神经元个数、输入层的激活函数、隐藏层的激活函数、输出层的激活函数、丢弃率、隐藏层层数、训练代数、训练批大小;所述优化算法为Adam模型优化算法;所述损失函数为交叉熵损失函数;
基于所述时间窗口大小、所述输出维度、所述神经元个数、所述输入层的激活函数、所述隐藏层的激活函数、所述输出层的激活函数、所述丢弃率、所述隐藏层层数、所述训练代数、所述训练批大小,编译生成所述LSTM模型;
基于发生在预设历史时间段内、且时间连续的多个日期的预设气象要素的观测值,作为所述LSTM模型的输入,并以针对所述预设历史时间段内各个日期,预先标注的气象干旱等级作为训练目标,使用所述Adm模型优化算法和所述交叉熵损失函数,对所述LSTM模型进行训练,得到所述气象干旱预测模型。
3.根据权利要求2所述的方法,其特征在于,所述基于发生在预设历史时间段内、且时间连续的多个日期的预设气象要素的观测值,作为所述LSTM模型的输入,包括:
获取气象站点在预设历史时间段内采集的逐日气象观测数据;所述逐日气象观测数据包括发生在所述预设历史时间段内、且时间连续的多个日期的各类气象要素的观测值;所述各类气象要素包括降水、平均气温、日照时数、2m平均风速、平均相对湿度、蒸发、气象干旱综合指数;
对各类气象要素进行全组合,得到多种候选特征要素;所述候选特征要素包括各类气象要素之间的任意一种组合;
利用发生在所述预设历史时间段内、且时间连续的多个日期的各种候选特征要素,对所述LSTM模型进行训练,得到与每种所述候选特征要素对应的候选LSTM模型;
利用混淆矩阵,计算各种所述候选LSTM模型的分类指标;
选择与分类指标最高的候选LSTM模型对应的候选特征要素,作为预设气象要素;其中,所述预设气象要素包括降水、平均气温;
基于发生在所述预设历史时间段内、且时间连续的多个日期的降水观测值、平均气温观测值,作为所述LSTM模型的输入。
4.根据权利要求2所述的方法,其特征在于,所述利用发生在所述预设历史时间段内、且时间连续的多个日期的各种候选特征要素,对所述LSTM模型进行训练,得到与每个所述候选特征要素对应的候选LSTM模型,包括:
对于每种候选特征要素,对发生在所述预设历史时间段内、且时间连续的多个日期的候选特征要素的观测值进行独热编码处理,以使各个所述日期的候选特征要素的观测值均为连续型数值;
将各个所述日期的候选特征要素的观测值,按照预先定义的时间窗口大小进行时态化处理,得到与每种所述候选特征要素对应的训练样本;
利用与每种所述候选特征要素对应的训练样本,对所述LSTM模型进行训练,得到与每种所述候选特征要素对应的候选LSTM模型。
5.根据权利要求2所述的方法,其特征在于,所述基于所述时间窗口大小、所述输出维度、所述神经元个数、所述输入层的激活函数、所述隐藏层的激活函数、所述输出层的激活函数、所述丢弃率、所述隐藏层层数、所述训练代数、所述训练批大小,编译生成所述LSTM模型,包括:
创建超参数候选集合;所述超参数候选集合包括所述时间窗口大小、所述神经元个数、所述隐藏层层数、所述训练代数、所述训练批大小各自的多个候选取值;
对所述超参数候选集合中的各类超参数的候选取值进行全组合,得到多个优化参数;所述优化参数包括各类超参数的候选取值之间的任意一种组合;
基于预先定义的输入层的激活函数、隐藏层的激活函数、输出层的激活函数、丢弃率,以及各个所述优化参数,编译生成多个备用LSTM模型;
使用混淆矩阵,计算各个所述备用LSTM模型的分类指标;
将分类指标最高的备用LSTM模型,作为所述气象干旱预测模型训练过程中所使用的LSTM模型;其中,所述LSTM模型所使用的时间窗口大小为30天、隐藏层层数为2、神经元个数为10、训练代数为200、训练批大小为100。
6.根据权利要求5所述的方法,其特征在于,所述使用混淆矩阵,计算各个所述备用LSTM模型的分类指标,包括:
对于每个所述备用LSTM模型,使用混淆矩阵,重复多次计算所述备用LSTM模型的F1得分;
选择取值最小的F1得分,作为所述备用LSTM模型的分类指标。
7.根据权利要求1所述的方法,其特征在于,还包括:
获取所述气象站点生成的逐日气象预测数据;所述逐日气象预测数据包括发生在预设未来时间段内、且时间连续的预设数量个日期的预设气象要素的预测值;所述预设气象要素包括降水和平均气温;
将发生在所述预设未来时间段内、且时间连续的各个日期的降水预测值、平均气温预测值,输入至所述气象干旱模型中,得到所述气象干旱模型输出的未来干旱预测结果;所述未来干旱预测结果包括发生在所述预设未来时间段内的每个日期的气象干旱等级。
8.一种逐日气象干旱预测装置,其特征在于,包括:
要素获取单元,用于从气象站点的逐日气象要素数据库中,获取发生在待测日期之前、且时间连续的预设数量个日期的特征要素;所述特征要素为预设气象要素的观测值;
要素预测单元,用于将发生在所述待测日期之前、且时间连续的各个日期的预设气象要素的观测值,输入至气象干旱预测模型中,得到所述气象干旱预测模型输出的当前干旱预测结果;其中,所述气象干旱预测模型基于发生在预设历史时间段内、且时间连续的多个日期的预设气象要素的观测值作为LSTM模型的输入,并以针对所述预设历史时间段内各个日期,预先标注的气象干旱等级作为训练目标,预先训练得到;所述当前干旱预测结果用于指示所述待测日期的气象干旱等级。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的程序,其中,所述程序被处理器运行时执行权利要求1-7任一所述的逐日气象干旱预测方法。
10.一种逐日气象干旱预测设备,其特征在于,包括:处理器、存储器和总线;所述处理器与所述存储器通过所述总线连接;
所述存储器用于存储程序,所述处理器用于运行程序,其中,所述程序被处理器运行时执行权利要求1-7任一所述的逐日气象干旱预测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310051582.5A CN116245227A (zh) | 2023-02-02 | 2023-02-02 | 逐日气象干旱预测方法、装置、存储介质和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310051582.5A CN116245227A (zh) | 2023-02-02 | 2023-02-02 | 逐日气象干旱预测方法、装置、存储介质和设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116245227A true CN116245227A (zh) | 2023-06-09 |
Family
ID=86623563
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310051582.5A Pending CN116245227A (zh) | 2023-02-02 | 2023-02-02 | 逐日气象干旱预测方法、装置、存储介质和设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116245227A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117272182A (zh) * | 2023-08-16 | 2023-12-22 | 南京信息工程大学 | 一种逐日气温的预测方法、装置、介质及设备 |
CN117370272A (zh) * | 2023-10-25 | 2024-01-09 | 浙江星汉信息技术股份有限公司 | 基于档案热度的档案管理方法、装置、设备及存储介质 |
-
2023
- 2023-02-02 CN CN202310051582.5A patent/CN116245227A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117272182A (zh) * | 2023-08-16 | 2023-12-22 | 南京信息工程大学 | 一种逐日气温的预测方法、装置、介质及设备 |
CN117272182B (zh) * | 2023-08-16 | 2024-03-15 | 南京信息工程大学 | 一种逐日气温的预测方法、装置、介质及设备 |
CN117370272A (zh) * | 2023-10-25 | 2024-01-09 | 浙江星汉信息技术股份有限公司 | 基于档案热度的档案管理方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116245227A (zh) | 逐日气象干旱预测方法、装置、存储介质和设备 | |
CN111539515B (zh) | 一种基于故障预测的复杂装备维修决策方法 | |
CN111178611B (zh) | 一种日电量预测的方法 | |
Jalalkamali | Using of hybrid fuzzy models to predict spatiotemporal groundwater quality parameters | |
CN113570138B (zh) | 一种时间卷积网络的设备剩余使用寿命预测方法及装置 | |
CN111950585A (zh) | 一种基于XGBoost的地下综合管廊安全状况评估方法 | |
CN106127242A (zh) | 基于集成学习的年极端降水预测系统及其预测方法 | |
CN110175416A (zh) | 基于主成分分析和神经网络的三峡水库水温预测方法 | |
CN113344288B (zh) | 梯级水电站群水位预测方法、装置及计算机可读存储介质 | |
CN113743016B (zh) | 基于自编码器和回声状态网络的发动机剩余寿命预测方法 | |
CALP | A hybrid ANFIS-GA approach for estimation of regional rainfall amount | |
CN106896219A (zh) | 基于变压器油中溶解气体数据的变压器亚健康状态识别及平均剩余寿命估计方法 | |
CN115510963A (zh) | 一种增量式设备故障诊断方法 | |
CN115564114A (zh) | 一种基于图神经网络的空域碳排放短期预测方法及系统 | |
CN108961460B (zh) | 基于稀疏esgp与多目标优化的故障预测方法及装置 | |
CN114169434A (zh) | 一种负荷预测方法 | |
CN115034485A (zh) | 一种基于数据空间的风电功率区间预测方法及装置 | |
Ge et al. | An improved PF remaining useful life prediction method based on quantum genetics and LSTM | |
CN113858566B (zh) | 一种基于机器学习的注塑机能耗预测方法及系统 | |
CN111783242A (zh) | 一种基于rvm-kf的滚动轴承剩余寿命预测方法及装置 | |
CN117010942B (zh) | 基于神经网络和线性模型的农产品销售预测方法和系统 | |
CN115907079B (zh) | 一种基于注意力时空图卷积网络的空域交通流量预测方法 | |
CN116432856A (zh) | 基于cnn-glstm模型的管道动态预警方法及装置 | |
CN108830407B (zh) | 多工况条件下结构健康监测中的传感器分布优化方法 | |
CN113657726B (zh) | 基于随机森林的人员的危险性分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |