CN109376913A - 降水量的预测方法及装置 - Google Patents

降水量的预测方法及装置 Download PDF

Info

Publication number
CN109376913A
CN109376913A CN201811159571.4A CN201811159571A CN109376913A CN 109376913 A CN109376913 A CN 109376913A CN 201811159571 A CN201811159571 A CN 201811159571A CN 109376913 A CN109376913 A CN 109376913A
Authority
CN
China
Prior art keywords
data
precipitation
history
precipitation data
normalized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811159571.4A
Other languages
English (en)
Inventor
陈亮
李林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing MetarNet Technologies Co Ltd
Original Assignee
Beijing MetarNet Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing MetarNet Technologies Co Ltd filed Critical Beijing MetarNet Technologies Co Ltd
Priority to CN201811159571.4A priority Critical patent/CN109376913A/zh
Publication of CN109376913A publication Critical patent/CN109376913A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/14—Rainfall or precipitation gauges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Environmental & Geological Engineering (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Hydrology & Water Resources (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)
  • Development Economics (AREA)

Abstract

本发明实施例提供一种降水量的预测方法及装置，其中方法包括：获取目标区域内日粒度的历史降水量数据，所述日粒度的历史降水量数据的最后一个数据为预测时间前一天的降水量数据；对历史降水量数据进行归一化处理，获得归一化处理后的历史降水量数据；将所述归一化处理后的历史降水量数据输入至预先训练完成的神经网络模型中，获得预测时间的降水量数据。本发明实施例加强了对历史数据的感知能力，弥补了现有技术的不足，具有较强的泛化能力和较高的预报精度。

Description

降水量的预测方法及装置
技术领域
本发明涉及气象预测方法，更具体地，涉及降水量的预测方法及装置。
背景技术
洪涝和干旱等严重气象灾害一方面威胁了人民群众的人身和财产安全，另一方面也影响和制约了我国的经济社会发展。同时，准确的降水量预报也为水能发电、农林业灌溉等水利资源高效利用提供重要参考依据。因此，降水量预报的准确程度已成为影响国计民生的重要因素之一。提高降水量预报准确度越来越成为气象预报领域的十分重要的方向。
然而，气象变化是一种物理形成过程异常复杂多变的自然现象，受到时间和空间因素的多重影响，仅影响降水的影响因子就达到上百个特征。目前，常用降水量统计预报方法有多元线性时滞回归方法、遗传因子分析方法、模糊处理分析方法等。以上方法均存在或多或少理论上的局限性。以多元线性时滞回归方法为例，该模型方法虽可建立多元影响特征，但线性模型的本质决定其无法较好拟合高维空间中的非线性曲面。因此已有方法预测准确度较低，泛化能力较差，应用效果有待提高。
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的降水量的预测方法及装置。
第一个方面，本发明实施例提供一种降水量的预测方法，包括：
获取目标区域内日粒度的历史降水量数据，所述日粒度的历史降水量数据的最后一个数据为预测时间前一天的降水量数据；
对历史降水量数据进行归一化处理，获得归一化处理后的历史降水量数据；
将所述归一化处理后的历史降水量数据输入至预先训练完成的神经网络模型中，获得预测时间的降水量数据；
其中，所述神经网络模型的训练方法包括：将归一化处理后的历史降水量数据按照时间先后顺序依次切分为训练集、测试集和验证集；构建LSTM-RNN结构的深度神经网络模型，根据所述训练集、测试集和验证集对所述深度神经网络模型进行训练、测试和验证。
第二个方面，本发明实施例提供一种降水量的预测装置，包括：
数据获取模块，用于获取目标区域内日粒度的历史降水量数据，所述日粒度的历史降水量数据的最后一个数据为预测时间前一天的降水量数据；
归一化处理模块，用于对历史降水量数据进行归一化处理，获得归一化处理后的历史降水量数据；
预测模块，用于将所述归一化处理后的历史降水量数据输入至预先训练完成的神经网络模型中，获得预测时间的降水量数据；
其中，所述神经网络模型的训练方法包括：将归一化处理后的历史降水量数据按照时间先后顺序依次切分为训练集、测试集和验证集；构建LSTM-RNN结构的深度神经网络模型，根据所述训练集、测试集和验证集对所述深度神经网络模型进行训练、测试和验证
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明实施例提供的降水量的预测方法及装置，使用LSTM单元构建LSTM-RNN神经网络模型，通过获取目标区域内日粒度的历史降水量数据作为神经网络模型的训练样本，加强了对历史数据的感知能力，弥补了现有技术的不足，具有较强的泛化能力，具有较高的预报精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例提供降水量的预测方法的流程示意图；
图2为根据本发明实施例提供的降水量的预测装置的结构示意图；
图3为根据本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了克服现有技术的上述问题，本发明实施例提供了一种降水量的预测方法，其发明构思为：使用LSTM单元构建LSTM-RNN神经网络模型，通过获取目标区域内日粒度的历史降水量数据作为神经网络模型的训练样本，加强了对历史数据的感知能力，弥补了现有技术的不足，具有较强的泛化能力，具有较高的预报精度。
图1为根据本发明实施例提供的降水量的预测方法的流程示意图，如图所示，包括
S101、获取目标区域内日粒度的历史降水量数据，日粒度的历史降水量数据的最后一个数据为预测时间前一天的降水量数据。
本发明实施例获取的历史降水量数据是日粒度的，即获取的是历史上以天为单位的降水量。此外，本发明实施例获取的历史降水数据的最后一个数据是预测时间前一天的降水量，例如，预测目标区域2018年8月8号的降水量，获取的是2000年1月1日至2018年8月7号的降水量。在一些情况下，本发明实施例的预测窗口是可调节的，即可以预测多日，例如一周，甚至一个月的降水量，这种情况下获取的历史降水数据的最后一个数据同样是预测时间前一天的降水量，例如，预测目标区域2018年8月的降水量，获取的是2000年1月1日至2018年7月31号的降水量。
S102、对历史降水量数据进行归一化处理，获得归一化处理后的历史降水量数据；
通过对历史降水量进行归一化处理，最优解的寻优过程明显会变得平缓，更容易正确的收敛到最优解。
S103、将归一化处理后的历史降水量数据输入至预先训练完成的神经网络模型中，获得预测时间的降水量数据。其中，神经网络模型的训练方法包括：将归一化处理后的历史降水量数据按照时间先后顺序依次切分为训练集、测试集和验证集；构建LSTM-RNN结构的深度神经网络模型，根据训练集、测试集和验证集对深度神经网络模型进行训练、测试和验证。
需要说明的是，本发明实施例的神经网络模型为LSTM-RNN结构，LSTM(LongShort-Term Memory，长短期记忆网络)，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。对于降水量预测来说，由于历史数据获取的越多，相当于预测日期的同期数据获取的越多，预测结果也会越准确，因此采用LSTM神经网络模型相比其他神经网络模型，更容易获得降水量的特征信息，进而预测出准确的结果。
本发明实施例将历史降水量数据按照时间先后信息依次切分为训练集(trainset)、测试集(test set)和验证集(validation set)。其中，训练集用于建立模型，通过拟合寻找模型的初始参数，训练集建立一个模型，但是模型的效果仅体现了训练数据，但不一定适合同类的其他数据，所以建模前数据还分出验证集，通过让机器学习去优化调整模型的参数，在神经网络中，通常用验证集去寻找最优的网络深度(number ofhidden layers)，或者决定反向传播算法的停止点；在机器学习中，常用的交叉验证(Cross Validation)就是把训练数据集本身再细分成不同的验证数据集去训练模型。测试集用于评估模型的表现，并不会去调整优化模型。训练集、测试集和验证集的比例可以为50∶25∶25。在一个可选实施例中，训练集、测试机和验证集的比例为70∶20∶10。
需要说明的是，本发明实施例的降水量的预测方法加强了对历史数据的感知能力，弥补了现有技术的不足，具有较强的泛化能力，具有较高的预报精度。
在上述各实施例的基础上，作为一种可选实施例，深度神经网络模型包括输入层、隐藏层和输出层，隐藏层中各神经元为LSTM单元；其中，隐藏层的层数为6，每层隐藏层中LSTM单元的个数为650个；输入层和输出层的层数均为1。
需要说明的是，隐藏层的层数和各个隐藏层中神经元的个数是与降水量预测相关的。作为本领域技术人员可以理解的是，神经网络的训练过程是完全未知的，需要进行大量的实验进行比对、筛选，最佳结构和其他结构之间并无逻辑关联关系，并不是通过有限次的实验即可获得，具备一定的偶然性。本发明人通过多次试验，发现了当隐藏层设置为6层，同时每层隐藏层中LSTM单元的个数为650个，时，具有最佳的预测效果，同时训练过程具有拟合速度最快的优势。
LSTM单元由三个门结构组成，输入门、遗忘门、输出门，是一种具有记忆作用的特殊神经元。具体结构如下：
it＝σ(Wxixt+Whiht-1+Wcict-1+bi)
ft＝σ(Wxfxt+Whfht-1+Wcfct-1+bf)
ct＝ftct-1+itθ(Wxcxt+Whcht-1+bc)
ot＝σ(Wxoxt+Whoht-1+Wcoct-1+bo)
ht＝otθ(ct)
其中，xt为输入数据，it为输入门，ft为遗忘门，ct为单元激活向量，ot为遗忘门，ht为隐藏层单元，Wxi为输入特征向量与输入门之间的权重矩阵，Whi为隐藏层单元与输入门之间的权重矩阵，Wci为单元激活向量与输入门之间的权重矩阵，Wxf为输入特征向量与遗忘门之间的权重矩阵，Whf为隐藏单元与遗忘门之间的权重矩阵，Wcf为单元激活向量与遗忘门之间的权重矩阵，Wxo为输入特征向量与输出门之间的权重矩阵，Who为隐藏单元与输出门之间的权重矩阵，Wco为单元激活向量与输出门之间的权重矩阵，Wxc为输入特征向量与单元激活向量之间的权重矩阵，Whc为隐藏层单元与单元激活向量之间的权重矩阵，bi为输入门偏置，bf为遗忘门偏置，bc为单元激活向量偏置，bo为输出门偏置，下标t为采样时刻。
σ(·)为sigmoid激活函数，具体形式为：
其中，x为输入数据。
θ(·)为tanh映射函数，具体形式为：
其中，x为输入数据。
t时刻误差为该时刻预测输出与实际输出之间的差值
其中，为t时刻预测输出值，y(t)为t时刻实际输出值，error(t)t时刻误差值。
在上述各实施例的基础上，作为一种可选实施例，本发明实施例在训练神经网络模型时，采用均值随机初始化方法初始化权值。采用误差反向传播算法更新权值；采用交叉熵准则计算误差。
需要说明的是，由于上述实施例中采用sigmoid激活函数，sigmoid因为其梯度在距离原点稍远处即快速驱零，因此权值的初始化采用小数值随机平均分布。观念上来说，这是给它一个梯度大的起始点，即能够给神经网络更多幅度空间做调整，所以对学习速率会有帮助。
误差反向传播算法又称作BP算法，BP算法由信号的正向传播和误差的反向传播两个过程组成。正向传播时，输入样本从输入层进入网络，经隐层逐层传递至输出层，如果输出层的实际输出与期望输出(导师信号)不同，则转至误差反向传播；如果输出层的实际输出与期望输出(导师信号)相同，结束学习算法。反向传播时，将输出误差(期望输出与实际输出之差)按原通路反传计算，通过隐层反向，直至输入层，在反传过程中将误差分摊给各层的各个单元，获得各层各单元的误差信号，并将其作为修正各单元权值的根据。这一计算过程使用梯度下降法完成，在不停地调整各层神经元的权值和阈值后，使误差信号减小到最低限度。
交叉熵在本发明实施例中的神经网络模型中作为损失函数，p表示真实标记的分布，q则为训练后的模型的预测标记分布，交叉熵损失函数可以衡量p与q的相似性。交叉熵作为损失函数还有一个好处是使用sigmoid激活函数在梯度下降时能避免均方误差损失函数学习速率降低的问题，因为学习速率可以被输出的误差所控制。
在上述各实施例的基础上，作为一种可选实施例，本发明实施例的LSTM神经元的连接方式采用45％的dropout处理；训练集的梯度下降方法采用mini-batch处理方式，mini-batch的次数设置为50；迭代次数epochs为1000；采用k折交叉验证法在验证集上优化深度神经网络模型超参数，k值设置为5；学习率设置为1。
dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。对于随机梯度下降来说，由于是随机丢弃，故而每一个mini-batch都在训练不同的网络。把样本分成等量的子集，子集即mini-batch。例如，把100万样本分成1000份，每份1000个样本，这些子集就称为mini-batch。mini-batch相比传统的梯度下降法具有下降速度快的优势，mini-batch实现步骤：
①确定mini-batch size，一般有32、64、128等，根据训练集而定，确定mini-batch_num＝m/mini-batch_num+1；
②在分组之前将训练集的顺序随机打乱；
③将打乱后的训练集分组；
④将分好后的mini-batch组放进迭代循环中，每次循环都做mini-batch_num次梯度下降。
k折交叉验证法(k-fold cross validation)具有无重复抽样技术的好处：每次迭代过程中每个样本点只有一次被划入训练集或测试集的机会。具体地，k折交叉验证法的步骤包括：
①将全部训练集S分成k个不相交的子集，假设S中的训练样例个数为m，那么每一个子集有m/k个训练样例，相应的子集称作{s1，s2，…，sk}。
②每次从子集中里拿出一个作为测试集，其它k-1个作为训练集
③训练出模型或者假设函数。
④把训练好的模型放到测试集上，得到分类率。
⑤计算k次求得的分类率的平均值，作为该模型或者假设函数的真实分类率。
在上述各实施例的基础上，作为一种可选实施例，对历史降水量数据进行归一化处理，之前还包括：对于所述历史降水量数据中的缺失数据，根据所述缺失数据的同期降水量数据的平均值进行补全，具体采用以下公式进行计算：
其中，qt为第t年指定日期的降水量数据，qi为第i年指定日期的降水量数据，qj为第j年指定日期的降水量数据，l为时间窗口的长度，单位为年。可以理解的是，i年表示第t年之前的年份，j年表示第t年之后的年份。
在实际应用中，少部分历史降水量的数据通常会存在缺失的情况，为了提高预测精度，本发明实施例对于缺失数据，或根据历史同期降水量数据的平均值或者未来统计降水量数据的平均值进行补全。例如，2010年5月1日的降水量数据缺失，那么可以根据2005～2009年5月1日的平均降水量作为2010年5月1日的降水量数据也可以根据2011～2016年5月1日的平均降水量作为2010年5月1日的降水量数据。本发明实施例中的窗口大小可以根据实际情况调节。本发明实施例通过对历史降水量进行补全处理，使得数据更好的反应其分布规律，模型训练及预测精度更高。
在上述各实施例的基础上，作为一种可选实施例，对历史降水量数据进行归一化处理，获得归一化处理后的历史降水量数据，具体采用以下公式进行计算：
其中，xmax为全量历史降水量的最大值，xmin为全量历史降水量的最小值，x为待归一化处理的历史降水量数据，xnorm为归一化处理后的历史降水量数据。本发明实施例中的xmax是指全部降水量数据的最大值，比如，2010年8月3日目标区域下了百年一遇的暴雨，是有统计以来最多的降水量，那么xmax即为2010年8月3日目标区域的降水量，同理，xmin是指全部降水量数据的最小值。
图2为根据本发明实施例提供的降水量的预测装置的结构示意图，如图2所示，该预测装置包括：数据获取模块201、归一化处理模块202、预测模块203，其中：
数据获取模块201用于获取目标区域内日粒度的历史降水量数据，日粒度的历史降水量数据的最后一个数据为预测时间前一天的降水量数据。
本发明实施例的数据获取模块获取的历史降水量数据是日粒度的，即获取的是历史上以天为单位的降水量。此外，本发明实施例获取的历史降水数据的最后一个数据是预测时间前一天的降水量，例如，预测目标区域2018年8月8号的降水量，获取的是2000年1月1日至2018年8月7号的降水量。在一些情况下，本发明实施例的预测窗口是可调节的，即可以预测多日，例如一周，甚至一个月的降水量，这种情况下获取的历史降水数据的最后一个数据同样是预测时间前一天的降水量，例如，预测目标区域2018年8月的降水量，获取的是2000年1月1日至2018年7月31号的降水量。
归一化处理模块202用于对历史降水量数据进行归一化处理，获得归一化处理后的历史降水量数据。通过归一化处理模块对历史降水量进行归一化处理，最优解的寻优过程明显会变得平缓，更容易正确的收敛到最优解。
预测模块203用于将归一化处理后的历史降水量数据输入至预先训练完成的神经网络模型中，获得预测时间的降水量数据。
需要说明的是，本发明实施例的神经网络模型为LSTM-RNN结构，LSTM(LongShort-Term Memory，长短期记忆网络)，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。对于降水量预测来说，由于历史数据获取的越多，相当于预测日期的同期数据获取的越多，预测结果也会越准确，因此采用LSTM神经网络模型相比其他神经网络模型，更容易获得降水量的特征信息，进而预测出准确的结果。
本发明实施例将历史降水量数据按照时间先后信息依次切分为训练集(trainset)、测试集(test set)和验证集(validation set)。其中，训练集用于建立模型，通过拟合寻找模型的初始参数，训练集建立一个模型，但是模型的效果仅体现了训练数据，但不一定适合同类的其他数据，所以建模前数据还分出验证集，通过让机器学习去优化调整模型的参数，在神经网络中，通常用验证集去寻找最优的网络深度(number of hiddenlayers)，或者决定反向传播算法的停止点；在机器学习中，常用的交叉验证(CrossValidation)就是把训练数据集本身再细分成不同的验证数据集去训练模型。测试集用于评估模型的表现，并不会去调整优化模型。训练集、测试集和验证集的比例可以为50∶25∶25。在一个可选实施例中，训练集、测试机和验证集的比例为70∶20∶10。
神经网络模型的训练方法包括：将归一化处理后的历史降水量数据按照时间先后顺序依次切分为训练集、测试集和验证集；构建LSTM-RNN结构的深度神经网络模型，根据训练集、测试集和验证集对深度神经网络模型进行训练、测试和验证。
本发明实施例提供的降水量的预测装置，具体执行上述各降水量的预测方法实施例流程，具体请详见上述各预测方法实施例的内容，在此不再赘述。本发明实施例提供的预测装置加强了对历史数据的感知能力，弥补了现有技术的不足，具有较强的泛化能力，具有较高的预报精度。
图3为根据本发明实施例提供的电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储在存储器330上并可在处理器310上运行的计算机程序，以执行上述各实施例提供的xx方法，例如包括：获取目标区域内日粒度的历史降水量数据，日粒度的历史降水量数据的最后一个数据为预测时间前一天的降水量数据；对历史降水量数据进行归一化处理，获得归一化处理后的历史降水量数据；将归一化处理后的历史降水量数据输入至预先训练完成的神经网络模型中，获得预测时间的降水量数据；其中，神经网络模型的训练方法包括：将归一化处理后的降水量数据按照时间先后顺序依次切分为训练集、测试集和验证集；构建LSTM-RNN结构的深度神经网络模型，根据训练集、测试集和验证集对深度神经网络模型进行训练、测试和验证。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的降水量的预测方法，例如包括：获取目标区域内日粒度的历史降水量数据，日粒度的历史降水量数据的最后一个数据为预测时间前一天的降水量数据；对历史降水量数据进行归一化处理，获得归一化处理后的历史降水量数据；将归一化处理后的历史降水量数据输入至预先训练完成的神经网络模型中，获得预测时间的降水量数据；其中，神经网络模型的训练方法包括：将归一化处理后的降水量数据按照时间先后顺序依次切分为训练集、测试集和验证集；构建LSTM-RNN结构的深度神经网络模型，根据训练集、测试集和验证集对深度神经网络模型进行训练、测试和验证。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种降水量的预测方法，其特征在于，包括：
获取目标区域内日粒度的历史降水量数据，所述日粒度的历史降水量数据的最后一个数据为预测时间前一天的降水量数据；
对历史降水量数据进行归一化处理，获得归一化处理后的历史降水量数据；
将所述归一化处理后的历史降水量数据输入至预先训练完成的神经网络模型中，获得预测时间的降水量数据；
其中，所述神经网络模型的训练方法包括：将所述归一化处理后的历史降水量数据按照时间先后顺序依次切分为训练集、测试集和验证集；构建LSTM-RNN结构的深度神经网络模型，根据所述训练集、测试集和验证集对所述深度神经网络模型进行训练、测试和验证。
2.根据权利要求1所述的预测方法，其特征在于，所述深度神经网络模型包括输入层、隐藏层和输出层，所述隐藏层中各神经元为LSTM单元；
其中，所述隐藏层的层数为6，每层隐藏层中LSTM单元的个数为650个；所述输入层和输出层的层数均为1。
3.根据权利要求1或2所述的预测方法，其特征在于，在训练所述神经网络模型时，采用均值随机初始化方法初始化权值；采用误差反向传播算法更新权值；采用交叉熵准则计算误差。
4.根据权利要求3所述的预测方法，其特征在于，所述LSTM神经元的连接方式采用45％的dropout处理；
训练集的梯度下降方法采用mini-batch处理方式，mini-batch的次数设置为50，迭代次数epochs为1000；
采用k折交叉验证法在验证集上优化深度神经网络模型超参数，k值设置为5；学习率设置为1。
5.根据权利要求1所述的预测方法，其特征在于，所述对历史降水量数据进行归一化处理，之前还包括：对于所述历史降水量数据中的缺失数据，根据所述缺失数据的同期降水量数据的平均值进行补全，具体采用以下公式进行计算：
其中，qt为第t年指定日期的降水量数据，qi为第i年指定日期的降水量数据，qj为第j年指定日期的降水量数据，l为时间窗口的长度，单位为年。
6.根据权利要求1或5所述的预测方法，其特征在于，所述对历史降水量数据进行归一化处理，获得归一化处理后的历史降水量数据，具体采用以下公式进行计算：
其中，xmax为全量历史降水量的最大值，xmin为全量历史降水量的最小值，x为待归一化处理的历史降水量数据，xnorm为归一化处理后的历史降水量数据。
7.一种降水量的预测装置，其特征在于，包括：
数据获取模块，用于获取目标区域内日粒度的历史降水量数据，所述日粒度的历史降水量数据的最后一个数据为预测时间前一天的降水量数据；
归一化处理模块，用于对历史降水量数据进行归一化处理，获得归一化处理后的历史降水量数据；
预测模块，用于将所述归一化处理后的历史降水量数据输入至预先训练完成的神经网络模型中，获得预测时间的降水量数据；
其中，所述神经网络模型的训练方法包括：将所述归一化处理后的历史降水量数据按照时间先后顺序依次切分为训练集、测试集和验证集；构建LSTM-RNN结构的深度神经网络模型，根据所述训练集、测试集和验证集对所述深度神经网络模型进行训练、测试和验证。
8.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至6中任意一项所述的预测方法。
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至6中任意一项所述的预测方法。
CN201811159571.4A 2018-09-30 2018-09-30 降水量的预测方法及装置 Pending CN109376913A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811159571.4A CN109376913A (zh) 2018-09-30 2018-09-30 降水量的预测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811159571.4A CN109376913A (zh) 2018-09-30 2018-09-30 降水量的预测方法及装置

Publications (1)

Publication Number Publication Date
CN109376913A true CN109376913A (zh) 2019-02-22

Family

ID=65403364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811159571.4A Pending CN109376913A (zh) 2018-09-30 2018-09-30 降水量的预测方法及装置

Country Status (1)

Country Link
CN (1) CN109376913A (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109991685A (zh) * 2019-04-03 2019-07-09 北京市天元网络技术股份有限公司 一种基于多lstm模型融合的降水量预测方法以及装置
CN110826810A (zh) * 2019-11-13 2020-02-21 吉林农业大学 一种空间推理与机器学习相结合的区域降雨预测方法
CN110837928A (zh) * 2019-11-05 2020-02-25 沈阳民航东北凯亚有限公司 一种预测安检时间的方法及装置
CN111090130A (zh) * 2020-02-12 2020-05-01 江苏省气象科学研究所 一种基于最小泛函获取边界条件的雷达-雨量计联合估测降水的改进算法
CN111126704A (zh) * 2019-12-25 2020-05-08 河海大学常州校区 基于多图卷积和记忆网络的多区域降水量预测模型构建方法
CN111210082A (zh) * 2020-01-13 2020-05-29 东南大学 一种基于优化的bp神经网络算法的降水量预测方法
CN111288973A (zh) * 2020-01-23 2020-06-16 中山大学 海表流速获取方法、装置、计算机设备和存储介质
CN111753461A (zh) * 2020-05-12 2020-10-09 中山大学 潮汐水位修正方法、目标余水位获取方法、装置和设备
CN111931983A (zh) * 2020-07-07 2020-11-13 湖南大学 一种降水量预测方法及系统
CN112051627A (zh) * 2020-08-21 2020-12-08 南方电网科学研究院有限责任公司 一种数值模式多量级降水预报值的订正方法、装置和介质
CN112232887A (zh) * 2020-11-05 2021-01-15 腾讯科技（深圳）有限公司 一种数据处理方法、装置、计算机设备以及存储介质
CN112309109A (zh) * 2019-08-01 2021-02-02 中移(苏州)软件技术有限公司 一种道路通行时间预测的方法、装置及存储介质
CN112505644A (zh) * 2020-02-28 2021-03-16 加特兰微电子科技(上海)有限公司 传感器测量校正方法、装置、终端设备及存储介质
CN113011657A (zh) * 2021-03-22 2021-06-22 广东海启星海洋科技有限公司 进行台风水位预测的方法、装置、电子设备及存储介质
CN113487069A (zh) * 2021-06-22 2021-10-08 浙江大学 一种基于grace日降尺度和新型dwsdi指数的区域洪涝灾害风险评估方法
CN113592132A (zh) * 2021-04-29 2021-11-02 山东省气象科学研究所(山东省海洋气象科学研究所、山东省气象局培训中心) 一种基于数值天气预报和人工智能的降水客观预报方法
CN113884809A (zh) * 2021-09-28 2022-01-04 国网黑龙江省电力有限公司 一种基于神经网络的二次设备故障定位方法及系统
CN115166874A (zh) * 2022-07-13 2022-10-11 北京师范大学 基于机器学习的气象干旱指数spi构建方法
EP3945766A4 (en) * 2019-03-27 2022-12-21 Climate LLC GENERATION OF COMPREHENSIVE WEATHER INSIGHTS FOR OPTIMUM AGRICULTURAL DECISION-MAKING
WO2023284887A1 (zh) * 2022-01-29 2023-01-19 中国长江三峡集团有限公司 长期降水预测模型构建方法、长期降水预测方法及装置
CN115880101A (zh) * 2023-03-02 2023-03-31 江西贵兴信息技术有限公司 一种基于大数据的水利数据管理系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599520A (zh) * 2016-12-31 2017-04-26 中国科学技术大学 一种基于lstm‑rnn模型的空气污染物浓度预报方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599520A (zh) * 2016-12-31 2017-04-26 中国科学技术大学 一种基于lstm‑rnn模型的空气污染物浓度预报方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙吉辉: "基于人工神经网络模型的降水量预测研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
张玲玲: "基于雷达回波图像的短期降雨预测", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3945766A4 (en) * 2019-03-27 2022-12-21 Climate LLC GENERATION OF COMPREHENSIVE WEATHER INSIGHTS FOR OPTIMUM AGRICULTURAL DECISION-MAKING
US11686880B2 (en) 2019-03-27 2023-06-27 Climate Llc Generating and conveying comprehensive weather insights at fields for optimal agricultural decision making
CN109991685A (zh) * 2019-04-03 2019-07-09 北京市天元网络技术股份有限公司 一种基于多lstm模型融合的降水量预测方法以及装置
CN112309109A (zh) * 2019-08-01 2021-02-02 中移(苏州)软件技术有限公司 一种道路通行时间预测的方法、装置及存储介质
CN110837928A (zh) * 2019-11-05 2020-02-25 沈阳民航东北凯亚有限公司 一种预测安检时间的方法及装置
CN110826810A (zh) * 2019-11-13 2020-02-21 吉林农业大学 一种空间推理与机器学习相结合的区域降雨预测方法
CN110826810B (zh) * 2019-11-13 2022-07-15 吉林农业大学 一种空间推理与机器学习相结合的区域降雨预测方法
CN111126704A (zh) * 2019-12-25 2020-05-08 河海大学常州校区 基于多图卷积和记忆网络的多区域降水量预测模型构建方法
CN111210082A (zh) * 2020-01-13 2020-05-29 东南大学 一种基于优化的bp神经网络算法的降水量预测方法
CN111210082B (zh) * 2020-01-13 2023-09-19 东南大学 一种基于优化的bp神经网络算法的降水量预测方法
CN111288973A (zh) * 2020-01-23 2020-06-16 中山大学 海表流速获取方法、装置、计算机设备和存储介质
CN111288973B (zh) * 2020-01-23 2021-09-24 中山大学 海表流速获取方法、装置、计算机设备和存储介质
CN111090130A (zh) * 2020-02-12 2020-05-01 江苏省气象科学研究所 一种基于最小泛函获取边界条件的雷达-雨量计联合估测降水的改进算法
CN112505644A (zh) * 2020-02-28 2021-03-16 加特兰微电子科技(上海)有限公司 传感器测量校正方法、装置、终端设备及存储介质
CN111753461A (zh) * 2020-05-12 2020-10-09 中山大学 潮汐水位修正方法、目标余水位获取方法、装置和设备
CN111931983B (zh) * 2020-07-07 2023-09-19 湖南大学 一种降水量预测方法及系统
CN111931983A (zh) * 2020-07-07 2020-11-13 湖南大学 一种降水量预测方法及系统
CN112051627A (zh) * 2020-08-21 2020-12-08 南方电网科学研究院有限责任公司 一种数值模式多量级降水预报值的订正方法、装置和介质
CN112232887A (zh) * 2020-11-05 2021-01-15 腾讯科技（深圳）有限公司 一种数据处理方法、装置、计算机设备以及存储介质
CN113011657A (zh) * 2021-03-22 2021-06-22 广东海启星海洋科技有限公司 进行台风水位预测的方法、装置、电子设备及存储介质
CN113592132A (zh) * 2021-04-29 2021-11-02 山东省气象科学研究所(山东省海洋气象科学研究所、山东省气象局培训中心) 一种基于数值天气预报和人工智能的降水客观预报方法
CN113487069A (zh) * 2021-06-22 2021-10-08 浙江大学 一种基于grace日降尺度和新型dwsdi指数的区域洪涝灾害风险评估方法
CN113884809A (zh) * 2021-09-28 2022-01-04 国网黑龙江省电力有限公司 一种基于神经网络的二次设备故障定位方法及系统
WO2023284887A1 (zh) * 2022-01-29 2023-01-19 中国长江三峡集团有限公司 长期降水预测模型构建方法、长期降水预测方法及装置
GB2615205A (en) * 2022-01-29 2023-08-02 China Three Gorges Corp Long term precipitation prediction model establishing method, and long-term precipitation prediction method and apparatus
CN115166874A (zh) * 2022-07-13 2022-10-11 北京师范大学 基于机器学习的气象干旱指数spi构建方法
CN115880101A (zh) * 2023-03-02 2023-03-31 江西贵兴信息技术有限公司 一种基于大数据的水利数据管理系统
CN115880101B (zh) * 2023-03-02 2023-05-16 江西贵兴信息技术有限公司 一种基于大数据的水利数据管理系统

Similar Documents

Publication Publication Date Title
CN109376913A (zh) 降水量的预测方法及装置
Qin et al. A dual-stage attention-based recurrent neural network for time series prediction
CN106453293B (zh) 一种基于改进bpnn的网络安全态势预测方法
Mokhtarzad et al. Drought forecasting by ANN, ANFIS, and SVM and comparison of the models
Asadi et al. A new hybrid artificial neural networks for rainfall–runoff process modeling
CN110298663B (zh) 基于序列宽深学习的欺诈交易检测方法
CN108009674A (zh) 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法
CN110503204A (zh) 识别用于机器学习任务的迁移模型
CN108445752B (zh) 一种自适应选择深度特征的随机权神经网络集成建模方法
CN109991685A (zh) 一种基于多lstm模型融合的降水量预测方法以及装置
CN102694800A (zh) 网络安全态势预测的高斯过程回归方法
Zhang et al. Bilateral sensitivity analysis: a better understanding of a neural network
Li et al. A novel combined prediction model for monthly mean precipitation with error correction strategy
CN113011895B (zh) 关联账户样本筛选方法、装置和设备及计算机存储介质
Suryo et al. Improved time series prediction using LSTM neural network for smart agriculture application
Massaoudi et al. Performance evaluation of deep recurrent neural networks architectures: Application to PV power forecasting
CN111681022A (zh) 一种网络平台数据资源价值评估方法
Li et al. Analysis and modelling of flood risk assessment using information diffusion and artificial neural network
CN116307103A (zh) 一种基于硬参数共享多任务学习的交通事故预测方法
Shiri et al. Forecasting daily stream flows using artificial intelligence approaches
Yadav et al. Data-based modelling approach for variable density flow and solute transport simulation in a coastal aquifer
Zhang et al. Surface and high-altitude combined rainfall forecasting using convolutional neural network
Fan et al. Daily suspended sediment concentration forecast in the upper reach of Yellow River using a comprehensive integrated deep learning model
Ishak et al. Mining temporal reservoir data using sliding window technique
Santos et al. An artificial intelligence method for improving upscaling in complex reservoirs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190222