CN110288157A - 一种基于注意力机制和lstm的径流预测方法 - Google Patents
一种基于注意力机制和lstm的径流预测方法 Download PDFInfo
- Publication number
- CN110288157A CN110288157A CN201910564901.6A CN201910564901A CN110288157A CN 110288157 A CN110288157 A CN 110288157A CN 201910564901 A CN201910564901 A CN 201910564901A CN 110288157 A CN110288157 A CN 110288157A
- Authority
- CN
- China
- Prior art keywords
- lstm
- input
- data
- model
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 21
- 230000007774 longterm Effects 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000001556 precipitation Methods 0.000 claims description 2
- 230000003014 reinforcing effect Effects 0.000 claims description 2
- 238000011160 research Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims 1
- 230000007423 decrease Effects 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 6
- 238000010276 construction Methods 0.000 abstract description 3
- 238000013480 data collection Methods 0.000 abstract description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 20
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003651 drinking water Substances 0.000 description 1
- 235000020188 drinking water Nutrition 0.000 description 1
- 230000008020 evaporation Effects 0.000 description 1
- 238000001704 evaporation Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000005413 snowmelt Substances 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- General Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Primary Health Care (AREA)
- Water Supply & Treatment (AREA)
- Quality & Reliability (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Development Economics (AREA)
- Operations Research (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Public Health (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种利用深度学习算法，采用基于注意力机制和LSTM的径流预测方法。首先收集流域内与径流相关的影响特征，然后构建特征与径流量互相对应的时间序列数据集，通过训练就能得到基于注意力机制和LSTM的径流预测模型，根据得到的径流预测模型就可以对以后的径流量进行预测。同时，考虑到LSTM在记忆长期的序列模式时会忽略一些短期的重要特征，所以加入注意力机制，选择性的关注径流序列中的关键要素，提高了LSTM捕获有效特征的能力，因而具有较高的预测精度。此外，本发明使用以数据驱动的深度学习方法，减少了对于流域内部水文物理机制的依赖性，有效扩大了模型的适用范围。
Description
技术领域
本发明属于水文水资源领域，更为具体地讲，涉及一种基于注意力机制和LSTM的深度神经网络来预测径流的变化。
背景技术
水资源是地球生命的主要载体，是支持社会经济发展、生态文明进步的重要自然资源之一。水资源与其它资源不同在于，它是一种随着时间、空间的变化而变化的动态性资源。我国幅员辽阔，由于水资源在时空上分布极其不均衡，这会导致部分地区气候干早、少雨，而另一些区域则会出现洪涝等自然灾害。如南水北调工程就是为了解决北方一些地区缺水而建设的。因此水资源管理与保护、规划与利用至关重要。水资源管理具体到某一区域来说，准确预估未来几十年间的河流径流量变化趋势，是可持续性水资源配置与管理的重要组成部分。河流径流是指从雨水，融雪，地下水等来源进入河水系统的所有水。径流包括在陆地流入水系统的水，下沉到土壤中加入水系统的水，以及从河流流向大海或海洋等较大水体的水。所以准确的径流预测对于水利基础设施运行、防洪、大坝建设规划、水库运行、饮用水分配、航运规划等水资源规划管理活动具有极其重要的意义。
传统的径流预测方法主要依赖于水文模型。其主要是从径流形成的物理机制来模拟预测。但水文模型的模拟需要精确了解流域内部的水文结构，如流域的下垫面条件、降雨的时空变化条件、流域边界条件等，较多的输入变量和参数及时空地域等客观条件，难以普遍应用。而各种复杂条件和人类活动的影响，使得水文时间序列具有更加复杂的模式，因此，传统的径流预测方法难以精确模拟高度复杂的非线性水文序列。近年来，深度学习的快速发展为径流时间序列的预测提供了可能，循环神经网络(RNN)是一种应用最广的时间序列建模方法。其可以记忆以前的信息来帮助当前时刻的预测，但如果学习太远距离的信息时RNN会发生梯度消失或梯度爆炸，因此提出长短期记忆网络(LSTM)来解决这种问题。LSTM通过输入门、遗忘门和输出门这些门控单元来控制信息的流动，选择性的输入、输出和记忆重要信息，但是，LSTM在记忆长期的序列模式时会忽略一些短期的重要特征，如短期内径流的峰值变化等，而短期内径流的突然增加对于防洪有重要作用。所以，在预测径流时间序列长期模式的同时，也能获取短期重要特征至关重要。注意力机制是一种训练模型学习如何选择性地关注输入，并能将它们与输出序列中的项联系起来，在训练模型时，通过给序列中的重要特征增加权重，让模型能够聚焦于短期内的重要特征。
发明内容
本发明的目的在于克服现有技术的不足，提出一种基于注意力机制和LSTM的径流预测方法，以补全LSTM难以获取短期重要特征的能力，其可以显著提升径流预测的精度。
为实现上述发明目的，本发明基于注意力机制和LSTM的径流预测方法，其特征在于，包括以下步骤：
(1)、收集研究流域内各个气象站点与径流密切相关的特征，如流域内降水、气温、蒸散发等。
(2)、数据预处理，统计各个站点收集到的数据，并对缺失值进行补全，由于输入的数据之间数量级有时候差别较大，采用离差标准化方法对输入数据进行归一化，其转换公式为：
其中，X*为归一化后的数据，其范围在[0，1]，X为原始数据，Xmax为原始数据的最大值，Xmin为原始数据的最小值。
(3)、建立含注意力机制的LSTM模型。深度网络分为三个部分，首先是注意力机制组件，用来对输入的序列在时间上对短期重要特征更关注；其次是LSTM网络，通过LSTM网络对径流进行时间序列的建模，并在每个时刻进行输出；最后是全连接网络，对LSTM编码的多维状态向量转化为每个时刻的径流量；其他激活函数使用指数线性激活函数elu，最后一层的激活函数使用线性激活函数linear。
(4)、模型训练。将数据划分为训练集和测试集，使用训练集输入模型进行训练，损失函数使用平方根误差，优化器使用adam优化器，进行多次迭代使模型拟合并达到最优。
(5)、使用训练好的模型在测试集上进行测试，根据真实数据对预测结果进行评估。
本发明的目的是这样实现的。
本发明利用深度学习算法，采用一种基于注意力机制和LSTM的径流预测方法。首先收集流域内与径流相关的影响特征，然后构建特征与径流量互相对应的时间序列数据集，通过训练就能得到基于注意力机制和LSTM的径流预测模型，根据得到的径流预测模型就可以对以后的径流量进行预测。同时，考虑到LSTM在记忆长期的序列模式时会忽略一些短期的重要特征，所以加入注意力机制，选择性的关注径流序列中的关键要素，提高了LSTM捕获有效特征的能力，因而具有较高的预测精度。此外，本发明使用以数据驱动的深度学习方法，减少了对于流域内部水文物理机制的依赖性，有效扩大了模型的适用范围。
附图说明
图1是本发明一种基于注意力机制和LSTM径流预测方法的一种具体实施方式流程图；
图2是LSTM模型结构示意图；
图3是本发明一种基于注意力机制和LSTM径流预测方法的深度神经网络模型结构示意图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
图1是本发明一种基于注意力机制和LSTM径流预测方法的一种具体实施方式流程图。
在本实施例中，如图1所示，本发明一种基于注意力机制和LSTM径流预测方法包括以下步骤：
S1：流域数据收集
从流域内各个气象站点收集与径流密切相关的径流影响因子特征；与径流密切相关的特征包括：长序列逐日降水量、气温、水面蒸发量、风速、空气湿度、太阳辐射强度以及流域出口断面逐日实测河川径流量等。
S2：数据预处理
在实施过程中，收集到的原始数据可能会存在数据缺失等问题，可以使用一些插值方法，如线性插值，样条回归，最近邻替换等，以此对缺失数据进行补全，此外，由于输入的数据为不同类别的数据，其数量级有时候差别较大，故采用离差标准化方法对输入数据进行归一化，其转换公式为：
其中，X*为归一化后的数据，其范围在[0，1]，X为原始数据，Xmax为原始数据的最大值，Xmin为原始数据的最小值。
S3：建立含注意力机制的LSTM模型
该模型由三部分组成，首先是LSTM网络，通过LSTM网络对径流进行时间序列建模，并在每个时刻进行输出；LSTM结构如图2所示，其中，每个神经元的输入为当前时刻网络的输入xt、上一时刻的输出值ht-1以及上一时刻的单元状态ct-1，神经元的输出为当前时刻输出值ht和当前时刻的单元状态为ct；三种门控单元分别为遗忘门ft，决定了上一时刻的单元状态ct-1有多少保留到当前时刻ct，输入门it，决定了当前时刻网络的输入xt有多少保留到单元状态ct，输出门ot，控制单元状态ct有多少输出到当前ht，每个门的更新如下：
遗忘门：ft＝σ(Wf·[ht-1，xt]+bf)
输入门：it＝σ(Wi·[ht-1，xt]+bi)
单元状态输入：
单元状态：
输出门：ot＝σ(Wo·[ht-1，xt]+bo)
当前时刻隐状态输出：ht＝ot⊙tan h(ct)
其中，Wf，Wi，Wc，Wo表示权重矩阵，bf，bi，bc，bo表示偏置向量，tanh表示双曲正切激活函数，σ表示sigmoid激活函数，方括号表示向量拼接；
其次是注意力机制组件，用来加强对输入的序列在时间上对短期重要特征的关注；如图3所示，使用注意力机制，通过对输入分配注意力权重系数，然后再跟输入按元素相乘，就能得到加入注意力机制的每个时刻的隐向量特征H，然后将其输入LSTM网络学习长期序列模式；LSTM长短期记忆网络层数越多，其对序列的学习预测能力越强，但层数过高时会使模型的训练难以收敛且容易过拟合，因此本发明中使用3层的LSTM网络；
最后是全连接网络，对LSTM编码的多维状态向量转化为每个时刻的径流量，在最后加几层全连接网络用于对输出结果的降维；因为，每个LSTM层有多个节点，每个时刻LSTM输出的是当前时刻径流的多维隐向量表征，故需要加入全连接层降维到一维；
S4：模型训练
首先，将数据划分为训练集和测试集，训练集用来对模型进行训练，确定各层的权重参数，测试集用来评估最终模型的预测精度；
使用训练集输入模型进行训练时，先根据初始化方法，对模型每层的权重进行初始化，然后输入数据，先前向计算得到模型的输出，然后根据损失函数和真实标签计算损失，其中损失函数使用平方根误差，计算梯度反向传播更新每一层的权重，通过梯度下降多次迭代使模型拟合并达到最优，其中优化器使用adam优化器，最终获得训练完成的LSTM神经网络模型；
S5：径流预测
再模型中输入测试集的数据，进行径流量的预测，根据评估方法，对预测结果进行评估，以验证模型的合理性；评估函数如下，
纳什效率系数NSE(Nash-Sutcliffe)：
相对误差RE：
其中，表示径流实测值，表示径流预测值，t表示第t时刻；
在实际应用中，根据流域，训练好模型以后就可以根据当前的输入来预测未来某个时刻的径流量；
本发明中，针对传统径流预测方法中的不足提出了一种基于注意力机制和LSTM的径流预测方法。本发明在加入注意力机制和使用深度学习等关键技术上做出了创新。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
Claims (2)
1.一种基于注意力机制和LSTM的径流预测方法，其特征在于，包括以下步骤：
(1)、收集研究流域内各个气象站点与径流密切相关的特征，如流域内降水、气温、蒸散发等；
(2)、数据预处理，统计各个站点收集到的数据，并对缺失值进行补全，由于输入的数据之间数量级有时候差别较大，采用离差标准化方法对输入数据进行归一化，其转换公式为：
其中，X*为归一化后的数据，其范围在[0,1]，X为原始数据，Xmax为原始数据的最大值，Xmin为原始数据的最小值；
(3)、建立含注意力机制的LSTM模型；深度网络分为三个部分，首先是注意力机制组件，用来对输入的序列在时间上对短期重要特征更关注；其次是LSTM网络，通过LSTM网络对径流进行时间序列的建模，并在每个时刻进行输出；最后是全连接网络，对LSTM编码的多维状态向量转化为每个时刻的径流量；其他激活函数使用指数线性激活函数elu，最后一层的激活函数使线性激活函数linear；
(4)、模型训练；将数据划分为训练集和测试集，使用训练集输入模型进行训练，损失函数使用平方根误差，优化器使用adam优化器，进行多次迭代使模型拟合并达到最优；
(5)、使用训练好的模型在测试集上进行测试，根据真实数据对预测结果进行评估。
2.根据权利要求1所述的径流预测方法，其特征在于，步骤(3)中，所述的建立含注意力机制的LSTM模型，和步骤(4)中，所述的神经网络模型训练：
2.1)、模型主要由三部分组成，首先是建立LSTM网络，通过LSTM网络对径流进行时间序列建模，并在每个时刻进行输出；每个神经元的输入为当前时刻网络的输入xt、上一时刻的输出值ht-1以及上一时刻的单元状态ct-1，神经元的输出为当前时刻输出值ht和当前时刻的单元状态为ct；三种门控单元分别为遗忘门ft，决定了上一时刻的单元状态ct-1有多少保留到当前时刻ct，输入门it，决定了当前时刻网络的输入xt有多少保留到单元状态ct，输出门ot，控制单元状态ct有多少输出到当前ht，每个门的更新如下：
遗忘门：ft＝σ(Wf·[ht-1，xt]+bf)
输入门：it＝σ(Wi·[ht_1，xt]+bi)
单元状态输入：
单元状态：
输出门：ot＝σ(Wo·[ht-1，xt]+bo)
当前时刻隐状态输出：ht＝ot⊙tan h(ct)
其中，Wf，Wi，Wc，Wo表示权重矩阵，bf，bi，bc，bo表示偏置向量，tanh表示双曲正切激活函数，σ表示sigmoid激活函数，方括号表示向量拼接；
其次是加入注意力机制组件，英文表示为attention，用来加强对输入的序列在时间上对短期重要特征的关注；attention机制通过对输入分配注意力权重系数，然后再跟输入按元素相乘，就能得到加入注意力机制的每个时刻的隐向量特征，然后将其输入LSTM网络学习长期序列模式；
最后是加入全连接网络对LSTM输出进行降维；每个LSTM层有多个节点，每个时刻LSTM的输出是当前时刻径流的多维隐向量表征，加入全连接层能将LSTM编码的多维状态向量转化为每个时刻的径流量；
2.2)、首先，将数据划分为训练集和测试集，训练集用来对模型进行训练，确定各层的权重参数，测试集用来评估最终模型的预测精度；
所述模型训练流程为：先根据初始化方法，对模型每层的权重进行初始化，然后输入数据，数据先进入attention组件得到注意力权重向量，将输入序列按时间和注意力权重按元素相乘，得到的时序隐向量特征输入3层的LSTM层，以提高对径流序列的学习预测能力，最后将LSTM输出的多维隐向量特征输入全连接层进行降维，得到最终的径流量，将前向计算得到的输出，根据损失函数和真实标签计算损失，其中损失函数使用平方根误差，计算梯度反向传播更新每一层的权重，通过梯度下降多次迭代使模型拟合并达到最优，其中优化器使用adam优化器，最终获得训练完成的LSTM神经网络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910564901.6A CN110288157A (zh) | 2019-06-27 | 2019-06-27 | 一种基于注意力机制和lstm的径流预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910564901.6A CN110288157A (zh) | 2019-06-27 | 2019-06-27 | 一种基于注意力机制和lstm的径流预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110288157A true CN110288157A (zh) | 2019-09-27 |
Family
ID=68007673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910564901.6A Pending CN110288157A (zh) | 2019-06-27 | 2019-06-27 | 一种基于注意力机制和lstm的径流预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110288157A (zh) |
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111026869A (zh) * | 2019-12-10 | 2020-04-17 | 山东大学 | 一种利用基于多层注意力的序列生成网络进行多罪名预测的方法 |
| CN111222698A (zh) * | 2020-01-06 | 2020-06-02 | 重庆邮电大学 | 面向物联网的基于长短时记忆网络的积水水位预测方法 |
| CN111461455A (zh) * | 2020-04-16 | 2020-07-28 | 武汉大学 | 一种基于关联周期注意力机制的行为预测方法 |
| CN111563624A (zh) * | 2020-05-06 | 2020-08-21 | 北京工业大学 | 一种基于LSTM与Attention相结合的绿色能源预测方法 |
| CN111695290A (zh) * | 2020-05-14 | 2020-09-22 | 天津大学 | 一种适用于变化环境下的短期径流智能预报混合模型方法 |
| CN111709778A (zh) * | 2020-05-29 | 2020-09-25 | 北京百度网讯科技有限公司 | 出行流量预测方法、装置、电子设备和存储介质 |
| CN111753965A (zh) * | 2020-06-30 | 2020-10-09 | 长江水利委员会水文局 | 一种基于深度学习的河流流量自动整编方法及系统 |
| CN111815037A (zh) * | 2020-06-24 | 2020-10-23 | 河海大学 | 一种基于注意力机制的可解释性短临极端降雨预测方法 |
| CN111865932A (zh) * | 2020-06-30 | 2020-10-30 | 哈尔滨工程大学 | 基于上下文关联注意力机制和简化lstm网络的入侵检测方法 |
| CN111950784A (zh) * | 2020-08-04 | 2020-11-17 | 广东工业大学 | 一种融合注意力机制的产能预测方法 |
| CN111970163A (zh) * | 2020-06-30 | 2020-11-20 | 网络通信与安全紫金山实验室 | 一种基于注意力机制的lstm模型的网络流量预测方法 |
| CN112101660A (zh) * | 2020-09-15 | 2020-12-18 | 重庆交通大学 | 基于阶段性注意力机制的降雨型滑坡位移预测模型及方法 |
| CN112116080A (zh) * | 2020-09-24 | 2020-12-22 | 中国科学院沈阳计算技术研究所有限公司 | 一种融合了注意力机制的cnn-gru水质预测方法 |
| CN112118143A (zh) * | 2020-11-18 | 2020-12-22 | 迈普通信技术股份有限公司 | 流量预测模型、训练方法、预测方法、装置、设备及介质 |
| CN112183886A (zh) * | 2020-10-22 | 2021-01-05 | 南京信息工程大学 | 基于卷积网络和注意力机制的短时临近降雨预测方法 |
| CN112365091A (zh) * | 2020-11-30 | 2021-02-12 | 中国人民解放军国防科技大学 | 一种基于分类节点图注意力网络的雷达定量降水估计方法 |
| CN112633317A (zh) * | 2020-11-02 | 2021-04-09 | 国能信控互联技术有限公司 | 基于注意力机制的cnn-lstm风机故障预测方法及系统 |
| CN112801416A (zh) * | 2021-03-10 | 2021-05-14 | 长沙理工大学 | 基于多维水文信息的lstm流域径流量预测方法 |
| CN112926505A (zh) * | 2021-03-24 | 2021-06-08 | 重庆大学 | 基于dtc-vae神经网络的旋转机械健康指标构建方法 |
| CN112949902A (zh) * | 2021-01-25 | 2021-06-11 | 西北工业大学 | 一种基于lstm多状态向量序列到序列模型的径流预测方法 |
| CN113011102A (zh) * | 2021-04-01 | 2021-06-22 | 河北工业大学 | 基于多元时间序列的Attention-LSTM的青霉素发酵过程故障预测方法 |
| CN113052469A (zh) * | 2021-03-30 | 2021-06-29 | 贵州电网有限责任公司 | 一种缺乏量测径流小水电地区的风光水荷互补特性的计算方法 |
| CN113516304A (zh) * | 2021-06-29 | 2021-10-19 | 上海师范大学 | 基于时空图网络的区域污染物时空联合预测方法及装置 |
| CN113537539A (zh) * | 2020-04-14 | 2021-10-22 | 天津科技大学 | 一种基于注意力机制的多时间步供热用气量预测模型 |
| CN113762716A (zh) * | 2021-07-30 | 2021-12-07 | 国网山东省电力公司营销服务中心(计量中心) | 基于深度学习和注意力的台区运行状态评估方法及系统 |
| CN113837352A (zh) * | 2021-08-06 | 2021-12-24 | 中国地质大学（武汉） | 基于长短期记忆神经网络的降雨-径流时空关系模拟方法 |
| CN114090959A (zh) * | 2021-11-22 | 2022-02-25 | 黄河水利委员会黄河水利科学研究院 | 一种河网结构约束下流域径流的随机时空插值方法 |
| CN114154417A (zh) * | 2021-12-06 | 2022-03-08 | 中国水利水电科学研究院 | 基于深度学习框架的洪水预报模型及洪水预报方法 |
| CN114372631A (zh) * | 2022-01-11 | 2022-04-19 | 电子科技大学 | 一种基于小样本学习和lstm的缺资料地区径流预测方法 |
| CN114399193A (zh) * | 2022-01-11 | 2022-04-26 | 电子科技大学 | 一种基于深度时序点过程和lstm的缺资料地区径流事件检测方法 |
| CN115115148A (zh) * | 2022-08-30 | 2022-09-27 | 武汉大学 | 基于过程-数据协同驱动的长期径流预报方法及系统 |
| CN115238763A (zh) * | 2022-06-10 | 2022-10-25 | 西北工业大学 | 基于深度学习的仿蝠鲼航行器多周期水动力实验数据增强方法 |
| CN115654381A (zh) * | 2022-10-24 | 2023-01-31 | 电子科技大学 | 一种基于图神经网络的供水管道漏损检测方法 |
| CN116502542A (zh) * | 2023-06-20 | 2023-07-28 | 南京航空航天大学 | 一种基于深度学习的多工艺产品关键工序识别方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107679982A (zh) * | 2017-09-29 | 2018-02-09 | 电子科技大学 | 一种基于点过程的信用卡风险检测方法 |
| CN108830487A (zh) * | 2018-06-21 | 2018-11-16 | 王芊霖 | 基于长短时神经网络的电力负荷预测方法 |
| CN109242140A (zh) * | 2018-07-24 | 2019-01-18 | 浙江工业大学 | 一种基于LSTM_Attention网络的交通流预测方法 |
| CN109583565A (zh) * | 2018-11-07 | 2019-04-05 | 河海大学 | 基于注意力模型长短时记忆网络的洪水预测方法 |
-
2019
- 2019-06-27 CN CN201910564901.6A patent/CN110288157A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107679982A (zh) * | 2017-09-29 | 2018-02-09 | 电子科技大学 | 一种基于点过程的信用卡风险检测方法 |
| CN108830487A (zh) * | 2018-06-21 | 2018-11-16 | 王芊霖 | 基于长短时神经网络的电力负荷预测方法 |
| CN109242140A (zh) * | 2018-07-24 | 2019-01-18 | 浙江工业大学 | 一种基于LSTM_Attention网络的交通流预测方法 |
| CN109583565A (zh) * | 2018-11-07 | 2019-04-05 | 河海大学 | 基于注意力模型长短时记忆网络的洪水预测方法 |
Cited By (56)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111026869A (zh) * | 2019-12-10 | 2020-04-17 | 山东大学 | 一种利用基于多层注意力的序列生成网络进行多罪名预测的方法 |
| CN111222698A (zh) * | 2020-01-06 | 2020-06-02 | 重庆邮电大学 | 面向物联网的基于长短时记忆网络的积水水位预测方法 |
| CN113537539A (zh) * | 2020-04-14 | 2021-10-22 | 天津科技大学 | 一种基于注意力机制的多时间步供热用气量预测模型 |
| CN113537539B (zh) * | 2020-04-14 | 2023-04-07 | 天津科技大学 | 一种基于注意力机制的多时间步供热用气量预测模型 |
| CN111461455B (zh) * | 2020-04-16 | 2022-05-13 | 武汉大学 | 一种基于关联周期注意力机制的行为预测方法 |
| CN111461455A (zh) * | 2020-04-16 | 2020-07-28 | 武汉大学 | 一种基于关联周期注意力机制的行为预测方法 |
| CN111563624A (zh) * | 2020-05-06 | 2020-08-21 | 北京工业大学 | 一种基于LSTM与Attention相结合的绿色能源预测方法 |
| CN111695290A (zh) * | 2020-05-14 | 2020-09-22 | 天津大学 | 一种适用于变化环境下的短期径流智能预报混合模型方法 |
| CN111695290B (zh) * | 2020-05-14 | 2024-04-09 | 天津大学 | 一种适用于变化环境下的短期径流智能预报混合模型方法 |
| CN111709778A (zh) * | 2020-05-29 | 2020-09-25 | 北京百度网讯科技有限公司 | 出行流量预测方法、装置、电子设备和存储介质 |
| CN111709778B (zh) * | 2020-05-29 | 2023-04-07 | 北京百度网讯科技有限公司 | 出行流量预测方法、装置、电子设备和存储介质 |
| CN111815037A (zh) * | 2020-06-24 | 2020-10-23 | 河海大学 | 一种基于注意力机制的可解释性短临极端降雨预测方法 |
| CN111815037B (zh) * | 2020-06-24 | 2022-08-26 | 河海大学 | 一种基于注意力机制的可解释性短临极端降雨预测方法 |
| CN111865932A (zh) * | 2020-06-30 | 2020-10-30 | 哈尔滨工程大学 | 基于上下文关联注意力机制和简化lstm网络的入侵检测方法 |
| CN111865932B (zh) * | 2020-06-30 | 2022-04-12 | 哈尔滨工程大学 | 基于上下文关联注意力机制和简化lstm网络的入侵检测方法 |
| CN111753965A (zh) * | 2020-06-30 | 2020-10-09 | 长江水利委员会水文局 | 一种基于深度学习的河流流量自动整编方法及系统 |
| CN111970163A (zh) * | 2020-06-30 | 2020-11-20 | 网络通信与安全紫金山实验室 | 一种基于注意力机制的lstm模型的网络流量预测方法 |
| CN111950784A (zh) * | 2020-08-04 | 2020-11-17 | 广东工业大学 | 一种融合注意力机制的产能预测方法 |
| CN111950784B (zh) * | 2020-08-04 | 2023-06-09 | 广东工业大学 | 一种融合注意力机制的产能预测方法 |
| CN112101660B (zh) * | 2020-09-15 | 2022-06-28 | 重庆交通大学 | 基于阶段性注意力机制的降雨型滑坡位移预测模型及方法 |
| CN112101660A (zh) * | 2020-09-15 | 2020-12-18 | 重庆交通大学 | 基于阶段性注意力机制的降雨型滑坡位移预测模型及方法 |
| CN112116080A (zh) * | 2020-09-24 | 2020-12-22 | 中国科学院沈阳计算技术研究所有限公司 | 一种融合了注意力机制的cnn-gru水质预测方法 |
| CN112183886B (zh) * | 2020-10-22 | 2024-03-15 | 南京信息工程大学 | 基于卷积网络和注意力机制的短时临近降雨预测方法 |
| CN112183886A (zh) * | 2020-10-22 | 2021-01-05 | 南京信息工程大学 | 基于卷积网络和注意力机制的短时临近降雨预测方法 |
| CN112633317A (zh) * | 2020-11-02 | 2021-04-09 | 国能信控互联技术有限公司 | 基于注意力机制的cnn-lstm风机故障预测方法及系统 |
| CN112118143A (zh) * | 2020-11-18 | 2020-12-22 | 迈普通信技术股份有限公司 | 流量预测模型、训练方法、预测方法、装置、设备及介质 |
| CN112118143B (zh) * | 2020-11-18 | 2021-02-19 | 迈普通信技术股份有限公司 | 流量预测模型训练方法、流量预测方法、装置、设备及介质 |
| CN112365091B (zh) * | 2020-11-30 | 2022-06-14 | 中国人民解放军国防科技大学 | 一种基于分类节点图注意力网络的雷达定量降水估计方法 |
| CN112365091A (zh) * | 2020-11-30 | 2021-02-12 | 中国人民解放军国防科技大学 | 一种基于分类节点图注意力网络的雷达定量降水估计方法 |
| CN112949902B (zh) * | 2021-01-25 | 2023-06-16 | 西北工业大学 | 一种基于lstm多状态向量序列到序列模型的径流预测方法 |
| CN112949902A (zh) * | 2021-01-25 | 2021-06-11 | 西北工业大学 | 一种基于lstm多状态向量序列到序列模型的径流预测方法 |
| CN112801416A (zh) * | 2021-03-10 | 2021-05-14 | 长沙理工大学 | 基于多维水文信息的lstm流域径流量预测方法 |
| CN112926505B (zh) * | 2021-03-24 | 2022-11-11 | 重庆大学 | 基于dtc-vae神经网络的旋转机械健康指标构建方法 |
| CN112926505A (zh) * | 2021-03-24 | 2021-06-08 | 重庆大学 | 基于dtc-vae神经网络的旋转机械健康指标构建方法 |
| CN113052469B (zh) * | 2021-03-30 | 2022-04-22 | 贵州电网有限责任公司 | 一种缺乏量测径流小水电地区的风光水荷互补特性的计算方法 |
| CN113052469A (zh) * | 2021-03-30 | 2021-06-29 | 贵州电网有限责任公司 | 一种缺乏量测径流小水电地区的风光水荷互补特性的计算方法 |
| CN113011102B (zh) * | 2021-04-01 | 2022-05-24 | 河北工业大学 | 基于多元时间序列的Attention-LSTM的青霉素发酵过程故障预测方法 |
| CN113011102A (zh) * | 2021-04-01 | 2021-06-22 | 河北工业大学 | 基于多元时间序列的Attention-LSTM的青霉素发酵过程故障预测方法 |
| CN113516304A (zh) * | 2021-06-29 | 2021-10-19 | 上海师范大学 | 基于时空图网络的区域污染物时空联合预测方法及装置 |
| CN113516304B (zh) * | 2021-06-29 | 2024-01-23 | 上海师范大学 | 基于时空图网络的区域污染物时空联合预测方法及装置 |
| CN113762716A (zh) * | 2021-07-30 | 2021-12-07 | 国网山东省电力公司营销服务中心(计量中心) | 基于深度学习和注意力的台区运行状态评估方法及系统 |
| CN113837352B (zh) * | 2021-08-06 | 2023-07-14 | 中国地质大学（武汉） | 基于长短期记忆神经网络的降雨-径流时空关系模拟方法 |
| CN113837352A (zh) * | 2021-08-06 | 2021-12-24 | 中国地质大学（武汉） | 基于长短期记忆神经网络的降雨-径流时空关系模拟方法 |
| CN114090959B (zh) * | 2021-11-22 | 2024-03-22 | 黄河水利委员会黄河水利科学研究院 | 一种河网结构约束下流域径流的随机时空插值方法 |
| CN114090959A (zh) * | 2021-11-22 | 2022-02-25 | 黄河水利委员会黄河水利科学研究院 | 一种河网结构约束下流域径流的随机时空插值方法 |
| CN114154417A (zh) * | 2021-12-06 | 2022-03-08 | 中国水利水电科学研究院 | 基于深度学习框架的洪水预报模型及洪水预报方法 |
| CN114154417B (zh) * | 2021-12-06 | 2022-06-07 | 中国水利水电科学研究院 | 基于深度学习框架的洪水预报模型及洪水预报方法 |
| CN114399193A (zh) * | 2022-01-11 | 2022-04-26 | 电子科技大学 | 一种基于深度时序点过程和lstm的缺资料地区径流事件检测方法 |
| CN114372631A (zh) * | 2022-01-11 | 2022-04-19 | 电子科技大学 | 一种基于小样本学习和lstm的缺资料地区径流预测方法 |
| CN115238763A (zh) * | 2022-06-10 | 2022-10-25 | 西北工业大学 | 基于深度学习的仿蝠鲼航行器多周期水动力实验数据增强方法 |
| CN115238763B (zh) * | 2022-06-10 | 2024-02-13 | 西北工业大学 | 基于深度学习的仿蝠鲼航行器多周期水动力实验数据增强方法 |
| CN115115148A (zh) * | 2022-08-30 | 2022-09-27 | 武汉大学 | 基于过程-数据协同驱动的长期径流预报方法及系统 |
| US11886967B1 (en) | 2022-08-30 | 2024-01-30 | Wuhan University | Long-term streamflow forecast method and system based on process-data synergic drive |
| CN115654381A (zh) * | 2022-10-24 | 2023-01-31 | 电子科技大学 | 一种基于图神经网络的供水管道漏损检测方法 |
| CN116502542A (zh) * | 2023-06-20 | 2023-07-28 | 南京航空航天大学 | 一种基于深度学习的多工艺产品关键工序识别方法 |
| CN116502542B (zh) * | 2023-06-20 | 2023-09-12 | 南京航空航天大学 | 一种基于深度学习的多工艺产品关键工序识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110288157A (zh) | 一种基于注意力机制和lstm的径流预测方法 | |
| CN109615011A (zh) | 一种基于lstm的中小河流短期洪水预报方法 | |
| Firat et al. | River flow estimation using adaptive neuro fuzzy inference system | |
| Hu et al. | River flow time series prediction with a range-dependent neural network | |
| CN113723024B (zh) | 一种适用于滨海地区的“溪流”-“河道”-“河口”分布式洪水过程模拟方法 | |
| Yarar et al. | Modelling level change in lakes using neuro-fuzzy and artificial neural networks | |
| Tayyab et al. | Discharge forecasting by applying artificial neural networks at the Jinsha River Basin, China | |
| Wang et al. | Rainfall prediction using generalized regression neural network: case study Zhengzhou | |
| CN109711617A (zh) | 一种基于blstm深度学习的中长期径流预测方法 | |
| CN110619432A (zh) | 一种基于深度学习的特征提取水文预报的方法 | |
| Cui et al. | Improved Thomas–Fiering and wavelet neural network models for cumulative errors reduction in reservoir inflow forecast | |
| Li et al. | A method of rainfall runoff forecasting based on deep convolution neural networks | |
| Nguyen et al. | Water level forecasting using neuro-fuzzy models with local learning | |
| Huang et al. | Prediction of groundwater level for sustainable water management in an arid basin using data-driven models | |
| CN116432828A (zh) | 一种缺资料流域径流量智能预测方法 | |
| Faruq et al. | Deep Learning-Based Forecast and Warning of Floods in Klang River, Malaysia. | |
| CN114372631A (zh) | 一种基于小样本学习和lstm的缺资料地区径流预测方法 | |
| CN109063388A (zh) | 风环境模拟的微气候建筑选址设计方法 | |
| Shuofeng et al. | LSTM based hybrid method for basin water level prediction by using precipitation data | |
| CN111914488B (zh) | 一种基于对抗神经网络的有资料地区水文参数率定方法 | |
| Chang et al. | Auto‐configuring radial basis function networks for chaotic time series and flood forecasting | |
| Kang et al. | A case study for ANN-based rainfall–runoff model considering antecedent soil moisture conditions in Imha Dam watershed, Korea | |
| Xi et al. | Simulation of rainfall-underground outflow responses of a karstic watershed in Southwest China with an artificial neural network | |
| Zabbah et al. | Prediction of monthly rainfall using artificial neural network mixture approach, Case Study: Torbat-e Heydariyeh | |
| Zarafshan et al. | Artificial Intelligence Hybrid Deep Learning Model for Groundwater Level Prediction Using MLP-ADAM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190927 |
|
| WD01 | Invention patent application deemed withdrawn after publication |