CN113537469B - 一种基于LSTM网络和Attention机制的城市需水预测方法 - Google Patents

一种基于LSTM网络和Attention机制的城市需水预测方法 Download PDF

Info

Publication number
CN113537469B
CN113537469B CN202110815711.4A CN202110815711A CN113537469B CN 113537469 B CN113537469 B CN 113537469B CN 202110815711 A CN202110815711 A CN 202110815711A CN 113537469 B CN113537469 B CN 113537469B
Authority
CN
China
Prior art keywords
attention
lstm
water
month
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110815711.4A
Other languages
English (en)
Other versions
CN113537469A (zh
Inventor
李明波
吴芋航
陈嘉豪
罗湘才
王远卓
顾克�
何纪琛
张轩齐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202110815711.4A priority Critical patent/CN113537469B/zh
Publication of CN113537469A publication Critical patent/CN113537469A/zh
Application granted granted Critical
Publication of CN113537469B publication Critical patent/CN113537469B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Electricity, gas or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Tourism & Hospitality (AREA)
  • Molecular Biology (AREA)
  • Marketing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于LSTM网络和Attention机制的城市需水预测方法，该方法使用Attention机制改良了一般的LSTM模型，然后使用数据集对改良后的模型进行训练，比较LSTM的输出与实际值，得出预测误差，再使用预测误差更新网络参数，如此不断迭代，使得Attention改良后的LSTM模型能够自动学习到城市需水预测数据里隐藏的城市需水规律，从而实现城市需水预测。实际使用时，将历史数据输入到Attention‑LSTM模型，得到数据的预测结果。本发明使用Attention改进了一般的LSTM模型，对城市需水预测具有更小的误差，具有良好的准确性。

Description

一种基于LSTM网络和Attention机制的城市需水预测方法
技术领域
本发明涉及城市供水规划技术领域，特别涉及一种基于LSTM网络和Attention机制的城市需水预测方法，属于城市供水规划技术领域。
背景技术
针对城市需水预测问题，目前需水预测模型多样，常用的方法有时间序列法、回归分析法、灰色模型预测、系统动力学模型、神经网络及其变种以及组合模型法等方法。但是传统的时间序列法等方法，存在考虑不全面，准确预测时间短，逻辑解释不严谨等缺点。而神经网络虽然具有非常强大的非线性拟合能力，但是容易陷入局部最优值，且模型训练时间相对较长。近几年来，随着神经网络的不断发展，神经网络方法对时间序列数据的预测更加精准。
薛林丽等在文献《城市需水预测方法比较》(薛林丽,袁星宇,刘宗显.城市需水预测方法比较[J].人民珠江,2018,39(01):63-66)中基于多元线性回归法、灰色模型预测法和BP神经网络法对北京市的用水数据进行模拟预测，发现BP神经网络法预测模型预测精度更高。李晓英等在文献《基于主成分分析的GA-BP模型在城市需水预测中的应用》(李晓英,苏志伟,周华,等.基于主成分分析的GA-BP模型在城市需水预测中的应用[J].南水北调与水利科技,2017,15(06):39-44)用主成分分析(PCA)和灰色关联分析(GRA)降低数据维度的基础上，引入遗传算法(GA)和思维进化算法(MEA)提高神经网络的收敛速度，避免训练时网络陷入局部极值。但是，研究发现单一的LSTM模型往往不能达到良好的预测结果，同时，单一的LSTM模型鲁棒性不强。
发明内容
本发明要解决现有技术中单一的LSTM模型不能达到良好的预测结果、单个LSTM模型鲁棒性不强的技术问题，提供一种基于Attention和LSTM的城市需水预测方法，使用Attention机制改进LSTM模型，为城市需水预测问题提供了一种可靠的、鲁棒性更好的模型。
本发明采用以下技术方案：
一种基于LSTM网络和Attention机制的城市需水预测方法，包括如下步骤：
步骤1，获取城市每月的住宅用水数据，并按照城市邮编、年份、月份、六月前用水量、五月前用水量、四月前用水量、三月前用水量、二月前用水量、一月前用水量、温度、降水量以及当月用水量的顺序构建多元时间序列并从中选取N条数据(xi,yi)作为训练样本，i＝1,2,…,N，其中，/>分别表示相对于某月而言，某月以前的前6个月数据的特征向量：城市邮编、年份、月份、六月前用水量、五月前用水量、四月前用水量、三月前用水量、二月前用水量、一月前用水量、温度、降水量；将某月记为第D月，yi表示该地区的第D月用水量；
步骤2，使用Attention机制改进LSTM网络模型，得到Attention-LSTM网络模型；
步骤3，利用步骤1的训练样本对Attention-LSTM网络模型进行训练，每次将xi作为该模型的输入，得到一个预测结果；将模型的输出值与实际值进行误差比较，通过损失函数对不同的输出值进行求导，用反向传播算法向所有神经元传递误差；
步骤4，根据误差值，使用随机梯度下降法对各层神经元更新权重与偏置值，每次调整幅度根据学习率进行；
步骤5，重复步骤2-4，将迭代次数设置到足够梯度下降为0；
步骤6，使用参数训练完毕的Attention-LSTM网络模型对某月某地区的当月需水量进行预测。
具体地，步骤2的具体做法如下：
1)使用Attention机制用来改良在LSTM从隐藏层得到的中间结果的注意力占比；
2)随机初始化Attention-LSTM网络模型中的参数，并通过训练样本学习调整Attention-LSTM网络模型中的参数，即将xi,yi分别作为Attention-LSTM网络的输入和输出来学习网络中的参数。
具体地，随机初始化Attention-LSTM网络模型中的参数W0，并通过训练样本学习调整Attention-LSTM网络模型中的参数，得到训练过程中的权重参数，记作为即将(xi,yi)分别作为Attention-LSTM网络的输入和输出来学习网络的最终参数w，这个过程可表示如下；
w＝argminL(Attention-LSTM(x,w),y)
其中Attention-LSTM(x,w)是对基于Attention和LSTM的城市需水预测模型一般化表示，x表示模型的输入，w表示模型的所有权重；L(Ypredict,Ylabel)表示对LSTM-Attention模型的监督函数的一般化表示，实际写作如下所示：
具体地，步骤3的具体做法如下：
将xi作为Attention-LSTM网络的输入，得到Attention-LSTM网络的预测值与该地区在对应时间记录的实际需水量yi进行比较，再通过反向传播算法调整优化Attention-LSTM网络中的参数，得到优化后的Attention-LSTM网络模型，其中，分别表示相对于某月而言，某月以前的前6个月数据的特征向量：城市邮编、年份、月份、六月前用水量、五月前用水量、四月前用水量、三月前用水量、二月前用水量、一月前用水量、温度和降水量。
与现有技术相比，本发明具有以下技术效果：
1、本发明构建基于Attention和LSTM的城市需水预测模型，通过在公开数据集上的城市家庭用水实验结果，对比分析基于Attention和LSTM的城市需水预测模型与SimpleRNN模型、LSTM模型、GRU模型和BP模型在预测效果上的不同，以及研究基于Attention和LSTM的城市需水预测模型和其他模型在预测性能上的差异，有效地提高模型的预测的准确性。
2、本发明通过在结合深度学习强大的表征能力和LSTM神经网络对于时间序列模型较优的预测能力的优点基础上，使用Attention机制用来改良在LSTM从隐藏层得到的中间结果的注意力占比，提供了一种可靠的城市需水预测模型，对城市需水的预测具有良好的准确性和鲁棒性。
附图说明
图1是本发明一种基于Attention和LSTM的城市需水预测方法的整体架构图。
图2是本发明预测方法中用LSTM模型结构示意图。
图3是本发明预测方法中用Attention改进LSTM后的模型结构示意图。
图4显示了SimpleRNN神经网络拟合图，其中图4a显示了家庭用户用水数据集拟合图，4b显示了住户用水数据集拟合图；
图5显示了LSTM神经网络拟合图，其中图5a显示了家庭用户用水数据集拟合图，5b显示了住户用水数据集拟合图；
图6显示了GRU神经网络拟合图，其中图6a显示了家庭用户用水数据集拟合图，6b显示了住户用水数据集拟合图；
图7显示了BP神经网络拟合图，其中图7a显示了家庭用户用水数据集拟合图，7b显示了住户用水数据集拟合图；
图8显示了Attention-LSTM神经网络拟合图，其中图8a显示了家庭用户用水数据集拟合图，8b显示了住户用水数据集拟合图；
上述图4-图8中，灰色线条代表预测数据，黑色线条代表实测数据。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
神经网络具有非常强大的非线性拟合能力，但是容易陷入局部最优值，且模型训练时间相对较长。近几年来，随着神经网络的不断发展，神经网络方法在时间序列数据的预测更加精准。传统的SimpleRNN，GRU，LSTM和BP神经网络对于影响城市需水预测的元素是均衡考虑的，但是实际上不同的元素对城市需水的影响能力是不一样的，因此在城市需水预测中，需要对这些影响因素分别给予不同的权重予以考虑。基于这一想法，本发明提出一种基于Attention和LSTM的城市需水方法。
如图1所示，本发明提出一种基于LSTM网络和Attention机制的城市需水预测方法，包括以下步骤：
步骤1，城市需水预测的关键参数指标数据主要有城市邮编，年份，月份，六月前用水量，五月前用水量，四月前用水量，三月前用水量，二月前用水量，一月前用水量，温度，降水量，获取城市每月的住宅用水数据，并按照城市邮编，年份，月份，六月前用水量，五月前用水量，四月前用水量，三月前用水量，二月前用水量，一月前用水量，温度，降水量以及当月用水量的顺序生成多元时间序列并从中选取N条数据(xi,yi)作为训练样本，i＝1,2,…,N，其中，/>分别表示相对于某月而言，某月以前的前6个月数据的特征向量：城市邮编、年份、月份、六月前用水量、五月前用水量、四月前用水量、三月前用水量、二月前用水量、一月前用水量、温度、降水量；将某月记为第D月，yi表示该地区的第D月用水量；
步骤2，借助深度学习框架，实现使用Attention机制改进LSTM模型，记作Attention-LSTM。
步骤3，利用步骤1的训练样本对模型进行训练，每次将xi作为模型的输入，得到一个预测结果，将Attention改进后的LSTM网络的输出值与实际值进行误差比较，用反向传播算法向所有神经元传递误差；
步骤4，根据误差值，使用随机梯度下降法对各层神经元更新权重与偏置值，每次调整幅度根据学习率进行。
步骤5，重复上述3个步骤，将迭代次数(epoch轮数)设置到足够梯度下降为0。
步骤6，使用参数训练完毕的Attention改进的LSTM模型对某月某地区的当月需水量进行预测。
其中步骤3、步骤4的具体过程如下：
(1)初始化LSTM网络参数，包括：LSTM网络，输入神经元个数为L，隐含层神经元个数为H，输出神经元个数为O，LSTM网络学习率α，训练批次training_epochs，每训练批次的训练数据大小batch_size；
(2)利用输入向量xi训练LSTM网络，可得神经元在t时刻的输出值为ht，公式为：ht＝ot*tanh(ct)，式中，ot是隐藏层神经元内部输出门t时刻的输出值：ot＝σ(woxxt+wohht-1+bo)，其中，wox为输出门与输入层之间的权重；woh为输出门与上一个隐藏层神经元的输出ht-1之间的权重；bo为输出门与输入层之间的偏置；ct是隐藏层神经元长短时间记忆元在t时刻状态，ct＝it*c't+ft*ct-1，式中c't＝tanh(wcxxt+wchht-1+bc)，其中，wcx是隐藏层神经元内部状态单元与输入层之间的权重；wch是为状态单元与上一个隐藏层神经元的输出ht-1之间的权重；bc为状态单元与输入层之间的偏置；it是隐藏层神经元内部输入门t时刻的输出值：it＝σ(wixxt+wihht-1+bi)，其中，wix为输入门与输入层之间的权重；wih为输入门与上一个隐藏层神经元的输出ht-1之间的权重；bi为输入门与输入层之间的偏置；ft是隐藏层神经元内部忘记门在t时刻的输出值：ft＝σ(wfxxt+wfhht-1+bf)，其中，wfx为忘记与输入层之间的权重；wfh为忘记门与上一个隐藏层神经元的输出ht-1之间的权重；bf为忘记门与输入层之间的偏置；ct-1为是上一个隐藏层神经元长短时间记忆云在t-1时刻状态值；σ(·)为sigmoid激活函数；tanh(·)为激活函数；
(3)因此，得到LSTM模型最底层隐藏层的输出向量ht作为Attention模块的输入向量，设当前的Attention层的隐藏层权重是wt，偏置为b，对t时刻LSTM的模型的输出向量ht，计算得到输出值yt：zt＝wtht+b,yt＝σ(zt)，σ(·)为sigmoid激活函数；完成对数据的预测。
LSTM训练完成后，需要检验需水预测模型的好坏程度，城市需水预测在本质上是一种回归模型，因此不适用于分类任务的评价方式。对于回归模型的评判方式主要采用确定系数法、均方根误差、平均绝对误差和平均绝对百分误差衡量基于Attention机制改进LSTM模型模型的输出值与实际值之间的误差。
(Ⅰ)正确率(Test accuracy):确定性系数反应了预报过程与实测过程之间的吻合程度，它的取值范围为[0,1]，结果越接近1.0，预报准确率越高，其计算公式为：
(Ⅱ)均方根误差(Root Mean Square Error,RMSE)：线性回归L2函数在测试集上直观的观察损失值均方误差(MSE)，并为了得到更好的数据描述对其做开方操作，其计算公式为：
(Ⅲ)平均绝对误差(Mean Absolute Error,MAE):体现出预测数值同真实数据之间偏离的绝对距离大小，其计算公式为：
(Ⅳ)平均绝对百分误差(Mean Absolute Percent Error,MAPE):当MAPE为0％时该模型为完美模型，当MAPE大于100％则表示该模型为劣质模型，其计算公式为：
公式(1.1)-(1.4)中，y为实测值，为预测值，/>为实测值均值，m为样本个数；
如图2所示，本发明基于Attention和LSTM的城市需水预测模型的LSTM基础模型如下：
LSTM神经网络在进行训练时，要首先经过前向传播过程，即一条多元时序数据从数据输入到数据运算完毕产生输出的过程。
LSTM进行前向传播，输入门对数据更新的公式表达为：
it＝σ(Wi·[ht-1,xt]+bi) (1.5)
新候选值更新的公式表达为：
当前状态Ct更新过程的公式表达为：
遗忘门进行记忆内容更新的公式表达为：
ft＝σ(Wf·[ht-1,xt]+bf) (1.8)
输出门对数据更新的公式表达为：
ot＝σ(Wo·[ht-1,xt]+bo) (1.9)
在t时刻，隐含层数据更新的公式表达为：
ht＝ot*tanh(ct) (1.10)
其中it、ft、ot、ht分别表示输入门、遗忘门、输出门、隐含层的计算值。Wi、Wc、Wf、Wo分别表示数据到输入门、单元状态、遗忘门和输出门的权重。bi、bc、bf、bo分别表示输入门、单元状态、遗忘门和输出门的偏置值。ht-1代表在t-1时刻的隐含层输出，Ct代表在t时刻的状态值，xt代表在t时刻输入的一条多元时序数据。*号代表着矩阵之间的标量积。σ表示sigmoid函数，其公式表达如下：
表示双曲正切函数，其公式表达如下：
如图3所示，本发明基于Attention和LSTM的城市需水预测模型对LSTM模型的改进如下：
1)使用注意力机制用来改良在LSTM从隐藏层得到的中间结果的注意力占比。
2)随机初始化Attention改进的LSTM网络模型中的参数W0，并通过训练样本学习调整Attention-LSTM网络模型中的参数，得到训练过程中的权重参数，记作为即将(xi,yi)分别作为Attention-LSTM网络的输入和输出来学习网络的最终参数W，这个过程可表示如下；
w＝argminL(Attention-LSTM(x,w),y) (1.13)其中Attention-LSTM(x,w)是对基于Attention和LSTM的城市需水预测模型一般化表示，x表示模型的输入，w表示模型的所有权重。L(Ypredict,Ylabel)表示对LSTM-Attention模型的监督函数的一般化表示，实际写作如下所示，
3)将xi作为Attention-LSTM网络的输入，得到Attention-LSTM网络的预测值与实际值yi进行比较，再通过反向传播算法调整优化Attention-LSTM网络中的参数。得到优化后的Attention-LSTM网络模型，其中，/>分别表示相对于某月而言，某月以前的前6个月数据的特征向量：城市邮编、年份、月份、六月前用水量、五月前用水量、四月前用水量、三月前用水量、二月前用水量、一月前用水量、温度、降水量；将某月记为第D月，yi表示该地区的第D月用水量；
预测过程：获取测试样本，包括城市邮编，年份，月份，六月前用水量，五月前用水量，四月前用水量，三月前用水量，二月前用水量，一月前用水量，温度，降水量，然后利用基于Attention和LSTM的城市需水预测模型进行预测。
将注意力机制改良LTSM模型的预测结果与已有的方法进行比较，包括：SimpleRNN神经网络模型、LSTM神经网络模型、GRU神经网络模型、BP神经网络模型。表1和表2别是上述五种模型分别在多家庭用户用水数据集与住户用水数据集上所得到的各个衡量指标的对比。
表1多家庭需水预测衡量指标实验对照表
Test Accuracy MAE RMSE MAPE
SimpleRNN 0.749196462 3643916.48 7847018.71 2.38626518
LSTM 0.802174453 3774526.48 6758241.79 2.04172225
GRU 0.796043230 4635015.56 7076311.16 2.11611038
BP 0.473526388 9564349.71 11369102.00 4.31592994
LSTM-Attention 0.845971484 3792257.54 6149480.44 1.95362441
表2住宅需水预测衡量指标实验对照表
通过表1、2可以直观的看出注意力机制改良LSTM模型所得到的准确率是最高的。
MAE、RMSE和MAPE只能评估模型的整体预测结果，为了更好地分析预测结果，本申请对上述五种模型分别在多个家庭用户用水数据集与住户用水数据集上进行了拟合，如图4-8，分别是SimpleRNN神经网络模型、LSTM神经网络模型、GRU神经网络模型、BP神经网络模型以及基于Attention机制改良LTSM模型的拟合图。
由图可知，无论是对于多家庭数据，还是住宅数据，本申请所述的LSTM-Attention神经网络预测方法具有更好的拟合效果，能够更加准确地预测城市的需水量。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (4)

1.一种基于LSTM网络和Attention机制的城市需水预测方法，其特征在于，包括如下步骤：
步骤1，获取城市每月的住宅用水数据，并按照城市邮编、年份、月份、六月前用水量、五月前用水量、四月前用水量、三月前用水量、二月前用水量、一月前用水量、温度、降水量以及当月用水量的顺序构建多元时间序列并从中选取N条数据(xi,yi)作为训练样本，i＝1,2,…,N，其中，/>分别表示相对于某月而言，某月以前的前6个月数据的特征向量：城市邮编、年份、月份、六月前用水量、五月前用水量、四月前用水量、三月前用水量、二月前用水量、一月前用水量、温度、降水量；将某月记为第D月，yi表示该地区的第D月用水量；
步骤2，使用Attention机制改进LSTM网络模型，得到Attention-LSTM网络模型；
步骤3，利用步骤1的训练样本对Attention-LSTM网络模型进行训练，每次将xi作为该模型的输入，得到一个预测结果；将模型的输出值与实际值进行误差比较，通过损失函数对不同的输出值进行求导，用反向传播算法向所有神经元传递误差；
步骤4，根据误差值，使用随机梯度下降法对各层神经元更新权重与偏置值，每次调整幅度根据学习率进行；
步骤5，重复步骤2-4，将迭代次数设置到足够梯度下降为0；
步骤6，使用参数训练完毕的Attention-LSTM网络模型对某月某地区的当月需水量进行预测。
2.根据权利要求1所述一种基于LSTM网络和Attention机制的城市需水预测方法，其特征在于，步骤2的具体做法如下：
1)使用Attention机制用来改良在LSTM从隐藏层得到的中间结果的注意力占比；
2)随机初始化Attention-LSTM网络模型中的参数，并通过训练样本学习调整Attention-LSTM网络模型中的参数，即将xi,yi分别作为Attention-LSTM网络的输入和输出来学习网络中的参数。
3.根据权利要求2所述一种基于LSTM网络和Attention机制的城市需水预测方法，其特征在于，
随机初始化Attention-LSTM网络模型中的参数W0，并通过训练样本学习调整Attention-LSTM网络模型中的参数，得到训练过程中的权重参数，记作为即将(xi,yi)分别作为Attention-LSTM网络的输入和输出来学习网络的最终参数w，这个过程可表示如下；
w＝argminL(Attention-LSTM(x,w),y)
其中Attention-LSTM(x,w)是对基于Attention和LSTM的城市需水预测模型一般化表示，x表示模型的输入，w表示模型的所有权重；L(Ypredict,Ylabel)表示对LSTM-Attention模型的监督函数的一般化表示，实际写作如下所示：
4.根据权利要求3所述一种基于LSTM网络和Attention机制的城市需水预测方法，其特征在于，步骤3的具体做法如下：
将xi作为Attention-LSTM网络的输入，得到Attention-LSTM网络的预测值与该地区在对应时间记录的实际需水量yi进行比较，再通过反向传播算法调整优化Attention-LSTM网络中的参数，得到优化后的Attention-LSTM网络模型，其中，分别表示相对于某月而言，某月以前的前6个月数据的特征向量：城市邮编、年份、月份、六月前用水量、五月前用水量、四月前用水量、三月前用水量、二月前用水量、一月前用水量、温度和降水量。
CN202110815711.4A 2021-07-19 2021-07-19 一种基于LSTM网络和Attention机制的城市需水预测方法 Active CN113537469B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110815711.4A CN113537469B (zh) 2021-07-19 2021-07-19 一种基于LSTM网络和Attention机制的城市需水预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110815711.4A CN113537469B (zh) 2021-07-19 2021-07-19 一种基于LSTM网络和Attention机制的城市需水预测方法

Publications (2)

Publication Number Publication Date
CN113537469A CN113537469A (zh) 2021-10-22
CN113537469B true CN113537469B (zh) 2024-04-16

Family

ID=78128776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110815711.4A Active CN113537469B (zh) 2021-07-19 2021-07-19 一种基于LSTM网络和Attention机制的城市需水预测方法

Country Status (1)

Country Link
CN (1) CN113537469B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114510870B (zh) * 2022-01-07 2024-04-16 华东交通大学 一种城市轨道交通地下结构的剩余寿命预测方法及装置
CN116861192A (zh) * 2023-07-27 2023-10-10 广东中山建筑设计院股份有限公司 基于satt-tcn-lstm模型的城市用水量预测方法
CN117094516B (zh) * 2023-08-24 2024-02-23 中国水利水电科学研究院 一种基于固定效应模型的城市群月生活需水量预测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147877A (zh) * 2019-05-24 2019-08-20 福州大学 基于卷积长短时网络的pm2.5预测方法
CN111626518A (zh) * 2020-05-29 2020-09-04 上海交通大学 基于深度学习神经网络的城市天级需水量在线预测方法
CN111754034A (zh) * 2020-06-15 2020-10-09 西安工业大学 一种基于混沌优化神经网络模型的时间序列预测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147877A (zh) * 2019-05-24 2019-08-20 福州大学 基于卷积长短时网络的pm2.5预测方法
CN111626518A (zh) * 2020-05-29 2020-09-04 上海交通大学 基于深度学习神经网络的城市天级需水量在线预测方法
CN111754034A (zh) * 2020-06-15 2020-10-09 西安工业大学 一种基于混沌优化神经网络模型的时间序列预测方法

Also Published As

Publication number Publication date
CN113537469A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN113537469B (zh) 一种基于LSTM网络和Attention机制的城市需水预测方法
CN109492822B (zh) 空气污染物浓度时空域关联预测方法
CN113962364B (zh) 一种基于深度学习的多因素用电负荷预测方法
CN109583565B (zh) 基于注意力模型长短时记忆网络的洪水预测方法
CN111260136A (zh) 一种基于arima-lstm组合模型的楼宇短期负荷预测方法
CN113537600B (zh) 一种全过程耦合机器学习的中长期降水预报建模方法
McAdam et al. Forecasting inflation with thick models and neural networks
CN111861013B (zh) 一种电力负荷预测方法及装置
CN113554466B (zh) 一种短期用电量预测模型构建方法、预测方法和装置
CN112435054B (zh) 基于广义最大相关熵准则的核极限学习机售电量预测方法
CN112418476A (zh) 一种超短期电力负荷预测方法
CN116187835A (zh) 一种基于数据驱动的台区理论线损区间估算方法及系统
CN115759415A (zh) 基于lstm-svr的用电需求预测方法
CN106295877B (zh) 一种智能电网电能使用量预测方法
CN114819395A (zh) 一种基于长短期记忆神经网络和支持向量回归组合模型的行业中长期负荷预测方法
CN114596726A (zh) 基于可解释时空注意力机制的停车泊位预测方法
CN113344589A (zh) 一种基于vaegmm模型的发电企业串谋行为的智能识别方法
CN117151770A (zh) 一种基于注意力机制的lstm碳价预测方法和系统
CN116797274A (zh) 一种基于Attention-LSTM-LightGBM的共享单车需求量预测方法
CN111797979A (zh) 基于lstm模型的振动传递系统
CN116703644A (zh) 一种基于Attention-RNN的短期电力负荷预测方法
CN115759343A (zh) 一种基于e-lstm的用户电量预测方法和装置
CN113393035B (zh) 一种电动汽车日充放电功率预测方法
CN113762591B (zh) 一种基于gru和多核svm对抗学习的短期电量预测方法及系统
CN115640901A (zh) 一种基于混合神经网络和生成对抗的小样本负荷预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant