CN109948863A - 基于长短期记忆模型lstm的排水管网窨井液位预测方法 - Google Patents
基于长短期记忆模型lstm的排水管网窨井液位预测方法 Download PDFInfo
- Publication number
- CN109948863A CN109948863A CN201910243871.9A CN201910243871A CN109948863A CN 109948863 A CN109948863 A CN 109948863A CN 201910243871 A CN201910243871 A CN 201910243871A CN 109948863 A CN109948863 A CN 109948863A
- Authority
- CN
- China
- Prior art keywords
- liquid level
- inspection shaft
- lstm
- shaft liquid
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Feedback Control In General (AREA)
- Control Of Non-Electrical Variables (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于长短期记忆模型LSTM的排水管网窨井液位预测方法。它首先建立排水管网窨井液位数据库,数据项包括:时刻,窨井液位数据,各个上游泵站开泵信号。其次建立并训练LSTM预测模型,包括确定时滞、确定LSTM预测模型的输入输出、样本采集及划分、数据归一化处理、确定LSTM网络模型结构和模型校核。最后进行LSTM预测模型应用及更新。本发明考虑了上游泵站的启停和污水在管道之间流动的时滞因素,运用了长短期记忆模型LSTM的记忆能力解决了上游泵站启停与下游的时滞不确定性,能够比传统方法更准确有效地预测窨井液位。
Description
技术领域
本发明属于城市排水领域,具体是一种基于长短期记忆模型LSTM的排水管网窨井液位预测方法
背景技术
随着城市化进程的不断加快,城市人口大量增加,城市污水排放量急剧增加,污水溢出、城市内涝等经常见诸报端。
现有城市排水管网系统,采用“液位高开低关启停泵机”的简单控制方法,泵站之间虽存在链接制约,但由于输排不协调,极易在中间检查井(窨井)溢出。因此,在窨井液位检测基础上,建立窨井液位预测模型,以通过模型得到的预测液位提前控制泵组启停可以有效解决这类污水溢出问题。
发明内容
针对影响窨井液位的多上游泵站因素以及支管流不确定性,本发明提出了一种排水管网窨井液位预测方法——基于长短期记忆模型LSTM的窨井液位预测方法
本发明的具体步骤如下:
步骤1、建立排水管网窨井液位数据库
建立排水管网窨井液位数据库。数据项包括:时刻,窨井液位数据,各个上游泵站开泵信号。
步骤2、建立并训练LSTM预测模型
1)确定时滞
上游泵站的启停,增减输排污水量的变化会反应在下游窨井液位中,而这个变化往往有一定的时间差,这个时间差就是污水流动的时滞时间。这个时滞时间通过皮尔森相关性分析得出。皮尔逊相关系数R的计算如式(1):
其中A、B为2个变量的观察值,R的取值在-1与+1之间,若R>0,表明两个变量是正相关,即一个变量的值越大,另一个变量的值也会越大;若R<0,表明两个变量是负相关,即一个变量的值越大另一个变量的值反而会越小。R的绝对值越大表明相关性越强。
不断调整上游泵站信号序列与下游窨井液位序列相对位置,分别计算相关性系数R,当R绝对值达到最大,即为该上游泵站到该窨井液位的时滞时间t。
计算每个上游泵站到该窨井液位的相关性系数,得到p个上游泵站到该窨井液位的时滞时间t1t2…tp。
2)确定LSTM预测模型的输入输出。
LSTM长短期记忆模型具有记忆性,但不能记忆太前或太后的内容,会存在梯度爆炸或者梯度消失的问题。从时滞时间t1t2…tp中取最大时滞值tmax。输入时间跨度In*T略微大于tmax以保障所有泵站变化信息全部获取。输出跨度Out*T取决于预测期。这里In、Out为整数,T为步长(采样周期)。
由此确定:模型输入为前In个的窨井液位、p个上游泵站开泵信号,输入量为(p+1)*In个;输出为第Out*T时刻的窨井液位值,输出量仅1个。
3)样本采集及划分
样本数不少于2000个,训练测试样本,尽量在一个连续时间内。训练集样本数过少,会导致网络精度过低。训练集样本数过大,会导致训练时间增加。一般设置训练集样本数为总样本数的70%~80%。
4)数据归一化处理
对输入数据进行归一化处理,一般采用最大—最小标准化方法对数据进行处理,如式(2):
其中:X为归一化处理后的输入值,L为原始输入值,Lmax、Lmin为神经网络模型输入输出量的最大、最小值。
输出量需要经过反归一化处理:
Y=Lmin+y*(Lmax-Lmin) (3)
这里y为模型输出量,Y为还原后的幅值。
5)确定LSTM网络模型结构
LSTM模型的训练过程中,损失函数(目标函数)设置为MAE(平均绝对误差),优化函数设置为admin函数。LSTM隐含层神经元个数K,如式(4):
K=4*(m*n+n) (4)
其中m,n分别为输入和输出维数,这里m=(p+1)*In,n=1。
6)模型校核。
训练好的LSTM预测模型仍需要通过测试样本校核,如果测试误差过高,则需要重复步骤2),直到得到一个较为理想的窨井液位预测模型。一般模型允许误差ε=5%波幅。在窨井液位预测中评判一个预测模型的优劣一般用平均绝对误差MAE来判断,MAE值越低,说明预测误差越小,模型预测效果越好。
其中,Yt是t时刻实际观察值,Yt'为模型在t时刻预测值。
步骤3、LSTM预测模型应用及更新
利用步骤2训练、校验得到的LSTM记忆网络模型,输入前In个上游泵站信号与液位,预测得到Out*T后的液位值。模型输出的液位预测值填入数据库相应记录中。
每天计算当日得到的预测值与实际值的平均绝对误差MAE。当MAE大于模型允许误差ε时,极有可能是沿线排污增减或者上游输排发生变化,需要重新进行步骤2,尽量利用新近的样本训练、检核模型,保证窨井液位的预测精度。
本发明的有益效果:本发明考虑了上游泵站的启停和污水在管道之间流动的时滞因素,运用了长短期记忆模型LSTM的记忆能力解决了上游泵站启停与下游的时滞不确定性,能够比传统方法更准确有效地预测窨井液位。
附图说明
图1:本发明方法流程示意图;
图2:某污水线实例拓扑结构。
具体实施方式
如图1和图2所示,某污水线已建立泵站自控系统和SCADA系统,其SCADA系统采集、存储了该污水线的上游4个泵站的泵站启停状况与窨井液位,采样周期T为1分钟。现以该污水线为实例,说明本发明方法。
步骤1、建立排水管网窨井液位数据库
建立排水管网窨井液位数据库。数据项包括:采样时刻,窨井液位数据,4个上游泵站信号数。将SCADA(Supervisory Control and Data Acquisition)系统采集到的数据,经过必要的格式转换,录入到数据库中。
步骤2、建立并训练LSTM预测模型
1)确定时滞
通过公式(1)相关性分析得到上游4泵站时滞分别为:t1=13分钟,t2=t3=13分钟,t4=4分钟。
2)确定LSTM预测模型的输入输出。
上游泵站个数p=4,要求预测5分钟后液位。从获得的最大时滞时间tmax为13分钟,输入时间长度略微大于tmax取15分钟,即In=15,Out=5。输入为前15分钟的液位,上游4个泵站的开泵信号,共有75个输入值;输出为之后第5分钟的液位预测值,1个输出值。
3)样本采集及划分
本次实例采用该污水线5月26日至5月27日全部数据,采样频率1分钟一条,共2880个数据。设置测试样本数为总样本数的70%,共1988组训练样本,852组测试样本。
4)数据归一化处理
运用公式(2)对输入数据进行归一化处理,运用公式(3)对模型输出数据进行反归一化处理。
5)确定LSTM网络模型结构
损失函数(目标函数)设置为MAE(平均绝对误差),优化函数设置为admin函数。本次实验输入为75个变量,输出为1个变量。根据公式(4)得到神经元K=300。
6)模型校核。
通过公式(5)计算测试集的平均绝对误差为0.015米,小于允许误差ε=0.021米,预测精度较好,模型可以用于实际预测。
步骤3、LSTM预测模型应用及更新
利用步骤2训练、校验得到的LSTM记忆网络模型,可投入应用。
模型输出的液位预测值填入数据库相应记录中。每天计算当日得到的预测值与实际值的平均绝对误差MAE。当MAE大于模型允许误差ε时,选择新近的样本,需要重新步骤2,以获得符合当前状况的LSTM预测模型,保证窨井液位的预测精度。
以上对于本发明的具体实施方式说明是为了阐明目的,而非限定本发明的权利范围。
Claims (3)
1.基于长短期记忆模型LSTM的窨井液位预测方法,其特征在于该方法包括以下步骤:
步骤1、建立排水管网窨井液位数据库,数据库中的数据项包括:时刻、窨井液位数据和各个上游泵站开泵信号;
步骤2、建立并训练LSTM预测模型
1)确定时滞
上游泵站的启停,增减输排污水量的变化会反应在下游窨井液位中,而这个变化往往有一定的时间差,这个时间差就是污水流动的时滞时间;
不断调整上游泵站信号序列与下游窨井液位序列相对位置,分别计算皮尔逊相关性系数R,当R绝对值达到最大,即为该上游泵站到该窨井液位的时滞时间t;
计算每个上游泵站到该窨井液位的皮尔逊相关性系数,得到p个上游泵站到该窨井液位的时滞时间t1 t2…tp;
2)确定LSTM预测模型的输入输出;
从时滞时间t1 t2…tp中取最大时滞值tmax;输入时间跨度In*T略微大于tmax以保障所有泵站变化信息全部获取;输出跨度Out*T取决于预测期;这里In、Out为整数,T为步长;
由此确定:模型输入为前In个的窨井液位、p个上游泵站开泵信号,输入量为(p+1)*In个;输出为第Out*T时刻的窨井液位值,输出量仅1个;
3)样本采集及划分
样本数不少于2000个,训练测试样本,尽量在一个连续时间内;
4)数据归一化处理
5)确定LSTM网络模型结构
LSTM模型的训练过程中,损失函数设置为平均绝对误差,优化函数设置为admin函数;LSTM隐含层神经元个数K,如下:
K=4*(m*n+n)
其中m,n分别为输入和输出维数,这里m=(p+1)*In,n=1;
步骤3、LSTM预测模型应用及更新
利用步骤2得到的LSTM预测模型,输入前In个上游泵站信号与液位,预测得到Out*T后的液位值,模型输出的液位预测值填入数据库相应记录中;
每天计算当日得到的预测值与实际值的平均绝对误差,当平均绝对误差大于模型允许误差ε时,重新进行步骤2并尽量利用新近的样本训练、检核模型,保证窨井液位的预测精度。
2.根据权利要求1所述的基于长短期记忆模型LSTM的窨井液位预测方法,其特征在于:步骤4)具体是:对输入数据进行归一化处理,采用最大—最小标准化方法对数据进行处理:
其中:X为归一化处理后的输入值,L为原始输入值,Lmax、Lmin为神经网络模型输入输出量的最大、最小值;
输出量需要经过反归一化处理:
Y=Lmin+y*(Lmax-Lmin)
这里y为模型输出量,Y为还原后的幅值。
3.根据权利要求1所述的基于长短期记忆模型LSTM的窨井液位预测方法,其特征在于:还包括模型校核,具体是:
训练好的LSTM预测模型仍需要通过测试样本校核,如果测试误差过高;则需要重复步骤2),直到得到一个较为理想的窨井液位预测模型;在窨井液位预测中评判一个预测模型的优劣用平均绝对误差来判断,平均绝对误差值越低,说明预测误差越小,模型预测效果越好。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910243871.9A CN109948863B (zh) | 2019-03-28 | 2019-03-28 | 基于长短期记忆模型lstm的排水管网窨井液位预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910243871.9A CN109948863B (zh) | 2019-03-28 | 2019-03-28 | 基于长短期记忆模型lstm的排水管网窨井液位预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109948863A true CN109948863A (zh) | 2019-06-28 |
CN109948863B CN109948863B (zh) | 2021-08-03 |
Family
ID=67012204
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910243871.9A Active CN109948863B (zh) | 2019-03-28 | 2019-03-28 | 基于长短期记忆模型lstm的排水管网窨井液位预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109948863B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111222698A (zh) * | 2020-01-06 | 2020-06-02 | 重庆邮电大学 | 面向物联网的基于长短时记忆网络的积水水位预测方法 |
CN111325947A (zh) * | 2020-03-04 | 2020-06-23 | 合肥泽众城市智能科技有限公司 | 一种基于长短期记忆网络的风暴潮洪涝预警方法和系统 |
CN111382838A (zh) * | 2020-01-15 | 2020-07-07 | 南宁市勘察测绘地理信息院 | 城市液位高程的内涝预测方法、装置和设备 |
CN111624874A (zh) * | 2020-06-09 | 2020-09-04 | 浙江超梵环境科技有限公司 | 用于城市污水处理的泵站集群智能化预测方法及系统 |
CN112464552A (zh) * | 2020-10-28 | 2021-03-09 | 山东大学 | 一种适用于地下水封储油库渗流场时序预测方法及系统 |
CN115031776A (zh) * | 2022-05-12 | 2022-09-09 | 浙江中控信息产业股份有限公司 | 一种排水管网淤积监测分析的方法 |
CN116502809A (zh) * | 2023-06-27 | 2023-07-28 | 中国市政工程华北设计研究总院有限公司 | 一种基于位置大数据的排水户时污水量预测方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000257140A (ja) * | 1999-03-09 | 2000-09-19 | Toshiba Corp | 雨水流入量予測装置及び雨水流入量予測方法 |
US20040044475A1 (en) * | 2001-07-16 | 2004-03-04 | Toshiaki Oka | Sewage inflow amount predicting device and method, and server device |
JP2006092058A (ja) * | 2004-09-22 | 2006-04-06 | Fuji Electric Systems Co Ltd | 流量予測装置 |
CN101819407A (zh) * | 2010-04-02 | 2010-09-01 | 杭州电子科技大学 | 基于神经网络的污水泵站水位预测方法 |
CN104697587A (zh) * | 2015-04-01 | 2015-06-10 | 成都城联科技有限公司 | 一种用于地下排水管网的监测装置及其工作机制 |
CN105139603A (zh) * | 2015-07-24 | 2015-12-09 | 华中科技大学无锡研究院 | 一种城市积水智能监测预警系统 |
CN108460476A (zh) * | 2017-12-30 | 2018-08-28 | 浙江中睿低碳科技有限公司 | 基于物联网的排水阀优化方法 |
US20180276531A1 (en) * | 2017-03-27 | 2018-09-27 | Beijing University Of Technology | Fault Identifying Method for Sludge Bulking Based on a Recurrent RBF Neural Network |
-
2019
- 2019-03-28 CN CN201910243871.9A patent/CN109948863B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000257140A (ja) * | 1999-03-09 | 2000-09-19 | Toshiba Corp | 雨水流入量予測装置及び雨水流入量予測方法 |
US20040044475A1 (en) * | 2001-07-16 | 2004-03-04 | Toshiaki Oka | Sewage inflow amount predicting device and method, and server device |
JP2006092058A (ja) * | 2004-09-22 | 2006-04-06 | Fuji Electric Systems Co Ltd | 流量予測装置 |
CN101819407A (zh) * | 2010-04-02 | 2010-09-01 | 杭州电子科技大学 | 基于神经网络的污水泵站水位预测方法 |
CN104697587A (zh) * | 2015-04-01 | 2015-06-10 | 成都城联科技有限公司 | 一种用于地下排水管网的监测装置及其工作机制 |
CN105139603A (zh) * | 2015-07-24 | 2015-12-09 | 华中科技大学无锡研究院 | 一种城市积水智能监测预警系统 |
US20180276531A1 (en) * | 2017-03-27 | 2018-09-27 | Beijing University Of Technology | Fault Identifying Method for Sludge Bulking Based on a Recurrent RBF Neural Network |
CN108460476A (zh) * | 2017-12-30 | 2018-08-28 | 浙江中睿低碳科技有限公司 | 基于物联网的排水阀优化方法 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111222698A (zh) * | 2020-01-06 | 2020-06-02 | 重庆邮电大学 | 面向物联网的基于长短时记忆网络的积水水位预测方法 |
CN111382838A (zh) * | 2020-01-15 | 2020-07-07 | 南宁市勘察测绘地理信息院 | 城市液位高程的内涝预测方法、装置和设备 |
CN111325947A (zh) * | 2020-03-04 | 2020-06-23 | 合肥泽众城市智能科技有限公司 | 一种基于长短期记忆网络的风暴潮洪涝预警方法和系统 |
CN111325947B (zh) * | 2020-03-04 | 2022-04-01 | 合肥泽众城市智能科技有限公司 | 一种基于长短期记忆网络的风暴潮洪涝预警方法和系统 |
CN111624874A (zh) * | 2020-06-09 | 2020-09-04 | 浙江超梵环境科技有限公司 | 用于城市污水处理的泵站集群智能化预测方法及系统 |
CN111624874B (zh) * | 2020-06-09 | 2022-12-06 | 浙江超梵环境科技有限公司 | 用于城市污水处理的泵站集群智能化预测方法及系统、存储介质 |
CN112464552A (zh) * | 2020-10-28 | 2021-03-09 | 山东大学 | 一种适用于地下水封储油库渗流场时序预测方法及系统 |
CN115031776A (zh) * | 2022-05-12 | 2022-09-09 | 浙江中控信息产业股份有限公司 | 一种排水管网淤积监测分析的方法 |
CN116502809A (zh) * | 2023-06-27 | 2023-07-28 | 中国市政工程华北设计研究总院有限公司 | 一种基于位置大数据的排水户时污水量预测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109948863B (zh) | 2021-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109948863A (zh) | 基于长短期记忆模型lstm的排水管网窨井液位预测方法 | |
CN102032935B (zh) | 城市排水汇流管网污水泵站流量的软测量方法 | |
CN103903452A (zh) | 交通流短时预测方法 | |
CN107765347A (zh) | 一种高斯过程回归和粒子滤波的短期风速预测方法 | |
CN107153874A (zh) | 水质预测方法及系统 | |
CN109376925A (zh) | 供水管网节点流量动态自适应优化方法 | |
CN101807045B (zh) | 基于数据的城市污水泵站系统建模方法 | |
CN116050628A (zh) | 一种基于数字孪生的考虑预报不确定性的水库防洪优化调度方法 | |
CN112799310A (zh) | 基于c语言的机理模型、概念模型与数据模型的城市排水系统仿真控制混合模型的方法 | |
CN114692993A (zh) | 融合季节ARIMA和BiLSTM的水利设施形变预测方法 | |
CN112596386A (zh) | 基于Matlab的机理模型、概念模型与数据模型的城市排水系统仿真控制混合模型 | |
CN115640881A (zh) | 一种基于lstm的水库入库径流预报模型的水库水位修正方法 | |
Habib et al. | Stage–discharge relations for low-gradient tidal streams using data-driven models | |
CN115271186A (zh) | 一种基于延时因子和PSO RNN Attention模型的水库水位预测预警方法 | |
CN112348290A (zh) | 河流水质预测方法、装置、存储介质及设备 | |
CN115186857A (zh) | 一种基于集成学习的神经网络水库水位预测方法 | |
CN109403425B (zh) | 供水管网的优化调度系统 | |
CN111435469B (zh) | 一种梯级电站中下游电站入库流量的预测方法 | |
CN118333129A (zh) | 辨识模型训练方法、非线性系统辨识方法及系统 | |
CN116415394A (zh) | 一种融合机器学习和机理模型的二回路设备模型仿真方法 | |
CN114254833A (zh) | 基于多元线性回归和气象数据的水库水位预测及调度方法 | |
CN118052326A (zh) | 一种基于神经网络的校园供水管网用水量预测方法 | |
Adnan et al. | Modeling of flood water level prediction using improved RBFNN structure | |
CN113159395A (zh) | 一种基于深度学习的污水处理厂进水流量预测方法及系统 | |
Ding et al. | Neural network based models for forecasting |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |