CN111222698B - 面向物联网的基于长短时记忆网络的积水水位预测方法 - Google Patents

面向物联网的基于长短时记忆网络的积水水位预测方法 Download PDF

Info

Publication number
CN111222698B
CN111222698B CN202010010352.0A CN202010010352A CN111222698B CN 111222698 B CN111222698 B CN 111222698B CN 202010010352 A CN202010010352 A CN 202010010352A CN 111222698 B CN111222698 B CN 111222698B
Authority
CN
China
Prior art keywords
data
water level
water
ponding
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010010352.0A
Other languages
English (en)
Other versions
CN111222698A (zh
Inventor
周小力
刘应欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202010010352.0A priority Critical patent/CN111222698B/zh
Publication of CN111222698A publication Critical patent/CN111222698A/zh
Application granted granted Critical
Publication of CN111222698B publication Critical patent/CN111222698B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Educational Administration (AREA)
  • Computer Security & Cryptography (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明请求保护一种面向物联网的基于长短时记忆网络的积水水位预测方法，用于城市积水点未来水位的预测，其包括以下步骤：采集多特征变量的积水时间数据，进行数据清洗和归一化处理，将数据按比例划分为训练集和测试集；将训练集数据送入LSTM神经网络中，对网络进行迭代优化；利用已训练好的LSTM网络预测模型对测试集进行预测，并评估模型误差。本发明的方法能够提取积水特征数据之间的时间关系，有效预测内涝点积水水位。相比BP,RNN神经网络，本发明方法对积水水位预测的RMSE和MAE都最小，具有更好地拟合实际积水水位的效果。

Description

面向物联网的基于长短时记忆网络的积水水位预测方法
技术领域
本发明属于深度学习方法和积水水位时间序列预测等技术领域，具体涉及一种使用LSTM神经网络预测积水水位的方法。
背景技术
近年来，因城市暴雨频发，导致城市出现积水，内涝甚至洪灾状况严重，造成交通拥堵和财产损失，为人们的生活带来极大的不便。随着传感器技术与物联网技术的迅速发展以及传感器的广泛部署，可以实现实时获取各地积水信息。然而，目前对积水数据的进一步分析十分有限，造成对城市暴雨积水只监不控的状况。城市暴雨积水问题一直是多年来困扰居民的难题之一，提高暴雨积水的预测能力，为防灾减灾措施提供依据成为亟待解决的问题。传统的暴雨积水研究主要基于暴雨管理模型、蓄水处理与溢流模型、伊利诺城市排水模型等雨洪模型，但水文系统结构复杂难以模拟，资料有限等因素导致了模型精度不高，难以扩大应用范围等问题。随着物联网平台的研发与应用，可以通过传感器实时远程获取内涝点水位数据以及内涝点附近河道，泵站、闸门和水流状态数据。通过气象站数据库，可以获取历年来的天气数据。针对积水数据分析不足的问题，本文对多维度的传感器数据与天气数据融合处理，使用长短期记忆网络(Long Short-Term Memory，LSTM)模型达到预测积水的目的。
人工神经网络因具有强大的非线性逼近能力被广泛应用于降雨径流预报、排水系统降雨水位预测等时间序列预测研究。邵月红等分别采用递归神经网络和水文模型预报降雨径流量，结果表明递归神经网络预报效果更好。Chang F J 等分别采用前馈神经网络和递归神经网络预测台北某水库降雨水位，验证了递归神经网络预测效果的优越性以及降雨因素在水位预测中的重要性。Yen-ming C等采用递归神经网络构造城市污水系统降雨与水位映射关系模型，结果表明递归神经网络能够学习污水系统水位时变过程且短时预测性能稳定。张梦等联合使用回声状态网络和粒子群算法预测积水，结果得到了更为精确的预测结果。虽然传统递归神经网络在水文时间序列预测领域表现良好，但在处理长时间序列和时间间隔较长的预测时，容易出现梯度消失的问题，导致预测效果不理想。同时，现有的积水预测方案都仅仅基于降雨和水位之间的单一映射关系进行预测，而在实际情况中，还存在着很多其他影响积水的因素。仅使用单一降雨因素的预测结果会与实际积水情况出现较大偏差。LSTM神经网络相较于传统的递归神经网络，可以很好的对长时序列进行预测，并解决了RNN中梯度消失的问题。本文采用LSTM构建积水预测模型，融合多个维度的数据，包括天气情况，河道，泵站、闸门和水流状态数据来代替传统的单一维度的降雨数据进行预测，提高了积水预测的准确度。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种面向物联网的基于长短时记忆网络的积水水位预测方法。本发明的技术方案如下：
一种面向物联网的基于长短时记忆网络的积水水位预测方法，其包括以下步骤：
步骤S1，通过物联网平台获取积水相关的多特征传感器数据，所述积水相关的多特征传感器数据包括天气情况，河道，泵站、闸门和水流状态数据，并在气象官方网站上获取降雨数据；
步骤S2，对获取的多特征积水相关数据进行清洗和归一化处理，并按比例将数据划分为训练集和测试集；
步骤S3，将训练集数据送入LSTM长短期记忆神经网络中，对LSTM网络模型进行迭代优化；
步骤S4，利用已训练好的LSTM模型对测试集进行预测，并评估模型误差。
进一步的，所述步骤S1通过物联网平台获取积水相关的多特征传感器数据，具体包括：
在积水点附近放置相应的传感器；感知数据通过网关的格式统一化处理后被送入物联网平台，融合从积水点所在地的气象官方网站获取的降雨数据，即可得到多特征的积水数据。其中传感器数据为每5分钟采集一次。
进一步的，所述步骤S2对数据进行归一化处理，具体包括：将每个因子缩放到统一的尺度范围，以便对不同单位或数量级的指标进行比较和加权，采用 Min-max归一化方法，将原始数据进行线性变换，使变换后的数据全部映射到 [0-1]之间，转换公式为：
Figure GDA0003906210680000031
其中，x*为某积水因子归一化后的数据，x为某一类积水因子的原始数据。 xmax为某一类积水因子的最大值，xmin为某一类积水因子的最小值。
进一步的，所述LSTM长短期记忆神经网络首先包括确定输入输出向量的步骤：路面积水深度的历史值用wd表示，路面积水不仅与降雨量有关，还与附近的汇流和排水系统有很强的相关性，其中包括泵站状态，河道状态，闸门开合度以及水流速度；泵站状态由两个水位传感器联合监控，实时上报进水侧水位pi与出水侧水位po数据，河道状态包括河流的水位与流量情况，分别用rl、rf表示，闸门开合度由g表示，水流速度由wv表示，降雨量由rn表示；
LSTM神经网络的输入量为
Figure GDA0003906210680000032
输出量
Figure GDA0003906210680000033
为积水深度预测值，将输入输出量用时间序列表示，有：
Figure GDA0003906210680000034
Figure GDA0003906210680000035
其中，t表示当前时刻，th表示历史时间长度，Δt表示采样间隔，d表示预测时间步长，nh＝th/Δt表示时间步，这里数据为每5分钟采集一次，因此设置Δt＝5min，设置th＝30min，d＝30，即目标为预测半小时后的积水深度，利用前 30分钟的数据预测下一时刻的积水深度，不断滚动预测，直到预测出目标积水深度。
进一步的，LSTM长短期记忆神经网络还包括确定模型参数的步骤：设置历史时间范围th(n＝2nh＝2th/Δt)和隐藏层层数Nhidden(m＝Nhidden)，th和 Nhidden的值可以直接影响LSTM模型的性能，设置Nhidden＝2，th＝30min，即隐藏层设为2层，其中每个隐藏层层包含60个LSTM单元。
进一步的，还包括确定训练次数与样本批量大小的步骤：设置训练次数 batch＝72，样本批量大小epoch＝60；
数据输入；将t时刻的由处理后的时间序列
Figure GDA0003906210680000046
输入到LSTM网络的输入层，经过输入层的激励函数计算得到输入层输出；
LSTM细胞状态更新：输入层t时刻的输出、隐藏层t-1时刻的输出和LSTM 细胞t-1时刻的状态相加送入隐含层节点，经过各个门和记忆细胞的计算得到输出，以此来更新细胞状态，具体为：
假设输入序列为(x1，x2，...xn)，隐藏层状态为(h1，h2，...hn)，那么在t时刻：
it＝sigmoid(whiht-1+wxixt)
ft＝sigmoid(whfht-1+wxixt)
Figure GDA0003906210680000041
ot＝sigmoid(whoht-1+whxxt+wcoct)
Figure GDA0003906210680000042
其中，it为输入门的输入，ft为遗忘门输入，ct为细胞状态更新，ot为输出门输出，ht为隐藏层状态输出，Sigmoid为激活函数。w和b为各部分的可调参数矩阵或向量。
进一步的，所述步骤S4利用已训练好的LSTM模型对测试集进行预测，并评估模型误差，具体包括：
数据输出；将结果输入到输出层，经过输出层的激励函数计算出预测值
Figure GDA0003906210680000043
计算模型权值：将
Figure GDA0003906210680000044
与实际t+1时刻的积水水位
Figure GDA0003906210680000045
相比较，得到损失函数值ε，利用反向传播算法，令ε反向传播到每一层节点，更新每个节点之间的权值，其中，所有网络参数都是随机初始化的，在训练过程中初始学习率设置为 0.01，使用0.5的截止率；
确定模型：反复执行上一步，直到ε小于阈值或达到预先设定的训练次数，模型参数确定，网络训练完毕；
计算预测值：将测试集数据
Figure GDA0003906210680000051
输入LSTM网络计算得到预测积水深度值
Figure GDA0003906210680000052
并将
Figure GDA0003906210680000053
重新加入输入时间序列预测出
Figure GDA0003906210680000054
以此类推直至目标预测步数d，得到预测值
Figure GDA0003906210680000055
将预测数据同实际数据进行误差计算：对预测的数据进行反归一化处理，采用最小均方根误差RMSE和平均绝对误差MAE作为评估指标，其中，
Figure GDA0003906210680000056
Figure GDA0003906210680000057
其中
Figure GDA0003906210680000058
是真实的积水水位值，而
Figure GDA0003906210680000059
是网络预测的水位值，N是数据集个数。
进一步的，所述优化器使用adam优化器。损失函数采用预测积水水位y′d与实际积水水位yd之间的均方误差MSE，损失函数表示如下：
Figure GDA00039062106800000510
本发明的优点及有益效果如下：
本发明在物联网平台的基础上，获取积水相关特征数据。通过结合LSTM神经网络，能够有效提取多维积水特征数据之间的时间相关性，很好的拟合积水水位趋势，有效预测未来时刻的积水水位，从而为减灾防灾措施提供依据。传统方法使用降雨径流模型来模拟城市降雨积水过程，但是水文系统结构复杂，难以模拟，导致了模型精度不高。也有研究者使用神经网络来进行积水点的水位预测，但是仅仅利用单维度的历史积水水位数据来预测，同时所使用的神经网络不能很好的提取数据之间的时间相关性，因此，尽管相比传统方法有了改进，但同样存在预测精度不高的问题。本发明的方法简化了传统方法繁琐的建立降雨径流模型步骤，同时增加了积水特征数据，并结合LSTM神经网络，从而能够有效的预测积水点水位，使预测精度进一步提高。
附图说明
图1是本发明提供优选实施例积水预测总体流程图
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
如图所示的实施例，整个积水水位预测的主要具体步骤为：
(1)数据获取。在积水点附近放置相应的传感器。感知数据通过网关的格式统一化处理后被送入物联网平台，融合从积水点所在地的气象官方网站获取的降雨数据，即可得到多特征的积水数据。其中传感器数据为每5分钟采集一次。
(2)数据预处理。由于采集数据的传感器采用低成本部署策略，因此容易受到周围环境的影响，如温度，湿度，电压等因素，而出现感知数据的误报或缺失现象。同样的，地面观测站在收集天气数据的过程中，可能出现机器故障，导致天气数据中也存在大量异常值和缺省值。在LSTM模型训练过程中，这些异常数据会对网络预测准确性产生极大的影响。因此，在训练模型前需要对数据进行预处理。数据预处理主要包括对数据的清洗和归一化处理。
数据清洗主要是对数据中的缺失值和异常值进行处理。线性内插法是一种可以根据等比关系和已知函数来逼近求解未知函数数值的方法，这种方法适用于异常值跳动较大的情况。而均值平滑法则是一种用邻近数据的均值替换异常值的方法，这种方法适用于数值波动较小的情况。由于传感器数据在邻近时间都是趋近的，因此对于缺失数据，采用邻近时间的数据值进行替换。对于传感器的异常值，使用线性插值法替换。对于天气数据中的异常值，使用均值平滑法替换。
由于泵站、河道、闸门、水流状态等要素对应的传感器数据以及天气数据在单位量纲和数量级上存在较大的差异，这种情况会导致神经网络难以收敛，增加模型训练的难度。因此需要对数据进行归一化处理。将每个因子缩放到统一的尺度范围，以便对不同单位或数量级的指标进行比较和加权。本位采用 Min-max归一化方法，将原始数据进行线性变换，使变换后的数据全部映射到 [0-1]之间。转换公式为：
Figure GDA0003906210680000071
其中，x*为某积水因子归一化后的数据，x为某一类积水因子的原始数据。 xmax为某一类积水因子的最大值，xmin为某一类积水因子的最小值。
(3)确定输入输出向量。路面积水深度的历史值用wd表示。路面积水不仅与降雨量有关，还与附近的汇流和排水系统有很强的相关性。其中包括泵站状态，河道状态，闸门开合度以及水流速度。泵站状态由两个水位传感器联合监控，实时上报进水侧水位pi与出水侧水位po数据。河道状态包括河流的水位与流量情况，分别用rl，rf表示。闸门开合度由g表示，水流速度由wv表示，降雨量由rn表示。
LSTM神经网络的输入量为
Figure GDA0003906210680000072
输出量
Figure GDA0003906210680000073
为积水深度预测值。将输入输出量用时间序列表示，有：
Figure GDA0003906210680000074
Figure GDA0003906210680000075
其中，t表示当前时刻，th表示历史时间长度。Δt表示采样间隔，d表示预测时间步长，nh＝th/Δt表示时间步。这里数据为每5分钟采集一次，因此设置Δt＝5min。设置th＝30min，d＝30，即目标为预测半小时后的积水深度，利用前 30分钟的数据预测下一时刻的积水深度，不断滚动预测，直到预测出目标积水深度。
(4)确定模型参数。关于模型的参数，需要设置历史时间范围th(n＝2nh＝ 2th/Δt)和隐藏层层数Nhidden(m＝Nhidden)。th和Nhidden的值可以直接影响LSTM模型的性能。通常，当th太小时，它无法为积水预测提供足够的历史信息；当th太大时，冗余信息可能会降低预测的准确性。当Nhidden太小时，LSTM模型可能无法模拟积水过程，当Nhidden太大时，网络可能太深导致难以收敛。设置Nhidden＝2，th＝30min。即隐藏层设为2层，其中每个隐藏层层包含60个LSTM 单元。
(5)确定训练次数与样本批量大小。LSTM模型训练过程中，需要确定训练次数(epoch)和样本批量大小(batch)。网络最终的训练效果很大程度上会受到训练次数的影响，当epoch太大时，会引起过拟合现象，降低网络的泛华能力；当epoch太小时，网络无法提取出全部的训练特征，会直接影响到之后的预测准确度。当batch太大时，由于所需迭代次数减少，导致达到相同精度的时间大大增加，影响了网络的收敛速度；当batch太小时，由于梯度下降方向不确定，容易导致网络难以收敛。设置batch＝72，epoch＝60。
(6)数据输入。将t时刻的由(1)～(2)步处理后的时间序列
Figure GDA0003906210680000081
输入到 LSTM网络的输入层，经过输入层的激励函数计算得到输入层输出。
(7)LSTM细胞状态更新。输入层t时刻的输出、隐藏层t-1时刻的输出和 LSTM细胞t-1时刻的状态相加送入隐含层节点，经过各个门和记忆细胞的计算得到输出，以此来更新细胞状态。
(8)数据输出。将第(6)步的结果输入到输出层，经过输出层的激励函数计算出预测值
Figure GDA0003906210680000082
(9)计算模型权值。将
Figure GDA0003906210680000083
与实际t+1时刻的积水水位
Figure GDA0003906210680000084
相比较，得到损失函数值ε。利用反向传播算法，令ε反向传播到每一层节点，更新每个节点之间的权值。其中，所有网络参数都是随机初始化的。在训练过程中初始学习率设置为0.01，使用0.5的截止率。优化器使用adam优化器。损失函数采用预测积水水位y′d与实际积水水位yd之间的均方误差MSE。损失函数表示如下：
Figure GDA0003906210680000085
(10)确定模型。反复执行第(9)步，直到ε小于阈值或达到预先设定的训练次数，模型参数确定，网络训练完毕。
(11)计算预测值。将测试集数据
Figure GDA0003906210680000091
输入LSTM网络计算得到预测积水深度值
Figure GDA0003906210680000092
并将
Figure GDA0003906210680000093
重新加入输入时间序列预测出
Figure GDA0003906210680000094
以此类推直至目标预测步数d，得到预测值
Figure GDA0003906210680000095
(12)将预测数据同实际数据进行误差计算。对预测的数据进行反归一化处理。采用最小均方根误差(RMSE)和平均绝对误差(MAE)作为评估指标，在预测中，RMSE和MAE的值越小，代表预测精度越高。其中，
Figure GDA0003906210680000096
Figure GDA0003906210680000097
其中
Figure GDA0003906210680000098
是真实的积水水位值，而
Figure GDA0003906210680000099
是网络预测的水位值，N是数据集个数。
(13)实验选取了BP，RNN神经网络在积水水位预测的性能上与本发明的算法(LSTM)进行预测性能对比。表1显示了三种网络的在积水水位预测上的精度对比，可以发现，其中LSTM神经网络的RMSE和MAE都最小。因此，相较另外两种模型，积水预测的精度得到了一定的提高，证明了方法具有良好的适用性。
表一为预测精度对比表
模型 BP RNN LSTM
MAE 7.01 1.52 1.35
RMSE 5.21 1.26 0.84
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (4)

1.一种面向物联网的基于长短时记忆网络的积水水位预测方法，其特征在于，包括以下步骤：
步骤S1，通过物联网平台获取积水相关的多特征传感器数据，所述积水相关的多特征传感器数据包括天气情况，河道，泵站、闸门和水流状态数据，
并在气象官方网站上获取降雨数据；
步骤S2，对获取的多特征积水相关数据进行清洗和归一化处理，并按比例将数据划分为训练集和测试集；
步骤S3，将训练集数据送入改进的LSTM长短期记忆神经网络中，对LSTM网络模型进行迭代优化；
步骤S4，利用已训练好的LSTM模型对测试集进行预测，并评估模型误差；
所述LSTM长短期记忆神经网络首先包括确定输入输出向量的步骤：路面积水深度的历史值用wd表示，路面积水不仅与降雨量有关，还与附近的汇流和排水系统有相关性，其中包括泵站状态，河道状态，闸门开合度以及水流速度；泵站状态由两个水位传感器联合监控，实时上报进水侧水位pi与出水侧水位po数据，河道状态包括河流的水位与流量情况，分别用rl、rf表示，闸门开合度由g表示，水流速度由wv表示，降雨量由rn表示；
LSTM神经网络的输入量为
Figure FDA0003892650050000011
输出量
Figure FDA0003892650050000012
为积水深度预测值，将输入输出量用时间序列表示，有：
Figure FDA0003892650050000013
Figure FDA0003892650050000014
其中，t表示当前时刻，th表示历史时间长度，Δt表示采样间隔，d表示预测时间步长，nh＝th/Δt表示时间步，这里数据为每5分钟采集一次，因此设置Δt＝5min，设置th＝30min，d＝30，即目标为预测半小时后的积水深度，利用前30分钟的数据预测下一时刻的积水深度，不断滚动预测，直到预测出目标积水深度；
LSTM长短期记忆神经网络还包括确定模型参数的步骤：设置历史时间范围th和隐藏层层数Nhidden，历史时间范围th和Nhidden的值直接影响LSTM模型的性能，设置Nhidden＝2，th＝30min，即隐藏层设为2层，其中每个隐藏层包含60个LSTM单元；
还包括确定训练次数与样本批量大小的步骤：设置训练次数batch＝72，样本批量大小epoch＝60；
数据输入；将t时刻的由处理后的时间序列
Figure FDA0003892650050000026
输入到LSTM网络的输入层，经过输入层的激励函数计算得到输入层输出；
LSTM细胞状态更新：输入层t时刻的输出、隐藏层t-1时刻的输出和LSTM细胞t-1时刻的状态相加送入隐含层节点，经过各个门和记忆细胞的计算得到输出，以此来更新细胞状态，具体为：
假设输入序列为(x1，x2，...xn)，隐藏层状态为(h1，h2，...hn),那么在t时刻：
it＝sigmoid(whiht-1+wxixt)
ft＝sigmoid(whfht-1+wxixt)
Figure FDA0003892650050000021
ot＝sigmoid(whoht-1+whxxt+wcoct)
Figure FDA0003892650050000022
其中，it为输入门的输入，ft为遗忘门输入，ct为细胞状态更新，ot为输出门输出，ht为隐藏层状态输出，Sigmoid为激活函数，w为各部分的可调参数矩阵或向量；
所述步骤S4利用已训练好的LSTM模型对测试集进行预测，并评估模型误差，具体包括：
数据输出；将输入层的输出结果输入到输出层，经过输出层的激励函数计算出预测值
Figure FDA0003892650050000023
计算模型权值：将
Figure FDA0003892650050000024
与实际t+1时刻的积水水位
Figure FDA0003892650050000025
相比较，得到损失函数值ε，利用反向传播算法，令ε反向传播到每一层节点，更新每个节点之间的权值，其中，所有网络参数都是随机初始化的，在训练过程中初始学习率设置为0.01，使用0.5的截止率；
确定模型：反复执行上一步，直到ε小于阈值或达到预先设定的训练次数，模型参数确定，网络训练完毕；
计算预测值：将测试集数据
Figure FDA0003892650050000031
输入LSTM网络计算得到预测积水深度值
Figure FDA0003892650050000032
并将
Figure FDA0003892650050000033
重新加入输入时间序列预测出
Figure FDA0003892650050000034
以此类推直至目标预测步数d，得到预测值
Figure FDA0003892650050000035
将预测数据同实际数据进行误差计算：对预测的数据进行反归一化处理，采用最小均方根误差RMSE和平均绝对误差MAE作为评估指标，其中，
Figure FDA0003892650050000036
Figure FDA0003892650050000037
其中
Figure FDA0003892650050000038
是真实的积水水位值，而
Figure FDA0003892650050000039
是网络预测的水位值，N是数据集个数。
2.根据权利要求1所述的一种面向物联网的基于长短时记忆网络的积水水位预测方法，其特征在于，所述步骤S1通过物联网平台获取积水相关的多特征传感器数据，具体包括：
在积水点附近放置相应的传感器；感知数据通过网关的格式统一化处理后被送入物联网平台，融合从积水点所在地的气象官方网站获取的降雨数据，即可得到多特征的积水数据，其中传感器数据为每5分钟采集一次。
3.根据权利要求1所述的一种面向物联网的基于长短时记忆网络的积水水位预测方法，其特征在于，所述步骤S2对数据进行归一化处理，具体包括：将每个因子缩放到统一的尺度范围，以便对不同单位或数量级的指标进行比较和加权，采用Min-max归一化方法，将原始数据进行线性变换，使变换后的数据全部映射到[0-1]之间，转换公式为：
Figure FDA00038926500500000310
其中，x*为某积水因子归一化后的数据，x为某一类积水因子的原始数据，xmax为某一类积水因子的最大值，xmin为某一类积水因子的最小值。
4.根据权利要求1所述的一种面向物联网的基于长短时记忆网络的积水水位预测方法，其特征在于，优化器使用adam优化器，损失函数采用预测积水水位y′d与实际积水水位yd之间的均方误差MSE，损失函数表示如下：
Figure FDA0003892650050000041
CN202010010352.0A 2020-01-06 2020-01-06 面向物联网的基于长短时记忆网络的积水水位预测方法 Active CN111222698B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010010352.0A CN111222698B (zh) 2020-01-06 2020-01-06 面向物联网的基于长短时记忆网络的积水水位预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010010352.0A CN111222698B (zh) 2020-01-06 2020-01-06 面向物联网的基于长短时记忆网络的积水水位预测方法

Publications (2)

Publication Number Publication Date
CN111222698A CN111222698A (zh) 2020-06-02
CN111222698B true CN111222698B (zh) 2022-12-27

Family

ID=70829248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010010352.0A Active CN111222698B (zh) 2020-01-06 2020-01-06 面向物联网的基于长短时记忆网络的积水水位预测方法

Country Status (1)

Country Link
CN (1) CN111222698B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111624874B (zh) * 2020-06-09 2022-12-06 浙江超梵环境科技有限公司 用于城市污水处理的泵站集群智能化预测方法及系统、存储介质
CN111815983A (zh) * 2020-06-13 2020-10-23 王亚鹏 一种基于物联网的行车涉水预警方法及系统、车辆
CN111753965A (zh) * 2020-06-30 2020-10-09 长江水利委员会水文局 一种基于深度学习的河流流量自动整编方法及系统
CN111737640B (zh) * 2020-08-17 2021-08-27 深圳江行联加智能科技有限公司 水位预测方法、装置及计算机可读存储介质
CN111966711A (zh) * 2020-09-01 2020-11-20 杭州安恒信息技术股份有限公司 一种物联网设备入侵检测方法、装置、设备及存储介质
CN112215400A (zh) * 2020-09-14 2021-01-12 山东省地质矿产勘查开发局第一地质大队 一种地下水开采过度预警方法与系统
CN112541839B (zh) * 2020-12-23 2022-02-11 国能大渡河大数据服务有限公司 基于神经微分方程的水库入库流量预测方法
CN112836800A (zh) * 2021-02-03 2021-05-25 自然资源部第一海洋研究所 基于长短期记忆网络模型的多变量北极海冰面积预测方法
CN112966856A (zh) * 2021-02-10 2021-06-15 四川水利职业技术学院 一种山洪风险预测方法及预测系统
CN113111056B (zh) * 2021-05-08 2021-10-22 中国水利水电科学研究院 一种城市洪涝积水监测数据清洗方法
CN113688517B (zh) * 2021-08-20 2023-11-14 浙江大学 一种茶园诱虫板失效时间预测方法及系统
CN115114842A (zh) * 2022-04-27 2022-09-27 中国水利水电科学研究院 一种基于小样本迁移学习算法的暴雨内涝事件预测方法
CN114970340B (zh) * 2022-05-18 2023-05-05 河海大学 一种非完全信息下的商用微波反演降雨驱动的城市道路积水模拟预测替代方法
CN115099500B (zh) * 2022-06-29 2023-04-18 黄河水利职业技术学院 基于权重修正和drsn-lstm模型的水位预测方法
CN115271186B (zh) * 2022-07-18 2024-03-15 福建中锐网络股份有限公司 一种基于延时因子和PSO RNN Attention模型的水库水位预测预警方法
CN115600764B (zh) * 2022-11-17 2023-05-05 中船重工(武汉)凌久高科有限公司 基于权重邻域粗糙集快速约简的滚动时域能耗预测方法
CN115860272B (zh) * 2023-02-22 2023-06-30 山东捷讯通信技术有限公司 基于深度学习的水库多时间点智能水位预测方法及系统
CN116542392B (zh) * 2023-05-24 2024-02-13 珠江水利委员会珠江水利科学研究院 一种感潮河段水位实时预报方法、系统和可读存储介质
CN116596166B (zh) * 2023-07-17 2023-09-22 湖南清源华建环境科技有限公司 一种用于城市洪涝的智慧排水管理系统
CN116911194B (zh) * 2023-07-25 2024-01-26 中国科学院地理科学与资源研究所 基于城市时变增益模型和rnn耦合的城市内涝模拟方法
CN117094704B (zh) * 2023-10-17 2024-01-30 江苏靖江互感器股份有限公司 备份式互感器管理方法、装置和电子设备
CN117093027B (zh) * 2023-10-20 2024-01-02 广州市公路实业发展有限公司 一种用于隧道积水预警的拦截系统及其控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647839A (zh) * 2018-06-28 2018-10-12 中国人民解放军陆军军事交通学院镇江校区 基于代价敏感lstm循环神经网络的稳压器水位预测方法
CN109859469A (zh) * 2019-02-15 2019-06-07 重庆邮电大学 一种基于集成lstm神经网络的车流量预测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764539B (zh) * 2018-05-15 2021-10-15 中国长江电力股份有限公司 一种梯级电站的上下游水位预测方法
CN109617947A (zh) * 2018-11-07 2019-04-12 重庆光电信息研究院有限公司 依管理类别设置的城市异源物联网边缘计算系统及方法
CN109948863B (zh) * 2019-03-28 2021-08-03 杭州电子科技大学 基于长短期记忆模型lstm的排水管网窨井液位预测方法
CN110322690A (zh) * 2019-06-17 2019-10-11 西北工业大学 一种下沉路段积水状况监测预警系统及其预测预警方法
CN110288157A (zh) * 2019-06-27 2019-09-27 电子科技大学 一种基于注意力机制和lstm的径流预测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647839A (zh) * 2018-06-28 2018-10-12 中国人民解放军陆军军事交通学院镇江校区 基于代价敏感lstm循环神经网络的稳压器水位预测方法
CN109859469A (zh) * 2019-02-15 2019-06-07 重庆邮电大学 一种基于集成lstm神经网络的车流量预测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于时序预测模型的积水预测研究;周小力;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20210215;第C038-2031页 *
基于长短期记忆神经网络模型的地下水水位预测研究;汪云等;《节水灌溉》;20191005;第73-77页 *
时间序列在地下水位预测中的应用;陈汉军等;《天津理工大学学报》;20080415;第8-10页 *

Also Published As

Publication number Publication date
CN111222698A (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
CN111222698B (zh) 面向物联网的基于长短时记忆网络的积水水位预测方法
CN110084367B (zh) 一种基于lstm深度学习模型的土壤墒情预测方法
CN109978235B (zh) 一种基于样本学习的积涝水位预测方法
CN107423546B (zh) 基于Copula函数的多变量水文不确定性处理方法
Shiri et al. Predicting groundwater level fluctuations with meteorological effect implications—A comparative study among soft computing techniques
CN101480143B (zh) 一种预测灌区作物单产量的方法
CN109840587B (zh) 基于深度学习的水库入库流量预测方法
CN109242265B (zh) 基于误差平方和最小的城市需水量组合预测方法
CN112712209B (zh) 水库入库流量预测方法、装置、计算机设备及存储介质
CN112101669B (zh) 一种基于改进极限学习机与分位数回归的光伏功率区间预测方法
CN113554466B (zh) 一种短期用电量预测模型构建方法、预测方法和装置
Wu et al. Real-time correction of water stage forecast during rainstorm events using combination of forecast errors
CN113705877A (zh) 基于深度学习模型的实时月径流预报方法
CN113139329B (zh) 一种基于水文相似性和人工神经网络的新安江模型参数率定方法
CN112686426A (zh) 一种基于水电站流域关键点的来水量预警方法及系统
Aghelpour et al. Forecasting different types of droughts simultaneously using multivariate standardized precipitation index (MSPI), MLP neural network, and imperialistic competitive algorithm (ICA)
CN110991776A (zh) 一种基于gru网络实现水位预测的方法及系统
Ahmadi et al. Input data selection for solar radiation estimation
CN115310536A (zh) 基于神经网络和gcn深度学习模型的水库水位预测预警方法
Vafakhah et al. Application of intelligent technology in rainfall analysis
CN115343784A (zh) 一种基于seq2seq-attention模型的局部气温预测方法
CN115271186A (zh) 一种基于延时因子和PSO RNN Attention模型的水库水位预测预警方法
CN114357670A (zh) 一种基于bls和自编码器的配电网用电数据异常预警方法
Ibrahim et al. LSTM neural network model for ultra-short-term distribution zone substation peak demand prediction
CN111428421A (zh) 一种物理机制引导深度学习的降雨径流模拟方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant