CN115545296A - 基于lip-tcn-lstm的城市积涝水位短期预测方法及系统 - Google Patents
基于lip-tcn-lstm的城市积涝水位短期预测方法及系统 Download PDFInfo
- Publication number
- CN115545296A CN115545296A CN202211200467.1A CN202211200467A CN115545296A CN 115545296 A CN115545296 A CN 115545296A CN 202211200467 A CN202211200467 A CN 202211200467A CN 115545296 A CN115545296 A CN 115545296A
- Authority
- CN
- China
- Prior art keywords
- water level
- data
- tcn
- lstm
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 134
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000003062 neural network model Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims description 18
- 238000012216 screening Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000000295 complement effect Effects 0.000 claims description 5
- 230000007774 longterm Effects 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 238000011897 real-time detection Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 abstract description 13
- 238000011156 evaluation Methods 0.000 abstract description 7
- 238000004458 analytical method Methods 0.000 abstract description 6
- 230000000007 visual effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 13
- 238000005070 sampling Methods 0.000 description 11
- 230000001364 causal effect Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 238000010276 construction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 239000011800 void material Substances 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 238000003339 best practice Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000001704 evaporation Methods 0.000 description 1
- 230000008020 evaporation Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 239000002352 surface water Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000002759 z-score normalization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Development Economics (AREA)
- Biophysics (AREA)
- General Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Educational Administration (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于LIP‑TCN‑LSTM的城市积涝水位短期预测方法及系统。本发明方法主要包含三个部分：积涝数据的获取与预处理，TCN‑LSTM神经网络模型的构建与训练，以及实时预测。基于MAE，RMSE和R2三个评价指标和两个数据集，将本发明TCN‑LSTM模型与其他七种模型(TCN、LSTM、GRU CNN、BP、CNN+LSTM、RNN)进行横向对比，然后使用TCN‑LSTM进行预测和可视化分析，证明本发明所提的方法在不同评价指标下均有着很好的表现和较高的精确度。
Description
技术领域
本发明涉及时序数据分析与预测领域，更具体的是，涉及一种基于LIP-TCN-LSTM的城市积涝水位短期预测方法。
背景技术
随着经济的发展我国的城市化建设发展迅速，迅猛的城市化对城市基础设施建设构成了前所未有的压力，也使城市面对各种自然灾害与灾难事件的抵抗性更加脆弱。其中，由暴雨引发的城市内涝灾害最为突出。如果能实时预测并预警易积涝地点的水位和道路淹没程度，科学评估积涝风险，可进一步提高城市管理部门在面对积涝灾害的应对能力，有效保护人们生命及财产安全。因此，城市积涝水位的短期实时预测具有非常重要的实际应用价值。
传统的用于积涝水位预测的方法主要是采用水动力模拟模型，水动力模拟模型又可以分为2类：①采用一维模型(1D)模拟管网排水。管道超载后雨水径流由节点溢流到地表，然后根据地表漫流计算得到积水信息，地表漫流可采用二维模型(2D)或者基于GIS的简化模型。这类模型包括InfoWorks CS、Mike Urban和EPA SWMM等。②简化管网排水。根据设计排水能力将其从降雨中扣除，超出蒸散发、土壤渗透和管道排水能力的部分则在地表低洼处形成积水。这类模型主要基于DEM的栅格格网进行计算，包括LIS-FLOOD、FloodMap、元胞自动机模型，以及基于GIS数字地形分析的快速淹没模型等。第①类模型特别是采用双向排水概念的“1D+2D”模式能够准确表达雨水径流运动和地表积水过程，但这类模型对模型基础数据和验证数据要求高，且计算效率低，适用于具备较好数据基础的小尺度分析，而难以在大范围分析如城市尺度中得到广泛应用。第②类模型对管网排水和地表漫流模拟进行简化，以物理过程表达精度的一定损失为代价降低了基础数据要求，提高了模型计算效率，但是应用第二类模型时简单以设计能力作为管网排涝能力上限有一定的不合理性，将显著低估实际积涝风险，并且暴雨积涝模拟结果具有一定的不确定性。
随着深度学习的不断发展，深度学习网络逐步应用在积涝水位预测的领域中来。尤其是RNN、LSTM等主要的时序神经网络，在时序数据的分析和预测上有着不错的效果。例如RNN模型具有记忆单元功能，可以有效的提取积涝水位数据中的时序关系，但容易产生梯度消失和梯度爆炸问题。LSTM网络在RNN的基础上对其改进，有效解决了梯度消失问题，但是LSTM训练所需要设置的参数复杂，对计算资源要求较高。GRU网络在此基础上进行简化，将门控单元进行简化合并，有效降低了参数复杂度，提高了训练效率。有研究者通过引入非时序网络与时序网络结合，进一步提取时序数据特征。如Zhu等人将FFNN与LSTM模型相结合，FFNN模型提取数据中的线性关系，LSTM用于时序数据分析和预测。结果显示LSTM和FFNN模型的组合表现优于单一的LSTM模型[Sz A,Bh B,Mp C,et al.Forecasting of waterlevel in multiple temperate lakes using machine learning models]。Pan等人建立了一个CNN-GRU模型，其中GRU部分学习水位变化趋势，CNN部分学习相邻水站观测到的水位数据之间的空间相关性[Pan M,H Zhou,Cao J,et al.Water Level Prediction ModelBased on GRU and CNN]。但上述方法中使用的非时序网络往往不能有效的处理时序数据，甚至会破坏数据的时序特征。且上述方法预测周期偏长，更倾向于中长期的积涝水位预测，对于短期的积涝水位研究并不一定适用。
发明内容
针对现存方案存在的不足和问题，本发明提出一种基于LI-TCN-LSTM的城市积涝水位短期预测方法。
本发明具体采用的技术方案如下：
第一方面，本发明提供了一种基于LIP-TCN-LSTM的城市积涝水位短期预测方法，其包含以下步骤：
S1、对包含水位和降雨量信息的城市积涝观测数据进行预处理，预处理过程中首先使用拉格朗日插值法(Lagrange Interpolation Polynomial，LIP)对观测数据中缺失的部分数据进行补全，然后从观测数据中筛选出降雨或积涝时段的数据构建训练样本，然后对所有训练样本进行归一化处理；
S2、构建由TCN模型、LSTM模型和全连接层级联而成的TCN-LSTM神经网络模型，其中模型输入为当前时刻以及历史时段对应的水位和降雨量时序数据，先由TCN网络提取模型输入数据中的有效特征和隐藏信息，再由LSTM网络捕捉到水位和降雨量时序数据的长期依赖关系，最后通过全连接层对数据进行降维并输出预测的未来时刻城市积涝水位深度；通过最小化损失函数对TCN-LSTM神经网络模型进行训练，得到城市积涝水位短期预测模型；
S3、将待预测位置当前时刻以及历史时段对应的水位和降雨量时序数据作为所述城市积涝水位短期预测模型的输入，由城市积涝水位短期预测模型预测得到未来时刻的城市积涝水位深度。
作为优选，所述城市积涝观测数据通过水位和雨量实时检测设备获取，设备中内置的水位传感器和雨量传感器能实时地获取当前设备安装位置的水位和降雨量，并将其上传存储至上位机或云平台中进行预处理。
作为优选，所述训练样本的构建方式为:通过滑动窗口对补全后的观测数据进行样本筛选，若滑动窗口内水位和降雨量数据不全为0，则将滑动窗口内的水位和降雨量数据提取为训练样本。
作为优选，所述归一化采用Z-score方法.
第二方面，本发明提供了一种基于LIP-TCN-LSTM的城市积涝水位短期预测系统，所述城市积涝水位短期预测系统部署于云平台上，并以Web应用形式对外提供服务，所述预测系统包括：
实时数据获取模块，用于获取用户在前端查询时指定的易积涝地区坐标，并根据该易积涝地区坐标调用数据实时获取接口，读取该易积涝地区当前时刻以及历史时段对应的水位和降雨量时序数据；
积涝水位预测模块，用于调用权利要求1～4中任一所述预测方法中构建的城市积涝水位短期预测模型，并将实时数据获取模块中读取的时序数据作为城市积涝水位短期预测模型的输入，由城市积涝水位短期预测模型预测得到未来时刻的城市积涝水位深度，并将预测结果反馈前端进行显示。
作为优选，所述积涝水位预测模块中，将城市积涝水位短期预测模型封装为一个算法模块，供外部调用。
作为优选，所述数据实时获取接口用于从云服务器中获取不同易积涝地区的当前时刻以及历史时段对应的水位和降雨量时序数据，所述云服务器通过IOT基站与安装在城市中不同易积涝地区的水位和雨量实时检测设备连接，从而能实时获取城市中不同易积涝地区的水位和雨量信息。
作为优选，所述水位和雨量实时检测设备以5～10分钟的频率进行采样。
综上所述，本发明方法基于当前时刻及前M分钟的积涝水位和降雨量数据，构建TCN-LSTM神经网络模型用于预测城市未来T分钟后的积涝水位深度，并支持实时预测。与现有技术相比，本发明所提出的方法具有以下优点：时间卷积网络(TCN)将空洞卷积和残差连接等最佳实践与自回归预测所需的因果卷积相结合，具有良好的输入数据感受野，并且对于时序数据有着较好的特征提取效果。对于时序数据中的非线性关系，相应的可以通过长短期记忆人工神经网络(LSTM)来处理。本发明将TCN的优点和LSTM相结合，降低了积涝水位预测的误差值，有效提高了预测精度。
附图说明
图1为本发明方法的总体架构图；
图2为本发明中的积涝数据获取原理示意图；
图3为本发明中滑动窗口进行采样的流程图，其中(a)为初始窗口，(b)为滑动后窗口。
图4为本发明中的TCN-LSTM神经网络模型在测试集上的预测效果图。
图5为本发明中TCN(d)、LSTM(c)、GRU(b)、CNN-LSTM(a)网络在测试集上的预测效果图。
具体实施方式
为使本发明的目的、技术方案和要点更加清楚，下面将结合附图对本发明实施方法做进一步地详细描述。
本发明中提供了一种基于LIP-TCN-LSTM的城市积涝水位短期预测方法，其包含以下步骤：
S1、对包含水位和降雨量信息的城市积涝观测数据进行预处理，预处理过程中首先使用拉格朗日插值法(Lagrange Interpolation Polynomial，LIP)对观测数据中缺失的部分数据进行补全，然后从观测数据中筛选出降雨或积涝时段的数据构建训练样本，然后对所有训练样本进行归一化处理。
S2、构建由TCN模型、LSTM模型和全连接层级联而成的TCN-LSTM神经网络模型，其中模型输入为当前时刻以及历史时段对应的水位和降雨量时序数据，先由TCN网络提取模型输入数据中的有效特征和隐藏信息，再由LSTM网络捕捉到水位和降雨量时序数据的长期依赖关系，最后通过全连接层对数据进行降维并输出预测的未来时刻城市积涝水位深度；通过最小化损失函数对TCN-LSTM神经网络模型进行训练，得到城市积涝水位短期预测模型。
S3、将待预测位置当前时刻以及历史时段对应的水位和降雨量时序数据作为所述城市积涝水位短期预测模型的输入，由城市积涝水位短期预测模型预测得到未来时刻的城市积涝水位深度。
其中，上述城市积涝观测数据可通过水位和雨量实时检测设备获取，设备中内置的水位传感器和雨量传感器能实时地获取当前设备安装位置的水位和降雨量，并将其上传存储至上位机或云平台中进行预处理。
另外，本发明中训练样本的构建方式可采用如下方式：通过滑动窗口对补全后的观测数据进行样本筛选，若滑动窗口内水位和降雨量数据不全为0，则将滑动窗口内的水位和降雨量数据提取为训练样本。
本发明中的TCN-LSTM神经网络模型为时序卷积网络TCN与长短期记忆神经网络LSTM的混合模型的简称。本方法使用时序卷积网络TCN提取输入数据的特征信息，并引入LSTM网络处理时序数据之间的依赖关系。结果表明，基于TCN-LSTM神经网络模型的城市积涝水位预测方法具有良好的性能。
下面将上述S1～S3所示的方法应用于一个具体实例中，以展示其具体实现方式和效果。
实施例
图1给出了实施例中基于LIP-TCN-LSTM的城市积涝水位预测方法总体架构图。如图1所示，本实施例的方法流程包括积涝数据获取与预处理、TCN-LSTM神经网络模型的构建与训练，以及实时预测三部分。对积涝数据进行预处理是对获取到的观测数据，使用拉格朗日插值法(Lagrange Interpolation Polynomial，LIP)进行缺失数据的补充，并归一化的处理。在模型训练时，需要对数据进行筛选和补充等操作，以提高模型的学习效率。TCN-LSTM神经网络模型的构建与训练主要是构建一个网络模型，训练是基于已经构建的模型和定义的损失函数及优化算法，通过预处理后的样本数据得到最佳网络模型的参数；实时预测是基于当前时刻及过去一段时间(以M分钟为例)收集到的积涝水位和降雨量数据，引入训练好的TCN-LSTM神经网络模型，将滑动窗口作用于当前时刻提取到一输入数据，输入进TCN-LSTM神经网络模型进行预测，预测结果即为未来T分钟的积涝水位。
下面详细对上述三部分内容详细步骤如下：
1、积涝数据获取与预处理
本发明所需数据均在城市积涝易发地区获得。附图2展示了完整的数据获取流程，其数据获取流程如下:部署在易积涝地区的实时雨量、水位获取装置，通过传感器获取到水位、雨量数据，以5min一次的频率进行采样——获取到数据后通过IOT基站将数据实时上传到弹性计算云服务器——云服务器将数据传输到数据中心和数据库进行数据分析和保存——数据中心对外提供客户端可以访问数据的接口并对所有数据进行统一管理和调度。本实施例中获得的时间序列数据主要包括时间戳、降雨量和积涝水位深度，采样周期设置为5min，可以满足数据准确性和实时性的要求。
进一步的，在获得了实验必备的相关的数据后，开始对原始数据进行预处理。本发明的数据预处理过程主要包括数据补全、数据筛选和数据归一化三部分。
数据收集传感器装置有一定的故障率，易产生部分数据缺失、采样频率不统一等问题。上述情况的发生会导致获取到的数据中存在一些采样周期不一致或者数据缺失的情况。针对上述情况，使用LIP插值法对数据进行补充。对传感器收集到的水位、雨量数据进行观测，在若干个不同采样时间点得到相应的观测值，LIP插值法可以找到一个多项式，其恰好能够拟合在各个观测的点取到观测到的值。对于部分传感器某个采样周期内未能收集到的数据，可以通过拉格朗日多项式计算出补充数据补全到缺失位置，保证整体的数据完整度。这一过程即数据补全。
对传感器收集到的水位、降雨量数据进行观测，在若干个不同采样时间点得到相应的观测值，拉格朗日插值法可以找到一个多项式，其恰好能够拟合在各个观测的点取到观测到的值。对于部分传感器某个采样周期内未能收集到的数据，可以通过拉格朗日多项式计算出补充数据补全到缺失位置，保证整体的数据完整度。这一过程即数据补全。其具体应用步骤如下，对于某个时刻数据未被成功采样的情况，选择该时刻前的有效数据k组(k取10)：
(x1,y1),(x2,y2),……,(xk,yk)
其中xj表示第j个时间点的降雨量，而yj表示第j个时间点的水位。
那么应用拉格朗日插值公式所得到的拉格朗日插值多项式为：
其中每个lj(x)为拉格朗日基本多项式(或称插值基函数)，其表达式为：
通过选取k组已知的值，构建拉格朗日插值多项式L(x)，最后将k+1输入L(x)中，计算出k+1时刻对应的观测值，即完成缺失数据补全。
考虑到当天气状况为晴天时，获取到的数据中存在大量连续的降雨量数据和积涝水位数据均为0的冗余数据，这部分数据过于庞大会对深度学习模型的训练造成一定的困扰。因此数据筛选工作主要的目的是对晴天数据进行适当的删除。筛选规则如下：使用滑动窗口在(t-m+1,t+d)时间段内提取样本时，如果从(t-m+1)到t时刻的积涝水位深度和降雨量不全为0，则(x(t),x(t-1),…,x(t-m+1),y(t+d))将被选为一个样本，反之则不选择该组数据作为样本。
数据归一化是特征按比例的转换过程。不同的评价指标往往具有不同的量纲和量纲单位，为了消除指标之间的量纲影响，并且提高模型的训练速度，因此对所有样本数据进行归一化处理。在本实验中，选择Z-score方法来归一化原始数据。Z-score归一化公式如下：
其中
和σ分别是原始数据的平均值和标准差，X*是归一化之后的值。
2、TCN-LSTM神经网络模型的构建与训练
所述的TCN-LSTM神经网络模型，如附图1所示，包括输入层，TCN模型，LSTM模型，1个全连接输出层。TCN模型中每个残差块由2层因果空洞卷积层和非线性映射组成，用于提取数据的有效特征和隐藏信息。LSTM网络能够捕捉到短期和长期的时序数据依赖关系，广泛应用于时间序列预测问题。然后采用全连接层(FC)对数据进行降维，最后输出预测的内涝深度。
对于模型中的输入层，即通过滑动窗口提取样本的过程。输入的是经过数据预处理和滑动窗口提取后的数据。滑动窗口提取样本的过程如附图3所示，即滑动窗口初始状态在当前时刻时，提取到一个对应时间步长的历史水位和降雨量序列数据为一个样本。随后下一时刻，滑动窗口进行右移，再次获取到一个新的样本，按照时间顺序滑动窗口有序右移，最后得到多个时序样本数据。在本实例中，设置的滑动窗口大小为8，即时间步长为8。经过滑动窗口获取到的输入特征向量可表示为：
x(t),x(t-1),…,x(t-m+1)＝Sslidingwindow(x,m,t)
其中S表示滑动窗口，m和t分别表示窗口大小和当前时间。x(t)表示输入数据在时刻t的特征值。经过滑动窗口提取得到的输入特征向量为x(t),x(t-1),…,x(t-m+1)。
上述TCN模型和LSTM模型均属于现有的网络模型，其网络结构和具体原理也属于现有技术，为了便于理解下面对两者展开进行说明。
对于TCN模型中的因果空洞卷积层，取用于提取数据中的有效特征和隐藏信息，并将提取后的数据输入到LSTM隐藏层。因果空洞卷积层由因果卷积、空洞卷积和残差连接三部分组成，用于解决时序序列数据的特征提取和长序列输入问题。
对于TCN模型中的残差块，每个残差块由2层因果空洞卷积层和非线性映射组成(每层中还加入了WeightNorm和Dropout来正则化网络)，核大小为3，过滤器数量为10，膨胀因子分别为1和2。卷积层使用Relu函数作为激活函数。残差连接的输入和输出具有不同大小的维度，不能直接做加和操作，因此将残差映射中增加了一个1×1的卷积层进行降维。残差连接的公式可以表示为：
xl+1＝h(xl)+F(xl,Wl)
其中F(xl,Wl)是残差部分，Wl是权重矩阵。h(xl)是直接映射部分，包括1×1卷积操作。xl是残差连接的输入，xl+1是残差连接的输出。
所述因果卷积是一种严格的时间约束卷积，它表明t时刻的输出只依赖于t时刻和更早时间的元素。与传统的卷积神经网络不同的是，对于时间t的预测，TCN中只使用观测序列来预测未来的信息。所述空洞卷积，为了获取较长的历史时间序列预测样本，引入了空洞卷积来增加网络的感受域，降低模型的训练复杂度。空洞卷积网络通过区间采样的方式获得更大的感受域，弥补了因果卷积的缺陷。对序列元素s的空洞卷积运算F定义为：
其中d是膨胀因子，k是过滤器大小，s-d·i代表过去的方向。因此膨胀等效于在每两个相邻的滤波器之间引入一个固定步长。当d＝1时，空洞卷积减少为常规卷积。更大的膨胀因子使顶层的输出能够代表更广泛的输入，从而有效地扩展了ConvNet的感知领域。
本实施例中的LSTM网络，包含2层LSTM隐藏单元层，每个LSTM单元由一个输入门、一个输出门和一个遗忘门组成。遗忘门能决定应丢弃或保留哪些信息。来自先前隐藏状态的信息和当前输入的信息同时输入到Sigmoid函数，输出值处于0和1之间，越接近0意味着越应该忘记，越接近1意味着越应该保留。输入门用来更新单元状态。先将先前隐藏状态的信息和当前输入的信息输入到Sigmoid函数，在0和1之间调整输出值来决定更新哪些信息，0表示不重要，1表示重要。输出门能决定下个隐藏状态的值，隐藏状态中包含了先前输入的相关信息。最后把隐藏状态作为当前单元输出，把新的单元状态和新的隐藏状态传输给下个时间单元。一个LSTM单元从输入到输出的计算过程可用以下公式表示:
ht＝ot⊙tanh(ct)
其中f,i,o分别代表遗忘门，输入门，输出门；Wf,Wi,Wo和Wc表示权重矩阵；bf,bi,bo和bc表示偏置向量；σ(·)和tanh(·)分别表示sigmoid和hyperbolic tangent激活函数；c代表当前LSTM单元的状态。
本实施例中的输出层，选用全连接层，经过TCN与LSTM网络的处理，输出未来20min的积涝水位预测值，记为yt+d。
上述TCN-LSTM神经网络模型的数据传输过程为：经过数据预处理后的时间序列数据，通过滑动窗口提取生成样本，通过一维卷积网络提取时序序列的局部趋势特征，然后提取到的局部特征通过因果空洞卷积层，用来进一步提取隐藏特征和长期时间关系，然后将提取到的特征输入到LSTM隐藏层，用来更好的学习时序数据的依赖关系，最后将LSTM学习到的时序特征和非时序特征合并，输入到全连接层，得到最后的输出。
TCN-LSTM神经网络模型构建完毕后，需要对TCN-LSTM神经网络模型进行训练，其中，训练过程中的损失函数表示为：
其中，n为训练数据长度，
为网络模型返回值，yi为样本真实值，设定损失函数最小为优化目标，给定网络初始化seed、学习率μ以及训练步长steps，应用梯度下降优化算法不断更新网络权重，最终得到达到训练好的TCN-LSTM神经网络模型，将其称为市积涝水位短期预测模型。
3、实时预测
本实施例中的实时预测是把当前时刻及前M分钟的积涝水位和降雨量数据，输入到训练好的TCN-LSTM神经网络模型即城市积涝水位短期预测模型中进行预测，预测结果即为当前时刻未来T分钟的积涝水位。实时预测通过web应用的方式实现。本实施例中，城市积涝水位短期预测系统部署于云平台上，并以Web应用形式对外提供服务，预测系统包括：
实时数据获取模块，用于获取用户在前端查询时指定的易积涝地区坐标，并根据该易积涝地区坐标调用数据实时获取接口，读取该易积涝地区当前时刻以及历史时段对应的水位和降雨量时序数据；
积涝水位预测模块，用于调用权利要求1～4中任一所述预测方法中构建的城市积涝水位短期预测模型，并将实时数据获取模块中读取的时序数据作为城市积涝水位短期预测模型的输入，由城市积涝水位短期预测模型预测得到未来时刻的城市积涝水位深度，并将预测结果反馈前端进行显示。
具体的实现步骤如下：首先将训练好的TCN-LSTM神经网络模型封装为一个算法模块，将数据实时获取的功能暴露出一个接口，然后在前端设置不同坐标的易积涝地区，每次用户点击不同的易积涝地区，前端会携带该地区的坐标，由实时数据获取模块去调用数据实时获取接口，获取到该坐标下的当前时刻及过去M分钟的积涝水位与降雨量数据，随后后端中的积涝水位预测模块会携带该数据去调用封装好的算法模块进行预测，并以实时数据获取模块获取的输入作为模型输入得到预测结果，并将预测结果返回前端进行显示，以此实现实时的易积涝地区水位预测。
需要说明的是，上述数据实时获取接口可从云服务器中获取不同易积涝地区的当前时刻以及历史时段对应的水位和降雨量时序数据，而云服务器通过IOT基站与安装在城市中不同易积涝地区的水位和雨量实时检测设备连接，从而能实时获取城市中不同易积涝地区的水位和雨量信息，如图2所示。用户在前端查询某一易积涝地区时，可从云服务器中读取这个易积涝地区对应布置的设备所上传的数据。
进一步的，本实施例中为了评价预测的性能：定义绝对误差的平均值MAE，用于反应模型预测值与真实值之间的误差情况。定义均方根误差RMSE用于反应预测结果的稳定性，定义R2评价模型的预测性能。其公式为：
其中，Yact(i)是真实水位值；Ypred(i)是模型预测值；N表示测试样本的总数；
表示真实样本的均值。
进一步的，本实施例中基于MAE，RMSE和R2三个评价指标和两个数据集，将TCN-LSTM神经网络模型与其他七种模型(TCN、LSTM、GRU CNN、BP、CNN+LSTM、RNN)进行横向对比，然后使用TCN-LSTM神经网络模型进行预测和可视化分析，进一步证明所提方法的可靠性。如表1所示，表1展示了基于三种评价指标MAE、RMSE和R2下的不同模型表现效果。
表1
根据表1结果，可以得出以下结论：
首先CNN和BP网络在预测时间序列数据方面明显不如循环架构网络(如RNN、GRU、LSTM)有效。而本发明所提出的TCN-LSTM神经网络模型要比循环架构网络、TCN和CNN-LSTM混合网络有着更好的预测效果。以淮河路数据集为例，其具体优势如下：MAE值为1.42，与其他模型中最优的TCN网络相比，预测精度提高了24％；RMSE值为1.86，该值与其他模型最优值相比下降了32％；R2为0.969，略高于LSTM模型的情况(0.965)。将TCN-LSTM神经网络模型中的TCN模型替换为CNN后，发现预测准确率明显下降，这表明使用标准CNN处理时间序列数据并不是一个很好的方法。相比于CNN网络，TCN是一种特殊的一维卷积CNN，更适用于时序数据预测，它在训练时间和预测准确性方面表现均良好。总之，与其他模型相比，TCN-LSTM神经网络模型均实现了性能上的提升：MAE、RMSE低于其他深度学习模型，R2高于其他深度学习模型。进一步的，使用训练好的TCN-LSTM神经网络模型对测试集上测试数据进行预测，并将预测值与真实值绘制成对比图，如附图4、5所示。通过图4、5可以看到单独的TCN和LSTM网络的预测效果明显不如TCN-LSTM神经网络模型的效果好，进一步的，将TCN替换成CNN网络也会使模型预测效果下降，可以看出TCN-LSTM神经网络模型的拟合程度是最高的。因此进一步证实，本发明所提出的TCN-LSTM神经网络模型用于积涝水位深度预测是非常有效的。
综上，针对城市积涝水位深度预测领域中，时序数据难以处理和预测实时性、精确性难以保障的问题，本发明采用固定长度的滑动窗口来采样，通过LIP插值法对数据进行补充，通过TCN网络来进行特征提取和隐藏特征学习，然后将TCN的输出输入到LSTM网络中进行时序数据依赖关系的学习。将TCN与LSTM结合，提升了积涝水位深度的预测精度，并通过与其他传统模型的对比过程中，进一步证实本发明所提的方法在不同评价指标下均有着很好的表现和较高的精确度。
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。
Claims (8)
1.一种基于LIP-TCN-LSTM的城市积涝水位短期预测方法，其特征在于，包含以下步骤：
S1、对包含水位和降雨量信息的城市积涝观测数据进行预处理，预处理过程中首先使用拉格朗日插值法(Lagrange Interpolation Polynomial，LIP)对观测数据中缺失的部分数据进行补全，然后从观测数据中筛选出降雨或积涝时段的数据构建训练样本，然后对所有训练样本进行归一化处理；
S2、构建由TCN模型、LSTM模型和全连接层级联而成的TCN-LSTM神经网络模型，其中模型输入为当前时刻以及历史时段对应的水位和降雨量时序数据，先由TCN网络提取模型输入数据中的有效特征和隐藏信息，再由LSTM网络捕捉到水位和降雨量时序数据的长期依赖关系，最后通过全连接层对数据进行降维并输出预测的未来时刻城市积涝水位深度；通过最小化损失函数对TCN-LSTM神经网络模型进行训练，得到城市积涝水位短期预测模型；
S3、将待预测位置当前时刻以及历史时段对应的水位和降雨量时序数据作为所述城市积涝水位短期预测模型的输入，由城市积涝水位短期预测模型预测得到未来时刻的城市积涝水位深度。
2.如权利要求1所述的基于LIP-TCN-LSTM的城市积涝水位短期预测方法，其特征在于，所述城市积涝观测数据通过水位和雨量实时检测设备获取，设备中内置的水位传感器和雨量传感器能实时地获取当前设备安装位置的水位和降雨量，并将其上传存储至上位机或云平台中进行预处理。
3.如权利要求1所述的基于LIP-TCN-LSTM的城市积涝水位短期预测方法，其特征在于，所述训练样本的构建方式为:通过滑动窗口对补全后的观测数据进行样本筛选，若滑动窗口内水位和降雨量数据不全为0，则将滑动窗口内的水位和降雨量数据提取为训练样本。
4.如权利要求1所述的基于LIP-TCN-LSTM的城市积涝水位短期预测方法，其特征在于，所述归一化采用Z-score方法。
5.一种基于LIP-TCN-LSTM的城市积涝水位短期预测系统，其特征在于，所述城市积涝水位短期预测系统部署于云平台上，并以Web应用形式对外提供服务，所述预测系统包括：
实时数据获取模块，用于获取用户在前端查询时指定的易积涝地区坐标，并根据该易积涝地区坐标调用数据实时获取接口，读取该易积涝地区当前时刻以及历史时段对应的水位和降雨量时序数据；
积涝水位预测模块，用于调用权利要求1～4中任一所述预测方法中构建的城市积涝水位短期预测模型，并将实时数据获取模块中读取的时序数据作为城市积涝水位短期预测模型的输入，由城市积涝水位短期预测模型预测得到未来时刻的城市积涝水位深度，并将预测结果反馈前端进行显示。
6.如权利要求5所述的基于LIP-TCN-LSTM的城市积涝水位短期预测系统，其特征在于，所述积涝水位预测模块中，将城市积涝水位短期预测模型封装为一个算法模块，供外部调用。
7.如权利要求5所述的基于LIP-TCN-LSTM的城市积涝水位短期预测系统，其特征在于，所述数据实时获取接口用于从云服务器中获取不同易积涝地区的当前时刻以及历史时段对应的水位和降雨量时序数据，所述云服务器通过IOT基站与安装在城市中不同易积涝地区的水位和雨量实时检测设备连接，从而能实时获取城市中不同易积涝地区的水位和雨量信息。
8.如权利要求7所述的基于LIP-TCN-LSTM的城市积涝水位短期预测系统，其特征在于，所述水位和雨量实时检测设备以5～10分钟的频率进行采样。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211200467.1A CN115545296A (zh) | 2022-09-29 | 2022-09-29 | 基于lip-tcn-lstm的城市积涝水位短期预测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211200467.1A CN115545296A (zh) | 2022-09-29 | 2022-09-29 | 基于lip-tcn-lstm的城市积涝水位短期预测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115545296A true CN115545296A (zh) | 2022-12-30 |
Family
ID=84730636
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211200467.1A Pending CN115545296A (zh) | 2022-09-29 | 2022-09-29 | 基于lip-tcn-lstm的城市积涝水位短期预测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115545296A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117171258A (zh) * | 2023-09-07 | 2023-12-05 | 中国铁建港航局集团有限公司 | 基于gis定位ar管网信息展示方法、系统及存储介质 |
-
2022
- 2022-09-29 CN CN202211200467.1A patent/CN115545296A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117171258A (zh) * | 2023-09-07 | 2023-12-05 | 中国铁建港航局集团有限公司 | 基于gis定位ar管网信息展示方法、系统及存储介质 |
| CN117171258B (zh) * | 2023-09-07 | 2024-04-12 | 中国铁建港航局集团有限公司 | 基于gis定位ar管网信息展示方法、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106651211B (zh) | 一种不同尺度区域洪水灾害风险评估的方法 | |
| ASCE Task Committee on Application of Artificial Neural Networks in Hydrology | Artificial neural networks in hydrology. II: Hydrologic applications | |
| Ali et al. | CNN-Bi LSTM neural network for simulating groundwater level | |
| CN117575111B (zh) | 一种基于迁移学习的农业遥感图像时空序列预测方法 | |
| CN107704970A (zh) | 一种基于Spark的需求侧负荷预测方法 | |
| CN111079999A (zh) | 一种基于cnn和svm的洪水灾害易发性预测方法 | |
| CN114049545B (zh) | 一种基于点云体素的台风定强方法、系统、设备及介质 | |
| CN115423163A (zh) | 一种流域短期洪水事件预测方法、装置及终端设备 | |
| CN117494586B (zh) | 一种基于深度学习的山洪时空预测方法 | |
| CN117150600B (zh) | 一种用于城市防内涝的屋顶蓄排水控制方法 | |
| CN117556197B (zh) | 一种基于人工智能的台风涡旋初始化方法 | |
| Balti et al. | Big data based architecture for drought forecasting using LSTM, ARIMA, and Prophet: Case study of the Jiangsu Province, China | |
| CN115545296A (zh) | 基于lip-tcn-lstm的城市积涝水位短期预测方法及系统 | |
| CN116562414A (zh) | 一种基于多源水文气象数据的陆地水储量变化预测方法 | |
| CN116205136A (zh) | 基于径流滞后信息的大尺度流域深度学习洪水预报方法 | |
| CN112016744B (zh) | 一种基于土壤水分的森林火灾预测方法、装置及存储介质 | |
| CN117233869A (zh) | 一种基于GRU-BiTCN的站点短期风速预测方法 | |
| Liu et al. | Prediction of dam horizontal displacement based on CNN-LSTM and attention mechanism | |
| CN115168327A (zh) | 基于多层树状长短期记忆网络的大规模数据时空预测方法 | |
| Yu et al. | A Deep Learning-Based Multi-model Ensemble Method for Hydrological Forecasting | |
| CN113011657A (zh) | 进行台风水位预测的方法、装置、电子设备及存储介质 | |
| Alamgeer et al. | Data Mining with Comprehensive Oppositional Based Learning for Rainfall Prediction. | |
| CN118690669B (zh) | 一种基于改进cnn-lstm网络的近海风场反演方法 | |
| CN112766146B (zh) | 一种基于多源数据的水库动态监控系统及方法 | |
| CN118050729B (zh) | 一种基于改进U-Net的雷达回波时间降尺度订正方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |