CN109978235B - 一种基于样本学习的积涝水位预测方法 - Google Patents

一种基于样本学习的积涝水位预测方法 Download PDF

Info

Publication number
CN109978235B
CN109978235B CN201910160106.0A CN201910160106A CN109978235B CN 109978235 B CN109978235 B CN 109978235B CN 201910160106 A CN201910160106 A CN 201910160106A CN 109978235 B CN109978235 B CN 109978235B
Authority
CN
China
Prior art keywords
water level
waterlogging
rainfall
data
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910160106.0A
Other languages
English (en)
Other versions
CN109978235A (zh
Inventor
钱峥
姚金良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Meteorological Service Center
Original Assignee
Ningbo Meteorological Service Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Meteorological Service Center filed Critical Ningbo Meteorological Service Center
Priority to CN201910160106.0A priority Critical patent/CN109978235B/zh
Publication of CN109978235A publication Critical patent/CN109978235A/zh
Application granted granted Critical
Publication of CN109978235B publication Critical patent/CN109978235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services
    • G06Q50/265Personal security, identity or safety
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Biomedical Technology (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Educational Administration (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及涉及一种基于样本学习的积涝水位预测方法。本发明方法主要包括三个部分:积涝站数据的预处理,面向积涝水位预测的深度神经网络回归模型的构建,以及面向积涝水位预测的深度神经网络回归模型的训练和实时预测。本发明利用积涝站积累的历时水位和降雨量数据非线性关系,通过回归分析挖掘当前水位,前M分钟的水位和降雨量信息,以及k分钟内的降雨量,与K分钟后水位的非线性关系。本方法无需构建各种具有物理意义的模型并进行参数率定,而是通过样本学习来获得模型参数。实验结果显示本发明方法在测试样例中具有较低的均方误差。

Description

一种基于样本学习的积涝水位预测方法
技术领域
本发明属于利用数据挖掘技术进行城市积涝预测领域,涉及一种基于样本学习的积涝水位预测方法。
背景技术
近年来,随着城市极端气候的增加,城市规模不断的扩大,城市地表自然渗透系统越来越差的现状,导致城市内涝灾害频发。由于很多城市基础设施建设跟不上城市快速发展的步伐,排水能力有限,一旦遭遇强降雨或连续性降雨,极易发生城市内涝,轻者导致交通瘫痪,重者导致极大的经济损失。城市内涝频发的事实引起了社会的极大关注。如果能有效的根据降雨量预测城市各个关键区域的积涝水位深度和道路的淹没程度,从而通过气象部门发出预警信息,可进一步提高城市管理部门在面对暴雨积涝灾害的应对能力,具有非常重要的实际应用价值。
当前已有的方法主要采用构建城市暴雨积涝模型(SWMM),并对模型中的参数进行率定,从而模拟城市遭暴雨时可能出现的城市积涝位置和深度。基于暴雨积涝模型的构建不仅涉及到降水数据,还需要丰富的地理数据(地形、地貌、地物、排水等)作支撑。城市暴雨积涝模型就是径流过程的模拟,径流是一个复杂的过程,可以划分为产流和汇流两个部分,产流是指降水经过一列过程后到达地面引起地表漫流的过程,汇流是指产流的雨量经由管线、出水口汇集,最后流出流域出口断面的过程。南京信息工程大学的王伟在其硕士论文《基于 GIS和SWMM模型的城市内涝模拟研究》提出了结合GIS和SWMM 模型的城市内涝模型用于模拟暴雨产生的内涝区域和水深。在该方法中,采用的SWMM模型主要用于实现对城市降雨径流过程的模拟以及城市排水系统的数值计算。并利用GIS系统用于呈现暴雨的积涝区域和深度。在该方法需要根据坡度和高程信息进行城市汇水区域的划分。并采用粒子群算法和二次规划算法进行SWMM参数的率定。
SWMM模型的使用过程中仍存在数据难以获取、处理过程复杂、数据概化不合理、参数率定困难等问题。针对这些问题,本发明方法回避复杂模型构建过程。针对易于积涝的区域,通过设立积涝站(集成了电子水尺和雨量传感器,并可以联网传输数据)来积累该区域中降雨量和积涝水位在时间上的对应关系数据。然后根据获取的样本数据,通过数据挖掘和深度学习的回归方法,在给定当前水位和前M分钟内的降雨量,以及预估的后K分钟内的降雨量来预测K分钟后该区域的水位。通过样本数据的挖掘和学习获取该区域内水位与前M分钟内的哪一时刻的降雨量关联性的权重信息。基于这一思路,本发明方法将该区域内各种地表环境、地下管网、高程等信息都通过已有历时数据中的水位和雨量的对应关系在深度学习模型的参数进行表达。并可以方便地通过最优化的方法和历时数据来学习模型中的参数。
本发明方法在对浙江省宁波市已安装的积涝站设备的区域进行模型参数的学习,并采用了部分测试数据进行了测试,实验结果显示本发明方法在输入未来K分钟内的降雨量的情况下,获得了较好的预测效果,预测水位误差小于1cm。
该发明方法利用深度学习的强大的学习能力,并且易于根据样本进行更新,从而能快速应对新出现的环境变化。该发明方法可对不同区域进行针对性地训练特定的模型,模型能够应对当前区域的环境信息,具有对不同区域环境的适应性。另外,对每个区域获取的当前雨量和水位数据可以快速地预测该区域将来K分钟后的水位深度,具有非常及时的预测能力。该预测结果可以通过联网快速的发布给政府管理部门和城市居民,从而可以有效地降低城市积涝导致的各种次生灾害的发生。
发明内容
本发明针对现有技术的不足,提供了一种基于样本学习的积涝水位预测方法。本方面利用对已有历时数据的学习来预测积涝水位。
本发明利用对已有历时数据的学习来预测积涝水位,其主要包括如下三部分:积涝站数据的预处理,面向积涝水位预测的深度神经网络回归模型的构建,以及面向积涝水位预测的深度神经网络回归模型的训练和实时预测;所述的积涝站数据的预处理是将积涝站获得的历时降雨量和水位数据进行处理,转换为可用于学习和预测的标准数据;所述的面向积涝水位预测的深度神经网络回归模型的构建是基于给定城市区域的历时水位和降雨量数据以及预估的未来降雨量针对性地设计深度神经网络回归模型;所述的面向积涝水位预测的深度神经网络回归模型的训练和实时预测是指采用深度学习方法进行模型的训练,从而获得模型参数,并根据训练好的模型参数和实时输入数据进行实时预测的过程。
所述的积涝站数据的预处理部分,根据积涝站的历时数据生成可用于学习的特征向量和输出值的对应表,并进行数据的标准化;
积涝站的历时数据是一个带有时间标记的水位和降雨量的序列,可表示为:[(T1,L1,F1),(T2,L2,F2),…,(Ti,Li,Fi),…,(Tc,Lc,Fc)],其中 Ti表示对应的时刻,Li表示Ti时刻积涝站的水位,Fi表示在(Ti-1,Ti) 时间内的降雨量;Tc表示当前时刻;设定一个固定参数M,表示当前的水位只与M分钟之前的水位和前M分钟的降雨量相关;为了预测
Figure RE-GDA0002053709310000031
时刻的水位,构建一个特征向量X,该特征向量包括:从
Figure RE-GDA0002053709310000032
时刻到 Tc时刻的降雨量和水位信息,以及从Tc时刻到
Figure RE-GDA0002053709310000033
时刻之间的降雨量 Fg;在进行实时预测时,Fg通过天气预报估计得到;
筛选积涝站的历时数据,对历时数据中的每个数据判断当前水位和前M分钟降雨量是否有一个不为0,如果有一个不为0,则作为一个有效数据,并获取当前水位,前M分钟每个时刻的水位和降雨量,以及后 K分钟的降雨量,作为一个样本的特征向量Xi,并将K分钟的水位作为该样本的输出值Yi,从而构建了一个样本库:{(Xi,Yi),i∈[1,N]},N 为样本数量;其中一个样本的特征向量包括:
Figure RE-GDA0002053709310000034
个前水位信息,
Figure RE-GDA0002053709310000035
个前降雨量,和1个后K分钟的降雨量,特征向量的长度为:
Figure RE-GDA0002053709310000036
通过计算样本中每个特征值和输出值的均值和方差,然后用均值和方差对对应的特征值进行标准化,其标准化公式如下所示;
xbij=(Xij-mean(Xj))/variance(Xj)
ybi=(yi-mean(Y))/variance(Y)
其中xbij是第i个样本中第j个特征值Xij标准化结果,ybi是第i 个样本的输出值Yi的标准化结果;mean(Xj)和variance(Xj)分别是对样本库中所有样本的第j个特征求均值和方差,mean(Y)和variance(Y) 是对样本库中所有输出值求均值和方差。
所述的面向积涝水位预测的深度神经网络回归模型结构如下:
所述的深度神经网络模型结构对前M分钟的水位特征构建一个两层神经网络,用于获取水位的变化趋势以及对预测水位的影响,第一层的隐藏节点数根据需要设定;同样的,深度神经网络模型结构对前M 分钟各个时刻的降雨量构建一个双层神经网络,用于获取不同时刻的降雨量对预测水位的影响,第一层的隐藏节点数根据需要设定;最后,该神经网络模型对后K分钟的降雨量、当前水位、前M分钟的降雨量的神经网络输出值和前M分钟水位对应的神经网络输出值全连接到输出节点;该神经网络中每个节点都采用tanh函数进行非线性化。
所述的面向积涝水位预测的深度神经网络回归模型的训练和实时预测部分,训练时针对有效样本{(Xi,Yi),i∈[1,N]},定义损失函数;采用均方误差作为损失函数,具体公式如下:
Loss=reduce_mean(square(Y-_Y))
Y,_Y分别表示在给定输入X时的真实输出值和估计输出值。Square 函数用于计算(Y-_Y)的平方,reduce_mean函数用于求一个batch中真实值和估计值之差的平方的平均值。
实时预测时,自动获取当前时刻积涝站的历时数据,包括:前M时刻的水位和降雨量数据,当前时刻水位,然后用户输入预估的未来K 分钟内的降雨量,从而构成一个特征向量,并将其输入到模型中。
本发明具体实现过程如下:
(1)积涝站数据的预处理主要包括:训练样本数据的获取和数据的标准化2个处理过程。
训练样本数据的获取将根据积涝站的历时数据生成可用于学习的特征向量和输出值的对应表,并进行数据的标准化。原始积涝站数据是每隔N分钟(可以设定)获取当前的水位和N分钟内的降雨量。因此,原始数据是一个带有时间标记的水位和降雨量的序列,可表示为: [(T1,L1,F1),(T2,L2,F2),…,(Ti,Li,Fi),…,(Tc,Lc,Fc)],其中Ti表示对应的时刻,Li表示Ti时刻积涝站的水位,Fi表示在(Ti-1,Ti)时间内的降雨量。Tc表示当前时刻。由于区域内的水位只与最近一段时间内的降雨量和水位相关,因此,并不需要当前时刻之前的所有时刻的降雨量信息来预测K分钟后的水位。基于此,本方法设定一个固定参数M,表示当前的水位只与M分钟之前的水位和前M分钟的降雨量相关。也就是,为了预测
Figure RE-GDA0002053709310000051
时刻的水位,本方法构建了一个特征向量(X),该特征向量包括:从
Figure RE-GDA0002053709310000052
时刻到Tc时刻的降雨量和水位信息,以及从Tc时刻到
Figure RE-GDA0002053709310000053
时刻之间的降雨量(Fg)。在进行实时预测时,Fg并不能从积涝站中获取,其可以通过天气预报估计得到。
本发明方法中训练样本数据的获取主要是过滤掉原始数据中当前水位和前M分钟降雨量都为0的数据。因为这些数据占原始数据的绝大部分,过多这样的训练数据对于训练深度学习模型的参数并没有太多的帮助。本发明方法对原始数据中的每个数据判断当前水位和前M 分钟降雨量是否有一个不为0,如果一个不为0,则作为一个有效数据,并获取当前水位,前M分钟每个时刻的水位和降雨量,以及后K分钟的降雨量,作为一个样本的特征向量(Xi),并将K分钟的水位作为该样本的输出值(Yi),从而构建了一个样本库:{(Xi,Yi),i∈[1,N]},N 为样本数量。其中一个样本的特征向量包括:
Figure RE-GDA0002053709310000054
个前水位信息,
Figure RE-GDA0002053709310000055
个前降雨量,和1个后K分钟的降雨量,特征向量的长度为:
Figure RE-GDA0002053709310000056
数据的标准化处理用于将所有数据(包括特征向量和输出值)处理为0均值附近的值,用于消除不同数据之间数量上的差异,导致深度学习模型学习的困难。本发明方法通过计算样本中每个特征值和输出值的均值和方差,然后用均值和方差对对应的特征值进行标准化,其公式如下所示。
xbij=(Xij-mean(Xj))/variance(Xj)
ybi=(yi-mean(Y))/variance(Y)
其中xbij是第i个样本中第j个特征值Xij标准化结果,ybi是第i 个样本的输出值Yi的标准化结果。mean(Xj)和variance(Xj)分别是对样本库中所有样本的第j个特征求均值和方差,mean(Y)和variance(Y) 是对样本库中所有输出值求均值和方差。
通过以上预处理步骤从积涝站数据中获取可以用于训练的样本数据,该样本数据中一个样本有一个特征向量和对应的输出值构成,即: (xbi,ybi)。
(2)面向积涝水位预测的深度神经网络回归模型的构建;在给定样本数据(Xi,Yi),本方法目标是通过样本获取Yi=F(Xi)中的非线性变换函数F。从而在实时预测时,可根据输入的X获取对应的预测输出结果(水位)。由于很难明确知道变换函数F是哪种函数类型,因此难于用函数拟合的方法来获取函数。本发明方法采用深度神经网络中的回归分析方法来学习变换函数F。针对水位预测问题的特殊性和特征向量X的构成,本发明方法针对性的构建一个面向水位预测的深度神经网络回归模型。该神经网络模型结构如图2所示。该神经网络模型对前M分钟的水位特征构建一个两层神经网络,用于获取水位的变化趋势,以及对预测水位的影响,第一层的隐藏节点数可以根据需要设定;同样地,该神经网络模型对前M分钟各个时刻的降雨量构建一个双层神经网络,用于获取不同时刻的降雨量对预测水位(输出值)的影响,第一层的隐藏节点数可以根据需要设定。最后,该神经网络模型对后K 分钟的降雨量、当前水位、前M分钟的降雨量的神经网络输出值和前M 分钟水位对应的神经网络输出值全连接到输出节点。该神经网络中每个节点都采用tanh函数进行非线性化。
(3)面向积涝水位预测的深度神经网络回归模型的训练和实时预测。为了训练深度神经网络回归模型需要构建样本库,本方法在预处理步骤过程中获得了特定积涝站的历时数据,并进行处理获得了大部分的有效样本{(Xi,Yi),i∈[1,N]}。为了训练神经网络回归模型,方法还需要定义损失函数。本方法采用均方误差作为损失函数,具体公式如下:
Loss=reduce_mean(square(Y-_Y))
Y,_Y分别表示在给定输入X时的真实输出值和估计输出值。Square 函数用于计算(Y-_Y)的平方,reduce_mean函数用于求一个batch中真实值和估计值之差的平方的平均值。
本方法采用的是Adam最优化方法。在训练时,本方法将所有的样本都通过预处理标准化后;然后将输入特征向量X和真实输出值Y分别输入到面向积涝水位预测的深度神经网络回归模型;然后不断迭代,并通过损失函数的梯度来更新参数,实现模型的训练。
训练好面向积涝水位预测的深度神经网络回归模型的参数,方法就可以通过该模型根据实时输入的特征向量预测K分钟后的水位。首先,需要导入模型参数;然后,自动获取当前时刻积涝站的历时数据,包括: 前M时刻的水位和降雨量数据,当前时刻水位,然后用户输入预估的未来K分钟内的降雨量,从而构成一个特征向量,并将其输入到模型中。运行该模型的前馈部分即可得到预测的输出结果。
本发明相对于现有技术具有以下有益效果:
本发明可以用于对某个区域的积涝水位进行预测,预测时间K可以根据需要设定;模型能够捕获不同区域内的径流特点,以及降雨量的内在相关性;本发明无需构建各种复杂的SWMM模型,只需要提供历史数据通过样例学习获得模型参数。实验证明了通过样例学习面向积涝水位预测的深度神经网络回归模型可以有效地对未来某时刻的积涝区域水位进行预测。
附图说明
图1表示本发明的流程图;
图2表示本发明方法中面向积涝水位预测的深度神经网络回归模型;
图3面向积涝水位预测的深度神经网络回归模型训练过程中损失 (loss)的变化情况(所有输出点)
图4面向积涝水位预测的深度神经网络回归模型训练过程中损失(loss)的变化情况(去掉第一个点)。
具体实施方式
下面将结合附图对本发明加以详细说明,应指出的是,所描述的实施例仅便于对本发明的理解,而对其不起任何限定作用。
本发明方法不限于积涝站获取的数据,其它的只要能够获取当前时刻水位和前M分钟的水位信息和降雨量信息都可以进行有效处理。本发明方法实现的系统不限于特定的部署设备,可以部署在积涝站的嵌入式设备上,也可以部署在远程服务器上。在本实施例中,主要处理的对象为积涝站获得的带有时间标签的水位和降雨量序列信息。积涝站是一个集成了电子水尺和雨量计的设备,并具有联网功能。本实施例采用 tensorflow这个深度学习框架实现,但是模型的构建和训练同样可以采用其它深度学习框架。训练完成后,可以不需要tensorflow框架,模型的参数可以直接用于搭建前馈神经网络,并对输入进行处理和输出预测值。
下面将参考附图进一步介绍本发明的实施例。
图1是一个流程框图,表示本发明各个部分关系及其流程。一种基于样本学习的积涝水位预测方法分为两个过程:训练过程和实时预测过程。训练过程主要包括:构建一个面向积涝水位预测的深度神经网络回归模型,通过积涝站获得的原始数据进行数据预处理,最后通过设定合适的训练参数和获得的样本数据训练多元非线性深度神经网络回归模型的参数。实时预测过程是在训练好模型的基础上,给定前M分钟的水位和降雨量以及预估的未来降雨量,并对这些数据进行标准化后输入到模型中,模型通过前馈神经网络输出预测水位值。
一种基于样本学习的积涝水位预测方法主要包括三个部分:积涝站数据的预处理,面向积涝水位预测的深度神经网络回归模型的构建,以及面向积涝水位预测的深度神经网络回归模型的训练和实时预测。所述的积涝站数据的预处理是将积涝站获得的历时降雨量和水位数据进行处理,转换为可用于学习和预测的标准数据;该部分包括训练样本数据的获取和数据标准化。所述的面向积涝水位预测的深度神经网络回归模型的构建是基于给定特定区域的历时水位和降雨量数据以及预估的未来降雨量数据的物理意义针对性地设计合理的深度神经网络回归模型,并用于积涝水位预测。本方法主要采用回归分析方法进行实现,构建模型的目标是能够根据已有的训练样本获取输入的历时降雨量和水位信息以及预估的降雨量与未来某时刻水位值之间的对应变换关系;所述的面向积涝水位预测的深度神经网络回归模型的训练和实时预测是指采用深度学习的相关技术进行模型训练用于获得模型参数,并根据训练好的模型参数和实时输入数据进行实时预测的过程。
(1)积涝站数据的预处理
积涝站数据的预处理主要包括:训练样本数据的获取和数据的标准化2个处理过程。训练样本数据的获取是指根据积涝站的历时数据生成可用于学习的特征向量和输出值的对应表,并进行数据的标准化。原始积涝站数据是每隔N分钟(可以设定)获取当前的水位和N分钟内的降雨量。在本实施例中,积涝站的数据如下表所示。
Figure RE-GDA0002053709310000081
Figure RE-GDA0002053709310000091
Figure RE-GDA0002053709310000101
积涝站的原始数据是每隔5分钟获取一次当前数据(降雨量和水位),也就是N为5。一个带有时间标记的水位和降雨量的序列,可表示为:[(T1,L1,F1),(T2,L2,F2),…,(Ti,Li,Fi),…,(Tc,Lc,Fc)],其中Ti表示对应的时刻,Li表示Ti时刻积涝站的水位,Fi表示在(Ti-1,Ti)时间内的降雨量,单位毫米。Tc表示当前时刻。由于区域内的水位只与最近一段时间内的降雨量和水位相关,因此,并不需要当前时刻之前的所有时刻的降雨量信息来预测K分钟后的水位(本实施例中K设置为 20)。基于此,本方法设定一个固定参数M(30分钟),表示当前的水位只与前30分钟水位和前30分钟的降雨量相关。也就是,为了预测 20分钟后Tc+4时刻的水位,本方法获取从Tc-5时刻到Tc时刻30分钟内的降雨量和水位信息序列(30分钟内积涝站可以得到6个水位值和6 个降雨量值),以及从Tc时刻到Tc+4时刻20分钟内的降雨量(Fg),作为一个样本的特征向量(Xi),并将K分钟的水位作为该样本的输出值 (Yi),从而构建了一个样本库:{(Xi,Yi),i∈[1,N]},N为样本数量。在训练时,样本数据中的Fg通过历时数据中去求和得到,在本实施例中也就是Fg=Fc+1+Fc+2+Fc+3+Fc+4。但是在实时预测时该数据不能从积涝站中获取,其可以通过天气预报估计后K分钟(20分钟)内的降雨量,并作为输入的一部分。
本发明方法中训练样本数据的获取主要是过滤掉原始数据中当前水位和前M分钟降雨量都为0的数据。因为这些数据占原始数据的绝大部分(特定区域内一年下雨时间是有限的),过多这样的训练数据对于训练深度神经网络模型的参数并没有太多的帮助。本发明方法对原始数据中的每条数据(Ti,Li,Fi)判断当前水位Li和前M分钟(30分钟) 降雨量
Figure RE-GDA0002053709310000111
是否有一个不为0,如果一个不为0,则作为一个有效数据,并获取当前水位,前M分钟每个时刻的水位和降雨量,以及后K分钟的降雨量,作为一个样本的特征向量(Xi),并将K分钟的水位作为样本的输出值(Yi)。从而,一个样本的特征向量包括:
Figure RE-GDA0002053709310000112
个前水位信息,
Figure RE-GDA0002053709310000113
个前降雨量,1个后K分钟的降雨量,特征向量的长度为:
Figure RE-GDA0002053709310000114
基于此,本方法会对一场大雨的开始降雨到水位退到0位置之后的每个时刻都有相应的数据,这些数据可以有效地训练深度神经网络回归模型。在本实施例中,方法对积涝站获取的历时三个月的所有原始数据,然后根据上述规则提取样例,总共提取了115个样例,其中的92个(80%)作为训练样本。
数据的标准化处理用于将所有数据(包括特征向量和输出值)处理为0均值附近的值,用于消除不同数据之间数量上的差异,导致深度学习模型学习的困难。本发明方法计算样本中每个特征值和输出值的均值和方差,然后用均值和方差对对应的特征值进行标准化,其公式如下所示。
xbij=(Xij-mean(Xj))/variance(Xj)
ybi=(yi-mean(Y))/variance(Y)
其中xbij是第i个样本中第j个特征值Xij标准化结果,ybi是第i 个样本的输出值Yi的标准化结果。mean(Xj)和variance(Xj)分别是对样本库中所有样本的第j个特征求均值和方差,mean(Y)和variance(Y) 是对样本库中所有输出值求均值和方差。
在本实施例中,由于不同积涝站的数据差别较大,因此每个积涝站数据独立计算。针对其中的一个积涝站数据的样本计算mean(X)和 variance(X)的结果分别为:[1.76313364 21.11059908 21.16129032 21.20737327 21.22119816 21.2258064521.23041475 0.4202765 0.46359447 0.48479263 0.49861751 0.501382490.50230415]和 [3.67150258 11.31601891 11.27726697 11.25237675 11.26950587 11.298206611.32683272 0.94530317 1.03728287 1.05454866 1.063013681.061972741.06162394]。mean(Y)和variance(Y)分别为:[20.43317972]和[12.06229627]。从而对于第一个特征(未来K 分钟内的降雨量)的原始特征值为2.2,则标准化的特征值为:(2.2-1.76313364)/3.67150258,即:0.1189884388。
通过以上预处理步骤从积涝站数据中获取可以用于训练的样本数据,该样本数据中一个样本有一个特征向量和对应的输出值构成,即: (xbi,ybi)。
(2)面向积涝水位预测的深度神经网络回归模型的构建
在给定样本数据(Xi,Yi),本方法目标是通过样本获取Yi=F(Xi) 中的非线性变换函数F。从而在实时预测时,可根据输入的X获取对应的预测输出结果(水位)。由于很难明确知道变换函数F是哪种函数类型,因此难于用函数拟合的方法来获取函数。本发明方法采用回归分析来学习变换函数F。由于预测的水位受到前M时刻的降雨量和水位信息的影响,因此,该方法是一个多元回归分析问题。另外,通过已有文献的调研,由于地表径流和下水管等降水过程的非线性性。因此,降雨量和积涝水位之间的关系也是非线性关系。本方法需要解决的是多元非线性回归问题。当前深度学习技术在多元非线性回归问题上也有很好的解决方案。本方法就采用深度学习技术来解决积涝水位的预测问题。由于不同的问题,输入的特征向量一般差别较大,如何构建合理的深度学习模型是方法能够实现有效预测的关键。以下详细介绍本方法构建的深度神经网络回归模型用于积涝水位的预测。
针对水位预测问题的特殊性和特征向量X的构成,本发明方法针对性的构建一个面向水位预测的深度神经网络回归模型。该神经网络模型结构如图2所示。该神经网络模型对前M分钟的水位特征构建一个两层神经网络,用于获取水位的变化趋势,以及对预测水位的影响,第一层的隐藏节点数可以根据需要设定;同样地,该神经网络模型对前M分钟各个时刻的降雨量构建一个双层神经网络,用于获取不同时刻的降雨量对预测水位(输出值)的影响,第一层的隐藏节点数可以根据需要设定。最后,该神经网络模型对后K分钟的降雨量、当前水位、前M分钟的降雨量的神经网络输出值和前M分钟水位对应的神经网络输出值全连接到输出节点。该神经网络中每个节点都采用tanh函数进行非线性化。
在本实施例中,M设置为30,K设置为20.也就是根据前30分钟的水位和降雨量预测后20分钟的水位。输入的特征数为13,其中6个水位,6个降雨量,1一个未来20分钟的降雨量预估值。针对水位特征和降雨量特征构建的第一层神经网络的隐藏节点数分别设置为10个节点。
(3)面向积涝水位预测的深度神经网络回归模型的训练和实时预测
1)模型训练
为了训练深度神经网络回归模型需要构建样本库,本方法在预处理步骤过程中获得了特定积涝站的历时数据,并进行处理获得了大部分的有效样本{(xbi,ybi),i∈[1,N]}。构建好深度学习的网络模型后,方法需要设定损失函数,从而通过最优化来得到模型在训练样本集上最优的参数。本方法采用均方误差作为损失函数,具体公式如下:
Loss=reduce_mean(square(Y-_Y))
Y,_Y分别表示在给定输入X时的真实输出值和估计输出值。Square 函数用于计算(Y-_Y)的平方,reduce_mean函数用于求一个batch中真实值和估计值之差的平方的平均值。
确定损失函数后,tensorflow需要设定求解参数的最优化方法,通过梯度下降算法来计算参数的最优解。本方法采用的是Adam方法。 Adam算法根据损失函数对模型中每个参数梯度的一阶矩和二阶矩估计来动态调整模型中每个参数的学习速率。Adam算法的参数更新步长有一个范围,不会因为某个样本上产生很大的梯度导致很大的更新步长,从而保证在训练过程中模型参数变化比较稳定。
在训练时,本方法对某个积涝站的数据的原始数据通过预处理步骤获样本(其中80%用于训练,20%用于测试),并进行预处理的标准化过程;然后将输入特征向量X和真实输出值Y分别输入到面向积涝水位预测的深度神经网络回归模型;然后可以不断迭代的采用Adam不断地优化模型参数是损失函数最小。在tensorflow中,运行如下train即可。train=tf.train.AdamOptimizer(0.001).minimize(Loss)
每一次迭代,训练过程都会通过损失函数的梯度来更新参数,实现模型参数在样本集上的最优化。
由于当前积涝站只部署安装了3个月,积累的历时数据有限,从而导致训练的样本数据不多。因此,本方法在训练时设置的训练参数如下:设置batch为1,也就是对一个样例更新一次模型参数。遍历训练样本库中的所有样例为一个epoch。在训练时,设置5000个epoches来训练模型。由于样本数量有限性和模型参数不多,在这样的训练参数设置下,采用普通的PC机(无GPU加速)。本方法可以在20分钟左右完成训练。训练过程的均方误差损失变化过程,如附图4所示。图4是每隔 100个epoches计算均方误差损失的变化情况。其中第一个点表示开始训练得到参数效果较差,然后快速的降低。删除第一个点之后,训练过程中均方误差损失的变化情况,从而看出虽然均方误差损失降低速度变慢,但是随着训练次数的不断增加,其损失也有小幅的降低。
经过训练后,模型最后一层未来K分钟的降雨量、当前水位、前M 分钟的水位和前M分钟降雨量这四项的权重分别为:0.62873137, 1.7590243,-0.5358332,0.737074。从中可以看出20分钟后的预测结果主要受当前水位影响最大,然后受到前30分的降雨量的影响。而预估的20分钟降雨量的影响不如前30分钟降雨量的影响。
2)基于训练好模型的实时预测
训练好面向积涝水位预测的深度神经网络回归模型的参数,方法就可以通过该模型根据实时输入的特征向量预测K分钟后的水位。首先,需要导入训练时保存的模型参数;然后,自动获取当前时刻积涝站的历时数据,包括:前M时刻的水位和降雨量数据,当前时刻水位,然后用户输入预估的未来K分钟内的降雨量,从而构成一个特征向量,并将其输入到模型中。运行该模型的前馈部分即可得到预测的输出结果。
在本实施例中,对本发明方法在测试数据集上进行了验证。在该测试数据集上未来20分钟的雨量是真实值,采用以上训练参数训练得到的模型,在测试集上取得均方误差为:6.765898077812699。测试集的测试结果如下表所示。
Figure RE-GDA0002053709310000141
Figure RE-GDA0002053709310000151

Claims (4)

1.一种基于样本学习的积涝水位预测方法,其特征在于利用对已有历时数据的学习来预测积涝水位,其主要包括如下三部分:积涝站数据的预处理,面向积涝水位预测的深度神经网络回归模型的构建,以及面向积涝水位预测的深度神经网络回归模型的训练和实时预测;所述的积涝站数据的预处理是将积涝站获得的历时降雨量和水位数据进行处理,转换为可用于学习和预测的标准数据;所述的面向积涝水位预测的深度神经网络回归模型的构建是基于给定城市区域的历时水位和降雨量数据以及预估的未来降雨量针对性地设计深度神经网络回归模型;所述的面向积涝水位预测的深度神经网络回归模型的训练和实时预测是指采用深度学习方法进行模型的训练,从而获得模型参数,并根据训练好的模型参数和实时输入数据进行实时预测的过程;
积涝站数据的预处理部分,根据积涝站的历时数据生成可用于学习的特征向量和输出值的对应表,并进行数据的标准化;
积涝站的历时数据是一个带有时间标记的水位和降雨量的序列,可表示为:[(T1,L1,F1),(T2,L2,F2),…,(Ti,Li,Fi),…,(Tc,Lc,Fc)],其中Ti表示对应的时刻,Li表示Ti时刻积涝站的水位,Fi表示在(Ti-1,Ti)时间内的降雨量;Tc表示当前时刻;设定一个固定参数M,表示当前的水位只与M分钟之前的水位和前M分钟的降雨量相关;为了预测
Figure FDA0003864352180000012
时刻的水位,构建一个特征向量X,该特征向量包括:从
Figure FDA0003864352180000013
时刻到Tc时刻的降雨量和水位信息,以及从Tc时刻到
Figure FDA0003864352180000011
时刻之间的降雨量Fg;在进行实时预测时,Fg通过天气预报估计得到;
筛选积涝站的历时数据,对历时数据中的每个数据判断当前水位和前M分钟降雨量是否有一个不为0,如果有一个不为0,则作为一个有效数据,并获取当前水位,前M分钟每个时刻的水位和降雨量,以及后K分钟的降雨量,作为一个样本的特征向量Xi,并将K分钟的水位作为该样本的输出值Yi,从而构建了一个样本库:{(Xi,Yi),i∈[1,N]},N为样本数量;其中一个样本的特征向量包括:
Figure FDA0003864352180000014
个前水位信息,
Figure FDA0003864352180000015
个前降雨量,和1个后K分钟的降雨量,特征向量的长度为:
Figure FDA0003864352180000016
2.如权利要求1所述的一种基于样本学习的积涝水位预测方法,其特征在于通过计算样本中每个特征值和输出值的均值和方差,然后用均值和方差对对应的特征值进行标准化,其标准化公式如下所示;
xbij=(Xij-mean(Xj))/variance(Xj)
ybi=(yi-mean(Y))/variance(Y)
其中xbij是第i个样本中第j个特征值Xij标准化结果,ybi是第i个样本的输出值yi的标准化结果;mean(Xj)和variance(Xj)分别是对样本库中所有样本的第j个特征求均值和方差,mean(Y)和variance(Y)是对样本库中所有输出值求均值和方差。
3.如权利要求2所述的一种基于样本学习的积涝水位预测方法,其特征在于面向积涝水位预测的深度神经网络回归模型结构如下:
所述的深度神经网络模型结构对前M分钟的水位特征构建一个两层神经网络,用于获取水位的变化趋势以及对预测水位的影响,第一层的隐藏节点数根据需要设定;同样的,深度神经网络模型结构对前M分钟各个时刻的降雨量构建一个双层神经网络,用于获取不同时刻的降雨量对预测水位的影响,第一层的隐藏节点数根据需要设定;最后,该神经网络模型对后K分钟的降雨量、当前水位、前M分钟的降雨量的双层神经网络输出值和前M分钟水位对应的两层神经网络输出值全连接到输出节点;该神经网络中每个节点都采用tanh函数进行非线性化。
4.如权利要求3所述的一种基于样本学习的积涝水位预测方法,其特征在于面向积涝水位预测的深度神经网络回归模型的训练和实时预测部分,训练时针对有效样本{(Xi,Yi),i∈[1,N]},定义损失函数;采用均方误差作为损失函数,具体公式如下:
Loss=reduce_mean(square(Y-_Y))
Y,_Y分别表示在给定输入X时的真实输出值和估计输出值;Square函数用于计算(Y-_Y)的平方,reduce_mean函数用于求一个batch中真实值和估计值之差的平方的平均值;
实时预测时,自动获取当前时刻积涝站的历时数据,包括:前M时刻的水位和降雨量数据,当前时刻水位,然后用户输入预估的未来K分钟内的降雨量,从而构成一个特征向量,并将其输入到模型中。
CN201910160106.0A 2019-03-04 2019-03-04 一种基于样本学习的积涝水位预测方法 Active CN109978235B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910160106.0A CN109978235B (zh) 2019-03-04 2019-03-04 一种基于样本学习的积涝水位预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910160106.0A CN109978235B (zh) 2019-03-04 2019-03-04 一种基于样本学习的积涝水位预测方法

Publications (2)

Publication Number Publication Date
CN109978235A CN109978235A (zh) 2019-07-05
CN109978235B true CN109978235B (zh) 2022-12-27

Family

ID=67077787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910160106.0A Active CN109978235B (zh) 2019-03-04 2019-03-04 一种基于样本学习的积涝水位预测方法

Country Status (1)

Country Link
CN (1) CN109978235B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110728353A (zh) * 2019-09-10 2020-01-24 宁波市气象台 一种基于bp人工神经网络的城市积涝水位预报方法
CN110929359B (zh) * 2019-11-20 2023-09-22 合肥泽众城市智能科技有限公司 基于pnn神经网络和swmm技术的管网淤积风险预测建模方法
CN111027193A (zh) * 2019-12-02 2020-04-17 浙江工业大学 一种基于回归模型的短期水位预测方法
CN110909485B (zh) * 2019-12-05 2022-04-12 重庆交通大学 一种基于bp神经网络的swmm模型参数自率定方法
CN110991776A (zh) * 2020-03-04 2020-04-10 浙江鹏信信息科技股份有限公司 一种基于gru网络实现水位预测的方法及系统
CN111401281B (zh) * 2020-03-23 2022-06-21 山东师范大学 基于深度聚类和样例学习的无监督行人重识别方法及系统
CN112529252B (zh) * 2020-11-18 2022-05-03 贵州电网有限责任公司 一种小水电前池水位预测方法及预测系统
CN112734091A (zh) * 2020-12-30 2021-04-30 中水智联(深圳)技术有限公司 一种水库水位模型预测方法
CN112861989A (zh) * 2021-03-04 2021-05-28 水利部信息中心 一种基于密度筛选的深度神经网络回归模型
CN113221439B (zh) * 2021-04-07 2022-11-25 浙江大学 一种基于bp神经网络的排水系统实时率定与动态预测方法
CN113344305B (zh) * 2021-08-05 2021-10-29 中国水利水电科学研究院 一种暴雨内涝事件的快速预测方法
CN113516203B (zh) * 2021-08-10 2024-02-27 欧梯恩智能科技(苏州)有限公司 内涝预测模型的训练方法、模型及预测方法和存储装置
CN113780668B (zh) * 2021-09-15 2024-10-01 泰华智慧产业集团股份有限公司 一种基于历史数据的城市积水内涝预测方法及系统
CN114548483A (zh) * 2021-12-29 2022-05-27 中国电信股份有限公司 一种水位预测方法、装置、电子设备及存储介质
CN114897272A (zh) * 2022-06-14 2022-08-12 阿里云计算有限公司 污水检查井的液位预测方法、装置、电子设备及存储介质
CN116542392B (zh) * 2023-05-24 2024-02-13 珠江水利委员会珠江水利科学研究院 一种感潮河段水位实时预报方法、系统和可读存储介质
CN116448209A (zh) * 2023-06-15 2023-07-18 合肥市富林物联网技术股份有限公司 一种基于压力传感器的液位识别方法、装置及电子设备
CN118364936A (zh) * 2023-11-07 2024-07-19 重庆环问问科技有限公司 一种基于神经网络模型的城市低洼路段积水监测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101545335B1 (ko) * 2014-08-01 2015-08-19 주식회사 코비 인공신경망 및 퍼지 기법을 이용한 우수 펌프 제어시스템
CN107704973A (zh) * 2017-10-31 2018-02-16 武汉理工大学 基于神经网络与局部卡尔曼滤波混合模型的水位预测方法
CN108921345A (zh) * 2018-06-28 2018-11-30 杭州市水文水资源监测总站 降水预报与支持向量机耦合的河道洪峰水位实时预报方法
CN109272146A (zh) * 2018-08-23 2019-01-25 河海大学 一种基于深度学习模型和bp神经网络校正的洪水预测方法
CN109299812A (zh) * 2018-08-23 2019-02-01 河海大学 一种基于深度学习模型和knn实时校正的洪水预测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101545335B1 (ko) * 2014-08-01 2015-08-19 주식회사 코비 인공신경망 및 퍼지 기법을 이용한 우수 펌프 제어시스템
CN107704973A (zh) * 2017-10-31 2018-02-16 武汉理工大学 基于神经网络与局部卡尔曼滤波混合模型的水位预测方法
CN108921345A (zh) * 2018-06-28 2018-11-30 杭州市水文水资源监测总站 降水预报与支持向量机耦合的河道洪峰水位实时预报方法
CN109272146A (zh) * 2018-08-23 2019-01-25 河海大学 一种基于深度学习模型和bp神经网络校正的洪水预测方法
CN109299812A (zh) * 2018-08-23 2019-02-01 河海大学 一种基于深度学习模型和knn实时校正的洪水预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于BP网络的降雨-水位预报模型应用研究;占玉林等;《中国科学院研究生院学报》;20070130(第01期);全文 *
基于NARXNN模型的降雨―水位关系研究;闫中月等;《南京大学学报(自然科学)》;20160130(第01期);全文 *

Also Published As

Publication number Publication date
CN109978235A (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
CN109978235B (zh) 一种基于样本学习的积涝水位预测方法
CN111222698B (zh) 面向物联网的基于长短时记忆网络的积水水位预测方法
CN107423546B (zh) 基于Copula函数的多变量水文不确定性处理方法
Henriksen et al. Assessment of exploitable groundwater resources of Denmark by use of ensemble resource indicators and a numerical groundwater–surface water model
US20030078901A1 (en) Neural network based predication and optimization for groundwater / surface water system
CN110442937A (zh) 一种融合卫星遥感和机器学习技术的流域水文模拟方法
Joshi et al. Rainfall-Runoff Simulation in Cache River Basin, Illinois, Using HEC-HMS
CN110459036B (zh) 一种基于深度学习的山洪预警方法
Üneş et al. Estimation of groundwater level using artificial neural networks: a case study of Hatay-Turkey
CN112686426B (zh) 一种基于水电站流域关键点的来水量预警方法及系统
CN110276477B (zh) 一种基于分层贝叶斯网络和增量学习的洪水预报方法
Khalid et al. Application on one-at-a-time sensitivity analysis of semi-distributed hydrological model in tropical watershed
CN117150600B (zh) 一种用于城市防内涝的屋顶蓄排水控制方法
CN112785035A (zh) 融合多元信息的中短期水文预报方法及系统
CN116306340A (zh) 一种模拟不同工况下的城市内涝风险分布的方法
Waikhom et al. Impact assessment of land use/land cover changes on surface runoff characteristics in the Shetrunji River Basin using the SWAT model
Şen Groundwater recharge level estimation from rainfall record probability match methodology
Quan Rainfall Runoff Modeling in the Ungauged Can Le Catchment, Saigon River Basin
Kang et al. Hydro-environmental runoff projection under GCM scenario downscaled by Artificial Neural Network in the Namgang Dam watershed, Korea
Fava et al. Integration of information technology systems for flood forecasting with hybrid data sources
Poudel et al. Impact of Urbanization on Runoff and Infiltration in Walnut Gulch Experimental Watershed
Pichler et al. Fully automated simplification of urban drainage models on a city scale
Pan et al. Impact of urbanization on flood of Shigu creek in Dongguan city
Wang et al. Study on city rainstorm waterlogging warning system based on historical data
Siwila et al. Climate change impact investigation on hydro-meteorological extremes on Zambia’s Kabompo catchment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant