CN108875161B - 基于卷积神经网络深度学习的流量等级预测方法 - Google Patents

基于卷积神经网络深度学习的流量等级预测方法 Download PDF

Info

Publication number
CN108875161B
CN108875161B CN201810552066.XA CN201810552066A CN108875161B CN 108875161 B CN108875161 B CN 108875161B CN 201810552066 A CN201810552066 A CN 201810552066A CN 108875161 B CN108875161 B CN 108875161B
Authority
CN
China
Prior art keywords
layer
data
training
network
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810552066.XA
Other languages
English (en)
Other versions
CN108875161A (zh
Inventor
仲志余
唐海华
罗斌
周超
王汉东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changjiang Institute of Survey Planning Design and Research Co Ltd
Original Assignee
Changjiang Institute of Survey Planning Design and Research Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changjiang Institute of Survey Planning Design and Research Co Ltd filed Critical Changjiang Institute of Survey Planning Design and Research Co Ltd
Priority to CN201810552066.XA priority Critical patent/CN108875161B/zh
Publication of CN108875161A publication Critical patent/CN108875161A/zh
Application granted granted Critical
Publication of CN108875161B publication Critical patent/CN108875161B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种基于卷积神经网络深度学习的流量等级预测方法,包括以下步骤:选择与水库入库流量潜在相关的影响因子作为输入集合;进行样本集分类和原始输入数据集构建;对样本集中的原始输入数据集进行标准化处理;搭建多层卷积神经网络;以均方误差最小化作为损失函数,确定预测准确率;进行网络参数训练;进行网络性能测试;检验预测精度;进行模型参数的滚动学习训练;自动保存学习训练成果并自动更新实时库的知识记录;通过网络模型计算得出最终的流量等级预测结果。本发明通过组合低层特征形成更加高层的特征融合,从而实现对目标的高级抽象描述,并通过自动学习能发现输入数据的模式和时空分布规律,可有效应用于流域水情预报领域。

Description

基于卷积神经网络深度学习的流量等级预测方法
技术领域
本发明涉及流域水情预测技术领域,具体涉及一种基于卷积神经网络深度学习的流量等级预测方法。
背景技术
流域水情预测是极其重要的流域管理非工程措施,主要是根据流域的水文气象特征、下垫面条件、干支流水系分布、遥测站网布设、降雨径流实测资料等相关信息,分析流域的水循环机理及降雨径流规律,然后针对重点控制断面编制水情预报方案,用以预测各断面预见期内可能发生的径流过程,为开展流域的河道径流推演、防洪形势分析、水情报汛、水资源调配、水库群防洪调度决策、水库群供水调度计划编制、水电站群发电计划编制、水利工程泄洪设施控制方式制定、洪灾风险分析防控、防汛抗旱方案制定等提供科学准确的预测预报服务。
传统的流域水情预测的核心任务是构建流域水文模型,通过不同的理论方法、层级结构和建模方式对流域的水循环过程进行刻画与描述,然后采用数学语言或物理模型的形式进行表达,最终应用于预测预报计算和水文模拟分析。目前,据不完全统计,全世界已有70多个流域水文模型得到了广泛应用,较为经典的主要有国内的新安江模型、陕北模型和API模型;美国的Stanford模型、SWAT模型和SAC模型;英国的TOPMODEL模型和IHDM模型;丹麦DHI研发的MIKE系列模型,以及日本的Tank模型、德国的SWIM模型等。
以水库的入库流量等级预测为例,采用传统流域水文模型方法的主要步骤如下:
(1)控制流域确定:根据流域地理空间信息确定水库的集水区域范围和面积。
(2)资料收集:收集控制流域内的遥测站网资料和地形地貌资料,包括雨量站、流量站、蒸发站等测站详细分布,以及地形数据、土壤数据和各站点实测记录等。
(3)子流域划分:根据控制流域的面积大小、站网分布特点和资料条件,将控制流域按需划分为多个子流域。
(4)模型及样本选择:针对每个子流域分别构建用于洪水预报计算和枯水预报计算的水文模型,并分类摘录对之对应的参数率定样本和检验样本。
(5)参数率定:以模型构建需求和参数率定样本为基础,针对每个子流域按照水力拓扑关系从上到下逐一调用样本输入进行模拟计算,然后对比模拟输出与样本输出,以目标水库入库流量的拟合效果最佳为准则确定各子流域模型的最优参数。
(6)精度检验:以各子流域模型的参数率定成果和检验样本为基础,逐个子流域调用样本输入进行预报计算,然后对比预报输出和样本输出,通过目标水库入库流量的预报合格率确定最终的检验精度。若检验精度无法满足预期要求,则返回步骤(4)调整模型,直到检验精度达标为止。
(7)流量等级预测:根据各子流域优选出来的模型和参数,以预报时间的实测数据信息为输入计算目标水库的入库流量预测过程,经分析统计得最终流量等级。
上述基于流域水文模型的水库入库流量等级预测方法主要存在以下局限:
(1)水文模型大多具有清晰的成因机理、层次结构及物理涵义,模型应用过程较为复杂,且需要大量的人工干预,专业性和经验性都非常强,必须具备丰富的行业背景知识才能顺利开展预报预测任务。
(2)水文模型在建模过程中通常需要进行不同程度的模型参数概化、输入条件概化和边界约束概化,不可避免会忽略部分影响预报结果的关联因素。
(3)水文模型对降雨径流数据的依赖性非常强,必须具备齐全的多年连续序列资料才能充分发挥模型的作用,取得较高的预测精度,否则将无能为力。
(4)水文模型参数是通过历史数据样本率定获得,存在一定时效性,随着时间推移和数据资料积累,其代表性可能会受到影响,必须定期通过人工干预方式将最新资料纳入样本进行模型参数的重新率定、复核和更新。
(5)由于丰水期和枯水期流域水文循环机理存在较大差异,同一流域在不同时期通常需要分别构建不同的水文模型进行参数率定和预测计算,一定程度上增加了入库流量预测的应用难度和复杂度。
发明内容
本发明的目的就是针对现有技术的缺陷,提供一种基于卷积神经网络深度学习的流量等级预测方法,通过组合低层特征形成更加高层的特征融合,从而实现对目标的高级抽象描述,并通过自动学习能发现输入数据的模式和时空分布规律,可有效应用于流域水情预报领域。
本发明提供了一种基于卷积神经网络深度学习的流量等级预测方法,其特征在于包括以下步骤:
A.选择与水库入库流量潜在相关的影响因子作为输入集合;对水库未来t时段入库流量预测结果按设计特征流量和业务应用需求划分为多个流量等级,多个流量等级对应构成多个流量等级区间;
B.进行样本集分类和原始输入数据集构建;对样本集中的原始输入数据集进行标准化处理;
C.搭建多层卷积神经网络,具体层数通过后续网络性能测试结果确定;
D.以均方误差最小化作为损失函数,根据步骤C的计算结果确定预测准确率;
E.对步骤C的计算结果进行网络参数训练;
F.根据步骤B和步骤E的计算结果代入步骤C中的多层卷积神经网络,进行网络性能测试;
G.以步骤B、步骤C和步骤D的计算结果作为模型参数检验预测精度;
H.按照滚动周期,依次执行步骤B至步骤F,进行模型参数的滚动学习训练。
I.增量库中自动保存步骤H的学习训练成果并自动更新实时库的知识记录;
J.实时预测时,按步骤A确定的影响因子构建输入集合并标准化,从步骤I的增量库中提取最新模型参数,然后代入步骤C建立的多层卷积神经网络模型计算得出最终的流量等级预测结果。
上述技术方案中,步骤A中选择与水库入库流量潜在相关的影响因子作为输入集合,具体包括以下类型数据:
当前时间的所在旬号:1个数据,用于反应年内36个旬的周期季节特征;
控制流域面积内p个雨量站过去连续h个小时的降雨量:共p×h个数据;
控制流域面积内e个蒸发站过去连续h个小时的蒸发量:共e×h个数据;
控制流域面积内s个墒情站过去连续h个小时的土壤含水量:共s×h个数据;
控制流域面积内a个气象分区过去连续h个小时的温度:共a×h个数据;
控制流域面积内a个气象分区未来f个小时的预报降雨量:共a×f个数据;
控制流域面积内a个气象分区未来f个小时预测温度:共a×f个数据;
水库坝址及库区沿程c个控制站的当前流量:共1+c个数据;
水库坝址及库区沿程c个控制站的当前水位:共1+c个数据;
其中,a,c,e,f,h,p,s为概化出来的任意自然数;
以上不同物理涵义的数据序列构成了一个完整的输入集。将各类数据序列按顺序依次排列为一个m×n的矩阵X:
Figure BDA0001680498870000061
其中,m和n可根据输入集的总长度自由定义,但必须满足:
m×n=1+(p+e+s+a)×h+a×f×2+(1+c)×2 (2)
对水库未来t时段入库流量预测结果按设计特征流量和业务应用需求划分为R(R>0)个流量等级{r1,r2,......,rR},则对应可构成R+1个流量等级区间Y:
Y={[0,r1)、[r1,r2)、......,[rR,+∞)} (3)
任意一个输入矩阵X,都对应流量等级区间Y中唯一的一个等级区间。
上述技术方案中,步骤B中样本集按用途分为训练样本、测试样本和验证样本,训练样本用于在训练阶段学习和调整各类网络权值;测试样本用于测试训练过程中对训练样本中未出现过的数据的分类性能,并根据测试结果对网络结构或训练循环次数等进行调整;验证样本则用于网络结构确定后,对通过训练学习获得的参数集进行预测的准确度检验;
样本集分类具体包括以下步骤:根据前述输入输出定义和样本划分方式,首先收集历史资料信息,并以时间轴为刻度,按输入矩阵X和输出等级区间Y的数据格式与对应关系构成输入输出的原始数据集;然后剔除含有各类无效信息的数据集,再按“7:2:1”原则筛选出其中的70%作为训练样本,20%作为测试样本,10%作为检验样本;每类样本均包含一一对应的输入数据集和输出数据集;
标准化处理具体包括以下步骤:汇集样本集内每个原始输入矩阵X中的第k类数据,然后分别求出该类型数据的平均值
Figure BDA0001680498870000071
和标准差Sk,最后针对每个原始输入矩阵X中的实际值xk,i按下式进行处理:
Figure BDA0001680498870000072
Figure BDA0001680498870000073
代表实际值经标准化处理后的对应结果。上述标准化处理的目的在于消除各类数据的量纲(单位)影响和自身变异影响,处理后,输入样本中的各类数据都被标准化成了无量纲的纯数据序列,正负大约各占一半,平均值为0,标准差为1。
上述技术方案中,步骤C中各层网络构建方法如下:
1)卷积层C1
样本X的输入矩阵大小为m×n,为提取样本的多种不同特征,定义N个(N≥1)大小为j×j的卷积核W作为网络权值,对应偏移量为b,对X中的每个元素执行卷积操作。j、N为概化的自然数,其中j小于m和n,一般实际操作操作中,m和n的取值根据实验需求设定。
Y=W×X+b (5)
其中卷积核及其对应偏移量为:
W={W1,W2,......,WN},b={b1,b2,......,bN} (6)
W和b本身都是向量,里面各包含N个分量:
W1,W2,…WN依次为第1-N个卷积核分量,每个卷积核分量的大小都是j×j;
b1,b2,…bN依次为第1-N个偏移量分量,每个偏移量分量都是一个单值。
固定卷积操作的移动步长为1,卷积完成后,采用ReLU的max函数作为激活函数,对卷积输出结果进行非线性映射;每个样本在本层可生成N个大小为(m-j+1)×(n-j+1)的特征图,需要训练的参数共(j×j+1)×N个,对应的网络连接数为(m-j+1)×(n-j+1)×(j×j+1)×N个;
2)池化层S2
固定池化规模为d×d,针对C1层生成的N个特征图,将每个特征图中完全相邻的d×d个元素按最大池化法依次池化为一个元素,从而产生N个缩小了d×d倍的特征映射图,大小为m'×n',其中
Figure BDA0001680498870000081
若不能整除,则需要对边缘进行处理,将特征图用0填充为d的倍数后再池化;
以下的卷积层C3、C5与卷积层C1的计算方式相同,池化层S4、S6和池化层S2的计算方式相同,任一卷积层或池化层均可用上述计算方式计算。上述卷积层和池化层的层数可根据具体要求进行设置,其中每一层卷积层和池化层中,m、n、j、d的取值可根据具体要求进行设置任意自然数。下面对设置第二、三个卷积层和池化层的进行说明:
3)卷积层C3
定义N'(N'≥1)个新的j'×j'卷积核,按C1层的方法对S2层的N个特征映射图进行卷积和激活,得到N′个新的特征图;本层的特征图需要全面反映上一层提取到的不同特征,因此,每个特征图应分别连接到S2中的所有N个或其中某几个特征映射图进行多种不同组合;最终生成的每个特征图大小为(m′-j′+1)×(n′-j′+1),需要训练的参数共(j'×j'+1)×N'个,对应网络连接数为(m'-j'+1)=(n'-j'+1)×(j'×j'+1)×N'个。
4)池化层S4
与池化层S2类似,采用最大池化技术将C3层特征图进行下采样处理,产生N'个大小为m″×n″的特征映射图;
5)卷积层C5
定义N″(N″≥1)个新的j″×j″卷积核,按C3层的方法对S4层的N'个特征映射图进行卷积和激活,得N″个大小为(m″-j″+1)×(n″-j″+1)的特征图。本层的卷积核尺寸需小于或等于S4层特征图尺寸,需要训练的参数为(j″×j″+1)×N″个,对应网络连接数为(m″-j″+1)×(n″-j″+1)×(j″×j″+1)×N″个。卷积层是否继续增加取决于是否还有特征需要抽象提取。
6)池化层S6
与S2层类似,采用最大池化技术将C5层特征图进行下采样处理,产生N″个大小为m″′×n″′的特征映射图。
7)全连接层F7
将最接近连接层的池化层的二维特征图变为一维特征向量,定义全连接层节点个数,实现与一维特征向量节点的全连接映射;
8)输出层08
根据预测应用要求设计输出层节点数目,与全连接层互连。
上述技术方案中,步骤D中以均方误差最小化作为损失函数:
Figure BDA0001680498870000101
式中,L为所有训练样本的总损失;I为训练样本总长度;yi为第i个训练样本的计算输出;
Figure BDA0001680498870000102
为第i个训练样本的对应真值。
给定长度为T的输入样本和网络模型各层参数,按步骤C逐层计算,假设有TR个样本在输出层O7的计算结果能正确映射样本实际真值,则预测准确率AR定义为:
Figure BDA0001680498870000103
上述技术方案中,步骤E包括以下步骤:
向前传播阶段:初始化步骤C中卷积层和全连接层的W、b参数,以步骤B生成的训练样本中的输入矩阵为基础,逐层完成网络模型计算,得到相应的计算输出;
向后传播阶段:按式(7)计算所有训练样本的总损失L,然后以误差极小化minL为目标反向传播调整各层W、b参数,直到L无法下降或循环次数达预设上限,训练结束。
上述技术方案中,步骤F包括以下步骤:
以步骤B生成的测试样本和步骤E训练所得的各层W、b参数为基础,按步骤C逐层计算,并按式(8)统计所有测试样本的预测准确率ARtest
假设网络性能达标的预测准确率下限为ARmin,则当ARtest<ARmin时,对步骤C的网络结构进行调整,包括网络层数、各层卷积核大小、各层卷积核数量、循环次数上限等,然后重新执行步骤E中训练模型的各层参数,再次测试网络性能;
依此循环,直到ARtest≥ARmin,测试结束,记录当前网络结构与模型参数作为最终训练成果,若始终无法达到预期,则适当下调ARmin,降低预期成效。
上述技术方案中,步骤G包括以下步骤:
以步骤B生成的检验样本为基础,按步骤F确定的网络模型及各层W、b参数逐层完成模型计算,最后按式(8)统计所有检验样本的预测准确率ARcheck作为模型参数检验精度。
上述技术方案中,对于采用知识库保存与管理网络结构和模型参数的学习训练成果;所述知识库由增量库和实时库两部分构成,增量库用于累积存储每轮学习训练所得的网络结构和模型参数,随时间推移会不断增多;实时库有且仅有一条知识记录,用于开展流量等级预测计算,该部分随着时间推移滚动更新。
上述技术方案中,步骤J包括以下步骤:
针对任意给定时间,如当前时间,或某历史时间,首先提取所有影响因子的对应数值按式(1)和式(2)构建输入向量,并按式(4)进行标准化处理;然后调用知识库中的实时库知识记录进行网络模型计算得出最终的流量等级预测结果,所述知识记录对应唯一的网络结构和模型参数。
由于现有技术必须具备丰富的行业背景知识才能顺利开展预报预测任务,本发明将预测任务从复杂的专业逻辑中剥离出来,把分析重心转移到数据本身,而不再去探究各类数据的物理含义和成因关系,最大程度降低对水文学科知识和水文模型应用经验的依赖。另一方面,现有技术中大量的概化处理忽略了部分影响预报结果的关联因素,本发明直接将与预测目标存在潜在关联性的庞大信息群体作为输入集合进行建模、学习、训练和分析,扩大影响因子范围,减少人为概化,尽可能降低影响因子的丢失风险。现有技术对降雨径流数据的依赖性太强,而本发明全部基于数据驱动,当某类型数据缺乏时,模型可自动调整其他类型数据的网络权值继续训练参数,这在一定程度上缓解了对降雨径流资料的强依赖性。现有技术不同时期通常需要分别构建不同的水文模型进行参数率定和预测计算且模型参数的时效性较差,然而本发明不单独针对洪水和枯水建模,直接根据学习训练所获知识进行径流等级预测,并能通过不间断地滚动自主学习训练对预测知识进行更新。
附图说明
图1是本发明流程示意图;
具体实施方式
下面结合附图和具体实施例对本发明作进一步的详细说明,便于清楚地了解本发明,但它们不对本发明构成限定。
如图1所示,本发明提供了一种基于卷积神经网络深度学习的流量等级预测方法,包括以下步骤:
(1)输入输出定义
1)输入定义
假设某水库的前期要素影响时长和未来预测时段均为6小时,库区控制流域内有130个雨量站(编号分别为1#-130#)、16个蒸发站(编号分别为1#-16#)、15个墒情站(编号分别为1#-15#)和3个气象分区(编号分别为1#-3#),且库区上游存在2个上边界控制站(分别为1#和2#)。则针对任意时间,其对应的输入数据序列依次为:旬号、1#-130#雨量站过去6小时的逐小时降雨量、1#-16#蒸发站过去6小时的逐小时蒸发量、1#-15#墒情站过去6小时的逐小时土壤含水量、1#-3#气象分区过去6小时的逐小时实测温度、气象分区未来6小时的逐小时预报降雨与预测温度、水库坝址入库流量,以及1#、2#上边界控制站的实测流量。
上述数据序列长度为:1+(130+16+15+3+3+3)×6+1+2=1024个。该数据序列可按顺序依次排列为一个32×32的矩阵X,则有:
Figure BDA0001680498870000141
2)输出定义
将该水库预测时段内的平均入库流量预测结果划分为9个等级,依次为:8000、10000、14300、18300、25000、30000、35000、56700和80000。对应构成10个流量区间Y,则有:Y={[0,8000)、[8000,10000)、[10000,14300)、[14300,18300)[18300,25000)、[25000,30000)、[30000,35000)、[35000,56700)[56700,80000)、[80000,+∞)}。
(2)原始数据获取
按照上述输入输出定义,收集对应的历史数据实测资料,起止时间为2008年1月1日0点至2017年12月31日24点,共10年,数据频次为1小时。具体包括:1#-130#雨量站的逐小时降雨资料、1#-16#蒸发站的逐小时蒸发资料、1#-15#墒情站的逐小时土壤含水量资料;1#-3#气象分区的逐小时实测温度、预报降雨和预测温度资料;水库逐小时入库流量资料,以及库区上游1#、2#上边界控制站的逐小时实测流量资料。
根据起止时间和数据频次,上述各类资料的数据长度应为(365×10+3)×24=87672。若某类数据资料的实际长度不足或存在负数,则统一按线性变化原则,取相邻最近时间的数据进行插补延长处理。
(3)样本分类构建
由于水库存在6小时的前期影响时间和6小时的预见期,因此,上一步收集的数据资料中,实际可生成的样本集长度为87672-6-6=87660。最前面的6组数据存在于X1中,最后面的6组数据存在于X87660中。每个样本中均包含一一对应的输入X和输出Y。
针对上述样本集,按“7:2:1”原则划分为训练样本、测试样本和验证样本,则:训练样本长度为87660×70%=61362,测试样本长度为87660×20%=17532,验证样本长度为87660×10%=8766。
(4)数据转换处理
对样本集中的所有输入数据按式(4)进行标准差标准化,得{X1、X2、...、X87660},对应输出数据按式(5)进行流量等级区间为
Figure BDA0001680498870000151
(5)卷积网络搭建
搭建八层卷积网络模型:
1)卷积层C1
每个输入矩阵Xi的大小为32×32,定义9个大小为5×5的卷积核{W1,W2,......W9}作为网络权值,反映9种不同的输入数据特征,对应偏移量为(b1,b2,......,b9},固定移动步长为1,按式(5)对X中的每个元素执行卷积操作,并采用ReLU的max函数激活。
本层可生成9个大小为28×28的特征图,需要训练的参数共(5×5+1)×9=234个,对应的网络连接数为28×28×(5×5+1)×9=183456个。
2)池化层S2
采用2×2规模,按最大池化法对C1层生成的9个28×28的特征图进行池化,从而产生9个大小为14×14的特征映射图。
3)卷积层C3
定义27个新的5×5卷积核,分别连接到S2中的所有9个或某几个特征映射图进行多种不同组合,按C1层的方法对S2层的9个特征映射图进行卷积和激活。
本层可生成27个大小为10×10的特征图,需要训练的参数共(5×5+1)×27=702个,对应的网络连接数为10×10×(5×5+1)×27=70200个。
4)池化层S4
采用2×2规模,按最大池化法对C3层生成的27个10×10的特征图进行池化,从而产生27个大小为5×5的特征映射图。
5)卷积层C5
定义81个大小为4×4的卷积核(必须小于或等于S4层输出的特征映射图大小),按C1层的方法对S4层的27个特征映射图进行卷积和激活。
本层可生成81个大小为2×2的特征图,需要训练的参数共(4×4+1)×81=1377个,对应的网络连接数为2×2×(4×4+1)×81=5508个。
6)池化层S6
采用2×2规模,按最大池化法对C5层生成的81个2×2的特征图进行下采样,得81个1×1的特征映射图。
7)全连接层F7
定义81个全连接层节点数,实现与S6层生成的81个一维特征向量节点(本例中S6层已经生成一维向量,故无需转换)进行全连接映射。
8)输出层08
根据10个流量等级的预测需求,设计10个输出层节点数与全连接层F7互连。
(6)网络参数训练
首先初始化上述卷积网络中C1、C3、C5和F6层的W、b参数;然后将61362个训练样本中的输入矩阵Xi代入网络模型中进行计算,相应得到61362个计算输出Yi;最后对照61362个训练样本中的真实输出
Figure BDA0001680498870000171
按式(7)计算所有训练样本的总损失L,并以误差极小化minL为目标反向传播调整各层的W、b参数,直到L无法下降或循环次数达到上限(设置为1000次)为止,参数训练结束。记录当前各层的W、b参数训练结果。
(7)网络性能测试
首先,根据以上构建的网络模型及训练所得各层W、b参数,将17532个测试样本中的输入矩阵Xi代入网络模型中进行计算,相应得到17532个计算输出Yi;然后按式(8)统计所有测试样本的预测准确率ARtest,若ARtest<80%,则返回调整网络结构(本例中缩减了一次卷积-池化过程,调整为了6层网络)后,重新训练模型各层参数;依此循环,直到ARtest≥80%,测试通过,记录当前网络结构与模型参数作为最终训练成果。
(8)预测精度检验
以上述训练所得网络结构和各层W、b参数为依据,将8766个检验样本中的输入矩阵Xi代入网络模型中进行计算,再按式(8)统计所有检验样本的预测准确率,得TR=7147,ARcheck=81.53%。该指标即为采用深度学习模型进行水库入库流量等级预测的最终检验精度(ARcheck≥80%,则认为预测准确度较高,反之则较差)。
(9)知识自动更新
训练结束后,将本轮的学习训练成果自动保存到增量库中,同时自动更新实时库中对应的知识记录(将原有的网络结构和模型参数替换为本轮学习训练所得的新成果)。
(10)定时滚动学习训练
定义滚动训练的时间周期间隔RP=10天(本例中完成一轮学习训练大约耗时3-5天),每隔10天就定时启动学习训练任务,然后依次执行第(2)至第(9)步,实现预测知识的不断积累和更新。
(11)流量等级预测
在实际应用中,针对任意当前时间(或自定义设置的其他某个历史时间):首先,依次提取旬号、1#-130#雨量站过去6小时的逐小时降雨量、1#-16#蒸发站过去6小时的逐小时蒸发量、1#-15#墒情站过去6小时的逐小时土壤含水量、1#-3#气象分区过去6小时的逐小时实测温度、气象分区未来6小时的逐小时预报降雨与预测温度、水库坝址当前入库流量,以及1#、2#上边界控制站的当前实测流量等数据;然后将其按顺序排列为一个32×32的输入矩阵X,并按式(4)进行标准化处理;最后调用知识库中实时库的知识记录(对应唯一的网络结构和模型参数)进行网络模型计算获得最终的预见期内平均入库流量等级预测结果。
本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (9)

1.一种基于卷积神经网络深度学习的流量等级预测方法,其特征在于包括以下步骤:
A.选择与水库入库流量潜在相关的影响因子作为输入集合;对水库未来t时段入库流量预测结果按设计特征流量和业务应用需求划分为多个流量等级,多个流量等级对应构成多个流量等级区间;
B.进行样本集分类和原始输入数据集构建;对样本集中的原始输入数据集进行标准化处理;
C.搭建多层卷积神经网络;
D.以均方误差最小化作为损失函数,根据步骤C搭建的多层卷积神经网络确定预测准确率;
E.对步骤C搭建的多层卷积神经网络进行网络参数训练;
F.将步骤B构建的样本集分类和原始输入数据集和步骤E的网络参数训练结果代入步骤C中搭建的多层卷积神经网络,进行网络性能测试;
G.根据步骤B构建的样本集分类和原始输入数据集、步骤C搭建的多层卷积神经网络和步骤D的计算得到预测准确率计算得到模型参数检验预测精度;
H.按照滚动周期,依次执行步骤B至步骤F,进行模型参数的滚动学习训练;
I.增量库中自动保存步骤H的学习训练成果并自动更新实时库的知识记录;
J.实时预测时,按步骤A确定的影响因子构建输入集合并标准化,从步骤I的增量库中提取最新模型参数,通过代入步骤C建立的多层卷积神经网络模型计算得出最终的流量等级预测结果;
步骤A中选择与水库入库流量潜在相关的影响因子作为输入集合,具体包括以下类型数据:
①当前时间的所在旬号:1个数据,用于反应年内36个旬的周期季节特征;
②控制流域面积内p个雨量站过去连续h个小时的降雨量:共p×h个数据;
③控制流域面积内e个蒸发站过去连续h个小时的蒸发量:共e×h个数据;
④控制流域面积内s个墒情站过去连续h个小时的土壤含水量:共s×h个数据;
⑤控制流域面积内a个气象分区过去连续h个小时的温度:共a×h个数据;
⑥控制流域面积内a个气象分区未来f个小时的预报降雨量:共a×f个数据;
⑦控制流域面积内a个气象分区未来f个小时预测温度:共a×f个数据;
⑧水库坝址及库区沿程c个控制站的当前流量:共1+c个数据;
⑨水库坝址及库区沿程c个控制站的当前水位:共1+c个数据;
其中,a,c,e,f,h,p,s为概化出来的任意自然数;
以上不同物理涵义的数据序列构成了一个完整的输入集;将各类数据序列按顺序依次排列为一个m×n的矩阵X:
Figure FDA0003851900670000031
其中,m和n为概化出来的任意自然数,可根据输入集的总长度自由定义,但必须满足:
m×n=1+(p+e+s+a)×h+a×f×2+(1+c)×2 (2)
对水库未来t时段入库流量预测结果按设计特征流量和业务应用需求划分为R个流量等级{r1,r2,......,rR},则对应可构成R+1个流量等级区间Y:
Y={[0,r1)、[r1,r2)、......,[rR,+∞)} (3)
任意一个输入矩阵X,都对应流量等级区间Y中唯一的一个等级区间。
2.根据权利要求1所述的基于卷积神经网络深度学习的流量等级预测方法,其特征在于步骤B中样本集按用途分为训练样本、测试样本和验证样本,训练样本用于在训练阶段学习和调整各类网络权值;测试样本用于测试训练过程中对训练样本中未出现过的数据的分类性能,并根据测试结果对网络结构或训练循环次数进行调整;验证样本则用于网络结构确定后,对通过训练学习获得的参数集进行预测的准确度检验;
样本集分类具体包括以下步骤:根据输入输出定义和样本划分方式,首先收集历史资料信息,并以时间轴为刻度,按输入矩阵X和输出等级区间Y的数据格式与对应关系构成输入输出的原始数据集;然后剔除含有各类无效信息的数据集,再按“7:2:1”原则筛选出其中的70%作为训练样本,20%作为测试样本,10%作为检验样本;每类样本均包含一一对应的输入数据集和输出数据集;
标准化处理具体包括以下步骤:汇集样本集内每个原始输入矩阵X中的第k类数据,然后分别求出该类型数据的平均值
Figure FDA0003851900670000041
和标准差Sk,最后针对每个原始输入矩阵X中的实际值xk,i按下式进行处理:
Figure FDA0003851900670000042
其中,x′k,i代表实际值经标准化处理后的对应结果;
上述标准化处理的目的在于消除各类数据的量纲影响和自身变异影响,处理后,输入样本中的各类数据都被标准化成了无量纲的纯数据序列,正负大约各占一半,平均值为0,标准差为1。
3.根据权利要求2所述的基于卷积神经网络深度学习的流量等级预测方法,其特征在于各类分层网络构建方法如下:
1)卷积层
样本X的输入矩阵大小为m×n,为提取样本的多种不同特征,定义N个大小为j×j的卷积核W作为网络权值,对应偏移量为b,对X中的每个元素执行卷积操作,其中j,N为概化的自然数且j小于m和n,N≥1:
Y=W×X+b (5)
其中卷积核及其对应偏移量为:
W={W1,W2,......,WN},b={b1,b2,......,bN} (6)
其中,W1,W2,…WN依次为第1-N个卷积核分量,每个卷积核分量的大小都是j×j;
b1,b2,…bN依次为第1-N个偏移量分量,每个偏移量分量都是一个单值;
固定卷积操作的移动步长为1,卷积完成后,采用ReLU的max函数作为激活函数,对卷积输出结果进行非线性映射;每个样本在本层可生成N个大小为(m-j+1)×(n-j+1)的特征图,需要训练的参数共(j×j+1)×N个,对应的网络连接数为(m-j+1)×(n-j+1)×(j×j+1)×N个;
2)池化层
固定池化规模为d×d,针对卷积层生成的N个特征图,将每个特征图中完全相邻的d×d个元素按最大池化法依次池化为一个元素,从而产生N个缩小了d×d倍的特征映射图,大小为m′×n′,其中,d为概化的自然数且小于m和n,
Figure FDA0003851900670000051
若不能整除,则需要对边缘进行处理,将特征图用0填充为d的倍数后再池化;
3)全连接层
将最靠近全连接层的池化层的二维特征图变为一维特征向量,定义全连接层节点个数,实现与一维特征向量节点的全连接映射;
4)输出层
根据预测应用要求设计输出层节点数目,与全连接层互连;
上述卷积层和池化层的层数可根据具体要求进行设置,其中每一层卷积层和池化层中,m、n、j、d的取值可根据具体要求进行设置任意自然数。
4.根据权利要求3所述的基于卷积神经网络深度学习的流量等级预测方法,其特征在于步骤D中以均方误差最小化作为损失函数:
Figure FDA0003851900670000061
式中,L为所有训练样本的总损失;I为训练样本总长度;yi为第i个训练样本的计算输出;
Figure FDA0003851900670000062
为第i个训练样本的对应真值;
给定长度为T的输入样本和网络模型各层参数,按步骤C逐层计算,假设有TR个样本在输出层的计算结果能正确映射样本实际真值,则预测准确率AR定义为:
Figure FDA0003851900670000063
5.根据权利要求4所述的基于卷积神经网络深度学习的流量等级预测方法,其特征在于步骤E包括以下步骤:
向前传播阶段:初始化步骤C中卷积层和全连接层的W、b参数,以步骤B生成的训练样本中的输入矩阵为基础,逐层完成网络模型计算,得到相应的计算输出;
向后传播阶段:按式(7)计算所有训练样本的总损失L,然后以误差极小化minL为目标反向传播调整各层W、b参数,直到L无法下降或循环次数达预设上限,训练结束。
6.根据权利要求5所述的基于卷积神经网络深度学习的流量等级预测方法,其特征在于步骤F包括以下步骤:
以步骤B生成的测试样本和步骤E训练所得的各层W、b参数为基础,按步骤C逐层计算,并按式(8)统计所有测试样本的预测准确率ARtest
假设网络性能达标的预测准确率下限为ARmin,则当ARtest<ARmin时,对步骤C的网络结构进行调整,包括网络层数、各层卷积核大小、各层卷积核数量、循环次数上限,然后重新执行步骤E中训练模型的各层参数,再次测试网络性能;
依此循环,直到ARtest≥ARmin,测试结束,记录当前网络结构与模型参数作为最终训练成果,若始终无法达到预期,则适当下调ARmin,降低预期成效。
7.根据权利要求6所述的基于卷积神经网络深度学习的流量等级预测方法,其特征在于包括以下步骤:
以步骤B生成的检验样本为基础,按步骤F确定的网络模型及各层W、b参数逐层完成模型计算,最后按式(8)统计所有检验样本的预测准确率ARcheck作为模型参数检验精度。
8.根据权利要求7所述的基于卷积神经网络深度学习的流量等级预测方法,其特征在于对于采用知识库保存与管理网络结构和模型参数的学习训练成果;所述知识库由增量库和实时库两部分构成,增量库用于累积存储每轮学习训练所得的网络结构和模型参数,随时间推移会不断增多;实时库有且仅有一条知识记录,用于开展流量等级预测计算,该部分随着时间推移滚动更新。
9.根据权利要求8所述的基于卷积神经网络深度学习的流量等级预测方法,其特征在于步骤J包括以下步骤:
针对任意给定时间,如当前时间,或某历史时间,首先提取所有影响因子的对应数值按式(1)和式(2)构建输入向量,并按式(4)进行标准化处理;然后调用知识库中的实时库知识记录进行网络模型计算得出最终的流量等级预测结果,所述知识记录对应唯一的网络结构和模型参数。
CN201810552066.XA 2018-05-31 2018-05-31 基于卷积神经网络深度学习的流量等级预测方法 Active CN108875161B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810552066.XA CN108875161B (zh) 2018-05-31 2018-05-31 基于卷积神经网络深度学习的流量等级预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810552066.XA CN108875161B (zh) 2018-05-31 2018-05-31 基于卷积神经网络深度学习的流量等级预测方法

Publications (2)

Publication Number Publication Date
CN108875161A CN108875161A (zh) 2018-11-23
CN108875161B true CN108875161B (zh) 2022-11-29

Family

ID=64336680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810552066.XA Active CN108875161B (zh) 2018-05-31 2018-05-31 基于卷积神经网络深度学习的流量等级预测方法

Country Status (1)

Country Link
CN (1) CN108875161B (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543912B (zh) * 2018-11-29 2021-10-01 中国水利水电科学研究院 基于深度学习的水库最优调度决策模型生成方法
CN109635246B (zh) * 2018-12-06 2021-07-13 西南交通大学 一种基于深度学习的多属性数据建模方法
CN109635933A (zh) * 2018-12-18 2019-04-16 中国民航大学 基于bp神经网络广域信息管理系统可生存性评估模型方法
CN109711617B (zh) * 2018-12-25 2022-08-19 河海大学 一种基于blstm深度学习的中长期径流预测方法
CN109840587B (zh) * 2019-01-04 2022-07-05 长江勘测规划设计研究有限责任公司 基于深度学习的水库入库流量预测方法
US10452980B1 (en) * 2019-01-25 2019-10-22 StradVision, Inc. Learning method and learning device for extracting feature from input image by using convolutional layers in multiple blocks in CNN, resulting in hardware optimization which allows key performance index to be satisfied, and testing method and testing device using the same
CN110175247B (zh) * 2019-03-13 2021-06-08 北京邮电大学 一种优化基于深度学习的异常检测模型的方法
AR118333A1 (es) * 2019-03-18 2021-09-29 Evonik Operations Gmbh Método para generar una composición para pinturas, barnices, tintas de impresión, resinas de molienda, concentrados de pigmentos u otros materiales de recubrimiento
CN110334851B (zh) * 2019-06-03 2022-03-29 华中科技大学 一种考虑分蓄洪民垸运用的混联梯级水库联合防洪优化调度方法
CN110414407B (zh) * 2019-07-23 2022-12-23 武汉理工大学 基于证据推理规则和自适应提升的船舶螺旋桨卷气识别法
CN110909485B (zh) * 2019-12-05 2022-04-12 重庆交通大学 一种基于bp神经网络的swmm模型参数自率定方法
CN111159149B (zh) * 2019-12-13 2023-06-30 国网浙江省电力有限公司紧水滩水力发电厂 一种基于三维卷积神经网络的河流流量预测方法
CN111144629A (zh) * 2019-12-17 2020-05-12 国网辽宁省电力有限公司 一种水力发电站来水量预测方法及系统
CN111291924B (zh) * 2020-01-17 2023-06-06 同济大学 面向长时交通速度预测的几何代数深度神经网络模型方法
CN111372255B (zh) * 2020-02-13 2022-07-29 北京联合大学 一种基于图卷积神经网络的邻区关系预测方法及系统
CN111405585B (zh) * 2020-03-19 2023-10-03 北京联合大学 一种基于卷积神经网络的邻区关系预测方法
CN111553394B (zh) * 2020-04-20 2023-02-07 中国长江三峡集团有限公司 基于循环神经网络和关注机制的水库水位预测方法
CN111598724B (zh) * 2020-05-19 2022-07-22 四川革什扎水电开发有限责任公司 一种中小水库入库流量日前预测的分时段集成方法
CN112083333A (zh) * 2020-08-11 2020-12-15 昆明理工大学 一种基于机器学习模型的动力电池组荷电状态估计方法
CN112001556B (zh) * 2020-08-27 2022-07-15 华中科技大学 一种基于深度学习模型的水库下游水位预测方法
CN112418542A (zh) * 2020-12-03 2021-02-26 浙江知水信息技术有限公司 基于气象数据利用机器深度学习实现汛情提前预警的方法
CN112541839B (zh) * 2020-12-23 2022-02-11 国能大渡河大数据服务有限公司 基于神经微分方程的水库入库流量预测方法
CN112766687B (zh) * 2021-01-12 2024-02-27 北京化工大学 一种基于深度cnn的飞机总装物料配送优先级分配方法
CN112766585A (zh) * 2021-01-25 2021-05-07 三峡大学 基于软集成学习的电力短期滚动负荷预测方法、系统、终端
CN112861989A (zh) * 2021-03-04 2021-05-28 水利部信息中心 一种基于密度筛选的深度神经网络回归模型
CN112966954B (zh) * 2021-03-15 2022-10-18 河海大学 一种基于时间卷积网络的防洪调度方案优选方法
CN112989705A (zh) * 2021-03-30 2021-06-18 海尔数字科技(上海)有限公司 水库的入库流量值的预测方法、装置、电子设备及介质
CN113204583B (zh) * 2021-04-14 2022-11-01 武汉大学 水库群调度决策行为挖掘方法和水库调度自动控制装置
CN112990108B (zh) * 2021-04-19 2022-12-27 四川省水利科学研究院 一种基于卷积神经网络实现堤坝护坡的系统
US20220414531A1 (en) * 2021-06-25 2022-12-29 International Business Machines Corporation Mitigating adversarial attacks for simultaneous prediction and optimization of models
CN114499941B (zh) * 2021-12-22 2023-08-04 天翼云科技有限公司 流量检测模型的训练、检测方法及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000055703A (ja) * 1998-08-04 2000-02-25 Fuji Electric Co Ltd ダムにおける流量予測方法
CN105654729A (zh) * 2016-03-28 2016-06-08 南京邮电大学 一种基于卷积神经网络的短时交通流量预测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200837593A (en) * 2007-03-07 2008-09-16 Univ Nat Taiwan Science Tech Prediction method of near field photolithography line fabrication using by the combination of taguchi method and neural network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000055703A (ja) * 1998-08-04 2000-02-25 Fuji Electric Co Ltd ダムにおける流量予測方法
CN105654729A (zh) * 2016-03-28 2016-06-08 南京邮电大学 一种基于卷积神经网络的短时交通流量预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
侯翔.基于BP神经网络的洪水预测研究.《长江大学学报(自科版)》.2013, *

Also Published As

Publication number Publication date
CN108875161A (zh) 2018-11-23

Similar Documents

Publication Publication Date Title
CN108875161B (zh) 基于卷积神经网络深度学习的流量等级预测方法
CN110598315B (zh) 变化条件下流域非一致性设计洪水的不确定性分析方法
Talei et al. Evaluation of rainfall and discharge inputs used by Adaptive Network-based Fuzzy Inference Systems (ANFIS) in rainfall–runoff modeling
Coulibaly et al. Downscaling precipitation and temperature with temporal neural networks
Getirana Integrating spatial altimetry data into the automatic calibration of hydrological models
Talei et al. Runoff forecasting using a Takagi–Sugeno neuro-fuzzy model with online learning
Liang et al. Application of Bayesian model averaging approach to multimodel ensemble hydrologic forecasting
CN111767517B (zh) 一种应用于洪水预测的BiGRU多步预测方法、系统及存储介质
CN102495937A (zh) 一种基于时间序列的预测方法
KR20140140361A (ko) 앙상블 유출 예측기법을 적용한 하천 수질예측 시스템
Lafdani et al. Research article daily rainfall-runoff prediction and simulation using ANN, ANFIS and conceptual hydrological MIKE11/NAM models
CN110969282A (zh) 一种基于lstm复合网络的径流量稳定预测方法
CN116485584B (zh) 高寒区大底坡河流wee协同调控方法及系统
Li et al. A method of rainfall runoff forecasting based on deep convolution neural networks
Prakash et al. Improved higher lead time river flow forecasts using sequential neural network with error updating
CN115983132A (zh) 流域径流对未来气候及土地利用变化的响应研究方法
Herath et al. Evaluation of HEC-HMS model for water resources management in Maha Oya Basin in Sri Lanka
Chibanga et al. Modelling and forecasting of hydrological variables using artificial neural networks: the Kafue River sub-basin
CN117172037B (zh) 一种分布式水文预报方法、装置、计算机设备及介质
CN110263293A (zh) 一种基于小波变换和联合概率分布的水文预报方法
Yin et al. A combined rotated general regression neural network method for river flow forecasting
Li et al. Lake inflow simulation using the coupled water balance method and Xin’anjiang Model in an ungauged stream of Chaohu Lake Basin, China
CN113487069B (zh) 一种基于grace日降尺度和新型dwsdi指数的区域洪涝灾害风险评估方法
KR20240000915A (ko) 유역 상세화를 통한 실적자료 기반 물수급 분석 방법 및 그 방법을 구현하기 위한 컴퓨터로 판독 가능한 기록매체에 저장된 프로그램
CN115496128A (zh) 一种基于雨强-雨型特征参数联合分布的城市内涝风险预报方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant