CN115310536A - 基于神经网络和gcn深度学习模型的水库水位预测预警方法 - Google Patents

基于神经网络和gcn深度学习模型的水库水位预测预警方法 Download PDF

Info

Publication number
CN115310536A
CN115310536A CN202210940746.5A CN202210940746A CN115310536A CN 115310536 A CN115310536 A CN 115310536A CN 202210940746 A CN202210940746 A CN 202210940746A CN 115310536 A CN115310536 A CN 115310536A
Authority
CN
China
Prior art keywords
water level
reservoir
gcn
data
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210940746.5A
Other languages
English (en)
Inventor
马森标
李佐勇
黄祖海
陈友武
卢维楷
王小川
郭宝椿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Zhongrui Network Co ltd
Original Assignee
Fujian Zhongrui Network Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Zhongrui Network Co ltd filed Critical Fujian Zhongrui Network Co ltd
Priority to CN202210940746.5A priority Critical patent/CN115310536A/zh
Publication of CN115310536A publication Critical patent/CN115310536A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F23/00—Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm
    • G01F23/80—Arrangements for signal processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Abstract

本发明提供了基于神经网络和GCN深度学习模型的水库水位预测预警方法，包括以下步骤：步骤S1：获取水库雨水情数据，按照采集时间进行排序；步骤S2：模型输入数据通过CNN编码器、GCN编码器两个主要模块提取特征；步骤S3：基于一维卷积神经网络和GCN混合深度学习模型对水库水位数据集进行训练；步骤S4：读取步骤S3中储存在云端或本地的水库水位预测模型，进行水库水位预测。应用本技术方案可实现降低模型深度学习的神经网络层数与训练难度，且提高模型水库水位预测的准确率。

Description

基于神经网络和GCN深度学习模型的水库水位预测预警方法
技术领域
本发明涉及水库水位预测预警技术领域，特别是一种基于神经网络和GCN深度学习模型的水库水位预测预警方法。
背景技术
水库是指拦洪蓄水和调节水流的水利工程建筑物，具有防洪、供水、农业灌溉、发电等作用，水库安全一直是我国防汛抗洪的难点和重点，而当前大部分中小水库缺少必要的库区水位检测手段，因此水库的健康监测十分重要。水库水位监测一直是水库健康监测项目中最为重要的监测目标之一，其直接影响着水库的健康状况，因此科学且合理的进行水库水位调度对于维护水库健康是十分必要的。
现有的水库水位调度技术，基于传感器采集水库实时水位，再凭借人工经验及简单的数学推导公式进行水库水位的实时调度。这种方法对于数据的利用比较片面，忽略了采集到的水库各项指标，导致耗费巨大资源采集到的水库数据搁置，同时还需投入资源进行维护。而在水库水位调度过程中，大多凭借人工经验及简单的数学推导公式，通常不能科学、合理的进行，并且仅能进行水库水位的实时调度，不能依据未来水库水位的变化趋势进行水库水位调度，以应对未来极端气候。传统方法有三个缺点：
1.数学公式的计算方式较为固定。传统的水库水位规整方法根据实时采集的水库数据直接套公式，获得对水库泄洪量的反馈，会有延时性的缺陷，无法对水库未来一天或几天的水位进行预测。
2.很大程度上对实践经验具有依赖性，水库在自然灾害发生时水位调整必须迅速，目前缺乏客观有效的未来水位预测。
3.传统方法对采集的水库数据利用率较低，造成数据资源浪费，无法利用未来降雨量和未来泄洪量的数据，前者可以通过天气预报获得较为精准的估计，后者则是人为可控制的。
发明内容
有鉴于此，本发明的目的在于提供一种基于神经网络和GCN深度学习模型的水库水位预测预警方法，实现降低模型深度学习的神经网络层数与训练难度，且提高模型水库水位预测的准确率。
为实现上述目的，本发明采用如下技术方案：基于神经网络和GCN深度学习模型的水库水位预测预警方法，包括以下步骤：
步骤S1：获取水库雨水情数据，按照采集时间进行排序；
步骤S2：模型输入数据通过CNN编码器、GCN编码器两个主要模块提取特征；
步骤S3：基于一维卷积神经网络和GCN混合深度学习模型对水库水位数据集进行训练；
步骤S4：读取步骤S3中储存在云端或本地的水库水位预测模型，进行水库水位预测。
在一较佳的实施例中，所述步骤S1具体以水库水位、泄洪量、降雨量特征作为模型训练数据，对数据集中水位、泄洪量、降雨量三个变量数据依次进行最大最小值归一化预处理：
Figure BDA0003785491200000021
在公式(1)中，x为待归一化数据，x'作为归一化后的数据，xmax和xmin分别表示待归一化数据中的最大值和最小值，最终将数据映射到0和1之间后，作为特征数据输入模型进行训练。
在一较佳的实施例中，输入的数据需要执行两个任务：
任务一：以当天水库水位、当天降雨量、当天泄洪量作为一个时间点的特征，通过过去N个时间点的数据完成对水库未来一天水位的预测；
任务二：以当天水库水位、未来三天降雨量、未来三天泄洪量作为一个时间点的特征，通过过去N个时间点的数据完成对水库未来三天水位的预测。
在一较佳的实施例中，步骤S2具体包括以下以下步骤：
步骤S21：一维CNN编码器特征提取；
步骤S22：构建GGL生成图数据结构；
步骤S23：GCN编码器特征提取。
在一较佳的实施例中，所述步骤S21具体包括：
构建第一个一维卷积层；将模型输入数据的尺寸重塑为(B*D,1,H)，将batch维度与变量维度合并，使得CNN对每个向量进行卷积，作为第一个一维卷积层输入，一维卷积层Conv1d(1,8,3,1,1)使用1*3的卷积核，卷积步长为1，获取数据后提取特征的同时保留住原序列长度，卷积后进行一维批归一化操作及ReLU函数激活，输出尺寸为(B*D,8,H)的特征向量；
构建第二个一维卷积层，一维卷积层Conv1d(8,16,3,1,1)使用1*3的卷积核，卷积步长为1，以上层输出的尺寸为(B*D,8,H)的特征向量作为输入提取特征同时保留长度，卷积后进行一维批归一化操作及ReLU函数激活，输出尺寸为(B*D,16,H)的特征向量；
构建第三个一维卷积层，一维卷积层Conv1d(16,32,3,1,1)使用1*3的卷积核，卷积步长为1，以上层输出的尺寸为(B*D,16,H)的特征向量提取特征同时保留长度，卷积后进行一维批归一化操作及ReLU函数激活，输出尺寸为(B*D,32,H)的特征向量；
构建第四个一维卷积层，一维卷积层Conv1d(32,64,3,1,1)使用1*3的卷积核，卷积步长为1，对上层输出的尺寸为(B*D,32,H)的特征向量提取特征同时保留长度，卷积后进行一维批归一化操作及ReLU函数激活，最终输出尺寸为(B*D,64,H)的特征向量；
构建一维自适应最大池化层，保留尺寸为(B*D,64,H)的特征向量的每个通道上最大的一个值，输出尺寸为(B*D,64,1)的特征向量，再去除冗余维度，将特征向量矩阵降维，输出尺寸为(B*D,64)的特征向量，最后通过特征维度归一化层。
在一较佳的实施例中，所述步骤S22具体包括：
构建图生成层，首先定义线性变换层的输入输出维度linear(64,10)，将输入尺寸为(B*D,64)的特征向量转化输出为尺寸为(B*D,10)的特征向量，其过程表示为：
Figure BDA0003785491200000041
在公式(2)中X为经过CNN编码器特征提取以后的特征向量矩阵，Xi为输入的特征向量，Wji为第j个输出的第i个输入权值参数，bj为第j个输出的偏置参数，使用Relu函数激活，
Figure BDA0003785491200000042
为输出特征矩阵，n表示输入权值参数的个数；
图生成层从特征图中生成动态图数据结构，通过遍历尺寸为(B*D,B*D)的特征向量矩阵第一维的数值和索引间的堆砌与拼接来计算边缘的索引，得到尺寸为(2,B*D/*B*D)的边缘索引邻接矩阵，每次前向传播会产生动态变化，每一轮都进行迭代更新；首先转置特征向量，通过内积计算变量与变量的相似度，按最大值归一化同时制定维度为1，然后节点数设为特征图第一维的数值，其函数表达式为：
Figure BDA0003785491200000051
在公式(3)中，
Figure BDA0003785491200000052
表示特征向量X经过全连接层输出后的特征向量，T为转置符号，normlize表示归一化函数，A为生成图数据结构的邻接矩阵，
Figure BDA0003785491200000053
为公式(2)中X特征向量经过全连接层输出后的特征向量，
Figure BDA0003785491200000054
即表示
Figure BDA0003785491200000055
特征向量的转置向量，进一步地通过保留余弦距离Top-k的边缘，只保留相似度前k大的边缘，得到稀疏化的邻接矩阵A-，其函数表达如公式(4)所示；
A-＝TOP-k(A) (4)。
在一较佳的实施例中，所述步骤S23具体包括：
构建MRF_GCN模块，使用Dropout随机失活防止过拟合，图生成层生成的动态图数据结构输入MultiChev层进行图神经卷积操作，Chevnet阶次设为1，从图数据结构中挖掘节点间的相关信息，将输出通道维度设为50，再进入正则化层将特征向量的重塑为尺寸为，batch*变量，50的特征向量，输出尺寸为(B*D,50)的特征向量；提取的特征向量最后经过一个带ReLU激活函数的线性层进行特征变换，该线性层输入输出维度为(50，64)，输出尺寸为(B*D,64)的特征向量，最后重塑特征向量的尺寸，按原来的batch拼接回去，输出尺寸为(B,64*D)的特征向量；
构建线性回归预测层，对任务一、任务二分别定义不同的网络，当执行任务一时，线性层的输入和输出维度设定为(64*3，1)；当执行任务二时，线性层的输入和输出维度设定为(64*5，1)，最后，模型输出尺寸为(B，1)的特征向量，从而得到基于一维卷积神经网络和GCN混合深度学习模型；
全连接层计算公式(5)如下：
Figure BDA0003785491200000061
其中，Dj为第j个输出，f()为激活函数，Wji为第j个输出的第i个输入权值参数，εj为第j个输出的偏置参数，n为输入的总数。
在一较佳的实施例中，所述步骤S3具体为：
加载基于一维卷积神经网络和GCN混合深度学习模型；获取水库雨水情实时监测数据及降雨量与泄洪量数据，而后输入模型进行水库水位预测，得到水库的水位预测值；以均方误差MSE作为基于一维卷积神经网络和GCN混合深度学习模型的优化目标，在迭代过程中MSE值越来越小，表示模型性能逐步提升；模型损失曲线反映模型对数据集的拟合情况与迭代损失过程，基于一维卷积神经网络和GCN混合深度学习模型对水库水位数据集进行300次迭代训练和进行测试；
采用的评价指标包括MAE平均绝对误差、MSE均方误差、MAPE平均绝对百分比误差三种，其定义如下：
Figure BDA0003785491200000062
Figure BDA0003785491200000063
Figure BDA0003785491200000071
在公式(6)至(8)中，yi和ti分别表示第i个样本的预测值和真实标签，n表示测试集总样本数。
在一较佳的实施例中，所述步骤S4具体为：读取步骤3中储存在云端或本地的水库水位预测模型，进行水库水位预测，将获取的水库未来一至三天的水位预测值与水库水位标准对比，判断预测水位是否处于安全区间，是则将获取到的数据存入数据库，正常进行水库水位调度，否则对比水库水位预警标准，输出水库各参数信息及预警等级，进而结合输出参数，包括降雨量、泄洪量、水库水位、预警等级进行水库水位调度，以将水库水位调度至安全区间。
与现有技术相比，本发明具有以下有益效果：
1.基于一维卷积神经网络和GCN混合深度学习模型的水库水位预测预警方法，采用的卷积神经网络(CNN)与图卷积神经网络(GCN)混合模型，其中CNN的使用旨在对每个变量分别挖掘其时间关联特征；GCN的使用旨在建模当前变量和历史变量的相关性，挖掘变量间的相互影响规律。该模型具有准确度高、运算快的特点，且能考虑到闸门的历史调整因素，针对性的预测出需要提前警戒的水位，及时调整泄洪量，实现对汛期的预防。与其他线性模型相比，该混合模型为非线性多维度预测且该模型训练中输入、利用和构造了丰富的特征；此外，该模型属于时序预测模型具有一定的鲁棒性，使用该模型进行水库水位预测，可把握未来一至三天水库水位的变化趋势，以提前调度水库水位。
2.在本模型中，使用CNN与GCN模型结合的方式，通过CNN编码模型，层层加深了模型特征层，增加模型特征维度，使得模型能够获得更多更完善的特征，在获得足够的特征后，能够对下游的模型预测起到充分的准备作用。在进行特征提取和关键信息的抽取后，模型获得与水库预警有关的信息。随后对64维深度特征使用线性层转换维度后，传入Gen-edge模型，对未来进行预测。并最终通过线性层，得到模型的预测输出。
3.该模型使用图卷积神经网络作为预测模型，并使用ChebNet实现。因为SCNN存在计算复杂度高和无法保证局部链接的缺点，而ChebNet采用切比雪夫多项式代替谱域的卷积核，参数的复杂度大大降低了。采用切比雪夫多项式代替谱域卷积核后，ChebNet不需要对拉普拉斯矩阵做特征分解，大大降低的时间。
附图说明
图1为本发明优选实施例的方案整体执行过程图；
图2为本发明优选实施例的数据集重塑过程；
图3为本发明优选实施例的一维CNN+GCN模型流程图；
图4为本发明优选实施例的一维CNN编码器模型图；
图5为本发明优选实施例的任务一损失曲线；
图6为本发明优选实施例的任务二损失曲线；
图7为本发明优选实施例的任务一预测拟合曲线；
图8为本发明优选实施例的任务二预测往后一天拟合曲线
图9为本发明优选实施例的任务二预测往后二天拟合曲线；
图10为本发明优选实施例的任务二预测往后三天拟合曲线；
图11为本发明优选实施例的方法实现流程图；
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式；如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
一种基于神经网络和GCN深度学习模型的水库水位预测预警方法，执行流程如图1所示，该技术方案在CNN编码器和GGL图生成层对影响水库水位变化的数据信息进行特征提取和动态图数据结构构造，最大限度挖掘重要特征并将其提取出来，再输入GCN编码器中进行进一步特征提取和模型训练。而且，本方法使用一维卷积神经网络和GCN混合深度学习模型架构，即在CNN编码器输出的向量矩阵集合进一步使用GCN编码器挖掘信息，该架构能有效的提取向量矩阵的信息特征与结构特征，从而得到对水库水位预测更为准确数据信息，同时提高了模型的水库水位预测准确率。具体实现步骤如下：
步骤S1：获取水库雨水情数据，按照采集时间进行排序；
步骤S2：模型输入数据通过CNN编码器、GCN编码器两个主要模块提取特征；
步骤S3：基于一维卷积神经网络和GCN混合深度学习模型对水库水位数据集进行训练；
步骤S4：读取步骤S3中储存在云端或本地的水库水位预测模型，进行水库水位预测。
步骤S1中，获取水库雨水情数据，按照采集时间进行排序，以水库水位、泄洪量、降雨量特征作为模型训练数据，形成数据集如表1所示；以水库水位数据集(包含321组数据)为例，具体数据格式如表2所示：
表1水库水位数据集脱敏后数据表结构
Figure BDA0003785491200000101
表2水库水位数据集
Figure BDA0003785491200000102
Figure BDA0003785491200000111
对数据集中水位、泄洪量、降雨量三个变量数据依次进行最大最小值归一化预处理：
Figure BDA0003785491200000112
在公式(1)中，x为待归一化数据，x'为归一化后的数据，xmax和xmin分别表示待归一化数据中的最大值和最小值，最终将数据映射到0和1之间后，作为特征数据输入模型进行训练。
输入的数据需要执行两个任务：
任务一：以当天水库水位、当天降雨量、当天泄洪量作为一个时间点的特征，通过过去N个时间点的数据完成对水库未来一天水位的预测。
任务二：以当天水库水位、未来三天降雨量、未来三天泄洪量作为一个时间点的特征，通过过去N个时间点的数据完成对水库未来三天水位的预测。
其中任务一旨在完全通过历史数据进行预测。而实际应用中，未来的降雨量可以通过天气预报获得较为精准的估计，未来的泄洪量是人为控制的，因此引入任务二，通过未来的天气和自定义泄洪量辅助预测，并将任务拓展到多步预测。
以水库水位数据集为例执行任务一时，以过去N(默认为8)个时间点的三个变量：水库水位、降雨量、泄洪量为特征,故输入特征向量尺寸为8*3的数组，N即过去天数，步长为1依次计算313次，标签值设为当前时间点的水位；当执行任务二时，以当天水库水位及未来三天的降雨量和泄洪量作为一个时间点的特征，以过去N(默认为8)个时间点的数据预测未来三天水位，故输入特征向量尺寸为8*7数组，步长为1依次计算311次，标签值设为三天的水位值。
以7：3的比例将数据集分割为训练集和测试集，其中，数据集前70％部分作为训练集，后30％部分作为测试集，并将该数据重塑为3D数据，如图2所示；最后，模型输入数据的形式可表示为尺寸为(B,H,D)的特征向量。其中，B为batch size大小；H为时间长度；D为水库的特征维度，根据具体任务设为3或7。最后将训练集和测试集用TensorDataset类封装。
步骤S2中，在模型输入数据通过CNN编码器、GCN编码器两个主要模块提取特征，参考图3，主要步骤通过以下步骤实现：
步骤2.1一维CNN编码器特征提取
构建第一个一维卷积层；将模型输入数据的尺寸重塑为(B*D,1,H)，将batch维度与变量维度合并，使得CNN对每个向量进行卷积，作为第一个一维卷积层输入，一维卷积层Conv1d(1,8,3,1,1)使用1*3的卷积核，卷积步长为1，获取数据后提取特征的同时保留住原序列长度，卷积后进行一维批归一化操作及ReLU函数激活，输出尺寸为(B*D,8,H)的特征向量。构建第二个一维卷积层，一维卷积层Conv1d(8,16,3,1,1)使用1*3的卷积核，卷积步长为1，以上层输出的尺寸为(B*D,8,H)的特征向量作为输入提取特征同时保留长度，卷积后进行一维批归一化操作及ReLU函数激活，输出尺寸为(B*D,16,H)的特征向量。构建第三个一维卷积层，一维卷积层Conv1d(16,32,3,1,1)使用1*3的卷积核，卷积步长为1，以上层输出的尺寸为(B*D,16,H)的特征向量提取特征同时保留长度，卷积后进行一维批归一化操作及ReLU函数激活，输出尺寸为(B*D,32,H)的特征向量。构建第四个一维卷积层，一维卷积层Conv1d(32,64,3,1,1)使用1*3的卷积核，卷积步长为1，对上层输出的尺寸为(B*D,32,H)的特征向量提取特征同时保留长度，卷积后进行一维批归一化操作及ReLU函数激活，最终输出尺寸为(B*D,64,H)的特征向量，如图4所示。
构建一维自适应最大池化层，保留尺寸为(B*D,64,H)的特征向量的每个通道上最大的一个值，输出尺寸为(B*D,64,1)的特征向量，再去除冗余维度，将特征向量矩阵降维，输出尺寸为(B*D,64)的特征向量，最后通过特征维度归一化层，防止梯度消失或梯度爆炸。
步骤2.2GGL生成图数据结构
构建图生成层，首先定义线性变换层的输入输出维度linear(64,10)，将输入尺寸为(B*D,64)的特征向量转化输出为尺寸为(B*D,10)的特征向量，其过程表示为：
Figure BDA0003785491200000131
在公式(2)中X为经过CNN编码器特征提取以后的特征向量矩阵，Xi为输入的特征向量，Wji为第j个输出的第i个输入权值参数，bj为第j个输出的偏置参数，使用Relu函数激活，
Figure BDA0003785491200000132
为输出特征矩阵。
图生成层从特征图中生成动态图数据结构，通过遍历尺寸为(B*D,B*D)的特征向量矩阵第一维的数值和索引间的堆砌与拼接来计算边缘的索引，得到尺寸为(2,B*D/*B*D)的边缘索引邻接矩阵，每次前向传播会产生动态变化，每一轮都进行迭代更新。首先转置特征向量，通过内积计算变量与变量的相似度，按最大值归一化同时制定维度为1，然后节点数设为特征图第一维的数值，其函数表达式为：
Figure BDA0003785491200000141
在公式(3)中，
Figure BDA0003785491200000142
表示特征向量X经过全连接层输出后的特征向量，T为转置符号，A为生成图数据结构的邻接矩阵，进一步地通过保留余弦距离Top-k的边缘，只保留相似度前k大的边缘，得到稀疏化的邻接矩阵A-，其函数表达如公式(4)所示，为防止生成的图过于密集，且训练时加入Dropout，在训练过程中随机丢弃部分边缘，防止过拟合。
A-＝TOP-k(A) (4)
步骤2.3GCN编码器特征提取
构建MRF_GCN模块，使用Dropout随机失活防止过拟合，图生成层生成的动态图数据结构输入MultiChev层进行图神经卷积操作，Chevnet阶次设为1(GCN是K＝1的Chebnet)，从图数据结构中挖掘节点间的相关信息，将输出通道维度设为50，再进入正则化层将特征向量的重塑为尺寸为(batch*变量，50)的特征向量，输出尺寸为(B*D,50)的特征向量。提取的特征向量最后经过一个带ReLU激活函数的线性层进行特征变换，该线性层输入输出维度为(50，64)，输出尺寸为(B*D,64)的特征向量，最后重塑特征向量的尺寸，按原来的batch拼接回去，输出尺寸为(B,64*D)的特征向量。
构建线性回归预测层，对任务一、任务二分别定义不同的网络，当执行任务一时，线性层的输入和输出维度设定为(64*3，1)；当执行任务二时，线性层的输入和输出维度设定为(64*5，1)，最后，模型输出尺寸为(B，1)的特征向量，从而得到基于一维卷积神经网络和GCN混合深度学习模型。
全连接层计算公式(5)如下：
Figure BDA0003785491200000151
其中，Dj为第j个输出，f(x)为激活函数，Wji为第j个输出的第i个输入权值参数，εj为第j个输出的偏置参数，n为输入的总数。
步骤3模型训练
加载基于一维卷积神经网络和GCN混合深度学习模型；获取水库雨水情实时监测数据及降雨量与泄洪量数据，而后输入模型进行水库水位预测，得到水库未来一天或几天水位预测值。以均方误差(MSE)作为基于一维卷积神经网络和GCN混合深度学习模型的优化目标，在迭代过程中MSE值越来越小，表示模型性能逐步提升。模型损失曲线反映了模型对数据集的拟合情况与迭代损失过程，基于一维卷积神经网络和GCN混合深度学习模型对水库水位数据集进行300次迭代训练和进行测试的MSE结果如图5至图6所示，train_MSE和test_MSE，可见其损失越来越小，即MSE越来越接近于0，说明基于一维卷积神经网络和GCN混合深度学习模型预测的未来一天或几天的水位值越贴近真实情况，精度越高。
使用基于一维卷积神经网络和GCN混合深度学习模型对水库水位数据集进行未来一天或几天水库水位预测，预测结果拟合如图7-图10所示：
使用该模型对对水库水位数据集进行未来多天水库水位进行预测，由图7至图10显示的评价指标与拟合曲线可知，即使是预测往后三天的水位，基于一维卷积神经网络和GCN混合深度学习模型预测较为准确，能够达到较为可观的结果。
对于拟合曲线的整体来说，最高点具体数值拟合不好的原因为GCN网络在训练时需要知道整个图的结构信息，包括待预测的节点，比如在预测水库水位未来三天的预测值时需要未来三天水库的降雨量和泄洪量数据，虽然未来的降雨量可以通过天气预报获得估计，而未来的泄洪量是人为控制的，但是现实中天气预报较难做到精准预估降雨量的具体数值，尤其面临突发恶劣天气。此外，数据集中一些降雨量过多的天气出现频率较低和一些极端天气在采集数据的日期内未出现过导致供模型训练的样本数较少，无法学习到这样特殊天气的特征。最后，如果一维卷积神经网络层设计的层数少会忽略数据的深度特征，而网络较深容易过拟合，所以一维卷积神经网络需要对层数设计进行权衡。
该方法采用的评价指标包括MAE平均绝对误差、MSE均方误差、MAPE平均绝对百分比误差三种，其定义如下：
Figure BDA0003785491200000161
Figure BDA0003785491200000162
Figure BDA0003785491200000163
在公式(6)至(8)中，yi和ti分别表示第i个样本的预测值和真实标签，n表示测试集总样本数。
使用MAE平均绝对误差、MSE均方误差、MAPE平均绝对百分比误差，在水库水位数据集上评估任务一、任务二结果如表3所示：
表3模型指标评估结果
Figure BDA0003785491200000164
Figure BDA0003785491200000171
使用基于一维卷积神经网络和GCN混合深度学习模型进行未来一天或几天的水位预测，MAE、MSE是回归模型的两个常用评价指标，该值越接近于0说明模型拟合的越好。MSE＝0.6191该值越接近于0说明模型拟合的越好。MAE＝0.5525，该值说明进行n(n＝1,2,3,...)次预测，模型产生的误差稳定在0.5525米左右。MAPE表示在经过n次预测后，预测值相对于真实标签平均偏移了0.5117％，表示模型有较好的预测效果。
步骤4模型利用
读取步骤3中储存在云端或本地的水库水位预测模型，进行水库水位预测，将获取的水库未来一至三天的水位预测值与水库水位标准对比，判断预测水位是否处于安全区间，是则将获取到的数据存入数据库，正常进行水库水位调度，否则对比水库水位预警标准，输出水库各参数信息及预警等级，进而结合输出参数(包括降雨量、泄洪量、水库水位、预警等级等)进行水库水位调度，以将水库水位调度至安全区间。
本发明提出了一种能预测水库未来一天或三天水位数据的一维卷积神经网络和GCN混合深度学习模型，具体实现方式如图11所示：
基于一维卷积神经网络和GCN混合深度学习模型的水库水位预测预警方法及系统。采用的卷积神经网络(CNN)与图卷积神经网络(GCN)混合模型，其中CNN的使用旨在对每个变量分别挖掘其时间关联特征；GCN的使用旨在建模当前变量和历史变量的相关性，挖掘变量间的相互影响规律。该模型具有准确度高、运算快的特点，且能考虑到闸门的历史调整因素，针对性的预测出需要提前警戒的水位，及时调整泄洪量，实现对汛期的预防。与其他线性模型相比，该混合模型为非线性多维度预测且该模型训练中输入、利用和构造了丰富的特征；此外，该模型属于时序预测模型具有一定的鲁棒性，使用该模型进行水库水位预测，可把握未来一至三天水库水位的变化趋势，以提前调度水库水位。
在本模型中，使用CNN与GCN模型结合的方式，通过CNN编码模型，层层加深了模型特征层，增加模型特征维度，使得模型能够获得更多更完善的特征，在获得足够的特征后，能够对下游的模型预测起到充分的准备作用。在进行特征提取和关键信息的抽取后，模型获得与水库预警有关的信息。随后对64维深度特征使用线性层转换维度后，传入Gen-edge模型，对未来进行预测。并最终通过线性层，得到模型的预测输出。
该模型使用图卷积神经网络作为预测模型，并使用ChebNet实现。因为SCNN存在计算复杂度高和无法保证局部链接的缺点，而ChebNet采用切比雪夫多项式代替谱域的卷积核，参数的复杂度大大降低了。采用切比雪夫多项式代替谱域卷积核后，ChebNet不需要对拉普拉斯矩阵做特征分解，大大降低的时间。
一维卷积神经网络和GCN混合深度学习模型，可以根据历史水库水位、降雨量、泄洪量和未来几天的降雨量、泄洪量完成水库水位预测，受外部环境影响较小，具有一定的鲁棒性，能够极大的减小运维的工作量；
本提案使用一维卷积神经网络和GCN混合深度学习模型架构，即在CNN输出的向量矩阵集合进一步使用GCN挖掘信息，该架构能有效的提取向量矩阵的信息特征与结构特征，从而得到对水库水位预测更为准确数据信息，同时提高了模型的水库水位预测准确率；
一维卷积神经网络和GCN混合深度学习模型可以有效地应用于预测未来一天或三天的水库水位；挖掘出包含着能预测出水库水位未来一天或三天变化情况的数据结构特征，得到未来一天或几天的各流域多点水位预测值。不仅有效地利用未来降雨量和未来泄洪量的数据，还解决了现有方法存在延时性，无法对流域水位未来一天或几天的水位进行预测的缺陷。同时本方法提供一种端到端自动预测模型，降低了对经验的依赖，同时有效的提高了鲁棒性、泛化能力及准确率。
八、其他有助于理解本申请提案的技术资料
具体来说，多感受野GCN(MRF_GCN)，其函数表达式如公式(9)所示：
Figure BDA0003785491200000191
其中，
Figure BDA0003785491200000192
为可学习参数，[·]为特征连接，H为融合的特征，K表示切比雪夫多项式的阶数，它决定了节点邻域的范围，故K1至Kv为不同的切比雪夫多项式阶数，v表示GConv有多少个接受域，K表示切比雪夫多项式的阶数，它决定了节点邻域的范围；K1至Kv表示不同的切比雪夫多项式阶数。
给定一个图G(A，X)，其中A表示它的邻接矩阵，X表示它的节点特征。L＝IN-D-1/2AD-1/2是对称归一化图拉普拉斯矩阵，其中对角度矩阵D可以由邻接矩阵得到，即Di,i＝∑jAi,j，IN表示一个单位矩阵。谱图卷积(GConv)使用图谱滤波器gθ＝diag(θ)对输入信号x∈RN进行平滑，数学上定义为：gθ*Gx＝UgθUTx，其中，θ为可学习参数，*G为GConv算子，U是拉普拉斯矩阵的特征向量，UTx表示信号x在图上的傅里叶变换。此外，卷积核gθ限制在切比雪夫多项式的展开中的形式如下：
Figure BDA0003785491200000201
在公式(10)中，K是切比雪夫多项式的阶数，它也决定了节点邻域的范围。
Figure BDA0003785491200000202
λ为拉普拉斯矩阵的特征值。通过使用定义的GConv操作，对k个距离内的节点信息进行聚合，以实现图平滑。因此，相比于标准的GCN只能在一个固定的接受域中收集信息，以上所应用的一种多接受域GCN(MRF-GCN)可以获得更加强大的特征表示，并将数据结构信息嵌入到特征表示中。

Claims (9)

1.基于神经网络和GCN深度学习模型的水库水位预测预警方法，其特征在于包括以下步骤：
步骤S1：获取水库雨水情数据，按照采集时间进行排序；
步骤S2：模型输入数据通过CNN编码器、GCN编码器两个主要模块提取特征；
步骤S3：基于一维卷积神经网络和GCN混合深度学习模型对水库水位数据集进行训练；
步骤S4：读取步骤S3中储存在云端或本地的水库水位预测模型，进行水库水位预测。
2.根据权利要求1所述的基于神经网络和GCN深度学习模型的水库水位预测预警方法，其特征在于，所述步骤S1具体以水库水位、泄洪量、降雨量特征作为模型训练数据，对数据集中水位、泄洪量、降雨量三个变量数据依次进行最大最小值归一化预处理：
Figure FDA0003785491190000011
在公式(1)中，x为待归一化数据，x'作为归一化后的数据，xmax和xmin分别表示待归一化数据中的最大值和最小值，最终将数据映射到0和1之间后，作为特征数据输入模型进行训练。
3.根据权利要求2所述的基于神经网络和GCN深度学习模型的水库水位预测预警方法，其特征在于，输入的数据需要执行两个任务：
任务一：以当天水库水位、当天降雨量、当天泄洪量作为一个时间点的特征，通过过去N个时间点的数据完成对水库未来一天水位的预测；
任务二：以当天水库水位、未来三天降雨量、未来三天泄洪量作为一个时间点的特征，通过过去N个时间点的数据完成对水库未来三天水位的预测。
4.根据权利要求3所述的基于神经网络和GCN深度学习模型的水库水位预测预警方法，其特征在于，步骤S2具体包括以下以下步骤：
步骤S21：一维CNN编码器特征提取；
步骤S22：构建GGL生成图数据结构；
步骤S23：GCN编码器特征提取。
5.根据权利要求4所述的基于神经网络和GCN深度学习模型的水库水位预测预警方法，其特征在于，所述步骤S21具体包括：
构建第一个一维卷积层；将模型输入数据的尺寸重塑为(B*D,1,H)，将batch维度与变量维度合并，使得CNN对每个向量进行卷积，作为第一个一维卷积层输入，一维卷积层Conv1d(1,8,3,1,1)使用1*3的卷积核，卷积步长为1，获取数据后提取特征的同时保留住原序列长度，卷积后进行一维批归一化操作及ReLU函数激活，输出尺寸为(B*D,8,H)的特征向量；
构建第二个一维卷积层，一维卷积层Conv1d(8,16,3,1,1)使用1*3的卷积核，卷积步长为1，以上层输出的尺寸为(B*D,8,H)的特征向量作为输入提取特征同时保留长度，卷积后进行一维批归一化操作及ReLU函数激活，输出尺寸为(B*D,16,H)的特征向量；
构建第三个一维卷积层，一维卷积层Conv1d(16,32,3,1,1)使用1*3的卷积核，卷积步长为1，以上层输出的尺寸为(B*D,16,H)的特征向量提取特征同时保留长度，卷积后进行一维批归一化操作及ReLU函数激活，输出尺寸为(B*D,32,H)的特征向量；
构建第四个一维卷积层，一维卷积层Conv1d(32,64,3,1,1)使用1*3的卷积核，卷积步长为1，对上层输出的尺寸为(B*D,32,H)的特征向量提取特征同时保留长度，卷积后进行一维批归一化操作及ReLU函数激活，最终输出尺寸为(B*D,64,H)的特征向量；
构建一维自适应最大池化层，保留尺寸为(B*D,64,H)的特征向量的每个通道上最大的一个值，输出尺寸为(B*D,64,1)的特征向量，再去除冗余维度，将特征向量矩阵降维，输出尺寸为(B*D,64)的特征向量，最后通过特征维度归一化层。
6.根据权利要求4所述的基于神经网络和GCN深度学习模型的水库水位预测预警方法，其特征在于，所述步骤S22具体包括：
构建图生成层，首先定义线性变换层的输入输出维度linear(64,10)，将输入尺寸为(B*D,64)的特征向量转化输出为尺寸为(B*D,10)的特征向量，其过程表示为：
Figure FDA0003785491190000031
在公式(2)中X为经过CNN编码器特征提取以后的特征向量矩阵，Xi为输入的特征向量，Wji为第j个输出的第i个输入权值参数，bj为第j个输出的偏置参数，使用Relu函数激活，
Figure FDA0003785491190000032
为输出特征矩阵，n表示输入权值参数的个数；
图生成层从特征图中生成动态图数据结构，通过遍历尺寸为(B*D,B*D)的特征向量矩阵第一维的数值和索引间的堆砌与拼接来计算边缘的索引，得到尺寸为(2,B*D/*B*D)的边缘索引邻接矩阵，每次前向传播会产生动态变化，每一轮都进行迭代更新；首先转置特征向量，通过内积计算变量与变量的相似度，按最大值归一化同时制定维度为1，然后节点数设为特征图第一维的数值，其函数表达式为：
Figure FDA0003785491190000041
在公式(3)中，
Figure FDA0003785491190000042
表示特征向量X经过全连接层输出后的特征向量，T为转置符号，normlize表示归一化函数，A为生成图数据结构的邻接矩阵，
Figure FDA0003785491190000043
为公式(2)中X特征向量经过全连接层输出后的特征向量，
Figure FDA0003785491190000044
即表示
Figure FDA0003785491190000045
特征向量的转置向量，进一步地通过保留余弦距离Top-k的边缘，只保留相似度前k大的边缘，得到稀疏化的邻接矩阵A-，其函数表达如公式(4)所示；
A-＝TOP-k(A) (4)。
7.根据权利要求4所述的基于神经网络和GCN深度学习模型的水库水位预测预警方法，其特征在于，所述步骤S23具体包括：
构建MRF_GCN模块，使用Dropout随机失活防止过拟合，图生成层生成的动态图数据结构输入MultiChev层进行图神经卷积操作，Chevnet阶次设为1，从图数据结构中挖掘节点间的相关信息，将输出通道维度设为50，再进入正则化层将特征向量的重塑为尺寸为，batch*变量，50的特征向量，输出尺寸为(B*D,50)的特征向量；提取的特征向量最后经过一个带ReLU激活函数的线性层进行特征变换，该线性层输入输出维度为(50，64)，输出尺寸为(B*D,64)的特征向量，最后重塑特征向量的尺寸，按原来的batch拼接回去，输出尺寸为(B,64*D)的特征向量；
构建线性回归预测层，对任务一、任务二分别定义不同的网络，当执行任务一时，线性层的输入和输出维度设定为(64*3，1)；当执行任务二时，线性层的输入和输出维度设定为(64*5，1)，最后，模型输出尺寸为(B，1)的特征向量，从而得到基于一维卷积神经网络和GCN混合深度学习模型；
全连接层计算公式(5)如下：
Figure FDA0003785491190000051
其中，Dj为第j个输出，f()为激活函数，Wji为第j个输出的第i个输入权值参数，εj为第j个输出的偏置参数，n为输入的总数。
8.根据权利要求1所述的基于神经网络和GCN深度学习模型的水库水位预测预警方法，其特征在于，所述步骤S3具体为：
加载基于一维卷积神经网络和GCN混合深度学习模型；获取水库雨水情实时监测数据及降雨量与泄洪量数据，而后输入模型进行水库水位预测，得到水库的水位预测值；以均方误差MSE作为基于一维卷积神经网络和GCN混合深度学习模型的优化目标，在迭代过程中MSE值越来越小，表示模型性能逐步提升；模型损失曲线反映模型对数据集的拟合情况与迭代损失过程，基于一维卷积神经网络和GCN混合深度学习模型对水库水位数据集进行300次迭代训练和进行测试；
采用的评价指标包括MAE平均绝对误差、MSE均方误差、MAPE平均绝对百分比误差三种，其定义如下：
Figure FDA0003785491190000052
Figure FDA0003785491190000053
Figure FDA0003785491190000054
在公式(6)至(8)中，yi和ti分别表示第i个样本的预测值和真实标签，n表示测试集总样本数。
9.根据权利要求1所述的基于神经网络和GCN深度学习模型的水库水位预测预警方法，其特征在于，所述步骤S4具体为：读取步骤3中储存在云端或本地的水库水位预测模型，进行水库水位预测，将获取的水库未来一至三天的水位预测值与水库水位标准对比，判断预测水位是否处于安全区间，是则将获取到的数据存入数据库，正常进行水库水位调度，否则对比水库水位预警标准，输出水库各参数信息及预警等级，进而结合输出参数，包括降雨量、泄洪量、水库水位、预警等级进行水库水位调度，以将水库水位调度至安全区间。
CN202210940746.5A 2022-08-06 2022-08-06 基于神经网络和gcn深度学习模型的水库水位预测预警方法 Pending CN115310536A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210940746.5A CN115310536A (zh) 2022-08-06 2022-08-06 基于神经网络和gcn深度学习模型的水库水位预测预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210940746.5A CN115310536A (zh) 2022-08-06 2022-08-06 基于神经网络和gcn深度学习模型的水库水位预测预警方法

Publications (1)

Publication Number Publication Date
CN115310536A true CN115310536A (zh) 2022-11-08

Family

ID=83861453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210940746.5A Pending CN115310536A (zh) 2022-08-06 2022-08-06 基于神经网络和gcn深度学习模型的水库水位预测预警方法

Country Status (1)

Country Link
CN (1) CN115310536A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115860272A (zh) * 2023-02-22 2023-03-28 山东捷讯通信技术有限公司 基于深度学习的水库多时间点智能水位预测方法及系统
CN115879646A (zh) * 2023-02-15 2023-03-31 山东捷讯通信技术有限公司 一种水库水位预测方法、装置、介质及设备
CN117726043A (zh) * 2024-02-05 2024-03-19 中科信德建设有限公司 一种水库水情自动测报及预报方法
CN117726043B (zh) * 2024-02-05 2024-05-03 中水君信工程勘察设计有限公司 一种水库水情自动测报及预报方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115879646A (zh) * 2023-02-15 2023-03-31 山东捷讯通信技术有限公司 一种水库水位预测方法、装置、介质及设备
CN115879646B (zh) * 2023-02-15 2023-11-07 山东捷讯通信技术有限公司 一种水库水位预测方法、装置、介质及设备
CN115860272A (zh) * 2023-02-22 2023-03-28 山东捷讯通信技术有限公司 基于深度学习的水库多时间点智能水位预测方法及系统
CN117726043A (zh) * 2024-02-05 2024-03-19 中科信德建设有限公司 一种水库水情自动测报及预报方法
CN117726043B (zh) * 2024-02-05 2024-05-03 中水君信工程勘察设计有限公司 一种水库水情自动测报及预报方法

Similar Documents

Publication Publication Date Title
CN109272146B (zh) 一种基于深度学习模型和bp神经网络校正的洪水预测方法
CN106650767B (zh) 基于聚类分析和实时校正的洪水预报方法
CN110414788B (zh) 一种基于相似日和改进lstm的电能质量预测方法
Taghi Sattari et al. M5 model tree application in daily river flow forecasting in Sohu Stream, Turkey
CN110782658B (zh) 一种基于LightGBM算法的交通量预测方法
CN115310536A (zh) 基于神经网络和gcn深度学习模型的水库水位预测预警方法
Salehin et al. An Artificial intelligence based rainfall prediction using LSTM and neural network
CN111079998B (zh) 基于长短时序相关性注意力机制模型的流量预测方法
CN115688579B (zh) 一种基于生成对抗网络的流域多点水位预测预警方法
Afshin et al. Long term rainfall forecasting by integrated artificial neural network-fuzzy logic-wavelet model in Karoon basin
Wang et al. Deep echo state network with multiple adaptive reservoirs for time series prediction
Li et al. A novel combined prediction model for monthly mean precipitation with error correction strategy
CN113705877A (zh) 基于深度学习模型的实时月径流预报方法
Nourani et al. A new hybrid algorithm for rainfall–runoff process modeling based on the wavelet transform and genetic fuzzy system
Massaoudi et al. Performance evaluation of deep recurrent neural networks architectures: Application to PV power forecasting
CN115310532A (zh) 一种基于时空关联混合深度学习模型的流域多点预测预警方法
CN111178585A (zh) 基于多算法模型融合的故障接报量预测方法
Sun et al. Precipitation analysis and forecasting using singular spectrum analysis with artificial neural networks
Li et al. Decomposition-ANN methods for long-term discharge prediction based on Fisher’s ordered clustering with MESA
CN105184400A (zh) 一种烟田土壤水分预测方法
CN114117852B (zh) 一种基于有限差分工作域划分的区域热负荷滚动预测方法
Couta et al. River flow forecasting using long short-term memory
Sørensen Dynamic positioning control systems for ships and underwater vehicles
CN115330050A (zh) 一种基于混合模型的建筑物负荷预测方法
CN115271154A (zh) 一种多项式与偏最小二乘耦合的非线性回归洪水要素预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination