CN111126704B - 基于多图卷积和记忆网络的多区域降水量预测模型构建方法 - Google Patents

Abstract

本发明公开了基于多图卷积和记忆网络的多区域降水量预测模型构建方法，包括：建立至少两个邻接矩阵；构建多个区域降水量输入数据集并计算依赖注意力分数；将依赖注意力分数输入到预先构建的LSTM记忆网络中得到输出值，将该值分别输入到预先构建的图卷积神经网络中；将所有图卷积神经网络的输出求和后输入到全连接层进行特征回归预测得到整个网络的降水量预测输出，根据误差训练整个模型至误差满足预设值，获得最终的多区域降水量预测模型。本发明，充分利用了降水量过程存在的时序特征，避免了现有技术仅仅考虑单时刻的各项变量值去预测降水量，丢失了各项变量值随时间的变化趋势信息，有效的提高了降水量预测的准确度。

Description

基于多图卷积和记忆网络的多区域降水量预测模型构建方法

技术领域

本发明属于多区域降水量预测方法领域，特别是涉及基于多图卷积和记忆网络的多区域降水量预测模型构建方法。

背景技术

降水作为水文系统循环过程一个重要环节，在整个水循环中起着极其重要的作用，而降水量具有在短时间内会发生剧烈变化的特性，也正因为如此多区域容易发生旱涝等自然灾害。精准预测多区域的降水量对提前做好防汛防旱等自然灾害预警、水资源调度决策等方面具有决定性作用，而因为降水过程呈现为一种复杂的非线性动力系统，且降水量预测效果受区域所处地域的影响极大，致使当下提出的大量降水量预测模型的预测准确度不高。因此，提高多区域降水量的预测精度，是目前水信息领域需要解决的关键问题之一。

中国专利号：CN108169824A，公开了一种基于大数据的降水量分布预测系统。该降水量预测系统，指出将多个数据采集模块通过数据传输模块和微处理器进行连接，并在终端设置评分模块，进而利用数据更新模块对降水量数据进行实时更新。

中国专利号：CN107203810A，公开了一种基于深度网络的降水量预测方法。该降水量预测方法，通过将水文环境数据进行归一化、 KMO检验、巴特利特球形检验和因子分析法来对环境因素进行筛选，将筛选过后的环境因素输入深度网络，再使用顶层的BP网络对整体的网络进行反向传播修正参数权重，最后将模型的输出反归一化得到降水量的预测值。

上述专利所提出的方法，其中，中国专利号：CN108169824A仅仅提出了一个降水量预测系统架构，大数据反映的仅仅是采集环境因素数据量庞大且复杂的事实，如何处理并从庞大且复杂的数据量中挖掘出对预测降水量有用的信息和如何提高预测精度，这样的核心问题降水量预测系统没有进行说明和解决。中国专利号：CN107203810A，利用环境因素去预测降水量，并考虑到环境因子之间相互关联，筛选出信息量占用较大的环境因子，实际上，多个信息量占用较小的环境因子对降水量的预测可能产生较大的综合影响。最为重要的是，降水过程具有时序特征，仅仅利用当前时刻的环境因素输入深度信念网络来预测降水量，忽略了该时刻之前各环境因素的变化趋势，面对降水量具有在短时间内会发生剧烈变化的特性，模型难以具有强大的泛化性和鲁棒性，导致降水量的预测精度较低。

发明内容

本发明的目的在于克服上述现有预测方法精度较低的不足，提出了基于多图卷积和记忆网络的多区域降水量预测模型构建方法。

为实现上述目的，本发明采取的技术方案如下：

本发明提供了基于多图卷积和记忆网络的多区域降水量预测模型构建方法，包括以下：

根据多个区域相互之间的距离以及环境因素建立至少两个邻接矩阵；

采集选定的多个区域的降水量数据矩阵并进行标准化，利用前n 天的降水量数据作为降水量输入数据集用于预测第n天的降水量数据，得到降水量输入数据集；

对降水量输入数据集计算依赖注意力分数；

将获得的输入数据集的依赖注意力分数输入到预先构建的 LSTM记忆网络中得到LSTM记忆网络预测输出值；

将LSTM记忆网络预测输出值分别输入到预先构建的图卷积神经网络中，所述图卷积神经网络的数量与所建立的邻接矩阵的数量相同，各图卷积神经网络邻接矩阵分别对应预先建立的各邻接矩阵；

将所有图卷积神经网络的输出求和后输入到全连接层进行特征回归预测得到整个网络的降水量预测输出，根据损失函数计算预测值与真实值之间的误差训练整个模型至误差满足预设值，获得最终的多区域降水量预测模型。

进一步地，建立邻接矩阵的方法包括利用高斯核函数求解各个区域因素相互之间边的权重或者利用余弦相似度计算选定的多个区域中两两之间因素的相似度。

进一步地，根据选定的多个区域相互之间的距离，利用高斯核函数求解各个区域相互之间边的权重，建立第一邻接矩阵；

利用余弦相似度计算选定的多个区域中两两之间环境因素的相似度得到第二邻接矩阵。

进一步地，损失函数的计算方式，如公式9所示：

其中，Y_pred表示整个模型预测的降水量值，Y_true表示第n天的真实降水量值，N表示所有的样本数。

进一步地，邻接矩阵的计算方式，如下式所示：

其中，dis(P_i，P_j)是区域P_i和P_j之间的欧氏距离，σ²是所有区域之间距离的方差，ε是为了产生稀疏邻接矩阵设定的阈值，a_ij是所求解的区域P_i和P_j之间边上的权重，i和j表示两个区域的不同下标。

进一步地，所述余弦相似度的计算方式，如下式所示：

其中，区域X(x₁，x₂，x₃，…，x_N)和区域Y(y₁，y₂，y₃，…，y_N)，i表示其中一环境因素的下标，N表示共有N个环境因素，cos(θ_XY)是区域X和区域 Y以N个环境因素组成的N维向量之间夹角的余弦值。

进一步地，所述依赖注意力分数，对于其中每一个样本 x∈R^n×M×1，计算方式如公式4，公式5和公式6所示：

对于x∈R^n×M×1,c＝1，2，3，...，n

s_c＝σ(W₂δ(W₁z_c)) 公式5

其中，x表示X中每一个样本且x∈R^n×M×1，W₁和W₂对应的权重变量，δ和σ分别是relu和sigmoid激活函数，M表示选定的区域个数。X_c,:,:表示的就是说在第一维确定下的一个二维矩阵，：表示所有元素的意思，x∈R^n×M×1，x的定义就是数据集，n个时间段下的m个区域降水量的值，所以x维度是n*m*1。

进一步地，LSTM记忆网络预测输出值和邻接矩阵进行图卷积运算，计算方式如公式7所示：

其中，L^k的计算方式，如公式8所示：

公式7中，W_k表示可学习的权重参数，L^k是图拉普拉斯矩阵的k次幂，σ是tanh激活函数；公式8中，I是M×M的单位矩阵，D是度矩阵，A为邻接矩阵,A∈R^|M|×|M|，M表示选定的区域个数，Y，为LSTM 记忆网络预测输出。

进一步地，对降水量数据进行z-score标准化，计算公式如下所示：

其中，μ是降水量数据集的均值，σ是降水量数据集的标准差，x是实际变量值，x'是标准化后的变量值。

本发明与现有技术相比，具有以下优点：

(1)本发明方法考虑了降水过程受到多个区域环境因素之间相互关联的影响，充分的利用了降水过程存在的时序特征，从而提高降水量预测的精度；

(2)本发明对降水量数据进行了z-score标准化，对于降水量在短时间易发生剧烈变化而产生的异常数据，可以使得预测模型对降水量异常数据不敏感，符合实际嘈杂大数据场景；

(3)本发明在时间上利用LSTM记忆网络进行降水量预测建模，充分利用了降水量过程存在的时序特征，能根据历史多时刻的降水量预测出下一时刻的降水量，避免了现有技术仅仅考虑单时刻的各项变量值去预测降水量，丢失了各项变量值随时间的变化趋势信息，有效的提高了降水量预测的准确度；

(4)本发明在空间上利用多图卷积对不同区域之间降水量的相互联系进行了建模，考虑了空间上区域之间的欧氏距离以及非欧氏距离环境因素对将降水量的预测影响，解决了现有技术忽略了空间上区域之间对降水量的相互影响的不足，进一步的提高了将降水量预测的准确度。

附图说明

图1是本发明实施例的实现流程图；

图2是本发明实施例的注意力机制处理流程图；

图3是本发明实施例的记忆网络对多区域降水量的预测流程图；

图4是本发明实施例的多图卷积对多区域降水量的处理流程图。

具体实施方式

下面结合附图与具体实施例，对本发明作进一步清楚、完整阐述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

图1提供了一种基于多图卷积和记忆网络的多区域降水量预测方法，包括以下：

(一)制作降水量和环境因素数据集

(1a)从各个气象站点采集M个区域相互之间的距离、水文环境因素数据，以及对应的降水量，去除其中的缺值，以及干扰项。

(1b)在多指标评价体系中，由于各评价指标的性质不同，通常具有不同的量纲和数量级。当各指标间的水平相差很大时，如果直接用原始指标值进行分析，就会突出数值较高的指标在综合分析中的作用，相对削弱数值水平较低指标的作用。因此，为了保证结果的可靠性，需要对原始指标数据进行标准化处理。考虑到对降水量数据进行 z-score标准化(zero-mean normalization)，可以使得预测模型对降水量异常数据不敏感，符合实际嘈杂大数据场景。数据标准化的计算方式，如公式1所示：

其中，μ是降水量数据集的均值，σ是降水量数据集的标准差，x是实际变量值，x'是标准化后的变量值。

但需要注意的是数据标准化和归一化的方式，除了z-score标准化以外，还有min-max标准化(Min-max normalization)/0-1标准化(0-1 normalization)、log函数转换、atan函数转换等，需要结合实际数据的具体特性做选择。

(1c)将标准化后的M个区域D天降水量数据的D×M矩阵，调整成利用第t-n天，第t-n+1天，…，第t-1天，n天的降水量数据预测第t天的降水量数据，从而得到{[D-(n+1)+1]×M}×n×1的降水量输入 X数据集，作为模型的输入，对应的降水量预测输出Y为 {M×[D-(n+1)+1]}×1，作为模型的真实输出Label，其中{[D-(n+1)+1]×M}表示的是样本数，根据训练集、验证集和测试集的比例设定，划分整个数据集样本数。

(1d)为了表示空间上不同区域地理位置之间的关系，利用步骤(1a)采集的区域相互之间的距离，通过高斯核函数求解各个区域相互之间连接边的权重，以建立邻接矩阵，不同区域之间边上的权重大小表示空间位置上的相似性大小，两个区域距离越趋于0，则高斯核函数的值趋近于1，反之则趋近于0。为了减少图卷积的参数数量，只有当两区域距离小于设定的阈值ε时才进行高斯核函数计算，从而得到更加稀疏的M×M对称邻接矩阵A₁，稀疏的矩阵的输入可以有效防止模型出现过拟合现象。邻接矩阵的计算方式，如公式2所示：

其中，dis(P_i,P_j)是区域P_i和P_j之间的欧氏距离，σ²是所有区域之间距离的方差，ε是为了产生稀疏邻接矩阵设定的阈值，a_ij是所求解的区域P_i和P_j之间边上的权重，i和j表示两个区域的不同下标。

(1e)一般情况下，降水量会受到环境因素：平均本站气压、日最高气温、最小相对湿度、平均风速、极大风速的风向、日最高本站气压、日最低气温、最大风速、日照时数、日最低本站气压、平均水汽压、小型蒸发量、最大风速的风速、平均气温、平均相对湿度、大型蒸发量、极大风速等的影响，统计出共有N个环境因素。考虑到不同环境因素存在的度量标准不统一，从而采用对绝对数值不敏感、更加注重两个向量在方向上的差异的余弦相似度来计算两个区域之间环境因素的相似度，余弦值越接近1，就表明两个向量夹角越接近0 度，也就是两个向量越相似，从而得到M×M余弦相似度对称矩阵A₂。将N个环境因素的值作为一个N维向量，余弦相似度的计算方式，如公式3所示：

其中，区域X(x₁,x₂,x₃,...,x_N)和区域Y(y₁,y₂,y₃,...,y_N)，i表示其中一环境因素的下标，N表示共有N个环境因素，cos(θ_XY)是区域X和区域Y以 N个环境因素组成的N维向量之间夹角的余弦值。

步骤2：对降水量数据进行注意力机制处理

考虑到当利用第t-n天，第t-n+1天，…，第t-1天，n天的降水量数据预测第t天的降水量数据时，不同t-i时间刻对t时刻的降水量影响系数是不一样的，对于影响较大的时刻应当赋予更大的权重值，影响较小的时刻应当赋予更小的权重值，即注意力机制原理。注意力机制的处理流程，如图2所示，具体步骤如下：

(2a)将由步骤(1c)得到{[D-(n+1)+1]×M}×n×1的降水量输入X数据集，调整为X＝{[D-(n+1)+1]}×n×M×1。

(2b)根据(2a)得到的X＝{[D-(n+1)+1]}×n×M×1计算时间依赖注意力分数，对于每一个样本n×M×1，计算方式如公式4，公式5和公式 6所示：

对于X∈R^n×M×1,c＝1,2,3,...,n

s_c＝σ(W₂δ(W₁z_c)) 公式5

其中，W₁和W₂对应的权重变量，δ和σ分别是relu和sigmoid激活函数，显然，这里的激活函数也可以替换为其它的激活函数，此处只是本发明其中的一个实施例。将平均聚合得到的向量z使用非线性变换生成自适应的通道权重s，最后输入X与s通过矩阵点乘和广播，得到了不同时间依赖的注意力分数上的缩放X′＝{[D-(n+1)+1]}×n×M×1。

步骤3：利用记忆网络对多区域降水量进行预测

利用记忆网络对多区域进行降水量的预测流程，如图3所示，具体步骤如下：

(3a)将步骤(2b)得到的X′＝{[D-(n+1)+1]}×n×M×1，重新调整为 X′＝{[D-(n+1)+1]×M}×n×1。

(3b)将X′＝{[D-(n+1)+1]×M}×n×1输入到LSTM记忆网络中， LSTM记忆网络使用3层，每一层的隐藏单元数为64个。输入每一个样本的n天的降水量时序数据，通过记忆网络对时序特征的提取，预测出第n+1天的降水量，从而得到记忆网络预测输出Y′＝{[D-(n+1)+1]×M}×1。

步骤4：利用多图卷积对多区域降水量的预测值进行空间相关性建模

利用多图卷积对多区域进行降水量的处理流程，如图4所示，具体步骤如下：

(4a)将步骤(3b)得到的预测输出Y′＝{[D-(n+1)+1]×M}×1，通过扩维和交换维度，调整为Y′＝{[D-(n+1)+1]}×M×1。

(4b)将Y′分别输入到两个图卷积网络中，一条分支的图卷积网络邻接矩阵使用(1d)基于不同区域之间距离所产生的邻接矩阵A₁，另一条分支的图卷积网络邻接矩阵使用(1e)基于不同区域之间环境因素所产生的余弦相似度邻接矩阵A₂，考虑了空间上区域之间欧氏距离和非欧氏距离的关系。

但需要注意的是可以进一步根据非欧氏距离的关系，将环境因素根据自身的不同类别和属性进行划分因素，从而可以产生更多的分支，都在本发明的实施例之内。

(4c)将(4a)调整得到的Y₁′分别和邻接矩阵A₁和A₂，A₁,A₂∈R^|M|×|M|，进行图卷积运算，计算方式如公式7所示：

其中，L^k的计算方式，如公式8所示：

公式7中，W_k表示可学习的权重参数，L^k是图拉普拉斯矩阵的K 次幂，σ是tanh激活函数；公式8中，I是M×M的单位矩阵，D是度矩阵，两条图卷积支路分别得到Y₁″和Y₂″的输出。

(4d)将(4c)两条图卷积分支的结果Y₁″和Y₂″进行矩阵求和，将求和结果输入到两层全连接层(FC)，进行特征回归预测，得到整个网络的降水量预测输出Y_pred，根据损失函数Loss计算Y_pred和Y_true之间的MSE 误差，进行整个网络的反向传播以调整网络参数，以使得损失函数 Loss达到最小，损失函数的计算方式，如公式9所示：

其中，Y_pred表示整个网络预测的降水量值，Y_true表示步骤(1c)得到的真实降水量值，N表示所有的样本数。

本发明在时间上利用LSTM记忆网络进行降水量预测建模，充分利用了降水量过程存在的时序特征，能根据历史多时刻的降水量预测出下一时刻的降水量，避免了现有技术仅仅考虑单时刻的各项变量值去预测降水量，丢失了各项变量值随时间的变化趋势信息，有效的提高了降水量预测的准确度。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (9)

1.基于多图卷积和记忆网络的多区域降水量预测模型构建方法，其特征在于，包括以下：

根据多个区域相互之间的距离以及环境因素建立至少两个邻接矩阵；

采集选定的多个区域的降水量数据矩阵并进行标准化，利用前n天的降水量数据作为降水量输入数据集用于预测第n天的降水量数据，得到降水量数据输入数据集；

对降水量输入数据集计算依赖注意力分数；

将获得的输入数据集的依赖注意力分数输入到预先构建的LSTM记忆网络中得到LSTM记忆网络预测输出值；

将LSTM记忆网络预测输出值分别输入到预先构建的图卷积神经网络中，所述图卷积神经网络的数量与所建立的邻接矩阵的数量相同，各图卷积神经网络邻接矩阵分别对应预先建立的各邻接矩阵；

将所有图卷积神经网络的输出求和后输入到全连接层进行特征回归预测得到整个网络的降水量预测输出，根据损失函数计算预测值与真实值之间的误差训练整个模型至误差满足预设值，获得最终的多区域降水量预测模型。

2.根据权利要求1所述的基于多图卷积和记忆网络的多区域降水量预测模型构建方法，其特征在于，建立邻接矩阵的方法包括利用高斯核函数求解各个区域因素相互之间边的权重或者利用余弦相似度计算选定的多个区域中两两之间因素的相似度。

3.根据权利要求1所述的基于多图卷积和记忆网络的多区域降水量预测模型构建方法，其特征在于，

根据选定的多个区域相互之间的距离，利用高斯核函数求解各个区域相互之间边的权重，建立第一邻接矩阵；

利用余弦相似度计算选定的多个区域中两两之间环境因素的相似度得到第二邻接矩阵。

4.根据权利要求1所述的基于多图卷积和记忆网络的多区域降水量预测模型构建方法，其特征在于，损失函数的计算方式，如公式9所示：

其中，Y_pred表示整个模型预测的降水量值，Y_true表示第n天的真实降水量值，N表示所有的样本数。

5.根据权利要求1所述的基于多图卷积和记忆网络的多区域降水量预测模型构建方法，其特征在于，邻接矩阵的计算方式，如下式所示：

其中，dis(P_p，P_j)是区域P_i和P_j之间的欧氏距离，σ²是所有区域之间距离的方差，ε是为了产生稀疏邻接矩阵设定的阈值，a_ij是所求解的区域P_i和P_j之间边上的权重，i和j表示两个区域的不同下标。

6.根据权利要求1所述的基于多图卷积和记忆网络的多区域降水量预测模型构建方法，其特征在于，余弦相似度的计算方式，如下式所示：

其中，区域X(x₁，x₂，x₃，…，x_N)和区域Y(y₁，y₂，y₃，…，y_N)，i表示其中一环境因素的下标，N表示共有N个环境因素，cos(θ_XY)是区域X和区域Y以N个环境因素组成的N维向量之间夹角的余弦值。

7.根据权利要求1所述的基于多图卷积和记忆网络的多区域降水量预测模型构建方法，其特征在于，所述依赖注意力分数，对于其中每一个样本x∈R^n×M×1，计算方式如公式4，公式5和公式6所示：

对于x∈R^n×M×1,c＝1，2，3，...，n；

s_c＝σ(W₂δ(W₁z_c)) 公式5

其中，x表示X中每一个样本且x∈R^n×M×1，W₁和W₂对应的权重变量，δ和σ分别是relu和sigmoid激活函数，M表示选定的区域个数。

8.根据权利要求1所述的基于多图卷积和记忆网络的多区域降水量预测模型构建方法，其特征在于，LSTM记忆网络预测输出值和邻接矩阵进行图卷积运算，计算方式如公式7所示：

其中，L^k的计算方式，如公式8所示：

公式7中，W_k表示可学习的权重参数，L^k是图拉普拉斯矩阵的k次幂，σ是tanh激活函数；公式8中，I是M×M的单位矩阵，D是度矩阵，A为邻接矩阵,A∈R^|M|×|M|，M表示选定的区域个数，T’为LSTM记忆网络预测输出。

9.根据权利要求1所述的基于多图卷积和记忆网络的多区域降水量预测模型构建方法，其特征在于，对降水量数据进行z-score标准化，计算公式如下所示：

其中，μ是降水量数据集的均值，σ是降水量数据集的标准差，x是实际变量值，x'是标准化后的变量值。

Images