CN112288193A - 基于注意力机制的gru深度学习的海洋站表层盐度预测方法 - Google Patents

Abstract

本发明公开了一种基于注意力机制的GRU深度学习的海洋站表层盐度预测方法，包括如下步骤：获取海洋站表层盐度数据，进行预处理去除错误或缺失数据；对预处理后的表层盐度时间序列数据进行EDM分解，获取IMF分量和剩余量，并进行去噪处理；构建GRU深度学习预测模型，将去噪数据输入GRU深度学习预测模型进行预测，得到最终预测结果。本发明通过获取海洋站的表层盐度数据，利用时间序列挖掘得到的数据信息，提出了一种基于注意力机制的GRU深度学习预测模型，最终得出海洋站表层盐度的预测值，提高了海洋站表层盐度的预测精度和效率。

Description

基于注意力机制的GRU深度学习的海洋站表层盐度预测方法

技术领域

本发明属于海洋站表层盐度预测技术领域，更具体的说是涉及一种基于注意力机制的GRU深度学习的海洋站表层盐度预测方法。

背景技术

海表面盐度是研究大洋环流和海洋对全球气候影响的重要参量，研究其分布和变化规律对了解海洋自身特性以及海洋在海－气这一复杂系统中的作用有着重要意义。海表面盐度的获取也是气象学、生态学、水文学和渔业等其他学科与应用领域重点关注的研究对象，因此海表面盐度的预测越发重要。海洋站表层盐度它不仅反映了海洋环境，还反映了海岸环境的变化及对海洋环境的影响，对海洋站的盐度预测非常重要，但是预测研究非常稀少且精度不足。

因此，如何提供一种基于注意力机制的GRU深度学习的海洋站表层盐度预测方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于注意力机制的GRU深度学习的海洋站表层盐度预测方法，通过获取海洋站的表层盐度数据，利用时间序列挖掘得到的数据信息，提出了一种基于注意力机制的GRU深度学习预测模型，最终得出海洋站表层盐度的预测值，提高了海洋站表层盐度的预测精度和效率。

为了实现上述目的，本发明采用如下技术方案：

一种基于注意力机制的GRU深度学习的海洋站表层盐度预测方法，包括如下步骤：

S1：获取海洋站表层盐度数据，进行预处理去除错误或缺失数据；

S2：对预处理后的表层盐度时间序列数据进行EDM分解，获取IMF分量和剩余量，并进行去噪处理；

S3：构建GRU深度学习预测模型，将去噪数据输入GRU深度学习预测模型进行预测，得到最终预测结果。

优选的，步骤S2中，对表层盐度时间序列数据进行EDM分解的方法为：找出原始时间序列x(t)所有极大值点和极小值点，用三次样条函数分别拟合成上、下包络线，上、下包络线求平均得到平均包络线m₁(t)，将原始时间序列序列x(t)减去该平均包络线，即得到一个去掉低频的新序列h₁(t)：

h₁(t)＝x(t)-m₁(t) (1)

重复上述过程k次，直到所得平均包络线趋于0为止，得到了第1个IMF分量c₁(t)：

c₁(t)＝h₁k(t)-m₁k(t) (2)

将原始序列x(t)减去第1个IMF分量，重复上述分解过程得到第2个IMF分量c₂(t)，以此类推，分解n次得到cn(t)；最后一个无法分解的剩余量记为Res(t)；

而原始时间序列由这些IMF分量和剩余量之和表示：

Res(t)记为噪声数据，将原始时间序列x(t)减去剩余量Res(t)，得到了降噪后的时间序列数据Denoisedx(t)，如下：

Denoisedx(t)＝x(t)-Res(t) (4)。

优选的，GRU深度学习模型构建步骤如下：

(1)构建训练数据集；

(2)建立训练样本；

(3)构建训练模型：将注意力机制嵌入到GRU模型中，嵌入后的模型记为att_GRU模型；

(4)训练att_GRU模型，调试att_GRU模型参数；

(5)通过训练得出的att_GRU深度学习模型，对表层盐度数据进行预测得到最终预测结果。

优选的，建立训练样本的方法为：将构建的训练数据集进行EMD分解，得到一组本征模态分量和剩余量噪声数据，将构建的训练数据集减去剩余量噪声数据，或者将本征模态分量加和，得到训练样本。

优选的，训练att_GRU模型的方法为：att_GRU模型选择双曲正切函数作为激活函数，设置两个隐藏层和一个输出层，每层神经元个数为2000个；训练中输入和输出数据比为72:24，用3天数据预测1天数据的方式进行训练。

优选的，假设x_t为输入，h_t为隐藏层的输出，att_GRU深度学习模型通过以下公式计算得到h_t：

式中：z_t和r_t分别为更新门和重置门；

为输入x_t和上一隐藏层输出结果h_t-1的汇总；σ为Sigmoid函数；tan为双曲正切函数；W^(z),U^(z),W^(r),U^(r),U,W为训练参数矩阵；

表示r_t和U的复合关系，

表示z_t和的h_t-1复合关系。

优选的，采用均方根误差Root of mean squared error和平均绝对误差MeanAbsolute Error来评估海洋站表层水温的预测结果，计算公式分别如下：

其中，y_i ^obs为观测值，y_i ^pre为预测值，l为样本量；RMSE表示衡量观测值与真实值之间的偏差，MAE是绝对误差的平均值，更好地反映预测值误差的实际情况。

本发明的有益效果在于：

本发明通过获取海洋站的表层盐度数据，利用时间序列挖掘得到的数据信息，提出了一种基于注意力机制的GRU深度学习预测模型，最终得出海洋站表层盐度的预测值，实现了针对海洋站表层盐度数据的高精度预报，提高了海洋站表层盐度的预测精度和效率；仅需使用海洋站表层盐度的长时间序列数据，不需要使用其它数据；占用资源少，计算速度快。本发明不仅能够用于海洋站表层盐度预报，还可用于海洋站以外海域的盐度预报。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明的方法流程图；

图2为本发明GRU深度学习模型中的数据流向图；

图3为本发明通过EMD方法对海洋站表层盐度时间序列数据的分解结果图。

图4为本发明提供的GRU深度学习网络结构。

图5为本发明GRU深度学习预测模型的训练损失函数图。

图6为本发明对海洋站表层盐度时间序列的预测结果与真实值的对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供了一种基于注意力机制的GRU深度学习的海洋站表层盐度预测方法，包括如下步骤：

S1：获取海洋站表层盐度数据，进行预处理去除错误或缺失数据；

S2：对预处理后的表层盐度时间序列数据进行EDM分解，获取IMF分量和剩余量，并进行去噪处理；

S3：构建GRU深度学习预测模型，将去噪数据输入GRU深度学习预测模型进行预测，得到最终预测结果。

步骤S2中，EMD分解可将非平稳时间序列平稳化，得到一组不同频率的本征模态分量(IMF)和一个剩余量。这里认为，EMD分解得出的本征模态分量和剩余量的信号频率在预测的时间段内基本保持不变，则未来时间点信号频率可由上一时间点的频率决定，即未来时段信号可近似由其邻近的历史时段数据确定，而这种信号规律将由GRU深度学习神经网络学习得出。基于此，本实施例首先利用EMD方法分解出各分量，参考图3，然后构建深度学习海洋站表层盐度预测模型。

假如一时间序列x(t)的极大值(或极小值)数目比过零点数目多2个或2个以上，该时间序列就是非平稳的，则需进行平稳化处理。对表层盐度时间序列数据进行EDM分解的方法为：找出原始时间序列x(t)所有极大值点和极小值点，用三次样条函数分别拟合成上、下包络线，上、下包络线求平均得到平均包络线m₁(t)，将原始时间序列序列x(t)减去该平均包络线，即得到一个去掉低频的新序列h₁(t)：

h₁(t)＝x(t)-m₁(t) (1)

重复上述过程k次，直到所得平均包络线趋于0为止，得到了第1个IMF分量c₁(t)：

c₁(t)＝h₁k(t)-m₁k(t) (2)

将原始序列x(t)减去第1个IMF分量，重复上述分解过程得到第2个IMF分量c₂(t)，以此类推，分解n次得到cn(t)；最后一个无法分解的剩余量记为Res(t)；

而原始时间序列由这些IMF分量和剩余量之和表示：

IMF分量保持了原来信号的自然振荡特性，并且是相互独立的。每个IMF分量可能对应某一物理背景，而且除每个分量的平稳性得到很大改善外，还隔离了不同分量间的非平稳性。此处认为Res(t)为噪声数据，将原始时间序列x(t)减去剩余量Res(t)，得到了降噪后的时间序列数据Denoisedx(t)，如下：

Denoisedx(t)＝x(t)-Res(t) (4)。

接着，对降噪后的时间序列数据Denoisedx(t)构建GRU深度学习预测模型。GRU为循环神经网络(Recurrent Neural Network,RNN)的变体模型，采用门控循环神经网络结构，包括两个门结构，分别为更新门和重置门。更新门用于控制前一时刻的状态信息保留到当前状态中的程度，重置门用于确定是否要结合当前状态与先前的信息。GRU结构图如图4所示。假设x_t为输入，h_t为隐藏层的输出，GRU深度学习模型通过以下公式计算得到h_t：

式中：z_t和r_t分别为更新门和重置门；

为输入x_t和上一隐藏层输出结果h_t-1的汇总；σ为Sigmoid函数；tan为双曲正切函数；W^(z),U^(z),W^(r),U^(r),U,W为训练参数矩阵；

表示r_t和U的复合关系，

表示z_t和的h_t-1复合关系。

按照盐度时间序列训练的GRU网络具有很强的拟合数据的能力，但是由于优化算法和计算能力的限制，特别是在处理规模较大的盐度输入数据，计算能力仍可能成为模型的瓶颈。针对海洋站表层盐度预测的任务，需要进行进一步的操作，可以在不过多增加模型复杂度的同时提高模型的表达能力。针对此，本实施例在GRU网络的基础上构建了注意力机制。

注意力机制是在计算能力有限的情况下，将计算资源分配给更重要的任务，同时解决信息超载问题的一种资源分配方案。通过引入注意力机制，在众多的输入信息中聚焦于对当前任务更为关键的信息，降低对其它信息的关注度，甚至过滤掉无关信息，可以达到提高任务处理的效率和准确性的目的。其原理如下：

令注意力的输入特征信息表示为x_1:n＝[x₁,x₂,...,x_n]，在使用网络对其进行处理时，令网络不同等的作用于这些输入，而是从其中选择一部分和任务相关的信息加以处理。给定当前任务相关信息q，用注意力变量z∈[1,n]来表示选择的信息的位置，即z＝i表示选择了序号为i的输入特征信息。注意力机制分为硬性和软性，本实施例采用软性注意力机制，即抽取若干个和任务相关的信息。接下来以概率的形式表示选择第i个信息的可能性，用概率α_i表示，计算方法为：

其中，s(x_i,q)为注意力打分函数，分为加性模型、点积模型、缩放点积模型和双线性模型等形式，本实施例选用加性模型方式：

(s(x_i,q))＝v^Ttanh(Wx_i+Uq) (7)

其中W、v、U等为可学习的网络参数。

在得到注意力权重α_i后，须将其作用于数据样本上，以实现对样本进行选择的效果。对于本实施例中的注意力机制，其对样本的作用过程选用如下表达式表示：

参阅图2，GRU深度学习模型构建步骤如下：

(1)构建训练数据集。选择厦门海洋站2015年1月1日至2019年9年30日的表层盐度数据集，数据间隔每小时一次，共计41616组数据，经过数据质量控制，有效数据为38400组：其中27648组(72％)用于训练，3072组(8％)用于验证，7680组(20％)用于测试。

(2)建立训练样本。将上一步的表层盐度有效数据集进行EMD分解，得到一组本征模态分量(IMF)和剩余量噪声数据，将有效数据集减去剩余量噪声数据，或者将本征模态分量加和，得到训练样本。

(3)构建训练模型。将注意力机制嵌入到GRU模型中，此处注意力机制为软性注意力机制，打分函数选用加性模型，GRU模型为开源模型，代码从因特网上下载获取。嵌入后的模型记为att_GRU模型。

(4)训练att_GRU模型，调试模型参数。该模型选择双曲正切函数作为训练损失函数，参阅图5，设置两个隐藏层和一个输出层，每层神经元个数为2000个。训练中输入和输出数据比为72:24，即用3天数据预测1天数据的方式进行训练。

(5)通过上一步训练得出的att_GRU深度学习模型，对表层盐度数据进行预测得到最终预测结果。

我们用均方根误差Root of mean squared error(RMSE)和平均绝对误差MeanAbsolute Error(MAE)来评估海洋站表层水温的预测结果，计算公式分别如下。

其中，y_i ^obs为观测值，y_i ^pre为预测值，l为样本量；RMSE表示衡量观测值与真实值之间的偏差，MAE是绝对误差的平均值，可以更好地反映预测值误差的实际情况，参考图6。RMSE和MAE越小，表示预测效果越好。

下表为厦门站24小时预测评估指标。

可以看出，该预测模型平均绝对误差为0.077，冬季模型预测精度比夏季高，这说明冬季海水温度整体状态稳定，夏季降水较多引起盐度变化较为剧烈。

更进一步，使用本方法对海洋站表层盐度做预报时，仅需将过去3天数据加载进已经训练好的模型中，可以快速得出预报结果，避免了传统数值预报的长时间计算。

本发明通过获取海洋站的表层盐度数据，利用时间序列挖掘得到的数据信息，提出了一种基于注意力机制的GRU深度学习预测模型，最终得出海洋站表层盐度的预测值，实现了针对海洋站表层盐度数据的高精度预报，提高了海洋站表层盐度的预测精度和效率，预报数据时间间隔1小时，24小时预报平均绝对误差为0.077，达到国际先进水平；仅需使用海洋站表层盐度的长时间序列数据，不需要使用其它数据；占用资源少，计算速度快。本发明不仅能够用于海洋站表层盐度预报，还可用于海洋站以外海域的盐度预报

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种基于注意力机制的GRU深度学习的海洋站表层盐度预测方法，其特征在于，包括如下步骤：

S1：获取海洋站表层盐度数据，进行预处理去除错误或缺失数据；

S2：对预处理后的表层盐度时间序列数据进行EDM分解，获取IMF分量和剩余量，并进行去噪处理；

S3：构建GRU深度学习预测模型，将去噪数据输入GRU深度学习预测模型进行预测，得到最终预测结果。

2.根据权利要求1所述的一种基于注意力机制的GRU深度学习的海洋站表层盐度预测方法，其特征在于，步骤S2中，对表层盐度时间序列数据进行EDM分解的方法为：找出原始时间序列x(t)所有极大值点和极小值点，用三次样条函数分别拟合成上、下包络线，上、下包络线求平均得到平均包络线m₁(t)，将原始时间序列序列x(t)减去该平均包络线，即得到一个去掉低频的新序列h₁(t)：

h₁(t)＝x(t)-m₁(t) (1)

重复上述过程k次，直到所得平均包络线趋于0为止，得到了第1个IMF分量c₁(t)：

c₁(t)＝h₁k(t)-m₁k(t) (2)

将原始序列x(t)减去第1个IMF分量，重复上述分解过程得到第2个IMF分量c₂(t)，以此类推，分解n次得到cn(t)；最后一个无法分解的剩余量记为Res(t)；

而原始时间序列由这些IMF分量和剩余量之和表示：

Res(t)记为噪声数据，将原始时间序列x(t)减去剩余量Res(t)，得到了降噪后的时间序列数据Denoisedx(t)，如下：

Denoisedx(t)＝x(t)-Res(t) (4)。

3.根据权利要求1所述的一种基于注意力机制的GRU深度学习的海洋站表层盐度预测方法，其特征在于，GRU深度学习模型构建步骤如下：

(1)构建训练数据集；

(2)建立训练样本；

(3)构建训练模型：将注意力机制嵌入到GRU模型中，嵌入后的模型记为att_GRU模型；

(4)训练att_GRU模型，调试att_GRU模型参数；

(5)通过训练得出的att_GRU深度学习模型，对表层盐度数据进行预测得到最终预测结果。

4.根据权利要求3所述的一种基于注意力机制的GRU深度学习的海洋站表层盐度预测方法，其特征在于，建立训练样本的方法为：将构建的训练数据集进行EMD分解，得到一组本征模态分量和剩余量噪声数据，将构建的训练数据集减去剩余量噪声数据，或者将本征模态分量加和，得到训练样本。

5.根据权利要求3所述的一种基于注意力机制的GRU深度学习的海洋站表层盐度预测方法，其特征在于，训练att_GRU模型的方法为：att_GRU模型选择双曲正切函数作为激活函数，设置两个隐藏层和一个输出层，每层神经元个数为2000个；训练中输入和输出数据比为72:24，用3天数据预测1天数据的方式进行训练。

6.根据权利要求3所述的一种基于注意力机制的GRU深度学习的海洋站表层盐度预测方法，其特征在于，假设x_t为输入，h_t为隐藏层的输出，att_GRU深度学习模型通过以下公式计算得到h_t：

式中：z_t和r_t分别为更新门和重置门；

为输入x_t和上一隐藏层输出结果h_t-1的汇总；σ为Sigmoid函数；tan为双曲正切函数；W^(z),U^(z),W^(r),U^(r),U,W为训练参数矩阵；

表示r_t和U的复合关系，

表示z_t和的h_t-1复合关系。

7.根据权利要求1所述的一种基于注意力机制的GRU深度学习的海洋站表层盐度预测方法，其特征在于，采用均方根误差Root of mean squared error和平均绝对误差MeanAbsolute Error来评估海洋站表层水温的预测结果，计算公式分别如下：

其中，y_i ^obs为观测值，y_i ^pre为预测值，l为样本量；RMSE表示衡量观测值与真实值之间的偏差，MAE是绝对误差的平均值，更好地反映预测值误差的实际情况。

Images