CN113392961B - 中尺度涡轨迹平稳序列提取与循环神经网络预测方法 - Google Patents
中尺度涡轨迹平稳序列提取与循环神经网络预测方法 Download PDFInfo
- Publication number
- CN113392961B CN113392961B CN202110939989.2A CN202110939989A CN113392961B CN 113392961 B CN113392961 B CN 113392961B CN 202110939989 A CN202110939989 A CN 202110939989A CN 113392961 B CN113392961 B CN 113392961B
- Authority
- CN
- China
- Prior art keywords
- mesoscale
- time
- vortex
- sea
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了中尺度涡轨迹平稳序列提取与循环神经网络预测方法,该方法包括:收集相关数据并进行数理统计;引入应用相关熵的变分模态分解,搜索最佳参数,将非平稳的中尺度涡传播轨迹数据分解为K个平稳的子序列;建立基于双阶段注意力循环神经网络改进的多步预测网络模型;构建改进的正则化策略训练模型;将分解后的平稳子序列以及多特征变量序列依次送入多步预测网络模型,并通过改进的正则化策略训练模型,分别预测子序列,最终得到目标预测结果。本发明从机器学习角度通过卫星测高观测技术辅助中尺度涡轨迹数据的预测研究,中尺度涡的准确预测对理解它的传播和演化特征,提高气候变化的模拟能力都具有重要的科学和应用价值。
Description
技术领域
本发明涉及中尺度涡轨迹平稳序列提取与循环神经网络预测方法,属于智能信息处理和目标预测技术领域。
背景技术
中尺度涡在世界海洋中普遍存在,是一种重要的海洋物理现象。由于卫星测高数据在时间可用性、分辨率和覆盖范围等方面的改进,对中尺度涡时空分布和运动特征等方面已经进行了越来越多的研究。但是,很少有基于中尺度涡轨迹数据的预测研究,近年来,关于中尺度涡传播轨迹预测的研究也逐渐展开,中尺度涡的准确预测对理解它的传播和演化特征,提高气候变化的模拟能力都具有重要的科学和应用意义。
通常,用于海洋中尺度预报的主要方法可以分为两种:动态模型和数值方法。根据以往研究,不难发现动态模型和数值模拟的建模方法具有十分明显的劣势,对初始条件等设定要求太严苛,模型性能极易受到影响,而且对海底复杂的地形变化非常敏感,另外需要耗费大量的计算资源和时间,这些使得中尺度涡预测愈加困难。一方面,海洋动力学模型的预测能力只能通过更好的同化方案,足够的数据和提高分辨率来提高;另一方面,由于中尺度涡整个生命周期内都伴随着强烈的随机性和非线性过程,中尺度涡的预测一直是数值方法的一大挑战。
在多变量时间序列预测任务中,深度学习技术提供了有效、新颖且可靠的方法来提高预测准确度,与此同时,将深度学习多变量时间序列预测模型应用于预测中尺度涡传播轨迹具有诸多挑战:首先,多变量时间序列数据具有高维和复杂空间关系,如何处理在相同时间和不同时间的空间关系是需要解决的问题。第二,多个时间序列,其中一些或所有时间序列在一定程度上是相关的,如何发现和利用它们之间时间关系的长期依赖性是一个难点。第三,许多经典方法大多解决了单步预测问题,然而在现实生活中,单步时间序列预测通常无济于事,因为很难预测在多步条件后将要发生的情况。同时,在多步预测中,误差会随预测步数的增加而增加,与单步预测相比,多步预测更加复杂。第四,海洋中尺度涡在时间和空间上都在演变,并且高度不稳定,具有明显的非线性与非平稳性特征,极大增加了预测难度。最后,预测的难点还在于,中尺度涡没有显著的周期性,并且移动速度和自身变换也不固定,这对固定连接的深度学习模型也是一种挑战。
因此,如何克服以上多个难点,从机器学习角度研究基于多变量时间序列数据的中尺度传播轨迹长期预测模型具有重要意义。
发明内容
针对上述问题,本发明的目的是提供一种中尺度涡轨迹平稳序列提取与循环神经网络预测方法,以弥补现有技术的不足。
为达到上述目的,本发明采用如下技术方案:
一种中尺度涡轨迹平稳序列提取与循环神经网络预测方法,包括以下步骤:
S1:收集相关数据,包括中尺度涡旋传播轨迹和海洋测深数据,并对相关数据进行数理统计,得到多特征变量序列;
S2:将非平稳的中尺度涡传播轨迹分解为K个最佳平稳子序列;
S3:建立基于改进的循环神经网络多步预测模型;
S4:构建改进的正则化策略训练模型;
S5:将S2分解后的所述K个最佳平稳子序列以及S1得到的多特征变量序列构成训练样本集,依次送入S3获取的改进的循环神经网络多步预测模型,并通过S4的改进的正则化策略训练模型,进行训练,分别得到训练好的循环神经网络多步预测模型和正则化策略训练模型;再将测试样本集经过S1和S2处理后,输入至训练好的循环神经网络多步预测模型和正则化策略训练模型,最终获得目标预测结果。
进一步的,所述S1中,所述数理统计,包括如下步骤:
1) 将所述中尺度涡旋传播轨迹初始化:建立统一坐标系,将所有中尺度涡初始到达海脊边缘时间统一重置为参考原点;设中尺度涡总数为I,第i个中尺度涡表示为 ,,其中 代表给定第 i个中尺度涡的生存时间,相应地,设第i个中尺度涡的振幅、旋转速度、半径分别定义为,,;对于每个中尺度涡轨迹,将上述三个特征属性时域转换,使其到达海脊边缘时间趋于一致性对齐,如下所示:
2) 对所有完全穿过海脊区域的中尺度涡做时间规律性处理:令 代表第 i个中尺度涡传播轨迹所历经的地理位置经纬度,设γ代表海脊区域,对任意时刻,若存在 ,则说明此中尺度涡轨迹属于完全跨越过海脊的情况;检查每个中尺度涡在整个海脊区域内传播的时间跨度,设 表示第i个中尺度涡从参考原点时间跨越整个海脊区域的持续时间,寻找所有始于海脊东侧直至抵达海脊西侧用时最长的中尺度涡, ,定义每条中尺度涡穿越整个海脊的实际时间跨度与所有中尺度涡传播轨迹中最长时间跨度 之间的时间缩放指数,之后以中尺度涡振幅时间序列()为例,采用三次样条插值法变换为();假定共有J段中尺度涡振幅插值计算,第j段三次多项式曲线拟合形式为:
以矩阵形式表示,控制方程式可简化为三对角线形式:
3)对部分穿过海脊的中尺度涡进行空间归一化,对于任意,若所有,则说明此条中尺度涡属于在海脊内消亡的情况;由计算得到的,给定中尺度涡以最长时间跨度跨脊移动的标准空间距离,用以表示每一条部分穿过海脊的中尺度涡在海脊内移动的实际距离和标准距离之间的一个空间缩放指数,并相应地从参考原点时间0开始进一步修改时间跨度,以对齐每个部分穿过海脊的中尺度涡的空间距离:
其中,代表借助上述空间缩放指数调节得到的每条中尺度涡从抵达海脊到在海脊内消亡所经历的最长时间跨度,对于实际距离和标准距离,参考时域为和 ,代表每一条未完全跨越海脊的中尺度涡原始消亡的时刻;根据求得的,采用三次样条插值法,对此类中尺度涡振幅时间序列()做插值,将范围扩展为,此时得;
4)将所有中尺度涡的生存时间范围通过插值扩展到海脊区域之外,并遵循从所有中尺度涡全部或部分经过海脊的实际时间与校正后的持续时间之比得出的尺度原理;当在进行时间规律性和空间归一化后,尝试将观测范围扩展到,其中表示时域扩展的下限,表示时域扩展的上限,对于每个给定的完全穿过海脊的中尺度涡振幅,在穿越海脊前后对时域采用和的时间规律性策略;对于部分行进海脊的中尺度涡,仅需将时间规律性扩展即可;
5)沿着中尺度涡轨迹收集相应的经度和纬度,然后应用ETOPO1综合测深数字高程,以发现海脊对中尺度涡的潜在地形影响;设每个给定中尺度涡轨迹地理位置处的海拔高度为,遵循上述相同时间规律性以及空间归一化原理,构建中尺度涡振幅、旋转速度、半径和地形的标准化时间序列,即,,和;然后对于待研究区域的中尺度涡特征取数学期望,将数学统计直观地应用于研究中的所有中尺度涡,形成所有中尺度涡轨迹的振幅、旋转速度、半径和地形的平均曲线,即、、和;之后,将中尺度涡振幅、旋转速度、半径和地形的均值时间序列数据实施标准差标准化,将不同量纲的时间序列一起比较,如下式所示:
进一步的,所述S2中:首先对中尺度涡经向位移(或纬向位移)数据做单位根检验,验证其具有非平稳性;应用经典的Augmented Dickey-Fuller(ADF)方法,若得到的结果都是存在单位根,即意味着它们都是非平稳时间序列;之后,针对中尺度涡数据包含非平稳信号导致难以长期预测问题,引入应用相关熵的变分模态分解(Variational ModeDecomposition,VMD),搜索最佳参数 ,将非平稳的中尺度涡传播轨迹数据分解为K个平稳的子序列。
更进一步的,所述S2具体包括如下步骤:
1)将原始中尺度涡传播轨迹序列信号构造成一个受约束的变分问题,如下式所示:
其中,是时间t的函数的偏导数,是单位脉冲函数,是带宽有限的第K个固有模态函数,Y为中尺度涡传播轨迹预测序列(经向位移和纬向位移时间序列数据),j表示虚数单位,卷积操作用符号*表示;对于每个模态,采用Hilbert变换建立分析信号,把每一个模态和对应的中心频率的指数项混合,每一个模态的频谱被调制到对应的基频带;然后,对带宽进行估计时采用解调信号的高斯平滑度;接着使用二次惩罚因子,同时使用拉格朗日乘数,将约束变分问题转换成无约束变分问题,如下式所示:
针对求解无约束变分问题,使用乘数交变方向法,该过程如下式所示:
2)搜索最佳K值,将中尺度涡传播轨迹序列输入应用相关熵的变分模态分解(Variational Mode Decomposition,VMD)模型并初始化参数;对于内核空间中两个随机变量G和Q,其非线性局部相似性度量即是相关熵,定义为:
在相关熵中使用高斯核函数,则:
其中,M代表样本总量,;计算原始序列和分解得到的子序列之间的相关熵值,在满足约束条件极限的情况下,判断相关熵值是否等于1;如果熵值等于1,则分解终止,并获得K值,如果熵值不等于1,将执行的循环,直到满足条件为止。
进一步的,所述S3中,所述改进的循环神经网络多步预测模型包括如下模块:
1)初始建立双阶段注意力循环神经网络(Dual-Stage Attention RecurrentNeural Network,DA-RNN)。首先以长短期记忆网络(Long short-term memory, LSTM)为基本单元,每个LSTM单元包含一个细胞状态,对细胞状态的访问由三个门控单元控制,即遗忘门、输入门、输出门。LSTM神经单元当前时刻的隐藏层输出值和细胞状态由上一时刻隐藏层输出值、上一时刻细胞状态和当前时刻的输入值来决定,其内部结构描述如下所示:
其中w和b分别表示t时刻遗忘门、输入门和输出门的权重矩阵和偏置项,表示t时刻的细胞状态,表示当前待添加到细胞状态的信息,表示隐藏层状态(HiddenStates)。激活函数用表示,称为门控状态,0表示禁止通过,1表示完全通过。中括号中的特征沿着特征维度进行连接,符号代表向量矩阵之间的哈达玛积。
通过确定性注意力模型构造输入注意力机制,应用编码器LSTM单元中的先前隐藏状态和细胞状态,如下式所示:
其中,,和代表可学习的权重参数,代表相关性度量结果,将softmax函数应用于以确保所有注意力权重之和为1,代表输入注意力权重,代表给定的第k个特征序列,是编码器在t-1时刻的隐藏状态,是编码器在t-1时刻的细胞状态。输入注意力机制是可以和循环神经网络的其他组件共同训练的前馈网络。
2)将DA-RNN第一阶段的输入注意力改进为两个加性注意力机制串联构造的空间注意力,以学习中尺度涡特征变量之间以及特征变量与预测目标之间更稳健的空间关系;具体而言,给定N(N≥1)个特征序列,假设代表历史序列长度T内的第k个特征序列,代表历史序列长度T内的所有特征序列,代表历史长度T内的目标预测序列;应用注意力机制,获得注意力权重,所有特征序列学习到空间注意权重之后的输出如下所示:
其中,表示在时刻t第l层LSTM输入,T代表输入历史时间序列长度,是第l层LSTM单元,以细胞状态、在t-1时刻生成的隐藏状态和作为输入,并在t时刻输出细胞状态和隐藏状态。和是末尾时刻第三层LSTM的隐藏状态和细胞状态,包含输入多变量时间序列的相互依赖性和时间信息,以此类推,可扩展至更多层,并将其馈送到解码器中进行解码和预测;
4)预测阶段解码器使用另一个LSTM对编码输入进行解码,为避免长序列信息丢失问题,在解码器中采用时间注意力机制,在所有时间步长上自动选择关联最强的编码器隐藏状态;首先基于解码器t-1时刻的隐藏状态和细胞状态,得到t时刻每个编码器隐藏状态的时间注意力权重:
进一步的,所述S4中:所述改进的正则化策略训练模型为以所述S3中的解码器为基础进行改进,首先将解码器分成两种模式,训练阶段基于上一目标真值解码(Decodingbase On Ground-Truth,DOG),测试阶段基于模型自身预测值解码(Decoding base OnPrediction,DOP),用均方误差表示两种模态下预测值的差异,模型最终的损失函数包括两部分,一部分为DOG模式下本来的损失函数Loss,另一部分为正则化项Reg,如下所示:
其中,y代表预测序列某一时刻对应的真实值,代表DOG模式下输出序列真实值,代表DOP模式下输出序列预测值,表示控制正则化项在损失函数中所占比重的超参数;在DOP模式下引入权重,表示该模式下预测值输入所占权重,当前时刻的输入如下所示:
其中是模型t-1时刻的预测值,是t-1时刻输入的经向位移或纬向位移真实值;初期模型未充分训练,取值小,即真实时间序列数据所占比例高,随着模型充分训练,的值逐渐恢复到1,最后DOP模态下的输入恢复完全依赖预测值。
进一步的,所述方法还包括对中尺度涡的自身属性和地形进行相关性分析:
给定中尺度涡振幅、旋转速度、半径的平均曲线、和中任意一个属性曲线用表示,为相对应的中尺度涡在海脊周围地形变化的平均曲线,通过小波分析地形对中尺度涡自身属性影响的潜在响应机制,交叉小波变换表示中尺度涡属性和地形之间的关系:
其中,中尺度涡的自身属性与地形的同步相似性由小波相干系数确定,s代表平滑算子,在时频窗口中,零相干性表示没有关系,而相干性越高则意味着二者之间的关系越强。
本发明基于存在的问题进行改进的过程:
(1)由于本发明针对海洋中尺度涡产生或者消亡的日期并不统一,它们寿命长度并不完全相同,因此它们在海区移动的过程中无法保证都在同一时刻到达同一地点。同时,每一条涡旋在海区的移动位置与轨迹也不尽相同,在进行分析研究时容易表现出差异性,进而影响结果的真实可靠性。提出时间规律性和空间归一化,能够确保每条涡旋的时空意义都相同,减小由中尺度涡的生消周期以及地理位置各不相同而引起的差异。(2)针对中尺度涡数据包含非平稳信号导致难以长期预测问题,引入应用相关熵的变分模态分解,将中尺度涡传播轨迹数据分解为几个平稳的子序列,分别预测子序列后再将结果相加,以获得目标预测结果。(3)针对中尺度涡相关特征变量之间以及特征变量与预测目标之间复杂的时空关系,以DA-RNN为基础网络进行改进,通过串联注意力机制构造空间注意力模块,以提高模型对于复杂空间关系的捕捉能力,并进一步关注学习到的重要特征。(4)通过堆叠残差LSTMs提高网络获取多个变量之间长期时间依赖关系的能力,并提高模型的预测性能。(5)针对编码器-解码器架构中训练和测试数据不匹配导致的时序预测误差会随着时间步长积累问题,采用正则化训练策略训练模型,增强模型长期预测的能力,但在模型训练前期因数据噪声太大令模型收敛困难,针对这一问题对正则化训练策略进行改进,引入权重方式代替概率方式,使得预测值和真实值都可以使用到,降低噪声,并实现高精度的长期预测。
本发明的优点和有益效果:
本发明针对中尺度涡传播轨迹预测需求,基于中尺度涡的自身属性(振幅、旋转速度和半径)、地形变化量、经纬度和经向位移(或纬向位移),提出了一种基于变分模态分解和双阶段注意力RNN的海脊中尺度涡传播轨迹预测方法。
本发明对中尺度涡经向位移(或纬向位移)数据做单位根检验,验证其具有非平稳性;然后引入应用相关熵的变分模态分解,将中尺度涡传播轨迹数据分解为几个平稳的子序列,分别预测子序列后再将结果相加,以获得目标预测结果;进一步以DA-RNN为基础网络进行改进,通过串联注意力机制构造空间注意力模块,以提高模型对于复杂空间关系的捕捉能力,并进一步关注学习到的重要特征,同时通过堆叠残差LSTMs提高网络获取多个变量之间长期时间依赖关系的能力,并提高模型的预测性能;引入权重方式代替概率方式,构建正则化训练策略训练模型,使得预测值和真实值都可以使用到,降低噪声,并实现高精度的长期预测。
本发明从机器学习角度通过卫星测高观测技术辅助中尺度涡轨迹数据的预测研究,中尺度涡的准确预测对理解它的传播和演化特征,提高气候变化的模拟能力都具有重要的科学和应用意义。
附图说明
图1是本发明的整体流程图。
图2是实例1中的伊豆小笠原海脊周围地形图(上图)及放大图(下图)。
图3是实例1中69条中尺度涡轨迹进行数理统计处理后的曲线图;(a)是经过扩大范围处理后的69条中尺度涡振幅曲线图,(b)是经过扩大范围处理后的69条中尺度涡转速度曲线图,(c)是经过扩大范围处理后的69条中尺度涡半径曲线图。
图4是实例1中69条中尺度涡轨迹与地形比较图;(a)是经过标准差标准化处理后32/37/69条中尺度涡振幅平均曲线,(b)是经过标准差标准化处理后32/37/69条中尺度涡旋转速度平均曲线,(c)是经过标准差标准化处理后32/37/69条中尺度涡半径平均曲线,(d)是经过标准差标准化处理后69条中尺度涡轨迹对应的地形平均曲线。
图5是实例1中69条中尺度涡轨迹特征和对应区域经过标准化后曲线图。
图6是实例1中平均地形与69条中尺度涡的平均振幅、旋转速度和半径之间随时间变化的小波相干图;(a)是69条中尺度涡均值振幅和地形之间的小波相干图,(b)是69条中尺度涡均值旋转速度和地形之间的小波相干图,(c)是69条中尺度涡均值半径和地形之间的小波相干图。
图7 是实例1中中尺度涡数据的VMD分解图;(a)是中尺度涡三周经向位移VMD分解结果,(b)是中尺度涡三周纬向位移VMD分解结果。
图8是本发明的中尺度涡传播轨迹预测模型的总体框架图。
图9是本发明的空间注意力结构网络图。
图10是本发明的堆叠残差LSTMs网络图。
图11是本发明的正则化训练策略图。
图12是实例1中的三种深度学习方法预测的一条中尺度涡21(2016.08.10-2016.08.31)的三周经向位移可视化结果。
图13是实例1中的三种深度学习方法预测的一条中尺度涡21(2016.08.10-2016.08.31)的三周纬向位移可视化结果。
图14是三种方法预测的该条中尺度涡三周经向位移和三周纬向位移转换为经纬度后的传播轨迹可视化结果;黑色三角形代表真实值,黑色圆圈代表本文方法预测的结果,灰色菱形代表GeoMAN预测的结果,黑色方形代表DA-RNN预测的结果。
具体实施方式
为使本发明的目的、实施方案和优点更为清晰,下面结合附图并通过具体实施例来进一步详细说明本发明。
实施例1:
关于数据收集:本发明收集从AVISO卫星高度计检索的中尺度涡旋轨迹数据(Chelton等,2011年),包括振幅、旋转速度、半径及经纬度在内的中尺度涡轨迹属性描述数据,以及来自ETOPO1的海洋测深数据,涉及中尺度涡轨迹经纬度位置对应的地形测深数据。其中,中尺度涡振幅表示海面高度(Sea Surface Height,SSH)最大值和中尺度涡内SSH平均值之间的差值,旋转速度表示中尺度涡内SSH所有闭合轮廓周围的最大平均地转速度,半径表示当中尺度涡达到最大平均地转速度时SSH闭合轮廓内的圆的半径。
实施例1:以西北太平洋伊豆小笠原海脊中尺度涡轨迹为预测对象。
本实施例的具体流程图如图1所示。
本实施例中具体研究位置如图2所示,从1993-2018年间在研究区域(130°E~170°E,20°N~35°N)中发现的69条从东向西传播经过伊豆-小笠原海脊且生命周期大于6个月的中尺度涡作为待研究对象,其中32条中尺度涡轨迹完全跨越海脊,37条中尺度涡轨迹没有完全跨越海脊。
以下步骤应当结合附图,以及具体结果进行详细描述,并应当只是发明内容里概况的步骤。
步骤一、使用卫星高度计获得的中尺度涡轨迹数据,构建数据集。用表示中尺度涡多变量时间序列数据,其中ZD代表三周纬向位移,MD代表三周经向位移,A代表振幅,S代表旋转速度,R代表半径,Lat代表纬度,Lon代表经度,B代表地形变化量,n代表序列长度,s代表序列总数(s=8),ZD或MD为预测序列用Y表示。接着对中尺度涡轨迹数据进行处理,包括如下步骤:
1.令中尺度涡的总数为I,第i个中尺度涡表示为,,其中代表给定的中尺度涡移动的生存时间,然后可以将给定的中尺度涡振幅、旋转速度和半径分别定义为,和。对于每个中尺度涡,首先将上述三个属性中的时域进行转换,以使到达时间一致地对齐,如公式(1)所示:
2. 对32条完全跨越海脊的中尺度涡做时间规律性处理。令代表每个中尺度涡所经过的地理位置的经纬度,其中r表示海脊区域。在海脊区域以内,对任意,若存在,则说明此条中尺度涡属于完全越过海脊的情况。定义来检查每个中尺度涡在整个海脊区域内的移动时间跨度,其中表示中尺度涡从参考原点时间0移动到海脊区域西边缘的持续时间,可找到一条从到达海脊东侧到越过海脊西侧用时最长的中尺度涡。之后,在每条中尺度涡穿越整个海脊的实际时间跨度与最长时间跨度之间定义一个时间缩放指数,之后以中尺度涡振幅时间序列为例,采用三次样条插值法变换为。假定共有J段中尺度涡振幅插值计算,第j段三次多项式曲线拟合形式为:
在矩阵形式中,控制方程式简化为三对角线形式:
针对32条完全跨越海脊的中尺度涡,通过处理后,得到一条最长经过116天移动出海脊区域的涡旋,同时得到其从到达海脊东侧到完全跨越海脊所移动的最长距离为513.202km。
3. 对部分穿过海脊的中尺度涡进行空间归一化,对于任意,若所有,则说明此条中尺度涡属于在海脊内消亡的情况。由计算得到的,给定中尺度涡以最长时间跨度跨脊移动的标准空间距离,表示每一条部分穿过海脊的中尺度涡在海脊内移动的实际距离和标准距离之间的一个空间缩放指数,并相应地从参考原点时间0开始进一步修改时间跨度,以对齐每个部分穿过海脊的中尺度涡的空间距离:
其中,代表借助上述空间缩放指数进行调节得到的每条中尺度涡从碰到海脊东侧到在海脊内消亡用的最长时间跨度,对于实际距离和标准距离,参考时域为和,代表每一条未完全跨越海脊的中尺度涡消亡的时刻。根据求得的,采用三次样条插值法,对此类中尺度涡振幅时间序列做插值,将范围扩展为,此时得;
4. 将研究的所有中尺度涡的生存时间范围通过插值扩展到海脊区域之外,并遵循从所有中尺度涡全部或部分经过海脊的实际时间与校正后的持续时间之比得出的尺度原理。例如,当在初始化阶段重置时间序列后,尝试将范围扩展到时域[-30,150]天时,对于每个给定的完全穿过海脊的中尺度涡振幅,可以在穿越海脊前后对时域采用和的时间规律性策略。对于部分行进海脊的中尺度涡,仅需将时间规律性扩展即可。
本示例将研究中的时域从[0,116]天扩展到[-30,150]天,即在到达海脊边缘之前和之后考虑更多的中尺度涡活动。通过分别将所有69个时间序列合成为时空对齐的平均曲线,进行数学统计以探索地形与中尺度涡的三个属性(即振幅,旋转速度,半径)之间潜在的时空对应关系。扩大范围后,69条中尺度涡的振幅a、旋转速度b和半径的时间序列c分别如图3所示,其平均曲线以粗线表示。
5. 进一步对69条中尺度涡均值化后的时间序列应用标准差标准化方法,以将它们放在一起进行比较分析。首先设每个给定中尺度涡轨迹地理位置处的海拔高度为,遵循上述相同时间规律性以及空间归一化原理,构建中尺度涡振幅、旋转速度、半径和地形的标准化时间序列,即,,和。然后对于待研究区域的中尺度涡特征取数学期望,将数学统计直观地应用于研究中的所有中尺度涡,形成所有中尺度涡轨迹的振幅、旋转速度、半径和地形的平均曲线,即、、和,如图4所示。图4中,中尺度涡振幅、旋转速度和半径分别与地形比较图。共同比较了地形和中尺度涡振幅、旋转速度以及半径的平均曲线,其中图4(a)、4(b)、4(c)列出了所有69条中尺度涡平均曲线(方形曲线)、32条完全穿过海脊的中尺度涡平均曲线(*号曲线)和37条部分穿过海脊的中尺度涡平均曲线(圆圈曲线);图4(d) 列出了平均海拔高度,相应的平均地形曲线是根据所涉及的所有中尺度涡轨迹从海脊区域及其附近每个地理位置的海拔高度平均积累的。之后,将中尺度涡振幅、半径和旋转速度以及地形均值时间序列数据实施标准差标准化,将不同量纲的时间序列放在一起比较,如公式8所示:
其中,,和分别代表,,和的平均值,,,和分别代表,,和的标准差,结果如图5所示,将69条中尺度涡均值化后的时间序列应用标准差标准化方法,标准化后的地形均值曲线(黑色曲线)、中尺度涡振幅均值曲线(五角星曲线)、半径均值曲线(菱形曲线)和速度均值曲线(+号曲线)。
步骤二、给定中尺度涡振幅、旋转速度、半径的平均曲线,,中任意一个属性曲线用表示,为相对应的中尺度涡在海脊周围地形变化的平均曲线,通过小波分析地形对中尺度涡自身属性影响的潜在响应机制,交叉小波变换表示中尺度涡属性和地形之间的关系:
进一步的,通过小波相干性测量中尺度涡的自身属性与地形之间的相关性:
其中,中尺度涡的自身属性与地形的同步相似性由小波相干系数确定,s代表平滑算子,在时频窗口中,零相干性表示没有关系,而相干性越高则意味着二者之间的关系越强。图6代表平均地形与69条中尺度涡的平均振幅、旋转速度和半径之间随时间变化的小波相干图,按照时间变化,在不同频带上,它们给出了两个时间序列数据的相关程度,小波相关性受不连续性影响。其中,边缘COI用黑色粗曲线表示,分别用黑色细线和黑色虚线表示5%和10%的显著性水平,其显著性值是通过Monte Carlo模拟生成的。图6中,边缘COI用黑色粗曲线表示,分别用黑色细线和黑色虚线表示5%和10%的显著性水平,按照时间变化,在不同频带上,给出了两个时间序列数据的相关程度,小波相关性受不连续性影响。
关于相关性的具体分析:如图6(a)所示,在2-5天的短期频带中,当中尺度涡刚刚到达海脊的东边缘或接近离开海脊区域时,在15-25天和93-110天发生了显著的强相关性。在7-10天的中期频段,第30-50天反映出显著的负相关性。从16-25天的长期频带开始,强烈的负相关在80-110天期间持续,那时中尺度涡几乎到达了海脊的西边缘。对于地形与中尺度涡旋转速度(69条),如图6(b)所示,从小波相干图可以看出,在2-4天的短期频带中,第0-10天和第95-105天存在显著的负相关,即当中尺度涡刚在海脊东边缘移动与几乎越过海脊西边缘时。在6-10天的中期频带中,强负相关性介于第45-55天和第90-105天之间。对于地形与中尺度涡半径(69条),如图6(c)所示,从小波相干图可以看出,在4-7天的短期频带中,在第28-35天存在很强的相关性。在7-10天的中期频段,第42-50天反映出显著的负相关性。从16-25天的长期频带开始,当中尺度涡几乎离开海脊的西边缘时,这种强烈的负相关关系一直持续到第100-115天。
步骤三、首先针对本实例所使用的1993-2018年32条完全穿越海脊的中尺度涡传播三周经向位移和三周纬向位移轨迹时间序列数据,做单位根检验,验证其具有非平稳性。对中尺度涡三周经向位移(三周纬向位移)数据应用经典的Augmented Dickey-Fuller(ADF)方法,若得到的结果都是存在单位根,即意味着它们都是非平稳时间序列。从中随机抽取一条中尺度涡为例,其包含两个传播轨迹时间序列样本,即三周纬向位移和三周经向位移,表1为此条中尺度涡三周经向位移和三周纬向位移单位根检验结果,原假设是存在单位根,在三周经向位移的结果中,-0.919277为T值(即t-统计量),0.7811为P值(表示T值对应的概率值),99%、95%和90%置信区间下临界ADF检验结果分别是-3.455887、-2.872675和-2.572778。如果T值比1%、5%和10%不同程度表示原假设不成立的统计值都小,或者P<0.05,意味着原假设不成立。本数据中P>0.05,说明中尺度涡三周经向位移时间序列非平稳,同理,对于中尺度涡三周纬向位移时间序列,P>0.05,也为非平稳序列。
表1 中尺度涡传播轨迹数据单位根检验结果
检验数据 | 1%水平 | 5%水平 | 10%水平 | t-统计量 | 概率 |
三周经向位移 | -3.455887 | -2.872675 | -2.572778 | -0.919277 | 0.7811 |
三周纬向位移 | -3.455990 | -2.872720 | -2.572802 | -2.568030 | 0.1010 |
之后,针对中尺度涡数据包含非平稳信号导致难以长期预测问题,引入应用相关熵的变分模态分解(Variational Mode Decomposition,VMD),搜索最佳参数K,将非平稳的中尺度涡传播轨迹数据分解为K个平稳的子序列,主要包括如下操作:
1.将原始中尺度涡传播轨迹序列信号构造成一个受约束的变分问题,如下式所示:
其中,是时间t的函数的偏导数,是单位脉冲函数,是带宽有限的第K个固有模态函数,Y为中尺度涡传播轨迹预测序列(经向位移和纬向位移时间序列数据),j表示虚数单位,卷积操作用符号*表示;对于每个模态,采用Hilbert变换建立分析信号,把每一个模态和对应的中心频率的指数项混合,每一个模态的频谱被调制到对应的基频带;然后,对带宽进行估计时采用解调信号的高斯平滑度;接着使用二次惩罚因子,同时使用拉格朗日乘数λ,将约束变分问题转换成无约束变分问题,如下式所示:
针对求解无约束变分问题,使用乘数交变方向法,该过程如下式所示:
2. 搜索最佳K值,将中尺度涡传播轨迹序列输入应用相关熵的变分模态分解(Variational Mode Decomposition,VMD)模型并初始化参数;对于内核空间中两个随机变量G和Q,其非线性局部相似性度量即是相关熵,定义为:
在相关熵中使用高斯核函数,则:
其中,M代表样本总量,;计算原始序列和分解得到的子序列之间的相关熵值,在满足约束条件极限的情况下,判断相关熵值是否等于1;如果熵值等于1,则分解终止,并获得K值,如果熵值不等于1,将执行的循环,直到满足条件为止。
针对32条完全跨越海脊的中尺度涡分别重复以上步骤,根据结果,本实例最终确定中尺度涡三周经向位移和三周纬向位移的VMD分解最佳参数都为K=3。同样随机抽取一条中尺度涡,其VMD分解结果如图7所示,(a)和(b)中第一行都为原始时间序列,第二、三和四行分别为分解得到的IMF,即子序列1、子序列2、子序列3。
步骤四、 构建基于双阶段注意力循环神经网络(DA-RNN)改进的多步预测网络,如图8所示,包括以下过程:
首先,初始建立双阶段注意力循环神经网络(Dual-Stage Attention RecurrentNeural Network,DA-RNN)。以长短期记忆网络(Long short-term memory, LSTM)为基本单元,每个LSTM单元包含一个细胞状态,对细胞状态的访问由三个门控单元控制,即遗忘门、输入门、输出门。LSTM神经单元当前时刻的隐藏层输出值和细胞状态由上一时刻隐藏层输出值、上一时刻细胞状态和当前时刻的输入值来决定,其内部结构描述如下所示:
其中w和b分别表示t时刻遗忘门、输入门和输出门的权重矩阵和偏置项,表示t时刻的细胞状态,表示当前待添加到细胞状态的信息,表示隐藏层状态(Hidden States)。激活函数用表示,称为门控状态,0表示禁止通过,1表示完全通过。中括号中的特征沿着特征维度进行连接,符号代表向量矩阵之间的哈达玛积。
通过确定性注意力模型构造输入注意力机制,应用编码器LSTM单元中的先前隐藏状态和细胞状态,如下式所示:
其中,,和代表可学习的权重参数,代表相关性度量结果,将softmax函数应用于以确保所有注意力权重之和为1,代表输入注意力权重,代表给定的第k个特征序列,是编码器在t-1时刻的隐藏状态,是编码器在t-1时刻的细胞状态。输入注意力机制是可以和循环神经网络的其他组件共同训练的前馈网络。
接着,改进空间关系提取模块,将DA-RNN第一阶段的输入注意力机制改为由两个注意力机制串联组成的空间注意力模块,如图9所示,以学习中尺度涡特征变量之间以及特征变量与预测目标之间更稳健的空间关系。以预测中尺度涡三周纬向位移振幅特征序列为例,由相关性度量得到第一级注意力权重,则所有特征序列学习到的空间注意力权重为,,接着把与预测子序列Y连接成,并计算相关性得到第二级注意力权重,则空间注意力模块最终输出,以自适应地从相关多变量中选择学习复杂空间关系并专注于与预测过程最相关的基本特征,其中编码器在t-1时刻的隐藏状态为,编码器在t-1时刻的细胞状态为。V、w和u是需要学习的权重参数。
然后改进堆叠残差LSTMs,将DA-RNN模型编码器中的单层LSTM单元改成垂直堆叠三个隐藏层大小相同的LSTM多层结构,同时将残差连接引入到堆叠的LSTMs中,如图10所示,则三层的堆叠残余LSTMs输出包括细胞状态和隐藏状态可如下式表示:
其中,表示在时刻t第l层LSTM输入,T代表输入历史时间序列长度,是第l层LSTM单元,以细胞状态、在t-1时刻生成的隐藏状态和作为输入,并在t时刻输出细胞状态和隐藏状态。和是末尾时刻第三层LSTM的隐藏状态和细胞状态,包含输入多变量时间序列的相互依赖性和时间信息,以此类推,可扩展至更多层,并将其馈送到解码器中进行解码和预测。
之后,编码器最后一层的隐藏状态被馈送到时间注意力模块中,根据解码器和编码器隐藏状态间的相关性可以获得每个隐藏层向量的归一化权重,其中代表解码器在t-1时刻的隐藏状态,代表解码器在t-1时刻的细胞状态,、和是需要学习的权重参数。之后对编码器隐藏状态做加权求和处理,获得解码器在t时刻对应的上下文向量,在相应的时间结合上下文向量C和预测子序列Y,同时把结合结果用作更新解码器隐藏状态,表示以单层LSTM组成的解码器,和是将串联映射到解码器隐藏状态大小的参数,代表t-1时刻的真实值。需要注意的是:对于解码器,初始时刻只有上下文向量C更新隐藏状态,没有其它输入;在训练的时候输入为C和上一时刻的真实值,但在测试时因为没有上一时刻的真实值,输入为C和上一时刻的预测值。
步骤五、改进正则化训练,首先将解码器分成两种模式,训练阶段基于上一目标真值解码(Decoding base On Ground-Truth,DOG),测试阶段基于模型自身预测值解码(Decoding base On Prediction,DOP),用均方误差表示两种模态下预测值的差异,模型最终的损失函数包括两部分,一部分为DOG模式下本来的损失函数Loss,另一部分为正则化项Reg,如下所示:
其中,y代表预测序列某一时刻对应的真实值,代表DOG模式下输出序列真实值,代表DOP模式下输出序列预测值,X表示控制正则化项在损失函数中所占比重的超参数,此例中设置。在DOP模式下引入权重,表示该模式下预测值输入所占权重,当前时刻的输入如下所示:
其中是模型t-1时刻的预测值,是t-1时刻输入的真实的中尺度涡数据,改进后正则化训练策略的框架如图11所示。未进行改进之前,是1,即全采用预测数据。改进之后,初期模型未充分训练,的值非常小,即真实数据所占比例高,随着模型充分训练,的值逐渐恢复到1,最后DOP模态下的输入恢复完全依赖预测值。另外,针对权重随训练步数调整问题,本例使用反S形增长的权重调整方式。
步骤六、将分解得到的3个平稳子序列和多特征变量序列依次送入基于DA-RNN改进的多步预测网络并通过改进的正则化策略训练模型,分别预测子序列,最后将3个预测的子序列结果相加,以获得目标预测结果。
结果分析:
图12和图13显示了分别使用本发明提出的预测方法、GeoMAN、DA-RNN三种深度学习方法预测一条中尺度涡21天(2016.08.10-2016.08.31)的三周经向位移和三周纬向位移可视化结果,图14是三种方法预测的该条中尺度涡三周经向位移和三周纬向位移转换为经纬度后的传播轨迹可视化结果,图中黑色三角形曲线代表真实值,圆圈曲线代表本文方法预测的结果,菱形曲线代表GeoMAN预测的结果,方形曲线代表DA-RNN预测的结果。
由图12和图13可以看出,本发明算法预测的结果与真实值最为接近,GeoMAN虽然在前期预测准确,但后期也不可避免的出现明显的误差,DA-RNN预测的结果和真实值之间的误差一直最大。本发明通过应用相关熵的变分模态分解消减了中尺度涡的非平稳性,通过空间注意力模块和堆叠残差LSTMs增强了捕获多变量间复杂空间关系以及时间依赖性的能力与网络性能,并通过改进的正则化训练策略缓解了多步预测中存在的误差逐步积累的问题,与DA-RNN和GeoMAN预测越来越不准确的情况相比,本发明的方法有利于中尺度涡传播轨迹的长期预测,图14的轨迹预测结果印证了上述结论。
Claims (7)
1.一种中尺度涡轨迹平稳序列提取与循环神经网络预测方法,其特征在于,包括以下步骤:
S1:收集相关数据,包括中尺度涡旋传播轨迹和海洋测深数据,并对相关数据进行数理统计,得到多特征变量序列;
S2:将非平稳的中尺度涡传播轨迹分解为K个最佳平稳子序列;
S3:建立基于改进的循环神经网络多步预测模型;所述S3中,所述改进的循环神经网络多步预测模型包括如下模块:
1)初始建立双阶段注意力循环神经网络DA-RNN;首先以长短期记忆网络LSTM为基本单元,每个LSTM单元包含一个细胞状态,对细胞状态的访问由三个门控单元控制,即遗忘门、输入门、输出门;
2)将DA-RNN第一阶段的输入注意力改进为两个加性注意力机制串联构造的空间注意力,以学习中尺度涡特征变量之间以及特征变量与预测目标之间更稳健的空间关系;
3)将DA-RNN模型编码器中单层LSTM单元改成垂直堆叠多个隐藏层大小相同的LSTM多层结构,同时将残差连接引入到堆叠的LSTM中;
4)预测阶段解码器使用另一个LSTM对编码输入进行解码,为避免长序列信息丢失问题,在解码器中采用时间注意力机制,在所有时间步长上自动选择关联最强的编码器隐藏状态;
S4:构建改进的正则化策略训练模型;所述改进的正则化策略训练模型为以所述S3中的解码器为基础进行改进,首先将解码器分成两种模式,训练阶段基于上一目标真值解码DOG,测试阶段基于模型自身预测值解码DOP,用均方误差表示两种模态下预测值的差异,模型最终的损失函数包括两部分,一部分为DOG模式下本来的损失函数Loss,另一部分为正则化项Reg;
S5:将S2分解后的所述K个最佳平稳子序列以及S1得到的多特征变量序列构成训练样本集,依次送入S3获取的改进的循环神经网络多步预测模型,并通过S4的改进的正则化策略训练模型,进行训练,分别得到训练好的循环神经网络多步预测模型和正则化策略训练模型;再将测试样本集经过S1和S2处理后,输入至训练好的循环神经网络多步预测模型和正则化策略训练模型,最终获得目标预测结果。
2.如权利要求1所述的中尺度涡轨迹平稳序列提取与循环神经网络预测方法,其特征在于,所述S1中,所述数理统计,包括如下步骤:
1) 将所述中尺度涡旋传播轨迹初始化:建立统一坐标系,将所有中尺度涡初始到达海脊边缘时间统一重置为参考原点;设中尺度涡总数为I,第i个中尺度涡表示为 ,,其中 代表给定第 i个中尺度涡的生存时间,相应地,设第i个中尺度涡的振幅、旋转速度、半径分别定义为,,;对于每个中尺度涡轨迹,将上述三个特征属性时域转换,使其到达海脊边缘时间趋于一致性对齐,如下所示:
2) 对所有完全穿过海脊区域的中尺度涡做时间规律性处理:令 代表第i个中尺度涡传播轨迹所历经的地理位置经纬度,设γ代表海脊区域,对任意时刻,若存在 ,则说明此中尺度涡轨迹属于完全跨越过海脊的情况;检查每个中尺度涡在整个海脊区域内传播的时间跨度,设 表示第i个中尺度涡从参考原点时间跨越整个海脊区域的持续时间,寻找所有始于海脊东侧直至抵达海脊西侧用时最长的中尺度涡, ,定义每条中尺度涡穿越整个海脊的实际时间跨度与所有中尺度涡传播轨迹中最长时间跨度 之间的时间缩放指数,之后以中尺度涡振幅时间序列()为例,采用三次样条插值法变换为();假定共有J段中尺度涡振幅插值计算,第j段三次多项式曲线拟合形式为:
以矩阵形式表示,控制方程式可简化为三对角线形式:
3)对部分穿过海脊的中尺度涡进行空间归一化,对于任意,若所有,则说明此条中尺度涡属于在海脊内消亡的情况;由计算得到的,给定中尺度涡以最长时间跨度跨脊移动的标准空间距离,用以表示每一条部分穿过海脊的中尺度涡在海脊内移动的实际距离和标准距离之间的一个空间缩放指数,并相应地从参考原点时间0开始进一步修改时间跨度,以对齐每个部分穿过海脊的中尺度涡的空间距离:
其中,代表借助上述空间缩放指数调节得到的每条中尺度涡从抵达海脊到在海脊内消亡所经历的最长时间跨度,对于实际距离和标准距离,参考时域为和 ,代表每一条未完全跨越海脊的中尺度涡原始消亡的时刻;根据求得的,采用三次样条插值法,对此类中尺度涡振幅时间序列()做插值,将范围扩展为,此时得;
4)将所有中尺度涡的生存时间范围通过插值扩展到海脊区域之外,并遵循从所有中尺度涡全部或部分经过海脊的实际时间与校正后的持续时间之比得出的尺度原理;当在进行时间规律性和空间归一化后,将观测范围扩展到,其中表示时域扩展的下限,表示时域扩展的上限,对于每个给定的完全穿过海脊的中尺度涡振幅,在穿越海脊前后对时域采用和的时间规律性策略;对于部分行进海脊的中尺度涡,仅需将时间规律性扩展即可;
5)沿着中尺度涡轨迹收集相应的经度和纬度,然后应用ETOPO1综合测深数字高程,以发现海脊对中尺度涡的潜在地形影响;设每个给定中尺度涡轨迹地理位置处的海拔高度为,遵循上述相同时间规律性以及空间归一化原理,构建中尺度涡振幅、旋转速度、半径和地形的标准化时间序列,即,,和;然后对于待研究区域的中尺度涡特征取数学期望,将数学统计直观地应用于研究中的所有中尺度涡,形成所有中尺度涡轨迹的振幅、旋转速度、半径和地形的平均曲线,即、、和;之后,将中尺度涡振幅、旋转速度、半径和地形的均值时间序列数据实施标准差标准化,将不同量纲的时间序列一起比较,如下式所示:
3.如权利要求1所述的中尺度涡轨迹平稳序列提取与循环神经网络预测方法,其特征在于,所述S2中:首先对中尺度涡经向位移或纬向位移的数据做单位根检验,验证其具有非平稳性;应用经典的Augmented Dickey-Fuller方法,若得到的结果都是存在单位根,即意味着它们都是非平稳时间序列;之后,针对中尺度涡数据包含非平稳信号导致难以长期预测问题,引入应用相关熵的变分模态分解VMD,搜索最佳参数,将非平稳的中尺度涡传播轨迹数据分解为K个平稳的子序列。
4.如权利要求3所述的中尺度涡轨迹平稳序列提取与循环神经网络预测方法,其特征在于,所述S2具体包括如下步骤:
1)将原始中尺度涡传播轨迹序列信号构造成一个受约束的变分问题,如下式所示:
其中,是时间t的函数的偏导数,是单位脉冲函数,是带宽有限的第K个固有模态函数,Y为中尺度涡传播轨迹预测序列,j表示虚数单位,卷积操作用符号*表示;对于每个模态,采用Hilbert变换建立分析信号,把每一个模态和对应的中心频率的指数项混合,每一个模态的频谱被调制到对应的基频带;然后,对带宽进行估计时采用解调信号的高斯平滑度;接着使用二次惩罚因子,同时使用拉格朗日乘数,将约束变分问题转换成无约束变分问题,如下式所示:
针对求解无约束变分问题,使用乘数交变方向法,该过程如下式所示:
2)搜索最佳K值,将中尺度涡传播轨迹序列输入应用相关熵的变分模态分解VMD模型并初始化参数;对于内核空间中两个随机变量G和Q,其非线性局部相似性度量即是相关熵,定义为:
在相关熵中使用高斯核函数,则:
5.如权利要求1所述的中尺度涡轨迹平稳序列提取与循环神经网络预测方法,其特征在于,所述S3中,所述改进的循环神经网络多步预测模型包括如下模块:
1)初始建立双阶段注意力循环神经网络DA-RNN;首先以长短期记忆网络LSTM为基本单元,每个LSTM单元包含一个细胞状态,对细胞状态的访问由三个门控单元控制,即遗忘门、输入门、输出门;LSTM神经单元当前时刻的隐藏层输出值和细胞状态由上一时刻隐藏层输出值、上一时刻细胞状态和当前时刻的输入值来决定,其内部结构描述如下所示:
其中w和b分别表示t时刻遗忘门、输入门和输出门的权重矩阵和偏置项,表示t时刻的细胞状态,表示当前待添加到细胞状态的信息,表示隐藏层状态;激活函数用表示,称为门控状态,0表示禁止通过,1表示完全通过;中括号中的特征沿着特征维度进行连接,符号代表向量矩阵之间的哈达玛积;
通过确定性注意力模型构造输入注意力机制,应用编码器LSTM单元中的先前隐藏状态和细胞状态,如下式所示:
其中,,和代表可学习的权重参数,代表相关性度量结果,将softmax函数应用于以确保所有注意力权重之和为1,代表输入注意力权重,代表给定的第k个特征序列,是编码器在t-1时刻的隐藏状态,是编码器在t-1时刻的细胞状态;输入注意力机制是和循环神经网络的其他组件共同训练的前馈网络;
2)将DA-RNN第一阶段的输入注意力改进为两个加性注意力机制串联构造的空间注意力,以学习中尺度涡特征变量之间以及特征变量与预测目标之间更稳健的空间关系;具体而言,给定N,N≥1个特征序列,假设代表历史序列长度T内的第k个特征序列,代表历史序列长度T内的所有特征序列,代表历史长度T内的目标预测序列;应用注意力机制,获得注意力权重,所有特征序列学习到空间注意权重之后的输出如下所示:
其中,表示在时刻t第l层LSTM输入,T代表输入历史时间序列长度,是第l层LSTM单元,以细胞状态、在t-1时刻生成的隐藏状态和作为输入,并在t时刻输出细胞状态和隐藏状态;和是末尾时刻第三层LSTM的隐藏状态和细胞状态,包含输入多变量时间序列的相互依赖性和时间信息,以此类推,扩展至更多层,并将其馈送到解码器中进行解码和预测;
4)预测阶段解码器使用另一个LSTM对编码输入进行解码,为避免长序列信息丢失问题,在解码器中采用时间注意力机制,在所有时间步长上自动选择关联最强的编码器隐藏状态;首先基于解码器t-1时刻的隐藏状态和细胞状态,得到t时刻每个编码器隐藏状态的时间注意力权重:
6.如权利要求1所述的中尺度涡轨迹平稳序列提取与循环神经网络预测方法,其特征在于,所述S4中:所述改进的正则化策略训练模型为以所述S3中的解码器为基础进行改进,首先将解码器分成两种模式,训练阶段基于上一目标真值解码DOG,测试阶段基于模型自身预测值解码DOP,用均方误差表示两种模态下预测值的差异,模型最终的损失函数包括两部分,一部分为DOG模式下本来的损失函数Loss,另一部分为正则化项Reg,如下所示:
其中,y代表预测序列某一时刻对应的真实值,代表DOG模式下输出序列真实值,代表DOP模式下输出序列预测值,表示控制正则化项在损失函数中所占比重的超参数;在DOP模式下引入权重,表示该模式下预测值输入所占权重,当前时刻的输入如下所示:
7.如权利要求1所述的中尺度涡轨迹平稳序列提取与循环神经网络预测方法,其特征在于,所述方法还包括对中尺度涡的自身属性和地形进行相关性分析:给定中尺度涡振幅、旋转速度、半径的平均曲线、和中任意一个属性曲线用表示,为相对应的中尺度涡在海脊周围地形变化的平均曲线,通过小波分析地形对中尺度涡自身属性影响的潜在响应机制,交叉小波变换表示中尺度涡属性和地形之间的关系:
其中,中尺度涡的自身属性与地形的同步相似性由小波相干系数确定,s代表平滑算子,在时频窗口中,零相干性表示没有关系,而相干性越高则意味着二者之间的关系越强。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110939989.2A CN113392961B (zh) | 2021-08-17 | 2021-08-17 | 中尺度涡轨迹平稳序列提取与循环神经网络预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110939989.2A CN113392961B (zh) | 2021-08-17 | 2021-08-17 | 中尺度涡轨迹平稳序列提取与循环神经网络预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113392961A CN113392961A (zh) | 2021-09-14 |
CN113392961B true CN113392961B (zh) | 2021-11-09 |
Family
ID=77622721
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110939989.2A Active CN113392961B (zh) | 2021-08-17 | 2021-08-17 | 中尺度涡轨迹平稳序列提取与循环神经网络预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113392961B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114553963B (zh) * | 2022-02-24 | 2023-07-25 | 重庆邮电大学 | 移动边缘计算中基于深度神经网络的多边缘节点协作缓存方法 |
CN114782871B (zh) * | 2022-04-29 | 2022-11-25 | 广东技术师范大学 | 一种基于物联网的海洋异常信息监测方法和装置 |
CN115408931B (zh) * | 2022-08-16 | 2023-04-18 | 哈尔滨工业大学 | 一种基于深度学习的涡振响应预测方法 |
CN116192665A (zh) * | 2022-12-27 | 2023-05-30 | 中移动信息技术有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
CN115964546B (zh) * | 2023-01-06 | 2023-05-30 | 中国海洋大学 | 一种基于边绑定的涡旋迁移通道提取及可视化方法 |
CN116362428A (zh) * | 2023-06-01 | 2023-06-30 | 国网天津市电力公司城南供电分公司 | 基于vmd-pcf-arima的短期负荷预测方法 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104915670A (zh) * | 2015-04-29 | 2015-09-16 | 中国海洋大学 | 基于hog特征提取的全球海洋中尺度涡识别算法 |
CN106815577A (zh) * | 2017-01-20 | 2017-06-09 | 中国科学院遥感与数字地球研究所 | 一种海洋中尺度涡的识别方法和装置 |
CN109447315A (zh) * | 2018-09-18 | 2019-03-08 | 中国电力科学研究院有限公司 | 一种基于多时空尺度的电力气象数值天气预报方法和装置 |
CN110097075A (zh) * | 2019-03-21 | 2019-08-06 | 国家海洋信息中心 | 基于深度学习的海洋中尺度涡分类识别方法 |
CN110222828A (zh) * | 2019-06-12 | 2019-09-10 | 西安交通大学 | 一种基于混合深度神经网络的非定常流场快速预测方法 |
CN111027672A (zh) * | 2019-11-13 | 2020-04-17 | 浙江大学 | 一种基于交互式多尺度循环神经网络的时间序列预测方法 |
CN111695299A (zh) * | 2020-06-04 | 2020-09-22 | 哈尔滨工程大学 | 一种中尺度涡轨迹预测方法 |
CN111695473A (zh) * | 2020-06-03 | 2020-09-22 | 中国人民解放军国防科技大学 | 基于长短时记忆网络模型的热带气旋强度客观监测方法 |
CN111860785A (zh) * | 2020-07-24 | 2020-10-30 | 中山大学 | 基于注意力机制循环神经网络的时间序列预测方法及系统 |
CN112102325A (zh) * | 2020-09-17 | 2020-12-18 | 中国科学院海洋研究所 | 基于深度学习和多源遥感数据的海洋异常中尺度涡识别方法 |
CN112182954A (zh) * | 2020-09-08 | 2021-01-05 | 上海大学 | 一种基于lstm的流体仿真数据预测模型 |
CN112418553A (zh) * | 2020-12-07 | 2021-02-26 | 江苏科技大学 | 一种基于vmd-cnn网络的海上风电控制方法 |
CN112926767A (zh) * | 2021-01-27 | 2021-06-08 | 天津大学 | 基于粒子群bp神经网络的环雾状流气相表观流速预测方法 |
-
2021
- 2021-08-17 CN CN202110939989.2A patent/CN113392961B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104915670A (zh) * | 2015-04-29 | 2015-09-16 | 中国海洋大学 | 基于hog特征提取的全球海洋中尺度涡识别算法 |
CN106815577A (zh) * | 2017-01-20 | 2017-06-09 | 中国科学院遥感与数字地球研究所 | 一种海洋中尺度涡的识别方法和装置 |
CN109447315A (zh) * | 2018-09-18 | 2019-03-08 | 中国电力科学研究院有限公司 | 一种基于多时空尺度的电力气象数值天气预报方法和装置 |
CN110097075A (zh) * | 2019-03-21 | 2019-08-06 | 国家海洋信息中心 | 基于深度学习的海洋中尺度涡分类识别方法 |
CN110222828A (zh) * | 2019-06-12 | 2019-09-10 | 西安交通大学 | 一种基于混合深度神经网络的非定常流场快速预测方法 |
CN111027672A (zh) * | 2019-11-13 | 2020-04-17 | 浙江大学 | 一种基于交互式多尺度循环神经网络的时间序列预测方法 |
CN111695473A (zh) * | 2020-06-03 | 2020-09-22 | 中国人民解放军国防科技大学 | 基于长短时记忆网络模型的热带气旋强度客观监测方法 |
CN111695299A (zh) * | 2020-06-04 | 2020-09-22 | 哈尔滨工程大学 | 一种中尺度涡轨迹预测方法 |
CN111860785A (zh) * | 2020-07-24 | 2020-10-30 | 中山大学 | 基于注意力机制循环神经网络的时间序列预测方法及系统 |
CN112182954A (zh) * | 2020-09-08 | 2021-01-05 | 上海大学 | 一种基于lstm的流体仿真数据预测模型 |
CN112102325A (zh) * | 2020-09-17 | 2020-12-18 | 中国科学院海洋研究所 | 基于深度学习和多源遥感数据的海洋异常中尺度涡识别方法 |
CN112418553A (zh) * | 2020-12-07 | 2021-02-26 | 江苏科技大学 | 一种基于vmd-cnn网络的海上风电控制方法 |
CN112926767A (zh) * | 2021-01-27 | 2021-06-08 | 天津大学 | 基于粒子群bp神经网络的环雾状流气相表观流速预测方法 |
Non-Patent Citations (3)
Title |
---|
《Ocean Eddy Identification and Tracking Using Neural Networks》;Katharina Franz等;《IGARSS 2018 - 2018 IEEE International Geoscience and Remote Sensing Symposium》;20181231;第6887-6890页 * |
《基于深度学习的中尺度涡检测技术及其在声场中的应用》;谢鹏飞等;《海洋信息》;20200131(第1期);第18-26页 * |
《基于深度学习的海洋中尺度涡识别与可视化》;芦旭熠等;《计算机系统应用》;20200430;第29卷(第4期);第65-75页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113392961A (zh) | 2021-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113392961B (zh) | 中尺度涡轨迹平稳序列提取与循环神经网络预测方法 | |
US20200372349A1 (en) | Systems and methods of data preprocessing and augmentation for neural network climate forecasting models | |
Cannon | Quantile regression neural networks: Implementation in R and application to precipitation downscaling | |
Najafi et al. | Statistical downscaling of precipitation using machine learning with optimal predictor selection | |
Xu et al. | Accurate and interpretable bayesian mars for traffic flow prediction | |
KR101938829B1 (ko) | 해무의 발생을 예측하는 뉴럴 네트워크 학습 방법 및 장치 | |
Jalali et al. | An advanced short-term wind power forecasting framework based on the optimized deep neural network models | |
Penalba et al. | A data-driven long-term metocean data forecasting approach for the design of marine renewable energy systems | |
CN111695290B (zh) | 一种适用于变化环境下的短期径流智能预报混合模型方法 | |
Jing et al. | AENN: A generative adversarial neural network for weather radar echo extrapolation | |
Zhu et al. | Novel space projection interpolation based virtual sample generation for solving the small data problem in developing soft sensor | |
Wei et al. | An ensemble multi-step forecasting model for ship roll motion under different external conditions: A case study on the South China Sea | |
Chen et al. | Short-term wind speed forecasting study and its application using a hybrid model optimized by cuckoo search | |
Mounet et al. | Deriving spatial wave data from a network of buoys and ships | |
Ailliot et al. | Dynamical partitioning of directional ocean wave spectra | |
Tripathy et al. | Weather forecasting using ANN and PSO | |
CN117131991A (zh) | 基于混合神经网络的城市降雨量预测方法及平台 | |
CN114819053B (zh) | 基于时空卷积lstm的平均波向预报偏差订正方法 | |
CN115600500A (zh) | 一种基于时空多尺度和k-sdw的超短期概率风电功率预测方法 | |
Chang et al. | Neural network with multi-trend simulating transfer function for forecasting typhoon wave | |
CN115796361A (zh) | 一种架空线路工程可研阶段的风速区间预测方法和装置 | |
CN113033094B (zh) | 一种海浪高度预测方法 | |
Einbeck et al. | Representing complex data using localized principal components with application to astronomical data | |
CN113933915A (zh) | 一种基于时空扰动信息交互集成嵌套的短临外推预报方法 | |
Vakilzadeh | Stochastic model updating and model selection with application to structural dynamics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |