CN112558185A - 基于注意力机制的双向gru台风轨迹智能预测预报系统、计算机设备、存储介质 - Google Patents

基于注意力机制的双向gru台风轨迹智能预测预报系统、计算机设备、存储介质 Download PDF

Info

Publication number
CN112558185A
CN112558185A CN202011302642.9A CN202011302642A CN112558185A CN 112558185 A CN112558185 A CN 112558185A CN 202011302642 A CN202011302642 A CN 202011302642A CN 112558185 A CN112558185 A CN 112558185A
Authority
CN
China
Prior art keywords
layer
typhoon
model
hidden layer
attention mechanism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011302642.9A
Other languages
English (en)
Inventor
宋弢
李颖
徐丹亚
孟凡
王子赫
谢鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN202011302642.9A priority Critical patent/CN112558185A/zh
Publication of CN112558185A publication Critical patent/CN112558185A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/10—Devices for predicting weather conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A50/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE in human health protection, e.g. against extreme weather

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于注意力机制的双向GRU台风轨迹智能预测预报系统、计算机设备、存储介质。本发明涉及大气海洋数值预报和深度学习领域。包括带有注意力机制的双向GRU模型，所述模型建立包括以下流程：构建台风轨迹历史数据集、对数据进行预处理、搭建台风轨迹预测模型以及进行模型训练。首先，构建包含台风轨迹经纬度的用于模型训练和测试的数据集，包括联合台风警报中心(JTWC)提供的历史最佳轨迹数据集；然后对数据进行预处理，包括缺失值填补、数值归一化；然后对搭建网络，包括输入层、双向RGU层、注意力机制模块和全连接层；最后对模型进行训练，确定最优参数，得到台风轨迹的预测经纬度输出值。

Description

基于注意力机制的双向GRU台风轨迹智能预测预报系统、计算 机设备、存储介质
技术领域
本发明涉及大气海洋数值预报和深度学习领域，特别设计一种基于注意力机制的双向GRU台风轨迹智能预测预报系统、计算机设备、存储介质。
背景技术
热带气旋是在热带和亚热带海洋表面产生的中尺度或天气性暖气旋。强烈的热带气旋将成为台风(飓风)，它是最具破坏性和不可预测的自然灾害之一，对台风刮过的地区造成不可估量的生命安全威胁和巨大的财产损失。近年来，强台风的发生频率增加，使得台风路径的预测变得更加重要。
准确预测台风轨迹的变化规律在防灾减灾中具有重要的意义，由于台风轨迹的复杂性随机性，台风轨迹预测的准确性一直有待提升。预测台风轨迹的方法现如今主要分为两类，一类是基于微分方程的模式预报方法，另一类是基于数据驱动的方法。
模式预报是一个较为复杂的过程，需要大量的计算资源和时间。由于海上数据资料缺乏，为构造真实准确的初始场带来了一定的困难；而且现有模式的空间分辨率相对较低，得出的结果仍存在一定的误差。数据驱动的方法主要集中在统计和机器学习的方法，然后这些办法无法学习序列数据的相关性，需要人工选择时间特征，这可能会导致预测结果不理想。
发明内容
基于上述问题，本发明的目的在于提供一种基于注意力机制的双向GRU台风轨迹智能预测预报系统、计算机设备、存储介质，可以有效提高台风轨迹的预测准确率。为了对公开实施例的内容有一些基本的了解，下面给出简单的介绍描述。
根据本发明实施例的第一方面，提供了一种基于门控循环单元神经网路的海平面高度智能预测预报系统。
在一些可选实施例中，所述系统包括带有注意力机制的双向GRU模型，所述模型建立包括以下流程：构建台风轨迹历史数据集、对数据进行预处理、搭建台风轨迹预测模型以及进行模型训练。首先，构建包含台风轨迹经纬度的用于模型训练和测试的数据集，包括联合台风警报中心(JTWC)提供的历史最佳轨迹数据集；然后对数据进行预处理，包括缺失值填补、数值归一化；然后对搭建网络，包括输入层、双向RGU层、注意力机制模块和全连接层；最后对模型进行训练，确定最优参数，得到台风轨迹的预测经纬度输出值。
可选地，所述构建包含台风轨迹经纬度的用于模型训练和测试的数据集，其比例为8：2。
可选地，所述对数据进行缺失值填补、数值归一化以及对数据进行切分，整合成可以输入到神经网络的形式，具体包括：通过python中pandas库的isnull函数检索海洋历史数据中的缺省值，并将其填补为0；通过离差标准化的方法，对数据进行线性变化，将其映射到[0,1]之间。
可选地，所述搭建台风轨迹预测模型主要包括：输入层、隐含层和输出层。
(1)输入层
输入层是把台风历史数据处理成神经网络所能够接收并处理的张量形式。具体分割算法如下所示：
输入：海平面高度时间序列T＝{x1，x2，…，xn}
输出：H＝{(X1，Y1)，(X2，Y2)，…，(Xn-L，Yn-L)}＝{x1，x2，…，xn}
a：置i＝1，
b：如果i>n-L，则停止循环，否则输出先前序列Xi＝{xi，xi+1，…，xi+L}以及先前序列Xi对应目标值Yi，
c：置i＝i+1转b。
(2)隐含层
隐含层主要包括一个双向GRU层和一个注意力机制模块。
双向GRU的当前隐含层状态由当前的输入xt、t-1时刻前向隐层状态的输出值
Figure BDA0002787302050000021
和t-1时刻反向隐层状态的输出值
Figure BDA0002787302050000022
共同决定。因此双向GRU可以看作是两个方向相反的GRU的结合体，其在t时刻的隐含层状态ht可以由
Figure BDA0002787302050000023
和
Figure BDA0002787302050000024
加权求和决定:
Figure BDA0002787302050000025
Figure BDA0002787302050000026
Figure BDA0002787302050000027
RGU()表示对非线性激活函数，ut、vt分别表示t时刻前向隐藏状态和反向隐藏状态所对应的权重参数，bt表示t时刻隐含层所对应的偏置。
引入注意力机制模块后，隐含层状态会进行改变。初始隐含层状态到新的隐含层状态g是各个隐含层状态在新的隐含层状态所占的比重系数ωi和初始隐含层的输入hi的乘积的累加和，通过以下公式可以实现从输入的初始状态到新的注意力机制的转换。
Figure BDA0002787302050000028
Figure BDA0002787302050000029
ei＝αiATT(βihi+ci) (6)
其中ei分别是第i时刻隐含层hi的能量值，αi、βi是权重系数矩阵，ci是偏置系数，ATT()表示的是激活函数。
(3)输出层
输出层是一层全连接层。全连接层起到将学到的特征表示映射到样本的标记空间的作用，可以转变张量维度，得到模型想要的输出预测的的维度。
可选地，所述激活函数选用RELU，损失函数选择MSE，隐含层初始参数为随机确定。
可选地，所述的对模型进行训练，采用adam算法和反向传播算法进行训练。
根据本发明实施例的第二方面，提供一种计算机设备。
在一些可选实施例中，所述计算机设备包括：存储器、处理器及存储在所述存储器上并可被所述处理器运行的程序，所述处理器执行所述程序时实现以下步骤：构建带有注意力机制的双向GRU模型，所述模型建立包括以下流程：构建台风轨迹历史数据集、对数据进行预处理、搭建台风轨迹预测模型以及进行模型训练。首先，构建包含台风轨迹经纬度的用于模型训练和测试的数据集，包括联合台风警报中心(JTWC)提供的历史最佳轨迹数据集；然后对数据进行预处理，包括缺失值填补、数值归一化；然后对搭建网络，包括输入层、双向RGU层、注意力机制模块和全连接层；最后对模型进行训练，确定最优参数，得到台风轨迹的预测经纬度输出值。
可选地，所述构建包含台风轨迹经纬度的用于模型训练和测试的数据集，其比例为8：2。
可选地，所述对数据进行缺失值填补、数值归一化以及对数据进行切分，整合成可以输入到神经网络的形式，具体包括：通过python中pandas库的isnull函数检索海洋历史数据中的缺省值，并将其填补为0；通过离差标准化的方法，对数据进行线性变化，将其映射到[0,1]之间。
可选地，所述搭建台风轨迹预测模型主要包括：输入层、隐含层和输出层。
(1)输入层
输入层是把台风历史数据处理成神经网络所能够接收并处理的张量形式。具体分割算法如下所示：
输入：海平面高度时间序列T＝{x1，x2，…，xn}
输出：H＝{(X1，Y1)，(X2，Y2)，…，(Xn-L，Yn-L)}＝{x1，x2，…，xn}
a：置i＝1，
b：如果i>n-L，则停止循环，否则输出先前序列Xi＝{xi，xi+1，…，xi+L}以及先前序列Xi对应目标值Yi，
c：置i＝i+1转b。
(2)隐含层
隐含层主要包括一个双向GRU层和一个注意力机制模块。
双向GRU的当前隐含层状态由当前的输入xt、t-1时刻前向隐层状态的输出值
Figure BDA0002787302050000041
和t-1时刻反向隐层状态的输出值
Figure BDA0002787302050000042
共同决定。因此双向GRU可以看作是两个方向相反的GRU的结合体，其在t时刻的隐含层状态ht可以由
Figure BDA0002787302050000043
和
Figure BDA0002787302050000044
加权求和决定:
Figure BDA0002787302050000045
Figure BDA0002787302050000046
Figure BDA0002787302050000047
RGU()表示对非线性激活函数，ut、vt分别表示t时刻前向隐藏状态和反向隐藏状态所对应的权重参数，bt表示t时刻隐含层所对应的偏置。
引入注意力机制模块后，隐含层状态会进行改变。初始隐含层状态到新的隐含层状态g是各个隐含层状态在新的隐含层状态所占的比重系数ωi和初始隐含层的输入hi的乘积的累加和，通过以下公式可以实现从输入的初始状态到新的注意力机制的转换。
Figure BDA0002787302050000048
Figure BDA0002787302050000049
ei＝αiATT(βihi+ci) (6)
其中ei分别是第i时刻隐含层hi的能量值，αi、βi是权重系数矩阵，ci是偏置系数，ATT()表示的是激活函数。
(3)输出层
输出层是一层全连接层。全连接层起到将学到的特征表示映射到样本的标记空间的作用，可以转变张量维度，得到模型想要的输出预测的的维度。
可选地，所述激活函数选用RELU，损失函数选择MSE，隐含层初始参数为随机确定。
可选地，所述的对模型进行训练，采用adam算法和反向传播算法进行训练。
根据本发明实施例的第三方面，提供了一种存储介质。
在一些可选实施例中，所述存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时实现如下步骤：构建带有注意力机制的双向GRU模型，所述模型建立包括以下流程：构建台风轨迹历史数据集、对数据进行预处理、搭建台风轨迹预测模型以及进行模型训练。首先，构建包含台风轨迹经纬度的用于模型训练和测试的数据集，包括联合台风警报中心(JTWC)提供的历史最佳轨迹数据集；然后对数据进行预处理，包括缺失值填补、数值归一化；然后对搭建网络，包括输入层、双向RGU层、注意力机制模块和全连接层；最后对模型进行训练，确定最优参数，得到台风轨迹的预测经纬度输出值。
可选地，所述构建包含台风轨迹经纬度的用于模型训练和测试的数据集，其比例为8：2。
可选地，所述对数据进行缺失值填补、数值归一化以及对数据进行切分，整合成可以输入到神经网络的形式，具体包括：通过python中pandas库的isnull函数检索海洋历史数据中的缺省值，并将其填补为0；通过离差标准化的方法，对数据进行线性变化，将其映射到[0,1]之间。
可选地，所述搭建台风轨迹预测模型主要包括：输入层、隐含层和输出层。
(1)输入层
输入层是把台风历史数据处理成神经网络所能够接收并处理的张量形式。具体分割算法如下所示：
输入：海平面高度时间序列T＝{x1，x2，…，xn}
输出：H＝{(X1，Y1)，(X2，Y2)，…，(Xn-L，Yn-L)}＝{x1，x2，…，xn}
a：置i＝1，
b：如果i>n-L，则停止循环，否则输出先前序列Xi＝{xi，xi+1，…，xi+L}以及先前序列Xi对应目标值Yi，
c：置i＝i+1转b。
(2)隐含层
隐含层主要包括一个双向GRU层和一个注意力机制模块。
双向GRU的当前隐含层状态由当前的输入xt、t-1时刻前向隐层状态的输出值
Figure BDA0002787302050000051
和t-1时刻反向隐层状态的输出值
Figure BDA0002787302050000052
共同决定。因此双向GRU可以看作是两个方向相反的GRU的结合体，其在t时刻的隐含层状态ht可以由
Figure BDA0002787302050000053
和
Figure BDA0002787302050000054
加权求和决定:
Figure BDA0002787302050000055
Figure BDA0002787302050000056
Figure BDA0002787302050000061
RGU()表示对非线性激活函数，ut、vt分别表示t时刻前向隐藏状态和反向隐藏状态所对应的权重参数，bt表示t时刻隐含层所对应的偏置。
引入注意力机制模块后，隐含层状态会进行改变。初始隐含层状态到新的隐含层状态g是各个隐含层状态在新的隐含层状态所占的比重系数ωi和初始隐含层的输入hi的乘积的累加和，通过以下公式可以实现从输入的初始状态到新的注意力机制的转换。
Figure BDA0002787302050000062
Figure BDA0002787302050000063
ei＝αiATT(βihi+ci) (6)
其中ei分别是第i时刻隐含层hi的能量值，αi、βi是权重系数矩阵，ci是偏置系数，ATT()表示的是激活函数。
(3)输出层
输出层是一层全连接层。全连接层起到将学到的特征表示映射到样本的标记空间的作用，可以转变张量维度，得到模型想要的输出预测的的维度。
可选地，所述激活函数选用RELU，损失函数选择MSE，隐含层初始参数为随机确定。
可选地，所述的对模型进行训练，采用adam算法和反向传播算法进行训练。
本发明实施例的有益效果和优点如下：
现阶段台风的发生频率增加，带来的破坏性逐渐加大，需要准确的台风路径预测手段来进行预报，从而达到防灾减灾的效果。本发明针对于现有的一些预测方法耗时耗资源且精度不准的现状提供了一种基于门控循环单元神经网络的海平面高度智能预测预报系统、计算机设备、存储介质。利用深度学习中的双向GRU和注意力机制等技术，实现了从台风路径的历史数据中挖掘台风路径走向的特征，从而预测台风轨迹的新形式。相对于传统的海洋数值模式和统计等方法，本发明能够充分的挖掘台风路径历史数据的深层次特征，总结台风路径变化的趋势规律，以更少的计算时间和资源来进行更加精准的预测。
附图说明
图1是根据一示例性实施例示出的一种基于注意力机制的双向GRU台风轨迹智能预测预报系统的总体工作流程示意图
图2是根据一示例性实施例示出的台风轨迹预测模型内部示意图
具体实施方式
应当提前指出，以下说明的目的是对本申请提供进一步的详细说明，是示例性的。本发明所用的技术方法和专业术语均与本申请所述领域的技术人员理解一致。在本说明中，使用的术语“包括”、“包含”其指明存在特征、步骤、操作、器件、组件和或者或它们的组合。
可选实施例中，所述系统包括带有注意力机制的双向GRU模型，所述模型建立包括以下流程：构建台风轨迹历史数据集、对数据进行预处理、搭建台风轨迹预测模型以及进行模型训练。首先，构建包含台风轨迹经纬度的用于模型训练和测试的数据集，包括联合台风警报中心(JTWC)提供的历史最佳轨迹数据集；然后对数据进行预处理，包括缺失值填补、数值归一化；然后对搭建网络，包括输入层、双向RGU层、注意力机制模块和全连接层；最后对模型进行训练，确定最优参数，得到台风轨迹的预测经纬度输出值。
图1是根据一示例性实施例示出的一种基于注意力机制的双向GRU台风轨迹智能预测预报系统的总体工作流程示意图。
可选地，所述构建包含台风轨迹经纬度的用于模型训练和测试的数据集，其比例为8：2。
可选地，所述对数据进行缺失值填补、数值归一化以及对数据进行切分，整合成可以输入到神经网络的形式，具体包括：通过python中pandas库的isnull函数检索海洋历史数据中的缺省值，并将其填补为0；通过离差标准化的方法，对数据进行线性变化，将其映射到[0,1]之间。
可选地，所述搭建台风轨迹预测模型主要包括：输入层、隐含层和输出层。
(1)输入层
输入层是把台风历史数据处理成神经网络所能够接收并处理的张量形式。具体分割算法如下所示：
输入：海平面高度时间序列T＝{x1，x2，…，xn}
输出：H＝{(X1，Y1)，(X2，Y2)，…，(Xn-L，Yn-L)}＝{x1，x2，…，xn}
a：置i＝1，
b：如果i>n-L，则停止循环，否则输出先前序列Xi＝{xi，xi+1，…，xi+L}以及先前序列Xi对应目标值Yi，
c：置i＝i+1转b。
(2)隐含层
隐含层主要包括一个双向GRU层和一个注意力机制模块。
双向GRU的当前隐含层状态由当前的输入xt、t-1时刻前向隐层状态的输出值
Figure BDA0002787302050000071
和t-1时刻反向隐层状态的输出值
Figure BDA0002787302050000072
共同决定。因此双向GRU可以看作是两个方向相反的GRU的结合体，其在t时刻的隐含层状态ht可以由
Figure BDA0002787302050000081
和
Figure BDA0002787302050000082
加权求和决定:
Figure BDA0002787302050000083
Figure BDA0002787302050000084
Figure BDA0002787302050000085
RGU()表示对非线性激活函数，ut、vt分别表示t时刻前向隐藏状态和反向隐藏状态所对应的权重参数，bt表示t时刻隐含层所对应的偏置。
引入注意力机制模块后，隐含层状态会进行改变。初始隐含层状态到新的隐含层状态g是各个隐含层状态在新的隐含层状态所占的比重系数ωi和初始隐含层的输入hi的乘积的累加和，通过以下公式可以实现从输入的初始状态到新的注意力机制的转换。
Figure BDA0002787302050000086
Figure BDA0002787302050000087
ei＝αiATT(βihi+ci) (6)
其中ei分别是第i时刻隐含层hi的能量值，αi、βi是权重系数矩阵，ci是偏置系数，ATT()表示的是激活函数。
(3)输出层
输出层是一层全连接层。全连接层起到将学到的特征表示映射到样本的标记空间的作用，可以转变张量维度，得到模型想要的输出预测的的维度。
图2是根据一示例性实施例示出的台风轨迹预测模型内部示意图。
可选地，所述激活函数选用RELU，损失函数选择MSE，隐含层初始参数为随机确定。
可选地，所述的对模型进行训练，采用adam算法和反向传播算法进行训练。
在上述实施例示例中，还提供了一种包括指令的非临时性计算机可读存储介质，上述指令可由处理器执行以完成以下步骤：建立带有注意力机制的双向GRU模型，所述模型建立包括以下流程：构建台风轨迹历史数据集、对数据进行预处理、搭建台风轨迹预测模型以及进行模型训练。首先，构建包含台风轨迹经纬度的用于模型训练和测试的数据集，包括联合台风警报中心(JTWC)提供的历史最佳轨迹数据集；然后对数据进行预处理，包括缺失值填补、数值归一化；然后对搭建网络，包括输入层、双向RGU层、注意力机制模块和全连接层；最后对模型进行训练，确定最优参数，得到台风轨迹的预测经纬度输出值。
上述非临时性计算机可读存储介质可以是只读存储器、随机存取存储器、磁带和光存储设备等。
本发明通过深度学习技术来对海平面高度数据进行预测，与传统的海洋数值模式和统计等方法，可减少大量的计算时间和资源，处理速度快，而且有相当精确的准确率，便于集成和大规模的应用。
以上所述，虽然将本发明将较佳具体实施方案描述如上，但仅是本发明的较佳实施例之一，并非用以限定本发明。任何熟悉本领域的技术人员在不脱离本发明技术方案内，当可以对上述具体实施方案做出些许更动或修饰为等同变化的实施方案，但但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施内容所做的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (7)

1.一种基于注意力机制的双向GRU台风轨迹预测预报系统，其特征在于，包括带有注意力机制的双向GRU模型，所述模型建立包括以下流程：构建台风轨迹历史数据集、对数据进行预处理、搭建台风轨迹预测模型以及进行模型训练。首先，构建包含台风轨迹经纬度的用于模型训练和测试的数据集，包括联合台风警报中心(JTWC)提供的历史最佳轨迹数据集；然后对数据进行预处理，包括缺失值填补、数值归一化；然后对搭建网络，包括输入层、双向RGU层、注意力机制模块和全连接层；最后对模型进行训练，确定最优参数，得到台风轨迹的预测经纬度输出值。
2.如权利1所述的系统，其特征在于，构建包含台风轨迹经纬度的用于模型训练和测试的数据集，其比例为8∶2。
3.如权利1所述的系统，其特征在于，所述对数据进行缺失值填补、数值归一化以及对数据进行切分，整合成可以输入到神经网络的形式，具体包括：通过python中pandas库的isnull函数检索海洋历史数据中的缺省值，并将其填补为0；通过离差标准化的方法，对数据进行线性变化，将其映射到[0，1]之间。
4.如权利1所述的系统，其特征在于，所述搭建台风轨迹预测模型主要包括：输入层、隐含层和输出层。
(1)输入层
输入层是把台风历史数据处理成神经网络所能够接收并处理的张量形式。具体分割算法如下所示：
输入：海平面高度时间序列T＝{x1，x2，…，xn}
输出：H＝{(X1，Y1)，(X2，Y2)，…，(Xn-L，Yn-L)}＝{x1，x2，…，xn}
a：置i＝1，
b：如果i＞n-L，则停止循环，否则输出先前序列Xi＝{xi，xi+1，…，xi+L}以及先前序列Xi对应目标值Yi，
c：置i＝i+1转b。
(2)隐含层
隐含层主要包括一个双向GRU层和一个注意力机制模块。
双向GRU的当前隐含层状态由当前的输入xt、t-1时刻前向隐层状态的输出值
Figure FDA0002787302040000011
和t-1时刻反向隐层状态的输出值
Figure FDA0002787302040000012
共同决定。因此双向GRU可以看作是两个方向相反的GRU的结合体，其在t时刻的隐含层状态ht可以由
Figure FDA0002787302040000013
和
Figure FDA0002787302040000014
加权求和决定：
Figure FDA0002787302040000021
Figure FDA0002787302040000022
Figure FDA0002787302040000023
RGU()表示对非线性激活函数，ut、vt分别表示t时刻前向隐藏状态和反向隐藏状态所对应的权重参数，bt表示t时刻隐含层所对应的偏置。
引入注意力机制模块后，隐含层状态会进行改变。初始隐含层状态到新的隐含层状态g是各个隐含层状态在新的隐含层状态所占的比重系数ωi和初始隐含层的输入hi的乘积的累加和，通过以下公式可以实现从输入的初始状态到新的注意力机制的转换。
Figure FDA0002787302040000024
Figure FDA0002787302040000025
ei＝αiATT(βihi+ci) (6)
其中ei分别是第i时刻隐含层hi的能量值，αi、βi是权重系数矩阵，ci是偏置系数，ATT()表示的是激活函数。
(3)输出层
输出层是一层全连接层。全连接层起到将学到的特征表示映射到样本的标记空间的作用，可以转变张量维度，得到模型想要的输出预测的的维度。
5.如权利4所述的系统，其特征在于，所述激活函数选用RELU，损失函数选择MSE，隐含层初始参数为随机确定。
6.如权利1所述的系统，其特征在于，所述的对模型进行训练，采用adam算法和反向传播算法进行训练。
7.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可被所述处理器运行的程序，其特征在于，所述处理器执行所述程序时实现以下步骤：构建台风轨迹历史数据集、对数据进行预处理、搭建台风轨迹预测模型以及进行模型训练。首先，构建包含台风轨迹经纬度的用于模型训练和测试的数据集，包括联合台风警报中心(JTWC)提供的历史最佳轨迹数据集；然后对数据进行预处理，包括缺失值填补、数值归一化；然后对搭建网络，包括输入层、双向RGU层、注意力机制模块和全连接层；最后对模型进行训练，确定最优参数，得到台风轨迹的经纬度预测输出值。
CN202011302642.9A 2020-11-19 2020-11-19 基于注意力机制的双向gru台风轨迹智能预测预报系统、计算机设备、存储介质 Pending CN112558185A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011302642.9A CN112558185A (zh) 2020-11-19 2020-11-19 基于注意力机制的双向gru台风轨迹智能预测预报系统、计算机设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011302642.9A CN112558185A (zh) 2020-11-19 2020-11-19 基于注意力机制的双向gru台风轨迹智能预测预报系统、计算机设备、存储介质

Publications (1)

Publication Number Publication Date
CN112558185A true CN112558185A (zh) 2021-03-26

Family

ID=75044334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011302642.9A Pending CN112558185A (zh) 2020-11-19 2020-11-19 基于注意力机制的双向gru台风轨迹智能预测预报系统、计算机设备、存储介质

Country Status (1)

Country Link
CN (1) CN112558185A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408588A (zh) * 2021-05-24 2021-09-17 上海电力大学 一种基于注意力机制的双向gru轨迹预测方法
CN113688774A (zh) * 2021-09-03 2021-11-23 重庆大学 基于深度学习的高层建筑风致响应预测、训练方法及装置
CN115577769A (zh) * 2022-10-10 2023-01-06 国网湖南省电力有限公司 一种基于双向神经网络自回归模型的量测数据拟合方法
CN116699731A (zh) * 2023-08-09 2023-09-05 中国海洋大学三亚海洋研究院 一种热带气旋路径短期预报方法、系统及存储介质
CN116776745A (zh) * 2023-08-18 2023-09-19 南昌云宜然科技有限公司 基于边缘计算的污染物浓度和轨迹移动预测的方法与系统
CN117910512A (zh) * 2024-03-05 2024-04-19 广州地铁设计研究院股份有限公司 基于注意力机制的钢轨电位预测方法和ovpd智能控制装置
CN115577769B (zh) * 2022-10-10 2024-05-31 国网湖南省电力有限公司 一种基于双向神经网络自回归模型的量测数据拟合方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902885A (zh) * 2019-04-09 2019-06-18 中国人民解放军国防科技大学 基于深度学习混合cnn-lstm模型的台风预测方法
CN111199270A (zh) * 2019-12-30 2020-05-26 福建省海洋预报台 一种基于深度学习的区域波高预报方法及终端
CN111242351A (zh) * 2019-12-31 2020-06-05 上海师范大学 基于自编码器和gru神经网络的热带气旋轨迹预测方法
CN111275168A (zh) * 2020-01-17 2020-06-12 南京信息工程大学 基于卷积全连接的双向门控循环单元的空气质量预测方法
CN111553232A (zh) * 2020-04-22 2020-08-18 陕西师范大学 基于场景状态迭代的门循环单元网络行人轨迹预测方法
CN111783960A (zh) * 2020-07-09 2020-10-16 中国人民解放军国防科技大学 基于自动编码器和双向lstm的船舶轨迹预测方法及系统
CN111897353A (zh) * 2020-07-08 2020-11-06 西北工业大学 基于gru的飞行器机动轨迹预测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902885A (zh) * 2019-04-09 2019-06-18 中国人民解放军国防科技大学 基于深度学习混合cnn-lstm模型的台风预测方法
CN111199270A (zh) * 2019-12-30 2020-05-26 福建省海洋预报台 一种基于深度学习的区域波高预报方法及终端
CN111242351A (zh) * 2019-12-31 2020-06-05 上海师范大学 基于自编码器和gru神经网络的热带气旋轨迹预测方法
CN111275168A (zh) * 2020-01-17 2020-06-12 南京信息工程大学 基于卷积全连接的双向门控循环单元的空气质量预测方法
CN111553232A (zh) * 2020-04-22 2020-08-18 陕西师范大学 基于场景状态迭代的门循环单元网络行人轨迹预测方法
CN111897353A (zh) * 2020-07-08 2020-11-06 西北工业大学 基于gru的飞行器机动轨迹预测方法
CN111783960A (zh) * 2020-07-09 2020-10-16 中国人民解放军国防科技大学 基于自动编码器和双向lstm的船舶轨迹预测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
桑海峰，陈紫珍，何大阔: "基于双向GRU 和注意力机制模型的人体动作预测", 《计算机辅助设计与图形学学报》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408588A (zh) * 2021-05-24 2021-09-17 上海电力大学 一种基于注意力机制的双向gru轨迹预测方法
CN113408588B (zh) * 2021-05-24 2023-02-14 上海电力大学 一种基于注意力机制的双向gru轨迹预测方法
CN113688774A (zh) * 2021-09-03 2021-11-23 重庆大学 基于深度学习的高层建筑风致响应预测、训练方法及装置
CN113688774B (zh) * 2021-09-03 2023-09-26 重庆大学 基于深度学习的高层建筑风致响应预测、训练方法及装置
CN115577769A (zh) * 2022-10-10 2023-01-06 国网湖南省电力有限公司 一种基于双向神经网络自回归模型的量测数据拟合方法
CN115577769B (zh) * 2022-10-10 2024-05-31 国网湖南省电力有限公司 一种基于双向神经网络自回归模型的量测数据拟合方法
CN116699731A (zh) * 2023-08-09 2023-09-05 中国海洋大学三亚海洋研究院 一种热带气旋路径短期预报方法、系统及存储介质
CN116699731B (zh) * 2023-08-09 2023-09-29 中国海洋大学三亚海洋研究院 一种热带气旋路径短期预报方法、系统及存储介质
CN116776745A (zh) * 2023-08-18 2023-09-19 南昌云宜然科技有限公司 基于边缘计算的污染物浓度和轨迹移动预测的方法与系统
CN116776745B (zh) * 2023-08-18 2023-10-24 南昌云宜然科技有限公司 基于边缘计算的污染物浓度和轨迹移动预测的方法与系统
CN117910512A (zh) * 2024-03-05 2024-04-19 广州地铁设计研究院股份有限公司 基于注意力机制的钢轨电位预测方法和ovpd智能控制装置

Similar Documents

Publication Publication Date Title
CN112558185A (zh) 基于注意力机制的双向gru台风轨迹智能预测预报系统、计算机设备、存储介质
CN111428789A (zh) 一种基于深度学习的网络流量异常检测方法
CN113936142A (zh) 一种基于深度学习的降水临近预报方法及装置
CN111242351A (zh) 基于自编码器和gru神经网络的热带气旋轨迹预测方法
CN112560948B (zh) 数据偏差下的眼底图分类方法及成像方法
Yao et al. Wave height forecast method with multi-step training set extension LSTM neural network
CN115220133A (zh) 一种多气象要素降雨预测方法、装置、设备及存储介质
CN114090718A (zh) 基于Bi-LSTM预测与模糊分析的中断航迹关联方法
CN115877483A (zh) 一种基于随机森林和gru的台风路径预报方法
CN114492217A (zh) 一种基于混合时间序列感知机模型的台风浪高预测方法
CN113743592A (zh) 一种基于gan的遥测数据异常检测方法
Qin et al. Underwater acoustic source localization using LSTM neural network
CN114913485A (zh) 一种多层级特征融合的弱监督检测方法
CN115081519A (zh) 基于强化学习的自动对星方法
Wang et al. Indoor sound source localization algorithm based on BP neural network
CN117493583B (zh) 结合事件日志和知识图谱的流程操作序列生成方法及系统
CN111523090B (zh) 基于高斯混合概率假设密度的数目时变多目标跟踪方法
LU504816B1 (en) Interpretable deep learning model for extreme climate prediction
CN116563953B (zh) 自底向上的弱监督时序动作检测方法、系统、设备及介质
CN117454762B (zh) Markov-神经网络的穿煤隧道掌子面瓦斯浓度预测方法
CN115019168B (zh) 基于混合注意力网络的sar图像水体提取方法及系统
CN113688774B (zh) 基于深度学习的高层建筑风致响应预测、训练方法及装置
CN116299773A (zh) 多模态时空补偿的团雾预警方法及装置
CN117636183A (zh) 一种基于自监督预训练的小样本遥感图像分类方法
CN117372753A (zh) 一种基于卷积神经网络的深水开路钻井井涌识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210326

WD01 Invention patent application deemed withdrawn after publication