CN114626512B - 一种基于有向图神经网络的高温灾害预报方法 - Google Patents
一种基于有向图神经网络的高温灾害预报方法 Download PDFInfo
- Publication number
- CN114626512B CN114626512B CN202210532112.6A CN202210532112A CN114626512B CN 114626512 B CN114626512 B CN 114626512B CN 202210532112 A CN202210532112 A CN 202210532112A CN 114626512 B CN114626512 B CN 114626512B
- Authority
- CN
- China
- Prior art keywords
- graph
- neural network
- temperature
- node
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 26
- 238000013277 forecasting method Methods 0.000 title claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims abstract description 39
- 238000003062 neural network model Methods 0.000 claims abstract description 29
- 230000006870 function Effects 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 23
- 230000002776 aggregation Effects 0.000 claims abstract description 12
- 238000004220 aggregation Methods 0.000 claims abstract description 12
- 230000007246 mechanism Effects 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 80
- 230000008569 process Effects 0.000 claims description 51
- 239000013598 vector Substances 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000000306 recurrent effect Effects 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000000737 periodic effect Effects 0.000 claims description 5
- 238000001556 precipitation Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 239000013604 expression vector Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000005855 radiation Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000012407 engineering method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
- G01W1/10—Devices for predicting weather conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/10—Alarms for ensuring the safety of persons responsive to calamitous events, e.g. tornados or earthquakes
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W2203/00—Real-time site-specific personalized weather information, e.g. nowcasting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Environmental & Geological Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Ecology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Atmospheric Sciences (AREA)
- Environmental Sciences (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Educational Administration (AREA)
- Primary Health Care (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Probability & Statistics with Applications (AREA)
- General Life Sciences & Earth Sciences (AREA)
Abstract
本发明公开了一种基于有向图神经网络的高温灾害预报方法，包括步骤如下：S1，将各气象要素分别进行标准化处理，使各气象要素按比例缩放在同一取值范围内；S2，构建有向图神经网络模型，将各气象要素作为图中的节点，采用图邻接矩阵描述各节点之间的关系；再采用逐步学习策略学习节点信息，并不断更新邻接矩阵的状态；S3，确定损失函数后开始训练有向图神经网络模型，通过调整学习率、优化器、正则化参数得到满足要求的模型作为预测模型，并保存预测模型；S4，输入历史气象数据，得到未来一段时间的高温灾害指数预报，发出相应的灾害预警。本发明在模型中加入了注意力机制，能够使模型关注对变量影响大的部分，更有利于有效信息的聚合。
Description
技术领域
本发明涉及短期气象预报方法，尤其涉及基于有向图神经网络的高温灾害预报方法。
背景技术
气候千变万化且变化过程极其复杂，而气候异常可能导致干旱、洪水、台风等自然灾害，严重影响人类社会活动。随着社会的发展，许多气象相关行业对天气预报的准确性和及时性提出了更高的要求。气象预报的研究主要以两种方式进行，即基于物理学计算和基于数据驱动，基于物理学的气象预测模型通常依赖于大规模的数值模拟，基于观测数据模拟出大气中的物理过程；数据驱动的模型使用传统统计方法或基于深度学习的方法进行气象预测。物理参数化所固有的不确定性，或对物理过程的不完全理解是数值天气预报未来发展的主要科学挑战。传统统计方法如自回归差分移动平均模型(ARIMA)主要针对平稳的时间序列有效，且只能捕捉变量间的线性关系。早期机器学习模型如浅层神经网络受限于有限的样本容量和计算单元，对复杂函数的表示能力有限，针对复杂问题其泛化能力受到一定制约。
高温灾害通常指由于高温持续时间较长，引起人、动植物及无机环境等生命体和非生命体不适并且产生不利影响的一种气象灾害。客观分析城市高温环境，准确识别高温灾害的致灾因子，科学预测评估高温灾害风险，是城市规划积极响应城市高温的前提，也是在国土空间规划体系中融入高温灾害应对策略的基础工作。高温灾害的灾害因素主要是温度、湿度、风速等气象要素，但是由于气象要素间的相关性具有不确定性且各要素存在短时间内快速变化的特点，无法用传统统计模型模拟出致灾因子变化过程和相互作用。
气象预测本身就是大数据问题，涉及到不同时间和空间上的海量数据，是深度学习非常好的应用场景。与基于物理过程的数值天气预报(NWP)模型相比，深度学习自动化提取数据内部特征，消除了传统特征工程方法中对人为经验的依赖性。同时，这些方法在时间序列和空间格点类型的数据上相比于传统方法具有更强有力的特征提取能力，提供了一种以纯数据驱动方式建模时间序列的方法。在过去几年，神经网络的兴起推动了深度学习与各学科领域的交叉。循环神经网络首先被提出来处理时间序列上的非线性递归问题，该网络的大部分变体如LSTM(长短期记忆)、GRU(门控循环单元)等在时间序列预测上表现出的性能超越了传统统计预报方法。然而气象要素之间的影响是有向的，某一要素的变化会导致其他要素甚至整个环境状态的改变。传统的深度学习网络在处理多元时间序列上存在以下问题：(1)仅仅假设变量之间存在关系，无法模拟出某个变量的改变如何影响其他变量。(2)在处理长时间序列上的性能表现不佳，随着数据量增大，模型复杂度呈二次增长使得模型出现过拟合现象。
发明内容
发明目的：本发明的目的是提供一种能实现利用有向图神经网络反映变量之间的驱动关系，作出未来短期内高温灾害智能预报的方法。
技术方案：本发明的高温灾害预报方法，包括步骤如下：
S1，将各气象要素分别进行标准化处理，使各气象要素按比例缩放在同一取值范围内；根据具体行政区域规定的高温等级阈值，将高温灾害数值设置为0，1，2，3，分别表示无高温灾害、高温黄色预警、高温橙色预警、高温红色预警；高温灾害数值进入模型后会被编码为离散值向量(y1,y2,y3,y4)，作为标签加入输入数据，完成数据重构；
根据气象要素本身的时间周期特性，将标准化后的各气象要素基于滑动窗口法构建成多维时间序列样本集；
按照设定比例，将所述多维时间序列样本集划分为训练集、验证集和测试集；
S2，构建有向图神经网络模型；
S3，确定损失函数后开始训练有向图神经网络模型，通过调整学习率、优化器、正则化参数得到满足要求的模型作为预测模型，并保存预测模型；
S4,将历史多变量时间序列输入预测模型，根据需求改变输出步长，得到未来一段时间内的高温灾害指数预报，发出相应的灾害预警。
进一步，所述步骤S1中，各气象要素包括日最高气温、降水、风速、空气湿度、日照时数、蒸散发；
根据气象要素的周期性特征，建成多维时间序列样本集如下：
设zt∈RN，R表示实数，表示在时间步长t时的多元变量的值，其中zt[i]∈R表示时间步长t时变量i的值，则给定时间长度为p的多变量数据的历史序列为：
标签集为：
其中，
分别代表g时刻的无灾害风险的概率、发出高温黄色预警概率、发出高温橙色预警概率和发出高温红色预警概率，其中g＝1，2，3，...，p。
进一步，所述步骤S2中，有向图神经网络模型需要从图的角度来建模变量之间的相互驱动关系，将各气象要素作为图中的节点，采用图邻接矩阵描述各节点之间的关系；再采用逐步学习策略学习节点信息，并不断更新邻接矩阵的状态；所述逐步学习策略为：图学习层从一个起始状态，每一次学习向图中添加一个节点，再利用循环神经网络根据节点信息自回归计算相似性得分，生成新节点与每个初始节点间的连接关系；
循环神经网络处理节点初始信息并将节点的表示向量解码为隐藏状态作为下一次迭代的输入，在迭代过程中不断聚合各节点信息，迭代过程如下：
M1＝tanh(αE1Θ1)
M2＝tanh(αE2Θ2)
Ht＝sigmod(W·xt+U·Ht-1)
其中，W和U均为超参数，xt为当前输入的时间序列数据；
sigmoid函数表达式为
e是自然对数函数的底数；E1、E2表示随机初始化的节点嵌入，Θ1、Θ2是神经网络模型参数；α是控制激活函数饱和速率的超参数，均在训练过程中被学习；A为根据节点对信息聚合后得到的邻接矩阵；Ht-1为上一层迭代的输出隐藏状态、Ht为该层的隐藏状态即节点的表示向量；
通过聚合各节点信息，不断更新图的构成，最终得到全局图邻接矩阵。
进一步，所述步骤S2中，根据气象数据的时间周期特征、能量循环与水循环和气象要素间相互影响，构建有向图神经网络模型；所述有向图神经网络模型通过嵌套式的图卷积模块和时间卷积模块将输入数据的信息进行聚合，具体实现过程如下：
图学习模块从输入时间序列数据中根据逐步学习策略方法自适应提取图邻接矩阵，作为后续图卷积模块聚合节点信息过程的输入；同时，抽样的方法每次只计算成对节点间的相似性得分，将得分作为隐藏状态在每一次计算过程中聚合得到最终的全局图邻接矩阵；
图形卷积模块由两个混合传播层组成，分别处理通过每个节点的流入和流出信息，混合传播层包括信息传播过程和信息选择过程；信息传播过程基于图邻接矩阵给定的图结构传播节点信息，信息选择过程过滤传播过程产生的噪声；
在图邻接矩阵中赋予连接节点的边不同的权重，实现在信息传播过程中加入注意力机制，表达式为：
Ht＝βHt-1
其中，β对应每条边的权重，Ht-1为网络上一次迭代的输出隐藏状态，Ht为该层的隐藏状态即节点的表示向量。
进一步，所述时间卷积模块由四种不同大小的卷积核组成，用于提取数据的时间特征，提取过程中通过设定卷积核的大小来控制感受野，感受野的计算公式如下：
rfsize＝(out-1)*stride+ksize
其中，out为上一层感受野大小；stride为当前层感受野移动步长，默认为1；ksize为当前层卷积核大小。
进一步，所述步骤S3中，选取交叉熵损失函数作为损失函数，具体公式为：
其中，m为数据总量，p为分类数，k为当前输入数据，y′(k)为预测值，yk为真实值。
本发明与现有技术相比，其显著效果如下：
1、通过模拟气象要素间的有向驱动关系，提出了一种基于有向图神经网络的高温灾害预报方法；
2、由于每个要素间的相互影响程度不尽相同，本发明在模型中加入了注意力机制，能够使模型更多关注于对变量影响大的部分，更有利于有效信息的聚合；
3、本发明提出了一种能够捕获各种时间周期模式的卷积核组合，使得模型具备处理长时间序列的能力；
4、充分考虑能量循环与水循环的相互作用，结合同一尺度相互作用的日最高气温、降水、风速、空气湿度、日照时数、蒸散发，利用有向图神经网络反映变量之间的驱动关系，作出未来短期内的高温灾害精准预报，科学预测评估高温灾害风险，为气象部门的决策提供有力支持，为人们日常活动提供参考。
附图说明
图1为本发明的总框架示意图；
图2为本发明的滑动窗口设置及向输入数据形式的转化示意图；
图3(a)为本发明中“图”的示例；
图3(b)为图3(a)对应的节点示例；
图3(c)为图3(a)对应的图邻接矩阵示例图；
图4为本发明图邻接矩阵的学习过程示意图；
图5为本发明的注意力机制示意图；
图6为本发明的有向图神经网络框架示意图。
具体实施方式
下面结合说明书附图和具体实施方式对本发明做进一步详细描述。
本发明利用图神经网络建立有向网络反映日最高气温、降水、风速、空气湿度、日照时数、蒸散发之间的有向驱动关系，最终实现高温灾害的智能精准预测。图神经网络使用图形结构将变量作为图中的节点，每个节点都会有边与图中其他节点相关，依靠节点间隐藏关系的数学表示——图邻接矩阵，遵循邻域聚合策略，按照聚合节点的领域信息来迭代更新节点的表示。它既可以捕获变量间的相互依赖关系，又可以通过改进一维卷积形式来捕获时间模式，处理很长的时间序列。
如图1所示，为本发明的整体框架示意图。本发明包括如下步骤：
(1)多变量气象数据预处理；
(2)有向图神经网络的搭建；
(3)确定损失函数，训练网络；
(4)基于深度学习方法进行高温灾害预报。
本发明的具体实现过程如下：
步骤1，多变量气象数据预处理
深度学习模型需要大量的训练样本来预训练模型，时间序列预测是以历史数据分析为基础的对将来的预测，因此需要历史的包含多种气象要素的时间序列来预训练模型并验证模型的性能。
(11)数据标准化
原始数据中由于各气象要素(例如日最高气温、降水、风速、空气湿度、太阳辐射、蒸散发、地表净辐射等)的度量单位和取值范围不同，同一气象要素最大最小值之间也可能相差几个数量级，如地表净辐射的数值范围在0-107之间，输入模型时会造成特征值的分布范围差异很大，会影响模型的收敛速度和精度，需要对原始数据标准化处理，使得每个变量的取值范围在-1～1之间。
(12)数据重构
作为突发气象灾害预警信号的一种，高温预警信号分三级，分别以黄色、橙色和红色表示，具体根据各行政区域规定的高温等级阈值来划分。首先人工标识历史时间序列上的高温灾害指数，即在输入数据中根据日最高气温值添加一列高温灾害指数，0表示无高温灾害风险，1表示高温黄色预警，2表示高温橙色预警，3表示高温红色预警。
(13)基于滑动窗口法构建多维时间序列样本集
对时间序列分析的目的是通过找出样本内时间序列的统计特性和发展规律性，基于规律构建时间序列模型，进行样本预测。多种气象要素都具有周期性特征，如日最高气温以月或季为周期等，因此可以在各气象要素值标准化后使用滑动窗口法构建时间序列，如图2所示，滑动窗口大小可以为30、60或90，滑动窗口每次的移动步长为1。
设zt∈RN(R表示实数)表示在时间步长t时的多元变量的值，其中zt[i]∈R表示时间步长t时变量i的值，则给定时间长度为p的多变量数据的历史序列为：
每日高温灾害指数在进入模型后将被编码为离散值向量
四个值分别代表g时刻的无灾害风险概率、发出高温黄色预警概率、发出高温橙色预警概率和发出高温红色预警概率，如当日日最高气温为41.6℃，则离散值向量为(0，0，0，1)，g＝1，2，3，…，p。那么高温灾害指数可以表示为：
(14)划分数据集
将多维时间序列样本集按照一定比例(通常为7：1：2)划分为训练集、验证集和测试集，其中训练集和验证集共同参与模型的训练过程，测试集用于测试训练好的模型的效果。
步骤2，有向图神经网络的搭建
本发明中图神经网络使用图形结构将日最高气温、降水、风速、空气湿度、日照时数、蒸散发作为图中的节点，每个节点都会有边与图中其他节点相关，依靠节点间隐藏关系的数学表示——图邻接矩阵，遵循邻域聚合策略，通过图卷积模块按照聚合节点的领域信息来迭代更新节点的表示。又可以通过改进一维卷积形式来捕获时间模式，处理很长的时间序列。网络输出层由四个神经元组成，分别映射四个离散值，代表无高温灾害概率、发出高温黄色预警概率、发出高温橙色预警概率、发出高温红色预警概率。
图描述了模型中变量之间的关系，给出图相关概念的定义如下：
定义1：图
一个图被公式化为：
G＝(V，E) (3)
其中，V是节点集，E是边集(表示节点之间的关系)。
定义2：邻域节点
v∈V表示一个节点，e＝(v，u)∈E表示从u指向v的边，则有节点v的临近节点定义为：
N(v)＝{u∈V|(v，u)∈E} (4)。
定义3：邻接矩阵
邻接矩阵是图的数学表示，表示为A∈RN×N，N表示为图中的节点数。
下面给出图邻接矩阵的一个示例：图3(a)为“图”的示例，图3(b)为图3(a)对应的节点示例，图3(c)为图3(a)对应的图邻接矩阵示例图；其中，1和0分别表示两相邻节点有无隐藏关系，如图3(c)中所示，图邻接矩阵能揭示变量间的单向或双向关系，图邻接矩阵作为外部结构输入为图卷积过程提供了信息传递的方向。
基于以上对图的定义来看，本发明将多元时间序列中的日最高气温、降水、风速、空气湿度、日照时数、蒸散发视为图中的节点，图邻接矩阵描述节点之间的关系，将使用图学习层来学习邻接矩阵。
本发明提出了一种逐步学习策略：图学习层从一个起始状态，每一次学习向图中添加一个节点，再利用循环神经网络根据节点信息自回归计算相似性得分，生成新节点与每个初始节点间的连接关系，如图4所示。
循环神经网络处理节点初始信息并将节点的表示向量解码为隐藏状态(hiddenstate)作为下一次迭代的输入(计算如公式(8))，在迭代过程中不断聚合各节点信息：
M1＝tanh(αE1Θ1) (5)
M2＝tanh(αE2Θ2) (6)
Ht＝sigmod(W·xt+U·Ht-1) (8)
其中，W和U均为超参数，xt为当前输入的时间序列数据，sigmoid函数表达式为
e是自然对数函数的底数；E1、E2表示随机初始化的节点嵌入，Θ1、Θ2是神经网络模型参数；α是控制激活函数饱和速率的超参数，均在训练过程中被学习；A为根据节点对信息聚合后得到的邻接矩阵，Ht-1为上一层迭代的输出隐藏状态、Ht为该层的隐藏状态即节点的表示向量。
图学习模块完全从输入时间序列数据本身中根据逐步学习策略方法自适应提取图邻接矩阵，作为后续图卷积模块聚合节点信息过程的输入。为了减少计算和存储的成本，本发明采用了一种抽样的方法，即每次只计算成对节点间的相似性得分，将得分作为隐藏状态在每一次计算过程中聚合得到最终的全局图邻接矩阵。这种抽样方法使得有向图神经网络模型能够随着输入数据的更新不断更新邻接矩阵，泛化性更强。
图形卷积模块由两个混合传播层组成，分别处理通过每个节点的流入和流出信息，旨在融合节点信息。混合传播层包括两个过程，信息传播过程和信息选择过程。信息传播过程基于图邻接矩阵给定的图结构传播节点信息；信息选择过程过滤传播过程产生的噪声。
考虑到气象要素间的相互影响不能一概而论，如大气热量的根本来源是太阳辐射，在同一片地区内太阳辐射相对于其他影响大气温度的因素来说应占更大的比重。因此，本发明在信息传播过程中加入注意力机制，即在图邻接矩阵中赋予连接节点的边不同的权重，如下图5所示，其表达式为：
Ht＝βHt-1 (9)
其中，β对应每条边的权重，Ht-1为网络上一次迭代的输出隐藏状态，Ht为该层的隐藏状态即节点的表示向量。
加入注意力机制有利于消除噪声对有向图神经网络模型产生的负面影响，避免过度平滑问题，也有利于释放模型占用内存，将计算力集中到更为重要的部分。
本发明考虑到不同气象要素具有不同的时间周期特征，为了使有向图神经网络模型不受这些不同周期特征的影响，本发明在有向图神经网络模型中加入了一种由四种不同大小的卷积核组成的时间卷积模块，使其能够捕获不同的周期信号，如图6所示。时间卷积模块用于提取数据的时间特征，提取过程中通过设定卷积核的大小来控制感受野，由于时间信号往往具有几个固有周期，例如7、12、24、28和60，卷积核太大无法捕获短期时间特征，太小则无法捕获长期时间特征。为了能够捕获各种范围的周期特征和提高有向图神经网络模型处理长时间序列的能力，有向图神经网络模型将4种不同大小(1*2、1*3、1*6和1*7)的卷积核组合起来构成时间卷积模块。感受野的计算公式如下：
rfsize＝(out-1)*stride+ksize (10)
其中，out为上一层感受野大小，stride为当前层感受野移动步长，默认为1，ksize为当前层卷积核大小。如为了表示周期12，有向图神经网络模型通过设置第一层1*7的卷积核和第二层的1*6卷积核来传递输入。
时间卷积模块后紧接着四个输出神经元，每一个神经元映射一个离散值，连接后得到对应于人工标识的高温灾害指数向量的预测向量(y’1，y’2，y’3，y’4)，每一个离散值与输入变量的线性关系如下：
y’1＝x1w11+x2w21+x3w31+......+xiwi1+b1 (11)
y’2＝x1w12+x2w22+x3w32+......+xiwi2+b2 (12)
y’3＝x1w13+x2w23+x3w33+......+xiwi3+b3 (13)
y’4＝x1w14+x2w24+x3w34+......+xiwi4+b4 (14)
其中Xi表示第i个输入变量，Wij和bj为模型参数，j＝1，2，3，4，由模型在训练过程中自主学习。
然后通过sofxmax运算符将预测向量通过下式(15)将输出值变为正数且和为1的概率分布：
y’1，y’2，y’3，y’4＝soft max(y’1，y’2，y’3，y’4) (15)
其中，j＝1，2，3，4。通过softmax运算后，由于输出都在[0，1]，所以可以赋予其一个实际含义，即属于某个类别的概率。因此，y’1，y’2，y’3，y’4构成了一个概率分布，并取最大概率对应的类别作为输出类别。如概率分布为(0.1，0.84，0.06，0)，则输出为高温黄色预警对应的灾害指数1。
步骤3，确定损失函数，训练网络
将步骤1中处理好的训练集和验证集数据输入步骤2构建的有向图神经网络模型，进行训练，根据有向图神经网络模型的表现，调整有向图神经网络模型的参数如学习率、优化器、正则化参数等，使得有向图神经网络模型达到理想效果，训练多次保存效果最好的有向图神经网络模型作为预测模型。
由于未来的预测值没有观测数据用于验证，时间序列预测任务中无论是训练模型还是验证模型都使用历史时间序列数据。在训练过程中，损失函数通常作为学习准则，用来评估模型的预测向量与真实值向量不一样的程度，一般通过交叉熵损失函数来达到训练模型的目的。具体公式为：
其中，m为数据总量，p为分类数，在此处为4。k为当前输入数据，y’(k)为预测向量，y(k)为真实值向量。
确定损失函数后，开始训练有向图神经网络模型。训练过程中观察损失函数曲线是否逐渐降低最后趋于平稳，若下降速度慢或期间波动剧烈，则可以适当调整模型参数如学习率(learning rate)、批量大小(batch size)等；待损失函数曲线下降到最低并趋于平稳后，保存最佳模型作为预测模型。
步骤4，基于深度学习方法进行高温灾害预报
将一段多变量时间序列输入预测模型，即可根据需求改变输出步长，得到一段时间内的高温灾害指数序列，发出对应的高温灾害预警。
Claims (4)
1.一种基于有向图神经网络的高温灾害预报方法，其特征在于，包括步骤如下：
S1，将各气象要素分别进行标准化处理，使各气象要素按比例缩放在同一取值范围内；根据高温预警等级，将高温灾害数值设置为0，1，2，3，分别表示无高温灾害、高温黄色预警、高温橙色预警、高温红色预警；高温灾害数值进入模型后会被编码为离散值向量(y1，y2，y3，y4)，作为标签加入输入数据，完成数据重构；
根据气象要素本身的时间周期特性，将标准化后的各气象要素基于滑动窗口法构建成多维时间序列样本集；
按照设定比例，将所述多维时间序列样本集划分为训练集、验证集和测试集；
S2，构建有向图神经网络模型；实现过程如下：
有向图神经网络模型从图的角度来建模变量之间的相互驱动关系，将各气象要素作为图中的节点，采用图邻接矩阵描述各节点之间的关系；再采用逐步学习策略学习节点信息，并不断更新邻接矩阵的状态；所述逐步学习策略为：图学习层从一个起始状态，每一次学习向图中添加一个节点，再利用循环神经网络根据节点信息自回归计算相似性得分，生成新节点与每个初始节点间的连接关系；
循环神经网络处理节点初始信息并将节点的表示向量解码为隐藏状态作为下一次迭代的输入，在迭代过程中不断聚合各节点信息，迭代过程如下：
M1＝tanh(αE1Θ1)
M2＝tanh(αE2Θ2)
Ht＝sigmod(W·xt+U·Ht-1)
其中，W和U均为超参数，xt为当前输入的时间序列数据；
sigmoid函数表达式为
e是自然对数函数的底数；E1、E2表示随机初始化的节点嵌入，Θ1、Θ2是神经网络模型参数；α是控制激活函数饱和速率的超参数，均在训练过程中被学习；A为根据节点对信息聚合后得到的邻接矩阵；Ht-1为上一层迭代的输出隐藏状态、Ht为该层的隐藏状态即节点的表示向量；
通过聚合各节点信息，不断更新图的构成，最终得到全局图邻接矩阵；
根据气象数据的时间周期特征和各气象要素构建有向图神经网络模型，各气象要素包括日最高气温、降水、风速、空气湿度、日照时数、蒸散发；所述有向图神经网络模型通过嵌套式的图卷积模块和时间卷积模块将输入数据的信息进行聚合，具体实现过程如下：
图学习模块从输入时间序列数据中根据逐步学习策略方法自适应提取图邻接矩阵，作为后续图卷积模块聚合节点信息过程的输入；同时，抽样的方法每次只计算成对节点间的相似性得分，将得分作为隐藏状态在每一次计算过程中聚合得到最终的全局图邻接矩阵；
图形卷积模块由两个混合传播层组成，分别处理通过每个节点的流入和流出信息，混合传播层包括信息传播过程和信息选择过程；信息传播过程基于图邻接矩阵给定的图结构传播节点信息，信息选择过程过滤传播过程产生的噪声；
在图邻接矩阵中赋予连接节点的边不同的权重，实现在信息传播过程中加入注意力机制，表达式为：
Ht＝βHt-1
其中，β对应每条边的权重，Ht-1为网络上一次迭代的输出隐藏状态，Ht为该层的隐藏状态即节点的表示向量；
S3，确定损失函数后开始训练有向图神经网络模型，通过调整学习率、优化器、正则化参数得到满足要求的模型作为预测模型，并保存预测模型；
S4，将历史多变量时间序列输入预测模型，根据需求改变输出步长，得到未来一段时间内的高温灾害预报。
2.根据权利要求1所述的基于有向图神经网络的高温灾害预报方法，其特征在于，步骤S1中，根据气象要素的周期性特征，建成多维时间序列样本集如下：
设zt∈RN，R表示实数，表示在时间步长t时的多元变量的值，其中zt[i]∈R表示时间步长t时变量i的值，则给定时间长度为p的多变量数据的历史序列为：
标签集为：
3.根据权利要求1所述的基于有向图神经网络的高温灾害预报方法，其特征在于，所述时间卷积模块由四种不同大小的卷积核组成，用于提取数据的时间特征，提取过程中通过设定卷积核的大小来控制感受野，感受野的计算公式如下：
rfsize＝(out-1)*stride+ksize
其中，out为上一层感受野大小；stride为当前层感受野移动步长，默认为1；ksize为当前层卷积核大小。
4.根据权利要求1所述的基于有向图神经网络的高温灾害预报方法，其特征在于，步骤S3中，选取交叉熵损失函数作为损失函数，具体公式为：
其中，m为数据总量，p为分类数，k为当前输入数据，y′(k)为预测值，yk为真实值。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210532112.6A CN114626512B (zh) | 2022-05-17 | 2022-05-17 | 一种基于有向图神经网络的高温灾害预报方法 |
| US18/130,561 US11874429B2 (en) | 2022-05-17 | 2023-04-04 | High-temperature disaster forecast method based on directed graph neural network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210532112.6A CN114626512B (zh) | 2022-05-17 | 2022-05-17 | 一种基于有向图神经网络的高温灾害预报方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114626512A CN114626512A (zh) | 2022-06-14 |
| CN114626512B true CN114626512B (zh) | 2022-09-06 |
Family
ID=81907146
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210532112.6A Active CN114626512B (zh) | 2022-05-17 | 2022-05-17 | 一种基于有向图神经网络的高温灾害预报方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11874429B2 (zh) |
| CN (1) | CN114626512B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116541767A (zh) * | 2023-07-05 | 2023-08-04 | 中国农业大学 | 一种基于图神经网络的多元温室环境参数预测方法及系统 |
| CN117575320B (zh) * | 2023-11-29 | 2024-04-30 | 中国科学院空天信息创新研究院 | 一种基于图卷积神经网络的森林火灾风险预测方法 |
| CN117390592B (zh) * | 2023-12-11 | 2024-03-22 | 江西省气象服务中心(江西省专业气象台、江西省气象宣传与科普中心) | 一种特色景观预报模型构建方法及系统 |
| CN117455320B (zh) * | 2023-12-25 | 2024-03-19 | 江苏恒力化纤股份有限公司 | 基于qgmvpn模型的多釜聚合过程熔体质量指标在线预测方法 |
| CN117556224B (zh) * | 2024-01-12 | 2024-03-22 | 国网四川省电力公司电力科学研究院 | 一种电网设施抗震风险评估系统、方法及存储介质 |
| CN117786374B (zh) * | 2024-02-28 | 2024-05-14 | 南京信息工程大学 | 一种基于图神经网络的多变量时序异常检测方法及系统 |
| CN117829683A (zh) * | 2024-03-04 | 2024-04-05 | 国网山东省电力公司信息通信公司 | 基于图对比学习的电力物联数据质量分析方法及系统 |
| CN117852729A (zh) * | 2024-03-08 | 2024-04-09 | 西安邮电大学 | 基于序列分解构图和注意力机制的天气预测方法及系统 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104951993A (zh) * | 2014-09-04 | 2015-09-30 | 国网山东省电力公司应急管理中心 | 基于气象及电网gis的综合监测预警系统及方法 |
| US11315046B1 (en) * | 2018-06-28 | 2022-04-26 | Ashton Robinson Cook | Machine learning-based disaster modeling and high-impact weather event forecasting |
| US11023353B2 (en) * | 2018-08-24 | 2021-06-01 | Vmware, Inc. | Processes and systems for forecasting metric data and anomaly detection in a distributed computing system |
| US10871594B2 (en) * | 2019-04-30 | 2020-12-22 | ClimateAI, Inc. | Methods and systems for climate forecasting using artificial neural networks |
| CN111815037B (zh) * | 2020-06-24 | 2022-08-26 | 河海大学 | 一种基于注意力机制的可解释性短临极端降雨预测方法 |
| CN112182063A (zh) * | 2020-09-16 | 2021-01-05 | 河海大学 | 一种基于时空特征的水文预报模型的构建方法 |
| US20220180179A1 (en) * | 2020-12-09 | 2022-06-09 | International Business Machines Corporation | Detecting anomalies in computer systems based on forecasted timeseries |
| CN112766549A (zh) * | 2021-01-07 | 2021-05-07 | 清华大学 | 一种空气污染物浓度预报方法、装置及存储介质 |
-
2022
- 2022-05-17 CN CN202210532112.6A patent/CN114626512B/zh active Active
-
2023
- 2023-04-04 US US18/130,561 patent/US11874429B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN114626512A (zh) | 2022-06-14 |
| US20230375745A1 (en) | 2023-11-23 |
| US11874429B2 (en) | 2024-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114626512B (zh) | 一种基于有向图神经网络的高温灾害预报方法 | |
| Ayoub | A review on machine learning algorithms to predict daylighting inside buildings | |
| CN108280551B (zh) | 一种利用长短期记忆网络的光伏发电功率预测方法 | |
| Zhang et al. | Short-term rainfall forecasting using multi-layer perceptron | |
| CN109142171B (zh) | 基于特征扩张的融合神经网络的城市pm10浓度预测方法 | |
| CN109508360B (zh) | 一种基于元胞自动机的地理多元流数据时空自相关分析方法 | |
| CN108009674A (zh) | 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法 | |
| CN106951611A (zh) | 一种基于使用者行为的严寒地区建筑节能设计优化方法 | |
| CN112651665A (zh) | 一种基于图神经网络的地表水水质指标预测方法和装置 | |
| CN111242395B (zh) | 用于od数据的预测模型构建方法及装置 | |
| CN112561058A (zh) | 基于Stacking-集成学习短期光伏功率预测方法 | |
| Massaoudi et al. | Performance evaluation of deep recurrent neural networks architectures: Application to PV power forecasting | |
| Li et al. | A method of rainfall runoff forecasting based on deep convolution neural networks | |
| Ao et al. | Hybrid model of air quality prediction using k-means clustering and deep neural network | |
| Chen et al. | Short-term Wind Speed Forecasting Based on Singular Spectrum Analysis, Fuzzy C-Means Clustering, and Improved POABP | |
| Lababede et al. | Mosques smart domes system using machine learning algorithms | |
| CN115481788B (zh) | 相变储能系统负荷预测方法及系统 | |
| CN116663404A (zh) | 一种耦合人工智能和贝叶斯理论的洪水预报方法及系统 | |
| CN116822716A (zh) | 一种基于时空注意力的台风预测方法、系统、设备及介质 | |
| Ragab | Spider Monkey Optimization with Statistical Analysis for Robust Rainfall Prediction. | |
| Aranay et al. | Deep active genetic learning-based assessment of lakes’ water quality using climate data | |
| Lu et al. | Dynamic evolution analysis of desertification images based on BP neural network | |
| Li et al. | Air temperature forecasting using traditional and deep learning algorithms | |
| Adeyemo | Soft Computing techniques for weather and Climate change studies | |
| Mandal et al. | Prediction of Wind Speed using Machine Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |