CN116050460A - 基于注意力神经网络的气温数据空间插值方法 - Google Patents
基于注意力神经网络的气温数据空间插值方法 Download PDFInfo
- Publication number
- CN116050460A CN116050460A CN202310292143.3A CN202310292143A CN116050460A CN 116050460 A CN116050460 A CN 116050460A CN 202310292143 A CN202310292143 A CN 202310292143A CN 116050460 A CN116050460 A CN 116050460A
- Authority
- CN
- China
- Prior art keywords
- matrix
- vector
- point
- points
- air temperature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 16
- 239000013598 vector Substances 0.000 claims abstract description 105
- 238000005070 sampling Methods 0.000 claims abstract description 95
- 239000011159 matrix material Substances 0.000 claims abstract description 86
- 238000012512 characterization method Methods 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000013507 mapping Methods 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 2
- 238000009826 distribution Methods 0.000 description 14
- 230000007246 mechanism Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 101001095088 Homo sapiens Melanoma antigen preferentially expressed in tumors Proteins 0.000 description 1
- 102100037020 Melanoma antigen preferentially expressed in tumors Human genes 0.000 description 1
- 101100365546 Schizosaccharomyces pombe (strain 972 / ATCC 24843) set10 gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000005654 stationary process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Environmental & Geological Engineering (AREA)
- Atmospheric Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Ecology (AREA)
- Environmental Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例中提供了一种基于注意力神经网络的气温数据空间插值方法,属于数据处理技术领域,具体包括:在目标区域内收集多个气象点信息;通过设计三层非线性映射,得到各气象点在高维空间内的属性表征向量;设计一个空间特征位置编码器,得到各气象点在高维空间内的位置表征向量;拟合趋势面特征矩阵;拟合气象点之间的综合相关度矩阵;根据趋势面特征矩阵、综合相关度矩阵和克里金方程,计算未采样点的气温估计值;通过在训练集中计算气温真实值与模型气温估计值之间的误差,据此指导更新网络中的可学习参数直至达到预设条件,得到目标模型;利用目标模型对实际未采样点进行插值。通过本发明的方案,提高了适应性和精准度。
Description
技术领域
本发明实施例涉及数据处理技术领域,尤其涉及一种基于注意力神经网络的气温数据空间插值方法。
背景技术
目前,气温是最重要的气象要素之一,实现区域气温空间分布的细粒度精细化感知,紧密关系到居民的日常出行、劳作耕种等生活与工作方式,同时也为应对全球性气候变化挑战提供科学、可靠的底层数据支撑。然而,由于经济成本与站点建设环境等客观因素的制约,数量稀疏且空间分布不均匀的实际气象监测站点与高精度、无死角、细粒度的气温感知需求之间存在矛盾。因而,如何设计一种智能化的气温数据空间插值方法,基于已知采样点信息,精确拟合气温空间分布过程内在机理,以实现粗粒度气温分布的细粒度加密与未观测区域的精细化推理,是建设智能化气象立体监测网络的重要技术基础。
气温空间分布作为复杂气象系统与地理环境系统综合作用下的一种空间过程数据,其成因机制与演化机理受到高程、坡度、风速、植被覆盖等多种混杂地理与气象因素的交叉影响。且气温分布于地理空间上的表达符合地理学第一定律即空间依赖性的约束,具体表现为邻近空间位置的气温分布具有较大相似性。因此,耦合气温分布的多因素交叉成因机制与非线性空间依赖性是指导插值模型设计的底层理论基础。与此同时,气温空间分布于大尺度上呈现整体性的非线性与非平稳变化趋势。例如,我国东部气温南高北低,而西部气温因青藏高原的存在呈北高南低的反向趋势。精确拟合这种潜在趋势面对于修正插值结果具有一定指导性作用。
在此指导下,现有主流气温空间插值方法可以分为确定性插值与地统计插值两大类。确定性插值方法将采样点与待估点属性值均视为不具备概率随机性的固定常数,进而通过特定的数学公式拟合研究区域内部的相关关系或平滑程度,推理待估点的预测值。具体的,反距离加权法以待估点到采样点的距离反比作为相关性权重,从而估计待估点预测值。趋势面法通过构建回归多项式,以拟合采样点构成的平滑趋势面,进而推断待估点于趋势面上的属性值。地统计插值旨在将空间区域建模为符合二阶平稳过程的随机场,通过半变异函数建模采样点与待估点之间的空间依赖性关系,从而计算待估点的最佳线性无偏估计,包括简单克里金与普通克里金等方法。在此基础上,分别考虑到多因素协变量与气温之间的复杂相关关系,以及气温分布的整体趋势性特征,协克里金与泛克里金方法被针对性地引入到气温空间分布插值中。然而,上述方法的插值式构建与模型参数学习过程强依赖于丰富的专家先验知识与理想的统计学假设,无法应对实际气温空间演化过程中的复杂地理依赖性与非平稳空间趋势面的挑战,导致插值结果精度低、泛化性差。
可见,亟需一种适应性和精准度高的基于注意力神经网络的气温数据空间插值方法。
发明内容
有鉴于此,本发明实施例提供一种基于注意力神经网络的气温数据空间插值方法,至少部分解决现有技术中存在适应性和精准度较差的问题。
第一方面,本发明实施例提供了一种基于注意力神经网络的气温数据空间插值方法,包括:
步骤1,在目标区域内收集多个气象点信息,其中,气象点信息包括每个气象点的空间位置坐标向量和协变量向量;
步骤2,通过设计三层非线性映射,将各气象点的协变量向量映射到高维空间中,得到各气象点在高维空间内的属性表征向量;
步骤3,设计一个空间特征位置编码器,将各气象点的坐标向量映射到与属性表征向量同维度的高维空间中,得到各气象点在高维空间内的位置表征向量;
步骤4,根据位置表征向量设计地理加权网络,据此拟合趋势面特征矩阵;
步骤5,根据属性表征向量与位置表征向量构建注意力网络,拟合气象点之间的综合相关度矩阵;
步骤6,根据趋势面特征矩阵、综合相关度矩阵和克里金方程,计算未采样点的气温估计值;
步骤7,将采样点按预设比例分割为训练集和验证集,通过在训练集中计算气温真实值与模型气温估计值之间的误差,据此指导更新网络中的可学习参数直至达到预设条件,得到目标模型;
步骤8,利用目标模型对实际未采样点进行插值。
根据本发明实施例的一种具体实现方式,所述属性表征向量的表达式为
其中,, 以及为网络可学习参数,为非线性激活函数,为高维空间的维度,,表示协变量向量。
根据本发明实施例的一种具体实现方式,所述步骤3具体包括:
步骤3.1,基于气象点的地理坐标,计算对应的旋转矩阵子块,公式如下:
其中,,为位置表征向量维度;
步骤3.2,基于旋转矩阵子块构建气象点的旋转矩阵:
其中,表示由括号内的矩阵所构成的分块对角矩阵;
步骤3.3,基于旋转矩阵计算各气象点的位置表征向量,公式如下:
其中,为元素全为1的向量。
根据本发明实施例的一种具体实现方式,所述步骤4具体包括:
步骤4.1,计算高维空间中,两两采样点之间位置编码的相似度,并构建采样点位置相似度矩阵,公式如下:
其中,;
步骤4.2,计算高维空间中,未采样点与采样点点对的位置编码相似度,并构建未采样点与采样点位置相似度矩阵,公式如下:
其中,;
步骤4.3,设计两层全连接层,基于与分别学习采样点的趋势面权重与未采样点的趋势面权重,公式如下:
其中,以及为网络可学习参数,为非线性激活函数;
步骤4.4,将计算得到的两类趋势面权重与分别与采样点位置编码所构成的矩阵和未采样点位置编码所构成的矩阵进行聚合运算,生成采样点与未采样点的趋势面特征矩阵与,其聚合运算公式如下:
其中,为哈达玛积运算符,为网络可学习参数。
根据本发明实施例的一种具体实现方式,所述步骤5具体包括:
步骤5.1,将属性表征向量和位置表征向量融合投影至查询空间与键空间,得到对应的查询向量与键向量,公式如下:
其中,为网络可学习参数,表示向量拼接操作符,表示位置表征向量权重;
步骤5.2,计算高维空间中两两采样点之间的综合相关度,并构建采样点综合相关度矩阵,公式如下:
;
步骤5.3,计算高维空间中未采样点与采样点点对的综合相关度,并构建未采样点与采样点综合相关度矩阵,公式如下:
。
根据本发明实施例的一种具体实现方式,所述步骤6具体包括:
步骤6.1,基于两类综合相关度矩阵、,计算对应的半变异矩阵与:
其中,指取括号中矩阵最大元素的值;
步骤6.2,针对每一个未采样点,构建克里金方程,求解对应插值参数为:
其中表示拉格朗日项系数,即矩阵中的第行构成的列向量,表示点对应的综合相关度向量,即矩阵中的第行构成的列向量,表示点对应的趋势面特征向量;
步骤6.3,依据参数,通过所有采样点气温值求解未采样点的气温估计值:
。
根据本发明实施例的一种具体实现方式,所述步骤7具体包括:
步骤7.1,采用均方根误差作为插值误差,采用采样点综合相关度矩阵的对称约束作为正则化项,定义模型训练的损失函数为:
其中,为训练集中的气象点数,表示矩阵1范数,为正则化系数;
步骤7.2,将每次计算的损失通过反向传播算法传递给模型的可学习参数;
步骤7.3,利用Adam优化器基于回传的损失更新每一个可学习参数的值,直到插值模型在验证集VS中具有最低的插值误差。
本发明实施例中的基于注意力神经网络的气温数据空间插值方案,包括:步骤1,在目标区域内收集多个气象点信息,其中,气象点信息包括每个气象点的空间位置坐标向量和协变量向量;步骤2,通过设计三层非线性映射,将各气象点的协变量向量映射到高维空间中,得到各气象点在高维空间内的属性表征向量;步骤3,设计一个空间特征位置编码器,将各气象点的坐标向量映射到与属性表征向量同维度的高维空间中,得到各气象点在高维空间内的位置表征向量;步骤4,根据位置表征向量设计地理加权网络,据此拟合趋势面特征矩阵;步骤5,根据属性表征向量与位置表征向量构建注意力网络,拟合气象点之间的综合相关度矩阵;步骤6,根据趋势面特征矩阵、综合相关度矩阵和克里金方程,计算未采样点的气温估计值;步骤7,将采样点按预设比例分割为训练集和验证集,通过在训练集中计算气温真实值与模型气温估计值之间的误差,据此指导更新网络中的可学习参数直至达到预设条件,得到目标模型;步骤8,利用目标模型对实际未采样点进行插值。
本发明实施例的有益效果为:通过本发明的方案,设计二维空间位置编码与注意力学习网络,在耦合多因素交叉成因机制与非线性空间依赖性的高维空间内,智能化、自适应地构建采样点与非采样点之间的潜在复杂相关关系;设计地理加权神经网络,在地理异质性的引导下,实现非线性、非平稳气温分布趋势面的精确拟合; 采用基于数据驱动的深度学习框架,通过反向传播与梯度下降算法自适应调整网络权重参数,减少人为主观影响以提高模型健壮性与泛化性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种基于注意力神经网络的气温数据空间插值方法的流程示意图;
图2为本发明实施例提供的一种基于注意力神经网络的气温数据空间插值方法的具体实施流程示意图;
图3为本发明实施例提供的一种网络结构构成及数据流程示意图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
以下通过特定的具体实例说明本发明的具体实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见,本文中所描述的方面可体现于广泛多种形式中,且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本发明,所属领域的技术人员应了解,本文中所描述的一个方面可与任何其它方面独立地实施,且可以各种方式组合这些方面中的两者或两者以上。举例来说,可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外,可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
另外,在以下描述中,提供具体细节是为了便于透彻理解实例。然而,所属领域的技术人员将理解,可在没有这些特定细节的情况下实践所述方面。
本发明实施例提供一种基于注意力神经网络的气温数据空间插值方法,所述方法可以应用于农业或出行场景的气温预测过程中。
参见图1,为本发明实施例提供的一种基于注意力神经网络的气温数据空间插值方法的流程示意图。如图1和图2所示,所述方法主要包括以下步骤:
步骤1,在目标区域内收集多个气象点信息,其中,气象点信息包括每个气象点的空间位置坐标向量和协变量向量;
具体实施时,可以在目标区域内收集个气象点位信息。其中,每个气象点均包含其对应的空间位置坐标向量与相关的协变量向量,如高程、坡向等,为协变量个数。如果气象点还额外包含该位置的气温监测信息,则该点属于采样点集合,反之则属于未采样点集合。与分别为采样点与未采样点的个数,并满足。
步骤2,通过设计三层非线性映射,将各气象点的协变量向量映射到高维空间中,得到各气象点在高维空间内的属性表征向量;
进一步的,所述属性表征向量的表达式为
其中,, 以及为网络可学习参数,为非线性激活函数,为高维空间的维度,,表示协变量向量。
具体实施时,可以通过设计三层非线性映射,将各气象点的协变量向量映射到高维空间中,得到各气象点属性信息于高维空间内的表达:
其中,, 以及为网络可学习参数。为非线性激活函数。为高维空间的维度。
步骤3,设计一个空间特征位置编码器,将各气象点的坐标向量映射到与属性表征向量同维度的高维空间中,得到各气象点在高维空间内的位置表征向量;
在上述实施例的基础上,所述步骤3具体包括:
步骤3.1,基于气象点的地理坐标,计算对应的旋转矩阵子块,公式如下:
其中,,为位置表征向量维度;
步骤3.2,基于旋转矩阵子块构建气象点的旋转矩阵:
其中,表示由括号内的矩阵所构成的分块对角矩阵;
步骤3.3,基于旋转矩阵计算各气象点的位置表征向量,公式如下:
其中,为元素全为1的向量。
具体实施时,设计一个二维空间位置编码器,将各气象点的坐标向量映射到与同维度的高维空间中,得到各气象点于高维空间内的位置表征向量。主要包括以下步骤:
3.1)基于气象点的地理坐标,计算对应的旋转矩阵子块,公式如下:
其中,,为位置表征向量维度。
3.2)基于旋转矩阵子块构建气象点的旋转矩阵:
其中,表示由括号内的矩阵所构成的分块对角矩阵。
3.3)基于旋转矩阵可计算各气象点的位置表征向量,公式如下:
其中,为元素全为1的向量。基于旋转矩阵的性质,位置表征向量的两两点积结果将会随地理距离的增加而衰减,从而表达空间依赖关系。
步骤4,根据位置表征向量设计地理加权网络,据此拟合趋势面特征矩阵;
进一步的,所述步骤4具体包括:
步骤4.1,计算高维空间中,两两采样点之间位置编码的相似度,并构建采样点位置相似度矩阵,公式如下:
其中,;
步骤4.2,计算高维空间中,未采样点与采样点点对的位置编码相似度,并构建未采样点与采样点位置相似度矩阵,公式如下:
其中,;
步骤4.3,设计两层全连接层,基于与分别学习采样点的趋势面权重与未采样点的趋势面权重,公式如下:
其中,以及为网络可学习参数,为非线性激活函数;
步骤4.4,将计算得到的两类趋势面权重与分别与采样点位置编码所构成的矩阵和未采样点位置编码所构成的矩阵进行聚合运算,生成采样点与未采样点的趋势面特征矩阵与,其聚合运算公式如下:
其中,为哈达玛积运算符,为网络可学习参数。
具体实施时,基于步骤3得到的位置表征向量设计地理加权网络,以拟合趋势面特征,具体步骤如下:
4.1)计算高维空间中,两两采样点之间位置编码的相似度,并构建采样点位置相似度矩阵。公式如下:
其中,。
4.2)计算高维空间中,未采样点与采样点点对的位置编码相似度,并构建未采样点与采样点位置相似度矩阵。公式如下:
其中,。
4.3)设计两层全连接层,基于与分别学习采样点的趋势面权重与未采样点的趋势面权重,公式如下:
其中,以及为网络可学习参数,为非线性激活函数。
4.4)将上一步计算得到的两类趋势面权重与分别与采样点位置编码所构成的矩阵和未采样点位置编码所构成的矩阵进行聚合运算,生成采样点与未采样点的趋势面特征矩阵与,其聚合运算公式如下:
其中,为哈达玛积运算符,为网络可学习参数。
步骤5,根据属性表征向量与位置表征向量构建注意力网络,拟合气象点之间的综合相关度矩阵;
在上述实施例的基础上,所述步骤5具体包括:
步骤5.1,将属性表征向量和位置表征向量融合投影至查询空间与键空间,得到对应的查询向量与键向量,公式如下:
其中,为网络可学习参数,表示向量拼接操作符,表示位置表征向量权重;
步骤5.2,计算高维空间中两两采样点之间的综合相关度,并构建采样点综合相关度矩阵,公式如下:
;
步骤5.3,计算高维空间中未采样点与采样点点对的综合相关度,并构建未采样点与采样点综合相关度矩阵,公式如下:
。
具体实施时,基于步骤2与步骤3得到的属性表征向量与位置表征向量,构建注意力网络,拟合气象点之间的综合相关度矩阵:包括采样点与采样点之间的综合相关度矩阵,和未采样点与采样点之间的综合相关度矩阵。主要可以包括以下步骤:
5.1)将步骤2中各气象点属性信息于高维空间内的表达与步骤3中的位置表征向量融合投影至查询空间与键空间,得到对应的查询向量与键向量,公式如下:
其中,为网络可学习参数,表示向量拼接操作符,表示位置表征向量权重,用于控制综合相关度中空间依赖性的重要程度。
5.2)计算高维空间中,两两采样点之间的综合相关度,并构建采样点综合相关度矩阵。公式如下:
5.3)计算高维空间中,未采样点与采样点点对的综合相关度,并构建未采样点与采样点综合相关度矩阵。公式如下:
步骤6,根据趋势面特征矩阵、综合相关度矩阵和克里金方程,计算未采样点的气温估计值;
进一步的,所述步骤6具体包括:
步骤6.1,基于两类综合相关度矩阵、,计算对应的半变异矩阵与:
其中,指取括号中矩阵最大元素的值;
步骤6.2,针对每一个未采样点,构建克里金方程,求解对应插值参数为:
其中表示拉格朗日项系数,即矩阵中的第行构成的列向量,表示点对应的综合相关度向量,即矩阵中的第行构成的列向量,表示点对应的趋势面特征向量;
步骤6.3,依据参数,通过所有采样点气温值求解未采样点的气温估计值:
。
具体实施时,于步骤4所得到的两类趋势面特征矩阵、与步骤5所得到的两类综合相关度矩阵、,根据地统计理论中的克里金方程,推断未采样点的气温估计值。具体可以包括以下步骤:
6.1)基于两类综合相关度矩阵、,计算对应的半变异矩阵与:
其中,指取括号中矩阵最大元素的值。
6.2)针对每一个未采样点,构建克里金方程,求解对应插值参数为:
其中表示拉格朗日项系数,即矩阵中的第行构成的列向量,表示点对应的综合相关度向量。即矩阵中的第行构成的列向量,表示点对应的趋势面特征向量。
6.3)依据参数,通过所有采样点气温值求解未采样点的气温估计值:
。
步骤7,将采样点按预设比例分割为训练集和验证集,通过在训练集中计算气温真实值与模型气温估计值之间的误差,据此指导更新网络中的可学习参数直至达到预设条件,得到目标模型;
在上述实施例的基础上,所述步骤7具体包括:
步骤7.1,采用均方根误差作为插值误差,采用采样点综合相关度矩阵的对称约束作为正则化项,定义模型训练的损失函数为:
其中,为训练集中的气象点数,表示矩阵1范数,为正则化系数;
步骤7.2,将每次计算的损失通过反向传播算法传递给模型的可学习参数;
步骤7.3,利用Adam优化器基于回传的损失更新每一个可学习参数的值,直到插值模型在验证集VS中具有最低的插值误差。
例如,网络结构构成及数据流程如图3所示,可以将90%的采样点作为训练集、10%的采样点作为验证集。通过在训练集中计算真实气温值与模型估计气温值之间的误差,以指导更新网络中的可学习参数、、、、、、、、、、、、,从而实现模型在验证集中最高的插值精度。具体包括以下步骤:
7.1)采用均方根误差作为插值误差,采用采样点综合相关度矩阵的对称约束作为正则化项,定义模型训练的损失函数为:
其中,为训练集中的气象点数,表示矩阵1范数,为正则化系数。
7.2)将每次计算的损失通过反向传播算法传递给模型的可学习参数。
7.3)利用Adam优化器基于回传的损失更新每一个可学习参数的值,直到插值模型在验证集VS中具有最低的插值误差。
步骤8,利用目标模型对实际未采样点进行插值。
具体实施时,在训练得到目标模型后,可以利用目标模型对实际未采样点进行插值。
同时,可以运用现有的插值方法与本发明进行对比实验,检验本方法的有效性。对比方法包括:普通克里金法(OK)、反距离加权法(IDW)、径向基函数法(RBF)。
基于10折交叉验证法,将实际气温数据集划分为10组,每一组依次保留为未采样点集,而其余9组作为采样点集用于模型构建,重复该过程10次,直到得到所有气象点的气温估计值。选取多项空间插值精度评价指标,包括①均方根误差(RMSE);②平均绝对误差(MAE);③平均绝对百分比误差(MAPE),计算公式如下:
其中,与分别表示第个气象点的真实气温值与模型估计气温值,表示实际数据集中的气象点数量。以上三个评价指标的值越小,说明方法模型的精度越高。
表1展示了本发明与对比方法对于真实气温数据的精度对比结果。分析不同方法的精度对比结果可以发现,本发明的方法在三个评价指标上均取得最佳的精度。
表1
基于本发明方法与现有方法进行如普通克里金法、反距离加权法和反距离加权法进行对比,将所有气象站点气温插值误差绝对值根据站点经纬度进行插值。可以发现,本发明相较对比方法,在整个研究区域内的误差更小且分布更均匀,说明本发明能够在大尺度情况下有效提升插值结果的健壮性与稳定性。
本实施例提供的基于注意力神经网络的气温数据空间插值方法,通过设计二维空间位置编码与注意力学习网络,在耦合多因素交叉成因机制与非线性空间依赖性的高维空间内,智能化、自适应地构建采样点与非采样点之间的潜在复杂相关关系;设计地理加权神经网络,在地理异质性的引导下,实现非线性、非平稳气温分布趋势面的精确拟合; 采用基于数据驱动的深度学习框架,通过反向传播与梯度下降算法自适应调整网络权重参数,减少人为主观影响以提高模型健壮性与泛化性。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (7)
1.一种基于注意力神经网络的气温数据空间插值方法,其特征在于,包括:
步骤1,在目标区域内收集多个气象点信息,其中,气象点信息包括每个气象点的空间位置坐标向量和协变量向量;
步骤2,通过设计三层非线性映射,将各气象点的协变量向量映射到高维空间中,得到各气象点在高维空间内的属性表征向量;
步骤3,设计一个空间特征位置编码器,将各气象点的坐标向量映射到与属性表征向量同维度的高维空间中,得到各气象点在高维空间内的位置表征向量;
步骤4,根据位置表征向量设计地理加权网络,据此拟合趋势面特征矩阵;
步骤5,根据属性表征向量与位置表征向量构建注意力网络,拟合气象点之间的综合相关度矩阵;
步骤6,根据趋势面特征矩阵、综合相关度矩阵和克里金方程,计算未采样点的气温估计值;
步骤7,将采样点按预设比例分割为训练集和验证集,通过在训练集中计算气温真实值与模型气温估计值之间的误差,据此指导更新网络中的可学习参数直至达到预设条件,得到目标模型;
步骤8,利用目标模型对实际未采样点进行插值。
2.根据权利要求1所述的方法,其特征在于,所述属性表征向量的表达式为
其中,, 以及为网络可学习参数,为非线性激活函数,为高维空间的维度,,表示协变量向量。
3.根据权利要求2所述的方法,其特征在于,所述步骤3具体包括:
步骤3.1,基于气象点的地理坐标,计算对应的旋转矩阵子块,公式如下:
其中,,为位置表征向量维度;
步骤3.2,基于旋转矩阵子块构建气象点的旋转矩阵:
其中,表示由括号内的矩阵所构成的分块对角矩阵;
步骤3.3,基于旋转矩阵计算各气象点的位置表征向量,公式如下:
其中,为元素全为1的向量。
4.根据权利要求3所述的方法,其特征在于,所述步骤4具体包括:
步骤4.1,计算高维空间中,两两采样点之间位置编码的相似度,并构建采样点位置相似度矩阵,公式如下:
其中,;
步骤4.2,计算高维空间中,未采样点与采样点点对的位置编码相似度,并构建未采样点与采样点位置相似度矩阵,公式如下:
其中,;
步骤4.3,设计两层全连接层,基于与分别学习采样点的趋势面权重与未采样点的趋势面权重,公式如下:
其中,以及为网络可学习参数,为非线性激活函数;
步骤4.4,将计算得到的两类趋势面权重与分别与采样点位置编码所构成的矩阵和未采样点位置编码所构成的矩阵进行聚合运算,生成采样点与未采样点的趋势面特征矩阵与,其聚合运算公式如下:
其中,为哈达玛积运算符,为网络可学习参数。
5.根据权利要求4所述的方法,其特征在于,所述步骤5具体包括:
步骤5.1,将属性表征向量和位置表征向量融合投影至查询空间与键空间,得到对应的查询向量与键向量,公式如下:
其中,为网络可学习参数,表示向量拼接操作符,表示位置表征向量权重;
步骤5.2,计算高维空间中两两采样点之间的综合相关度,并构建采样点综合相关度矩阵,公式如下:
;
步骤5.3,计算高维空间中未采样点与采样点点对的综合相关度,并构建未采样点与采样点综合相关度矩阵,公式如下:
。
6.根据权利要求5所述的方法,其特征在于,所述步骤6具体包括:
步骤6.1,基于两类综合相关度矩阵、,计算对应的半变异矩阵与:
其中,指取括号中矩阵最大元素的值;
步骤6.2,针对每一个未采样点,构建克里金方程,求解对应插值参数为:
其中表示拉格朗日项系数,即矩阵中的第行构成的列向量,表示点对应的综合相关度向量,即矩阵中的第行构成的列向量,表示点对应的趋势面特征向量;
步骤6.3,依据参数,通过所有采样点气温值求解未采样点的气温估计值:
。
7.根据权利要求6所述的方法,其特征在于,所述步骤7具体包括:
步骤7.1,采用均方根误差作为插值误差,采用采样点综合相关度矩阵的对称约束作为正则化项,定义模型训练的损失函数为:
其中,为训练集中的气象点数,表示矩阵1范数,为正则化系数;
步骤7.2,将每次计算的损失通过反向传播算法传递给模型的可学习参数;
步骤7.3,利用Adam优化器基于回传的损失更新每一个可学习参数的值,直到插值模型在验证集VS中具有最低的插值误差。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310292143.3A CN116050460B (zh) | 2023-03-23 | 2023-03-23 | 基于注意力神经网络的气温数据空间插值方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310292143.3A CN116050460B (zh) | 2023-03-23 | 2023-03-23 | 基于注意力神经网络的气温数据空间插值方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116050460A true CN116050460A (zh) | 2023-05-02 |
CN116050460B CN116050460B (zh) | 2023-06-27 |
Family
ID=86120355
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310292143.3A Active CN116050460B (zh) | 2023-03-23 | 2023-03-23 | 基于注意力神经网络的气温数据空间插值方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116050460B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116502563A (zh) * | 2023-06-27 | 2023-07-28 | 安世亚太科技股份有限公司 | 高阶空间网格的流固耦合数据转换方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070162236A1 (en) * | 2004-01-30 | 2007-07-12 | France Telecom | Dimensional vector and variable resolution quantization |
KR102408655B1 (ko) * | 2021-11-04 | 2022-06-14 | 서울시립대학교 산학협력단 | 수치형 변수 및 범주형 변수를 포함하는 혼합형 결측 데이터에 대한 데이터 보간을 수행하는 장치 및 방법 |
CN115983370A (zh) * | 2022-11-25 | 2023-04-18 | 北京邮电大学 | 散乱数据插值模型训练方法、插值方法及装置 |
-
2023
- 2023-03-23 CN CN202310292143.3A patent/CN116050460B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070162236A1 (en) * | 2004-01-30 | 2007-07-12 | France Telecom | Dimensional vector and variable resolution quantization |
KR102408655B1 (ko) * | 2021-11-04 | 2022-06-14 | 서울시립대학교 산학협력단 | 수치형 변수 및 범주형 변수를 포함하는 혼합형 결측 데이터에 대한 데이터 보간을 수행하는 장치 및 방법 |
CN115983370A (zh) * | 2022-11-25 | 2023-04-18 | 北京邮电大学 | 散乱数据插值模型训练方法、插值方法及装置 |
Non-Patent Citations (3)
Title |
---|
ANASTASIYA SHTILIYANOVA ET AL.: "Kriging-based approach to predict missing air temperature data", 《COMPUTERS AND ELECTRONICS IN AGRICULTURE》, vol. 142, pages 440 - 449, XP085236309, DOI: 10.1016/j.compag.2017.09.033 * |
李佳霖;樊子德;邓敏;: "基于空间异质分区的残差IDW插值方法", 地理与地理信息科学, no. 05, pages 25 - 29 * |
李静思;潘润秋;范馥麟;: "基于Kriging模型的地面气温空间插值研究", 西南师范大学学报(自然科学版), no. 05, pages 21 - 27 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116502563A (zh) * | 2023-06-27 | 2023-07-28 | 安世亚太科技股份有限公司 | 高阶空间网格的流固耦合数据转换方法及装置 |
CN116502563B (zh) * | 2023-06-27 | 2023-09-12 | 安世亚太科技股份有限公司 | 高阶空间网格的流固耦合数据转换方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN116050460B (zh) | 2023-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111161535B (zh) | 基于注意力机制的图神经网络交通流量预测方法及系统 | |
CN110598290B (zh) | 考虑气候变化的流域未来水电发电能力预测方法和系统 | |
CN111210082A (zh) | 一种基于优化的bp神经网络算法的降水量预测方法 | |
CN114693064B (zh) | 一种建筑群方案生成性能评价方法 | |
CN109635245A (zh) | 一种鲁棒宽度学习系统 | |
CN116050460B (zh) | 基于注意力神经网络的气温数据空间插值方法 | |
CN113837499A (zh) | 一种超短期风电功率预测方法及系统 | |
CN112381673B (zh) | 一种基于数字孪生的园区用电信息分析方法及装置 | |
CN111209968B (zh) | 基于深度学习的多气象因子模式预报温度订正方法及系统 | |
CN110969312A (zh) | 基于变分模态分解和极端学习机的短期径流预测耦合方法 | |
CN108764527B (zh) | 一种土壤有机碳库时空动态预测最优环境变量筛选方法 | |
CN111507505A (zh) | 一种水库日入量预测模型的构建方法 | |
CN112862274A (zh) | 一种基于WRF-LES和DeepAR相结合的风功率预测方法 | |
CN112100922A (zh) | 一种基于wrf和cnn卷积神经网络的风资源预测方法 | |
CN115659609A (zh) | 一种基于dtw-dcrnn的化工园区噪声预测方法 | |
EP4226473A1 (en) | Estimating energy consumption for a building using dilated convolutional neural networks | |
CN116525135B (zh) | 基于气象因素的时空模型对疫情发展态势进行预测的方法 | |
CN116316617B (zh) | 多场站智能融合的新能源发电功率区域预测方法和系统 | |
CN117371303A (zh) | 一种海浪下有效波高的预测方法 | |
CN102880753A (zh) | 基于分形维数的土地利用空间特征尺度转换方法 | |
Yang et al. | Predictor selection for CNN-based statistical downscaling of monthly precipitation | |
CN103489037A (zh) | 一种可发电风资源的预测方法 | |
CN113537573A (zh) | 基于双重时空特征提取的风电功率运行趋势预测方法 | |
CN113610302B (zh) | 一种基于逐步聚类与循环神经网络的地表温度降尺度方法 | |
CN111125630A (zh) | 一种基于l1/2范数和同质性约束的能源分解方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |