CN116050460B - 基于注意力神经网络的气温数据空间插值方法 - Google Patents

基于注意力神经网络的气温数据空间插值方法 Download PDF

Info

Publication number
CN116050460B
CN116050460B CN202310292143.3A CN202310292143A CN116050460B CN 116050460 B CN116050460 B CN 116050460B CN 202310292143 A CN202310292143 A CN 202310292143A CN 116050460 B CN116050460 B CN 116050460B
Authority
CN
China
Prior art keywords
matrix
vector
point
points
air temperature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310292143.3A
Other languages
English (en)
Other versions
CN116050460A (zh
Inventor
邓敏
谌恺祺
刘恩博
石岩
谭骁勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202310292143.3A priority Critical patent/CN116050460B/zh
Publication of CN116050460A publication Critical patent/CN116050460A/zh
Application granted granted Critical
Publication of CN116050460B publication Critical patent/CN116050460B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例中提供了一种基于注意力神经网络的气温数据空间插值方法，属于数据处理技术领域，具体包括：在目标区域内收集多个气象点信息；通过设计三层非线性映射，得到各气象点在高维空间内的属性表征向量；设计一个空间特征位置编码器，得到各气象点在高维空间内的位置表征向量；拟合趋势面特征矩阵；拟合气象点之间的综合相关度矩阵；根据趋势面特征矩阵、综合相关度矩阵和克里金方程，计算未采样点的气温估计值；通过在训练集中计算气温真实值与模型气温估计值之间的误差，据此指导更新网络中的可学习参数直至达到预设条件，得到目标模型；利用目标模型对实际未采样点进行插值。通过本发明的方案，提高了适应性和精准度。

Description

基于注意力神经网络的气温数据空间插值方法
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种基于注意力神经网络的气温数据空间插值方法。
背景技术
目前，气温是最重要的气象要素之一，实现区域气温空间分布的细粒度精细化感知，紧密关系到居民的日常出行、劳作耕种等生活与工作方式，同时也为应对全球性气候变化挑战提供科学、可靠的底层数据支撑。然而，由于经济成本与站点建设环境等客观因素的制约，数量稀疏且空间分布不均匀的实际气象监测站点与高精度、无死角、细粒度的气温感知需求之间存在矛盾。因而，如何设计一种智能化的气温数据空间插值方法，基于已知采样点信息，精确拟合气温空间分布过程内在机理，以实现粗粒度气温分布的细粒度加密与未观测区域的精细化推理，是建设智能化气象立体监测网络的重要技术基础。
气温空间分布作为复杂气象系统与地理环境系统综合作用下的一种空间过程数据，其成因机制与演化机理受到高程、坡度、风速、植被覆盖等多种混杂地理与气象因素的交叉影响。且气温分布于地理空间上的表达符合地理学第一定律即空间依赖性的约束，具体表现为邻近空间位置的气温分布具有较大相似性。因此，耦合气温分布的多因素交叉成因机制与非线性空间依赖性是指导插值模型设计的底层理论基础。与此同时，气温空间分布于大尺度上呈现整体性的非线性与非平稳变化趋势。例如，我国东部气温南高北低，而西部气温因青藏高原的存在呈北高南低的反向趋势。精确拟合这种潜在趋势面对于修正插值结果具有一定指导性作用。
在此指导下，现有主流气温空间插值方法可以分为确定性插值与地统计插值两大类。确定性插值方法将采样点与待估点属性值均视为不具备概率随机性的固定常数，进而通过特定的数学公式拟合研究区域内部的相关关系或平滑程度，推理待估点的预测值。具体的，反距离加权法以待估点到采样点的距离反比作为相关性权重，从而估计待估点预测值。趋势面法通过构建回归多项式，以拟合采样点构成的平滑趋势面，进而推断待估点于趋势面上的属性值。地统计插值旨在将空间区域建模为符合二阶平稳过程的随机场，通过半变异函数建模采样点与待估点之间的空间依赖性关系，从而计算待估点的最佳线性无偏估计，包括简单克里金与普通克里金等方法。在此基础上，分别考虑到多因素协变量与气温之间的复杂相关关系，以及气温分布的整体趋势性特征，协克里金与泛克里金方法被针对性地引入到气温空间分布插值中。然而，上述方法的插值式构建与模型参数学习过程强依赖于丰富的专家先验知识与理想的统计学假设，无法应对实际气温空间演化过程中的复杂地理依赖性与非平稳空间趋势面的挑战，导致插值结果精度低、泛化性差。
可见，亟需一种适应性和精准度高的基于注意力神经网络的气温数据空间插值方法。
发明内容
有鉴于此，本发明实施例提供一种基于注意力神经网络的气温数据空间插值方法，至少部分解决现有技术中存在适应性和精准度较差的问题。
第一方面，本发明实施例提供了一种基于注意力神经网络的气温数据空间插值方法，包括：
步骤1，在目标区域内收集多个气象点信息，其中，气象点信息包括每个气象点的空间位置坐标向量和协变量向量；
步骤2，通过设计三层非线性映射，将各气象点的协变量向量映射到高维空间中，得到各气象点在高维空间内的属性表征向量；
步骤3，设计一个空间特征位置编码器，将各气象点的坐标向量映射到与属性表征向量同维度的高维空间中，得到各气象点在高维空间内的位置表征向量；
步骤4，根据位置表征向量设计地理加权网络，据此拟合趋势面特征矩阵；
步骤5，根据属性表征向量与位置表征向量构建注意力网络，拟合气象点之间的综合相关度矩阵；
步骤6，根据趋势面特征矩阵、综合相关度矩阵和克里金方程，计算未采样点的气温估计值；
步骤7，将采样点按预设比例分割为训练集和验证集，通过在训练集中计算气温真实值与模型气温估计值之间的误差，据此指导更新网络中的可学习参数直至达到预设条件，得到目标模型；
步骤8，利用目标模型对实际未采样点进行插值。
根据本发明实施例的一种具体实现方式，所述属性表征向量的表达式为
Figure SMS_1
其中，
Figure SMS_2
, />
Figure SMS_3
以及/>
Figure SMS_4
为网络可学习参数，/>
Figure SMS_5
为非线性激活函数，/>
Figure SMS_6
为高维空间的维度，/>
Figure SMS_7
，表示协变量向量。
根据本发明实施例的一种具体实现方式，所述步骤3具体包括：
步骤3.1，基于气象点
Figure SMS_8
的地理坐标/>
Figure SMS_9
，计算对应的旋转矩阵子块
Figure SMS_10
，公式如下：
Figure SMS_11
其中，
Figure SMS_12
，/>
Figure SMS_13
为位置表征向量维度；
步骤3.2，基于旋转矩阵子块
Figure SMS_14
构建气象点/>
Figure SMS_15
的旋转矩阵
Figure SMS_16
：
Figure SMS_17
其中，
Figure SMS_18
表示由括号内的矩阵所构成的分块对角矩阵；
步骤3.3，基于旋转矩阵
Figure SMS_19
计算各气象点的位置表征向量
Figure SMS_20
，公式如下：
Figure SMS_21
其中，
Figure SMS_22
为元素全为1的向量。
根据本发明实施例的一种具体实现方式，所述步骤4具体包括：
步骤4.1，计算高维空间中，两两采样点
Figure SMS_23
之间位置编码的相似度/>
Figure SMS_24
，并构建采样点位置相似度矩阵/>
Figure SMS_25
，公式如下：
Figure SMS_26
其中，
Figure SMS_27
；
步骤4.2，计算高维空间中，未采样点
Figure SMS_28
与采样点/>
Figure SMS_29
点对/>
Figure SMS_30
的位置编码相似度/>
Figure SMS_31
，并构建未采样点与采样点位置相似度矩阵/>
Figure SMS_32
，公式如下：
Figure SMS_33
其中，
Figure SMS_34
；
步骤4.3，设计两层全连接层，基于
Figure SMS_35
与/>
Figure SMS_36
分别学习采样点的趋势面权重
Figure SMS_37
与未采样点的趋势面权重/>
Figure SMS_38
，公式如下：
Figure SMS_39
Figure SMS_40
其中，
Figure SMS_41
以及/>
Figure SMS_42
为网络可学习参数，
Figure SMS_43
为非线性激活函数；
步骤4.4，将计算得到的两类趋势面权重
Figure SMS_44
与/>
Figure SMS_45
分别与采样点位置编码所构成的矩阵/>
Figure SMS_46
和未采样点位置编码所构成的矩阵
Figure SMS_47
进行聚合运算，生成采样点与未采样点的趋势面特征矩阵
Figure SMS_48
与/>
Figure SMS_49
，其聚合运算公式如下：
Figure SMS_50
Figure SMS_51
其中，
Figure SMS_52
为哈达玛积运算符，/>
Figure SMS_53
为网络可学习参数。
根据本发明实施例的一种具体实现方式，所述步骤5具体包括：
步骤5.1，将属性表征向量
Figure SMS_54
和位置表征向量/>
Figure SMS_55
融合投影至查询空间与键空间，得到对应的查询向量/>
Figure SMS_56
与键向量/>
Figure SMS_57
，公式如下：
Figure SMS_58
Figure SMS_59
其中，
Figure SMS_60
为网络可学习参数，/>
Figure SMS_61
表示向量拼接操作符，
Figure SMS_62
表示位置表征向量权重；
步骤5.2，计算高维空间中两两采样点
Figure SMS_63
之间的综合相关度
Figure SMS_64
，并构建采样点综合相关度矩阵/>
Figure SMS_65
，公式如下：
Figure SMS_66
；
步骤5.3，计算高维空间中未采样点
Figure SMS_67
与采样点/>
Figure SMS_68
点对/>
Figure SMS_69
的综合相关度/>
Figure SMS_70
，并构建未采样点与采样点综合相关度矩阵/>
Figure SMS_71
，公式如下：
Figure SMS_72
。
根据本发明实施例的一种具体实现方式，所述步骤6具体包括：
步骤6.1，基于两类综合相关度矩阵
Figure SMS_73
、/>
Figure SMS_74
，计算对应的半变异矩阵/>
Figure SMS_75
与/>
Figure SMS_76
：
Figure SMS_77
Figure SMS_78
其中，
Figure SMS_79
指取括号中矩阵最大元素的值；
步骤6.2，针对每一个未采样点
Figure SMS_80
，构建克里金方程，求解对应插值参数
Figure SMS_81
为：
Figure SMS_82
其中
Figure SMS_84
表示拉格朗日项系数，/>
Figure SMS_86
即矩阵/>
Figure SMS_90
中的第/>
Figure SMS_85
行构成的列向量，表示点/>
Figure SMS_88
对应的综合相关度向量，/>
Figure SMS_89
即矩阵/>
Figure SMS_91
中的第
Figure SMS_83
行构成的列向量，表示点/>
Figure SMS_87
对应的趋势面特征向量；
步骤6.3，依据参数
Figure SMS_92
，通过所有采样点气温值/>
Figure SMS_93
求解未采样点/>
Figure SMS_94
的气温估计值/>
Figure SMS_95
：
Figure SMS_96
。
根据本发明实施例的一种具体实现方式，所述步骤7具体包括：
步骤7.1，采用均方根误差
Figure SMS_97
作为插值误差，采用采样点综合相关度矩阵/>
Figure SMS_98
的对称约束/>
Figure SMS_99
作为正则化项，定义模型训练的损失函数/>
Figure SMS_100
为：
Figure SMS_101
其中，
Figure SMS_102
为训练集中的气象点数，/>
Figure SMS_103
表示矩阵1范数，/>
Figure SMS_104
为正则化系数；
步骤7.2，将每次计算的损失
Figure SMS_105
通过反向传播算法传递给模型的可学习参数；
步骤7.3，利用Adam优化器基于回传的损失更新每一个可学习参数的值，直到插值模型在验证集VS中具有最低的插值误差。
本发明实施例中的基于注意力神经网络的气温数据空间插值方案，包括：步骤1，在目标区域内收集多个气象点信息，其中，气象点信息包括每个气象点的空间位置坐标向量和协变量向量；步骤2，通过设计三层非线性映射，将各气象点的协变量向量映射到高维空间中，得到各气象点在高维空间内的属性表征向量；步骤3，设计一个空间特征位置编码器，将各气象点的坐标向量映射到与属性表征向量同维度的高维空间中，得到各气象点在高维空间内的位置表征向量；步骤4，根据位置表征向量设计地理加权网络，据此拟合趋势面特征矩阵；步骤5，根据属性表征向量与位置表征向量构建注意力网络，拟合气象点之间的综合相关度矩阵；步骤6，根据趋势面特征矩阵、综合相关度矩阵和克里金方程，计算未采样点的气温估计值；步骤7，将采样点按预设比例分割为训练集和验证集，通过在训练集中计算气温真实值与模型气温估计值之间的误差，据此指导更新网络中的可学习参数直至达到预设条件，得到目标模型；步骤8，利用目标模型对实际未采样点进行插值。
本发明实施例的有益效果为：通过本发明的方案，设计二维空间位置编码与注意力学习网络，在耦合多因素交叉成因机制与非线性空间依赖性的高维空间内，智能化、自适应地构建采样点与非采样点之间的潜在复杂相关关系；设计地理加权神经网络，在地理异质性的引导下，实现非线性、非平稳气温分布趋势面的精确拟合； 采用基于数据驱动的深度学习框架，通过反向传播与梯度下降算法自适应调整网络权重参数，减少人为主观影响以提高模型健壮性与泛化性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种基于注意力神经网络的气温数据空间插值方法的流程示意图；
图2为本发明实施例提供的一种基于注意力神经网络的气温数据空间插值方法的具体实施流程示意图；
图3为本发明实施例提供的一种网络结构构成及数据流程示意图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
以下通过特定的具体实例说明本发明的具体实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本发明，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
本发明实施例提供一种基于注意力神经网络的气温数据空间插值方法，所述方法可以应用于农业或出行场景的气温预测过程中。
参见图1，为本发明实施例提供的一种基于注意力神经网络的气温数据空间插值方法的流程示意图。如图1和图2所示，所述方法主要包括以下步骤：
步骤1，在目标区域内收集多个气象点信息，其中，气象点信息包括每个气象点的空间位置坐标向量和协变量向量；
具体实施时，可以在目标区域内收集
Figure SMS_108
个气象点位信息/>
Figure SMS_112
。其中，每个气象点/>
Figure SMS_116
均包含其对应的空间位置坐标向量/>
Figure SMS_107
与相关的协变量向量/>
Figure SMS_110
，如高程、坡向等，/>
Figure SMS_113
为协变量个数。如果气象点/>
Figure SMS_117
还额外包含该位置的气温监测信息/>
Figure SMS_106
，则该点/>
Figure SMS_111
属于采样点集合/>
Figure SMS_115
，反之则属于未采样点集合/>
Figure SMS_119
。/>
Figure SMS_109
与/>
Figure SMS_114
分别为采样点与未采样点的个数，并满足
Figure SMS_118
。
步骤2，通过设计三层非线性映射，将各气象点的协变量向量映射到高维空间中，得到各气象点在高维空间内的属性表征向量；
进一步的，所述属性表征向量的表达式为
Figure SMS_120
其中，
Figure SMS_121
, />
Figure SMS_122
以及/>
Figure SMS_123
为网络可学习参数，/>
Figure SMS_124
为非线性激活函数，/>
Figure SMS_125
为高维空间的维度，/>
Figure SMS_126
，表示协变量向量。
具体实施时，可以通过设计三层非线性映射，将各气象点的协变量向量
Figure SMS_127
映射到高维空间中，得到各气象点属性信息于高维空间内的表达
Figure SMS_128
：/>
Figure SMS_129
其中，
Figure SMS_130
, />
Figure SMS_131
以及/>
Figure SMS_132
为网络可学习参数。/>
Figure SMS_133
为非线性激活函数。/>
Figure SMS_134
为高维空间的维度。
步骤3，设计一个空间特征位置编码器，将各气象点的坐标向量映射到与属性表征向量同维度的高维空间中，得到各气象点在高维空间内的位置表征向量；
在上述实施例的基础上，所述步骤3具体包括：
步骤3.1，基于气象点
Figure SMS_135
的地理坐标/>
Figure SMS_136
，计算对应的旋转矩阵子块
Figure SMS_137
，公式如下：
Figure SMS_138
其中，
Figure SMS_139
，/>
Figure SMS_140
为位置表征向量维度；
步骤3.2，基于旋转矩阵子块
Figure SMS_141
构建气象点/>
Figure SMS_142
的旋转矩阵
Figure SMS_143
：
Figure SMS_144
其中，
Figure SMS_145
表示由括号内的矩阵所构成的分块对角矩阵；
步骤3.3，基于旋转矩阵
Figure SMS_146
计算各气象点的位置表征向量
Figure SMS_147
，公式如下：
Figure SMS_148
其中，
Figure SMS_149
为元素全为1的向量。
具体实施时，设计一个二维空间位置编码器，将各气象点的坐标向量
Figure SMS_150
映射到与/>
Figure SMS_151
同维度的高维空间中，得到各气象点于高维空间内的位置表征向量/>
Figure SMS_152
。主要包括以下步骤：
3.1）基于气象点
Figure SMS_153
的地理坐标/>
Figure SMS_154
，计算对应的旋转矩阵子块
Figure SMS_155
，公式如下：
Figure SMS_156
其中，
Figure SMS_157
，/>
Figure SMS_158
为位置表征向量维度。
3.2）基于旋转矩阵子块
Figure SMS_159
构建气象点/>
Figure SMS_160
的旋转矩阵
Figure SMS_161
：
Figure SMS_162
其中，
Figure SMS_163
表示由括号内的矩阵所构成的分块对角矩阵。
3.3）基于旋转矩阵
Figure SMS_164
可计算各气象点的位置表征向量
Figure SMS_165
，公式如下：
Figure SMS_166
其中，
Figure SMS_167
为元素全为1的向量。基于旋转矩阵的性质，位置表征向量的两两点积结果将会随地理距离的增加而衰减，从而表达空间依赖关系。
步骤4，根据位置表征向量设计地理加权网络，据此拟合趋势面特征矩阵；
进一步的，所述步骤4具体包括：
步骤4.1，计算高维空间中，两两采样点
Figure SMS_168
之间位置编码的相似度/>
Figure SMS_169
，并构建采样点位置相似度矩阵/>
Figure SMS_170
，公式如下：
Figure SMS_171
其中，
Figure SMS_172
；
步骤4.2，计算高维空间中，未采样点
Figure SMS_173
与采样点/>
Figure SMS_174
点对/>
Figure SMS_175
的位置编码相似度/>
Figure SMS_176
，并构建未采样点与采样点位置相似度矩阵/>
Figure SMS_177
，公式如下：
Figure SMS_178
其中，
Figure SMS_179
；
步骤4.3，设计两层全连接层，基于
Figure SMS_180
与/>
Figure SMS_181
分别学习采样点的趋势面权重
Figure SMS_182
与未采样点的趋势面权重/>
Figure SMS_183
，公式如下：
Figure SMS_184
Figure SMS_185
其中，
Figure SMS_186
以及/>
Figure SMS_187
为网络可学习参数，
Figure SMS_188
为非线性激活函数；
步骤4.4，将计算得到的两类趋势面权重
Figure SMS_189
与/>
Figure SMS_190
分别与采样点位置编码所构成的矩阵/>
Figure SMS_191
和未采样点位置编码所构成的矩阵
Figure SMS_192
进行聚合运算，生成采样点与未采样点的趋势面特征矩阵
Figure SMS_193
与/>
Figure SMS_194
，其聚合运算公式如下：
Figure SMS_195
Figure SMS_196
其中，
Figure SMS_197
为哈达玛积运算符，/>
Figure SMS_198
为网络可学习参数。
具体实施时，基于步骤3得到的位置表征向量
Figure SMS_199
设计地理加权网络，以拟合趋势面特征，具体步骤如下：
4.1）计算高维空间中，两两采样点
Figure SMS_200
之间位置编码的相似度
Figure SMS_201
，并构建采样点位置相似度矩阵/>
Figure SMS_202
。公式如下：
Figure SMS_203
其中，
Figure SMS_204
。
4.2）计算高维空间中，未采样点
Figure SMS_205
与采样点/>
Figure SMS_206
点对/>
Figure SMS_207
的位置编码相似度/>
Figure SMS_208
，并构建未采样点与采样点位置相似度矩阵/>
Figure SMS_209
。公式如下：
Figure SMS_210
其中，
Figure SMS_211
。
4.3）设计两层全连接层，基于
Figure SMS_212
与/>
Figure SMS_213
分别学习采样点的趋势面权重
Figure SMS_214
与未采样点的趋势面权重/>
Figure SMS_215
，公式如下：
Figure SMS_216
Figure SMS_217
其中，
Figure SMS_218
以及/>
Figure SMS_219
为网络可学习参数，
Figure SMS_220
为非线性激活函数。
4.4）将上一步计算得到的两类趋势面权重
Figure SMS_221
与/>
Figure SMS_222
分别与采样点位置编码所构成的矩阵/>
Figure SMS_223
和未采样点位置编码所构成的矩阵
Figure SMS_224
进行聚合运算，生成采样点与未采样点的趋势面特征矩阵
Figure SMS_225
与/>
Figure SMS_226
，其聚合运算公式如下：
Figure SMS_227
Figure SMS_228
其中，
Figure SMS_229
为哈达玛积运算符，/>
Figure SMS_230
为网络可学习参数。
步骤5，根据属性表征向量与位置表征向量构建注意力网络，拟合气象点之间的综合相关度矩阵；
在上述实施例的基础上，所述步骤5具体包括：
步骤5.1，将属性表征向量
Figure SMS_231
和位置表征向量/>
Figure SMS_232
融合投影至查询空间与键空间，得到对应的查询向量/>
Figure SMS_233
与键向量/>
Figure SMS_234
，公式如下：
Figure SMS_235
Figure SMS_236
其中，
Figure SMS_237
为网络可学习参数，/>
Figure SMS_238
表示向量拼接操作符，
Figure SMS_239
表示位置表征向量权重；
步骤5.2，计算高维空间中两两采样点
Figure SMS_240
之间的综合相关度
Figure SMS_241
，并构建采样点综合相关度矩阵/>
Figure SMS_242
，公式如下：
Figure SMS_243
；
步骤5.3，计算高维空间中未采样点
Figure SMS_244
与采样点/>
Figure SMS_245
点对/>
Figure SMS_246
的综合相关度/>
Figure SMS_247
，并构建未采样点与采样点综合相关度矩阵
Figure SMS_248
，公式如下：
Figure SMS_249
。
具体实施时，基于步骤2与步骤3得到的属性表征向量
Figure SMS_250
与位置表征向量/>
Figure SMS_251
，构建注意力网络，拟合气象点之间的综合相关度矩阵：包括采样点与采样点之间的综合相关度矩阵/>
Figure SMS_252
，和未采样点与采样点之间的综合相关度矩阵/>
Figure SMS_253
。主要可以包括以下步骤：
5.1）将步骤2中各气象点属性信息于高维空间内的表达
Figure SMS_254
与步骤3中的位置表征向量/>
Figure SMS_255
融合投影至查询空间与键空间，得到对应的查询向量
Figure SMS_256
与键向量/>
Figure SMS_257
，公式如下：
Figure SMS_258
Figure SMS_259
其中，
Figure SMS_260
为网络可学习参数，/>
Figure SMS_261
表示向量拼接操作符，
Figure SMS_262
表示位置表征向量权重，用于控制综合相关度中空间依赖性的重要程度。
5.2）计算高维空间中，两两采样点
Figure SMS_263
之间的综合相关度/>
Figure SMS_264
，并构建采样点综合相关度矩阵/>
Figure SMS_265
。公式如下：/>
Figure SMS_266
5.3）计算高维空间中，未采样点
Figure SMS_267
与采样点/>
Figure SMS_268
点对/>
Figure SMS_269
的综合相关度/>
Figure SMS_270
，并构建未采样点与采样点综合相关度矩阵/>
Figure SMS_271
。公式如下：
Figure SMS_272
步骤6，根据趋势面特征矩阵、综合相关度矩阵和克里金方程，计算未采样点的气温估计值；
进一步的，所述步骤6具体包括：
步骤6.1，基于两类综合相关度矩阵
Figure SMS_273
、/>
Figure SMS_274
，计算对应的半变异矩阵/>
Figure SMS_275
与/>
Figure SMS_276
：
Figure SMS_277
Figure SMS_278
其中，
Figure SMS_279
指取括号中矩阵最大元素的值；
步骤6.2，针对每一个未采样点
Figure SMS_280
，构建克里金方程，求解对应插值参数
Figure SMS_281
为：
Figure SMS_282
其中
Figure SMS_285
表示拉格朗日项系数，/>
Figure SMS_286
即矩阵/>
Figure SMS_289
中的第/>
Figure SMS_284
行构成的列向量，表示点/>
Figure SMS_287
对应的综合相关度向量，/>
Figure SMS_290
即矩阵/>
Figure SMS_291
中的第
Figure SMS_283
行构成的列向量，表示点/>
Figure SMS_288
对应的趋势面特征向量；
步骤6.3，依据参数
Figure SMS_292
，通过所有采样点气温值/>
Figure SMS_293
求解未采样点/>
Figure SMS_294
的气温估计值/>
Figure SMS_295
：
Figure SMS_296
。
具体实施时，于步骤4所得到的两类趋势面特征矩阵
Figure SMS_297
、/>
Figure SMS_298
与步骤5所得到的两类综合相关度矩阵/>
Figure SMS_299
、/>
Figure SMS_300
，根据地统计理论中的克里金方程，推断未采样点的气温估计值/>
Figure SMS_301
。具体可以包括以下步骤：
6.1）基于两类综合相关度矩阵
Figure SMS_302
、/>
Figure SMS_303
，计算对应的半变异矩阵/>
Figure SMS_304
与/>
Figure SMS_305
：
Figure SMS_306
Figure SMS_307
其中，
Figure SMS_308
指取括号中矩阵最大元素的值。
6.2）针对每一个未采样点
Figure SMS_309
，构建克里金方程，求解对应插值参数
Figure SMS_310
为：
Figure SMS_311
其中
Figure SMS_314
表示拉格朗日项系数，/>
Figure SMS_317
即矩阵/>
Figure SMS_319
中的第/>
Figure SMS_313
行构成的列向量，表示点/>
Figure SMS_316
对应的综合相关度向量。/>
Figure SMS_318
即矩阵/>
Figure SMS_320
中的第
Figure SMS_312
行构成的列向量，表示点/>
Figure SMS_315
对应的趋势面特征向量。
6.3）依据参数
Figure SMS_321
，通过所有采样点气温值/>
Figure SMS_322
求解未采样点/>
Figure SMS_323
的气温估计值/>
Figure SMS_324
：
Figure SMS_325
。
步骤7，将采样点按预设比例分割为训练集和验证集，通过在训练集中计算气温真实值与模型气温估计值之间的误差，据此指导更新网络中的可学习参数直至达到预设条件，得到目标模型；
在上述实施例的基础上，所述步骤7具体包括：
步骤7.1，采用均方根误差
Figure SMS_326
作为插值误差，采用采样点综合相关度矩阵/>
Figure SMS_327
的对称约束/>
Figure SMS_328
作为正则化项，定义模型训练的损失函数/>
Figure SMS_329
为：
Figure SMS_330
其中，
Figure SMS_331
为训练集中的气象点数，/>
Figure SMS_332
表示矩阵1范数，/>
Figure SMS_333
为正则化系数；
步骤7.2，将每次计算的损失
Figure SMS_334
通过反向传播算法传递给模型的可学习参数；
步骤7.3，利用Adam优化器基于回传的损失更新每一个可学习参数的值，直到插值模型在验证集VS中具有最低的插值误差。
例如，网络结构构成及数据流程如图3所示，可以将90%的采样点作为训练集
Figure SMS_338
、10%的采样点作为验证集/>
Figure SMS_336
。通过在训练集中计算真实气温值/>
Figure SMS_348
与模型估计气温值/>
Figure SMS_339
之间的误差，以指导更新网络中的可学习参数/>
Figure SMS_344
、/>
Figure SMS_341
、/>
Figure SMS_347
、/>
Figure SMS_340
、/>
Figure SMS_351
、/>
Figure SMS_335
、/>
Figure SMS_349
、/>
Figure SMS_342
、/>
Figure SMS_350
、/>
Figure SMS_343
、/>
Figure SMS_346
、/>
Figure SMS_337
、/>
Figure SMS_345
，从而实现模型在验证集中最高的插值精度。具体包括以下步骤：
7.1）采用均方根误差
Figure SMS_352
作为插值误差，采用采样点综合相关度矩阵/>
Figure SMS_353
的对称约束/>
Figure SMS_354
作为正则化项，定义模型训练的损失函数/>
Figure SMS_355
为：
Figure SMS_356
其中，
Figure SMS_357
为训练集中的气象点数，/>
Figure SMS_358
表示矩阵1范数，/>
Figure SMS_359
为正则化系数。
7.2）将每次计算的损失
Figure SMS_360
通过反向传播算法传递给模型的可学习参数。
7.3）利用Adam优化器基于回传的损失更新每一个可学习参数的值，直到插值模型在验证集VS中具有最低的插值误差。
步骤8，利用目标模型对实际未采样点进行插值。
具体实施时，在训练得到目标模型后，可以利用目标模型对实际未采样点进行插值。
同时，可以运用现有的插值方法与本发明进行对比实验，检验本方法的有效性。对比方法包括：普通克里金法（OK）、反距离加权法（IDW）、径向基函数法（RBF）。
基于10折交叉验证法，将实际气温数据集划分为10组，每一组依次保留为未采样点集，而其余9组作为采样点集用于模型构建，重复该过程10次，直到得到所有气象点的气温估计值。选取多项空间插值精度评价指标，包括①均方根误差（RMSE）；②平均绝对误差（MAE）；③平均绝对百分比误差（MAPE），计算公式如下：
Figure SMS_361
Figure SMS_362
Figure SMS_363
其中，
Figure SMS_364
与/>
Figure SMS_365
分别表示第/>
Figure SMS_366
个气象点的真实气温值与模型估计气温值，/>
Figure SMS_367
表示实际数据集中的气象点数量。以上三个评价指标的值越小，说明方法模型的精度越高。
表1展示了本发明与对比方法对于真实气温数据的精度对比结果。分析不同方法的精度对比结果可以发现，本发明的方法在三个评价指标上均取得最佳的精度。
表1
Figure SMS_368
基于本发明方法与现有方法进行如普通克里金法、反距离加权法和反距离加权法进行对比，将所有气象站点气温插值误差绝对值根据站点经纬度进行插值。可以发现，本发明相较对比方法，在整个研究区域内的误差更小且分布更均匀，说明本发明能够在大尺度情况下有效提升插值结果的健壮性与稳定性。
本实施例提供的基于注意力神经网络的气温数据空间插值方法，通过设计二维空间位置编码与注意力学习网络，在耦合多因素交叉成因机制与非线性空间依赖性的高维空间内，智能化、自适应地构建采样点与非采样点之间的潜在复杂相关关系；设计地理加权神经网络，在地理异质性的引导下，实现非线性、非平稳气温分布趋势面的精确拟合； 采用基于数据驱动的深度学习框架，通过反向传播与梯度下降算法自适应调整网络权重参数，减少人为主观影响以提高模型健壮性与泛化性。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (4)

1.一种基于注意力神经网络的气温数据空间插值方法，其特征在于，包括：
步骤1，在目标区域内收集多个气象点信息，其中，气象点信息包括每个气象点的空间位置坐标向量和协变量向量；
步骤2，通过设计三层非线性映射，将各气象点的协变量向量映射到高维空间中，得到各气象点在高维空间内的属性表征向量；
步骤3，设计一个空间特征位置编码器，将各气象点的坐标向量映射到与属性表征向量同维度的高维空间中，得到各气象点在高维空间内的位置表征向量；
步骤4，根据位置表征向量设计地理加权网络，据此拟合趋势面特征矩阵；
所述步骤4具体包括：
步骤4.1，计算高维空间中，两两采样点
Figure QLYQS_1
之间位置编码的相似度
Figure QLYQS_2
，并构建采样点位置相似度矩阵/>
Figure QLYQS_3
，公式如下：
Figure QLYQS_4
其中，
Figure QLYQS_5
；
步骤4.2，计算高维空间中，未采样点
Figure QLYQS_6
与采样点/>
Figure QLYQS_7
点对/>
Figure QLYQS_8
的位置编码相似度/>
Figure QLYQS_9
，并构建未采样点与采样点位置相似度矩阵/>
Figure QLYQS_10
，公式如下：
Figure QLYQS_11
其中，
Figure QLYQS_12
；
步骤4.3，设计两层全连接层，基于
Figure QLYQS_13
与/>
Figure QLYQS_14
分别学习采样点的趋势面权重
Figure QLYQS_15
与未采样点的趋势面权重/>
Figure QLYQS_16
，公式如下：
Figure QLYQS_17
Figure QLYQS_18
其中，
Figure QLYQS_19
以及/>
Figure QLYQS_20
为网络可学习参数，/>
Figure QLYQS_21
为非线性激活函数；
步骤4.4，将计算得到的两类趋势面权重
Figure QLYQS_22
与/>
Figure QLYQS_23
分别与采样点位置编码所构成的矩阵/>
Figure QLYQS_24
和未采样点位置编码所构成的矩阵
Figure QLYQS_25
进行聚合运算，生成采样点与未采样点的趋势面特征矩阵
Figure QLYQS_26
与/>
Figure QLYQS_27
，其聚合运算公式如下：
Figure QLYQS_28
Figure QLYQS_29
其中，
Figure QLYQS_30
为哈达玛积运算符，/>
Figure QLYQS_31
为网络可学习参数；
步骤5，根据属性表征向量与位置表征向量构建注意力网络，拟合气象点之间的综合相关度矩阵；
所述步骤5具体包括：
步骤5.1，将属性表征向量
Figure QLYQS_32
和位置表征向量/>
Figure QLYQS_33
融合投影至查询空间与键空间，得到对应的查询向量/>
Figure QLYQS_34
与键向量/>
Figure QLYQS_35
，公式如下：
Figure QLYQS_36
Figure QLYQS_37
其中，
Figure QLYQS_38
为网络可学习参数，/>
Figure QLYQS_39
表示向量拼接操作符，
Figure QLYQS_40
表示位置表征向量权重；
步骤5.2，计算高维空间中两两采样点
Figure QLYQS_41
之间的综合相关度/>
Figure QLYQS_42
，并构建采样点综合相关度矩阵/>
Figure QLYQS_43
，公式如下：
Figure QLYQS_44
；
步骤5.3，计算高维空间中未采样点
Figure QLYQS_45
与采样点/>
Figure QLYQS_46
点对/>
Figure QLYQS_47
的综合相关度/>
Figure QLYQS_48
，并构建未采样点与采样点综合相关度矩阵/>
Figure QLYQS_49
，公式如下：
Figure QLYQS_50
；
步骤6，根据趋势面特征矩阵、综合相关度矩阵和克里金方程，计算未采样点的气温估计值；
所述步骤6具体包括：
步骤6.1，基于两类综合相关度矩阵
Figure QLYQS_51
、/>
Figure QLYQS_52
，计算对应的半变异矩阵/>
Figure QLYQS_53
与
Figure QLYQS_54
：
Figure QLYQS_55
Figure QLYQS_56
其中，
Figure QLYQS_57
指取括号中矩阵最大元素的值；
步骤6.2，针对每一个未采样点
Figure QLYQS_58
，构建克里金方程，求解对应插值参数/>
Figure QLYQS_59
为：
Figure QLYQS_60
其中
Figure QLYQS_61
表示拉格朗日项系数，/>
Figure QLYQS_64
即矩阵/>
Figure QLYQS_67
中的第/>
Figure QLYQS_63
行构成的列向量，表示点/>
Figure QLYQS_65
对应的综合相关度向量，/>
Figure QLYQS_68
即矩阵/>
Figure QLYQS_69
中的第/>
Figure QLYQS_62
行构成的列向量，表示点/>
Figure QLYQS_66
对应的趋势面特征向量；
步骤6.3，依据参数
Figure QLYQS_70
，通过所有采样点气温值/>
Figure QLYQS_71
求解未采样点/>
Figure QLYQS_72
的气温估计值/>
Figure QLYQS_73
：
Figure QLYQS_74
；
步骤7，将采样点按预设比例分割为训练集和验证集，通过在训练集中计算气温真实值与模型气温估计值之间的误差，据此指导更新网络中的可学习参数直至达到预设条件，得到目标模型；
步骤8，利用目标模型对实际未采样点进行插值。
2.根据权利要求1所述的方法，其特征在于,所述属性表征向量的表达式为
Figure QLYQS_75
其中，
Figure QLYQS_76
, />
Figure QLYQS_77
以及/>
Figure QLYQS_78
为网络可学习参数，/>
Figure QLYQS_79
为非线性激活函数，/>
Figure QLYQS_80
为高维空间的维度，/>
Figure QLYQS_81
，表示协变量向量。
3.根据权利要求2所述的方法，其特征在于,所述步骤3具体包括：
步骤3.1，基于气象点
Figure QLYQS_82
的地理坐标/>
Figure QLYQS_83
，计算对应的旋转矩阵子块
Figure QLYQS_84
，公式如下：
Figure QLYQS_85
其中，
Figure QLYQS_86
，/>
Figure QLYQS_87
为位置表征向量维度；
步骤3.2，基于旋转矩阵子块
Figure QLYQS_88
构建气象点/>
Figure QLYQS_89
的旋转矩阵
Figure QLYQS_90
：
Figure QLYQS_91
其中，
Figure QLYQS_92
表示由括号内的矩阵所构成的分块对角矩阵；
步骤3.3，基于旋转矩阵
Figure QLYQS_93
计算各气象点的位置表征向量
Figure QLYQS_94
，公式如下：
Figure QLYQS_95
其中，
Figure QLYQS_96
为元素全为1的向量。
4.根据权利要求3所述的方法，其特征在于,所述步骤7具体包括：
步骤7.1，采用均方根误差
Figure QLYQS_97
作为插值误差，采用采样点综合相关度矩阵/>
Figure QLYQS_98
的对称约束/>
Figure QLYQS_99
作为正则化项，定义模型训练的损失函数/>
Figure QLYQS_100
为：
Figure QLYQS_101
其中，
Figure QLYQS_102
为训练集中的气象点数，/>
Figure QLYQS_103
表示矩阵1范数，/>
Figure QLYQS_104
为正则化系数；
步骤7.2，将每次计算的损失
Figure QLYQS_105
通过反向传播算法传递给模型的可学习参数；
步骤7.3，利用Adam优化器基于回传的损失更新每一个可学习参数的值，直到插值模型在验证集VS中具有最低的插值误差。
CN202310292143.3A 2023-03-23 2023-03-23 基于注意力神经网络的气温数据空间插值方法 Active CN116050460B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310292143.3A CN116050460B (zh) 2023-03-23 2023-03-23 基于注意力神经网络的气温数据空间插值方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310292143.3A CN116050460B (zh) 2023-03-23 2023-03-23 基于注意力神经网络的气温数据空间插值方法

Publications (2)

Publication Number Publication Date
CN116050460A CN116050460A (zh) 2023-05-02
CN116050460B true CN116050460B (zh) 2023-06-27

Family

ID=86120355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310292143.3A Active CN116050460B (zh) 2023-03-23 2023-03-23 基于注意力神经网络的气温数据空间插值方法

Country Status (1)

Country Link
CN (1) CN116050460B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116502563B (zh) * 2023-06-27 2023-09-12 安世亚太科技股份有限公司 高阶空间网格的流固耦合数据转换方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7680670B2 (en) * 2004-01-30 2010-03-16 France Telecom Dimensional vector and variable resolution quantization
KR102408655B1 (ko) * 2021-11-04 2022-06-14 서울시립대학교 산학협력단 수치형 변수 및 범주형 변수를 포함하는 혼합형 결측 데이터에 대한 데이터 보간을 수행하는 장치 및 방법
CN115983370A (zh) * 2022-11-25 2023-04-18 北京邮电大学 散乱数据插值模型训练方法、插值方法及装置

Also Published As

Publication number Publication date
CN116050460A (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN111161535B (zh) 基于注意力机制的图神经网络交通流量预测方法及系统
CN111798051B (zh) 基于长短期记忆神经网络的空气质量时空预测方法
CN111210082A (zh) 一种基于优化的bp神经网络算法的降水量预测方法
CN109635245A (zh) 一种鲁棒宽度学习系统
CN114693064B (zh) 一种建筑群方案生成性能评价方法
CN116050460B (zh) 基于注意力神经网络的气温数据空间插值方法
CN113837499A (zh) 一种超短期风电功率预测方法及系统
CN112229403B (zh) 基于大地水准面三维修正原理提高海洋重力重构精度方法
CN112100922A (zh) 一种基于wrf和cnn卷积神经网络的风资源预测方法
CN110969312A (zh) 基于变分模态分解和极端学习机的短期径流预测耦合方法
CN111209968B (zh) 基于深度学习的多气象因子模式预报温度订正方法及系统
CN103514377A (zh) 一种基于“天-地-生”的城市群土地环境影响评价方法
CN111507505A (zh) 一种水库日入量预测模型的构建方法
CN116525135B (zh) 基于气象因素的时空模型对疫情发展态势进行预测的方法
CN112949944A (zh) 一种基于时空特征的地下水位智能预测方法及系统
CN117371303A (zh) 一种海浪下有效波高的预测方法
CN102880753A (zh) 基于分形维数的土地利用空间特征尺度转换方法
CN116485004A (zh) 一种基于功率热图和卷积神经网络的风电功率预测方法
CN115759291A (zh) 一种基于集成学习的空间非线性回归方法及系统
CN116451821A (zh) 基于深度学习的大区域新能源发电功率预测方法及系统
CN114004405A (zh) 基于Elman神经网络和卫星云图的光伏功率预测方法及系统
CN113610302B (zh) 一种基于逐步聚类与循环神经网络的地表温度降尺度方法
CN109768890A (zh) 基于stl分解法的符号化有向加权复杂网络建网方法
CN115062656B (zh) 一种基于电子鼻信号空间域的茶多酚含量预测方法和装置
CN114297940B (zh) 确定非稳态储层参数的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant