CN114155429A - 基于时空双向注意力机制的水库地表温度预测方法 - Google Patents
基于时空双向注意力机制的水库地表温度预测方法 Download PDFInfo
- Publication number
- CN114155429A CN114155429A CN202111178187.0A CN202111178187A CN114155429A CN 114155429 A CN114155429 A CN 114155429A CN 202111178187 A CN202111178187 A CN 202111178187A CN 114155429 A CN114155429 A CN 114155429A
- Authority
- CN
- China
- Prior art keywords
- time
- lst
- microclimate
- lstm
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000002457 bidirectional effect Effects 0.000 title claims abstract description 26
- 230000007246 mechanism Effects 0.000 title claims abstract description 24
- 238000011160 research Methods 0.000 claims abstract description 28
- 230000008859 change Effects 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000012300 Sequence Analysis Methods 0.000 claims abstract description 10
- 238000010586 diagram Methods 0.000 claims abstract description 9
- 239000010410 layer Substances 0.000 claims description 25
- 238000001914 filtration Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 11
- 230000002123 temporal effect Effects 0.000 claims description 11
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 10
- 238000009826 distribution Methods 0.000 claims description 8
- 230000001932 seasonal effect Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 6
- 238000002310 reflectometry Methods 0.000 claims description 6
- 239000002356 single layer Substances 0.000 claims description 5
- 230000000737 periodic effect Effects 0.000 claims description 4
- 238000011835 investigation Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000015654 memory Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 238000002512 chemotherapy Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 10
- 230000002159 abnormal effect Effects 0.000 abstract description 6
- 230000005764 inhibitory process Effects 0.000 abstract description 2
- 101000595182 Homo sapiens Podocan Proteins 0.000 abstract 1
- 102100036036 Podocan Human genes 0.000 abstract 1
- 230000005855 radiation Effects 0.000 description 10
- 238000012549 training Methods 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 101100045153 Caenorhabditis elegans wars-2 gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000002352 surface water Substances 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Evolutionary Computation (AREA)
- Computational Mathematics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于时空双向注意力机制的水库地表温度预测方法，包括以下步骤，S1：数据预处理；S2：对研究区域经过步骤S1中预处理操作之后得到的LST时序进行时序分析，与邻近的气象站气温对比，提取时序特征；S3：采用PCAN网络提取研究区域的小气候边界特征图；S4：在LSTM的基础上构建基于LSTM+Attention的时空双向注意力预测模型，计算预测结果。本发明中提出的基于时空双向注意力机制预测方法相比BPNN和LSTM预测性能有明显提升；小气候效应特征对预测结果影响差异比较明显，同一小气候特征内预测结果更稳定，而小气候边界区域预测结果变化波动较大，异常值偏离更明显；且空间注意力机制对不同覆盖特征边界异常值有明显抑制作用。
Description
技术领域
本发明涉及地表温度预测技术领域，尤其涉及基于时空双向注意力机制的水库地表温度预测方法。
背景技术
地表温度(LST)反映了地表水的热交换过程，其与植被指数在生态平衡与气候变化等方面的研究中很重要。城市地区的温度资源有两大类，第一个是根据气象站网计算的大气温度，第二个是根据热红外遥感技术估算的地表温度。考虑到陆地表面温度的复杂性，地面测量实际上不能提供大面积的数值。随着空间遥感的发展，卫星数据提供了测量具有全空间均值而非点值的地表温度的唯一可能性。研究城市地表温度小气候效应特征，对于这些地区未来的规划、生态保护和可持续发展具有重要的现实意义。而陆地卫星TM热红外图像的分辨率为120m，ETM+热红外图像的分辨率仅为60m，因此，在分析地表温度变化对复杂土地覆盖区小气候变化的影响时，存在一定的局限性。另一方面，在全球范围内，年平均云量可超过 65％，为此，受云之类的噪声污染使得LST数据在时空上的完整性和连续性受到了较大的影响。一些研究者采用插值、重建技术来解决此问题，例如，利用时空相邻无云像素特征的相似性和相互依赖性，采用克里金法等时空插值的方式，重建完全无间隙的LST数据时间序列。考虑空间的异质性，一些包括空间回归、地理加权回归(GWR)等研究方法被提出，这些研究成果有效的解决了LST时序间隙和空间异质性的问题，但依然存在时间序列的长期依赖关系的问题。
发明内容
针对上述存在的问题，本发明旨在提供一种基于时空双向注意力机制的地表温度预测方法，能够有效解决空间异质性对预测造成的影响。
为了实现上述目的，本发明所采用的技术方案如下：
基于时空双向注意力机制的水库地表温度预测方法，其特征在于，包括以下步骤，
S1：数据预处理；
S2：对研究区域经过步骤S1中预处理操作之后得到的LST时序进行时序分析，与邻近的气象站气温对比，提取时序特征；
S3：采用PCAN网络提取研究区域的小气候边界特征图；
S4：在LSTM的基础上构建基于LSTM+Attention的时空双向注意力预测模型，计算预测结果。
进一步的，步骤S1中所述的数据包括Landsat 7数据和Landsat 8数据；
所述数据预处理的具体操作包括以下步骤，
S101：利用空间邻域滤波和傅里叶变换频域滤波对Landsat7和Landsat 8数据进行带噪滤波；
S102：将带噪滤波后的Landsat 8所有图像的3、4、5和6波段，以及带噪滤波后的Landsat7所有图像的2、3、4和5波段校准到大气顶部反射率，然后计算地表温度LST；
S103：基于季节因素和临近月份的月份变化幅度情况，将步骤S102 中得到的LST序列按照每月上、中、下旬进行时间映射，缺失值进行插补，形成一个新的LST时间序列。
进一步的，步骤S2的具体操作包括以下步骤，
S201：对研究区域经过步骤S1中预处理操作之后得到的LST时序进行时序分析可得，以水体覆盖为主的研究区域，其地表温度LST相对较为稳定，跟气温类似，呈现非常明显的时间周期变化规律；
S202：为定量描述LST的时间周期变化特征，使用谐波模型来估计研究区域的LST序列，也即LST(x)＝a0+a1*cos(x*w)+b1*sin(x*w)，式中，a0为LST 的总体情况，简称概值；a1和b1分别为模拟物候和太阳角变化引起的年内变化；x是时间变量，w为周期系数，w＝2π/T。
进一步的，步骤S3的具体操作包括以下步骤，
S301：利用高清谷歌卫星影像中实际地物进行学习分类，获取研究区域的小气候边界特征；
S302：采用PCAN网络对步骤S301中获取的小气候边界特征进行特征提取；
S303：针对多尺度图像描述问题，引入金字塔池化模块得到不同尺度的特征图，并双线性插值的方法将其融合成满足需求的特征图。
进一步的，步骤S302中所述得PCAN网络的主干网络采用Res-Net，共包含四个阶段，且在每个阶段的输出后引入通道级注意力模块。
进一步的，步骤S4中所述的基于LSTM+Attention的时空双向注意力预测模型包括一个输入层、两个conv2dlstm层和一个输出层，两个所述 conv2dlstm分别对应空间注意力的输入预测和时间注意力的输入预测。
进一步的，所述输入层采用加法或乘法时间序列模型，对输入的LST 时间序列进行分解，采用BatchNormalization(·)初始化，并根据当前输入 yt-1、先前隐藏状态ht-1和内存状态mt-1更新内部隐藏状态，也即 h0，m0＝BatchNormalization(·)，ht，mt＝LSTM(yt-1，ht-1，mt-1)。
进一步的，所述空间注意力是小气候特征V和LSTM的隐层状态h2 t-1被传入一个单层感知机中，再通过softmax函数产生图片K个小气候区域的注意力权重分布；其中，小气候特征V＝[v1,v2,…,vL]，是步骤S3中提取出来的研究区域的小气候边界特征，vi为D维度的空间图像特征，代表图片中的某个小气候区域；et，i＝UTtanh(Khht-1+KvV+ba)，αt，i＝softmax(et，i)，式中： et，i是对于时间步骤t，将小气候特征V和LSTM的隐层状态ht-1传入一个单层感知机计算的得分，U，Kh，Kv和ba是需要学习的注意力权重参数； at，i为softmax函数产生的小气候特征注意权重，进而输出的显著信息表示为
进一步的，所述时间注意力的输入是由气象站气温提取的时序特征W 和LSTM的隐层状态h1 t-1，对应输出显著信息Cwt。
进一步的，所述输出层使用一个LSTM将时间和空间两个通道的输出进行融合，然后进行综合预测，ht＝LSTM(h1 t-1，h2 t-1)，yt＝softmax(Rhht+b)，式中，Rh和b分别是变换参数与偏置，yt为模型第t步的输出，经迭代后得到最终预测出来的地表温度。
本发明的有益效果是：
1、本发明采用引入时空双向注意力机制的LSTM作为LST预测任务。采用单步预测和综合预测的策略，能够解决三个问题：第一，从时间维度分析，并提取该区域邻近气象站气温序列的时序特征，作为时间注意力函数的输入，输出当前区域的增强的时序特征值，解决了LST图像为反演值，缺乏绝对测量值作为校验的问题；第二，采用PCAN网络在谷歌高清影像 (分辨率5米)中提取更高精度的小气候边界特征，并作为空间注意力函数的输入，输出当前区域的增强的小气候边界特征，能够提高温度反演的精度，去除不同地物类型边界位置的异质像素；第三，通过LSTM将时间和空间两个通道的增强的特征进行融合，从而在LST卷积预测时取得更高精度的预测结果。
2、经实验验证，本发明中的地表温度预测方法相较于现有的BPNN 和LSTM方法，预测性能有明显提升；小气候效应特征对预测结果影响差异比较明显，同一小气候特征内预测结果更稳定，而小气候边界区域预测结果变化波动较大，异常值偏离更明显；且空间注意力机制对不同覆盖特征边界异常值有明显抑制作用。
附图说明
图1为本发明中CAM结构图。
图2为本发明中基于LSTM+Attention的时空双向注意力预测模型框图。
图3为本发明实施例中LST的时间序列分析结果。
图4为本发明图3中时序分解图放大图。
图5为本发明实施例中密云水库地区小气候边界特征图。
图6为本发明实施例中密云水库区域的LSTM+Attention预测结果。
图7为本发明实施例中BPNN、LSTM与LSTM+ATT在5个位置的预测指标值。
具体实施方式
为了使本领域的普通技术人员能更好的理解本发明的技术方案，下面结合附图和实施例对本发明的技术方案做进一步的描述。
实施例：
本发明选取北京市密云水库作为研究地点，以密云水库(北纬40° 29'19”，东经116°56'50.45”)为中心的300×300像素的矩形区域。因为该区域土地覆盖特征以水体、植被和建筑为主，相对单一，且三者相互交错，地表温差较大，小气候效应特征明显，更便于解释本发明算法的性能和意义。
研究时段为2010年-2019年，北京核心区图像资料按照WRS-2参考系中条带号123，行号32从美国地质调查局(USGS)网站 (https://earthexplorer.usgs.gov/)下载，其中landsat7资料时段为2010年 1月1日-2013年5月11日，landsat8资料时段为2013年5月12日-2019 年11月30日。Landsat8热红外传感器(TIRS)band10和Landsat7 ETM+band 6VCID_1被重新采样到30m的分辨率。
利用本发明中基于时空双向注意力机制的地表温度预测方法对北京市密云水库地表温度进行预测的具体操作包括以下步骤，
S1：数据预处理；
具体的，S101：利用空间邻域滤波和傅里叶变换频域滤波对Landsat7 和Landsat8数据进行带噪滤波；
S102：为计算NDVI、NDWI和NDBI，将带噪滤波后的Landsat8所有图像的3(绿色)、4(红色)、5(近红外)和6(Swir1)波段校准到大气顶部反射率，并将带噪滤波后的Landsat7所有图像的2(绿色)、3(红色)、4(近红外)和5(MIR)波段也校准到大气顶部反射率，然后计算地表温度LST；
Landsat7/8卫星传感器观测到的总热辐射量减去估计的大气对地表热辐射的影响，得到表面热辐射强度，表面热辐射强度可转换为相对应的地表温度LST。
卫星传感器观测到的热辐射总量L(Tλ)＝[eL(Ts)+(1-e)L↓]τ+L↑，式中，L(Tλ)是卫星传感器观测到的热辐射总量，其包括大气向上辐射L↑，大气向下辐射L↓和地球到达卫星传感器的真实辐射L(Ts)，e表示目标发射率，1-e表示目标反照率，τ代表热红外波段的大气透过率。
在Landsat8或者Landsat7图像中，L(Tλ)＝Gains×DN+Biases，其中，L(Tλ)被定义为从相应数字DN转换而来的Landsat8TIRS波段10 (或Landsat7ETM+band6VCID_1)光谱辐射率，Gains和Biases的值可以从图像头文件中获取。
则地表温度Ts＝K2/ln(K1/L(Ts)+1)，式中，L(Ts)为校准后的大气顶部反射率(TOA)，可由式L(Tλ)＝[eL(Ts)+(1-e)L↓]τ+L↑进行估算，K1和K2可在Landsat元数据文件中找到。
此外，e可以使用基于NDVI的阈值方法进行估计(Qin等人，2001)。卡尔文-273.15转换成LST摄氏度：
需要说明的是，若在ROI区域内NDBI值小于-0.2，则从应用于预测的LST时间序列中删除相应的日期；
S103：考虑受云之类的噪声污染使得LST数据的在时空上的完整性和连续性受到了较大的影响，从十年现有的landsat观测数据来看，平均一个月可能只有2到3张图像，也可能完全缺失，考虑了季节因素和临近月份的月份变化幅度情况，将步骤S102中得到的LST序列按照每月上、中、下旬进行时间映射，缺失值进行插补，形成一个新的LST时间序列。
插值的具体操作为：(1)求出十年范围内每个月的总体均值，这个均值能够基本反映出季度差异，可以用来对月均值序列进行插值；(2)将缺数的月份进行上下文线性插值，然后与第(1)步月均插值进行比较，对插值进行2次修正。
进一步的，S2：对研究区域经过步骤S1中预处理操作之后的LST图像进行时序分析，与邻近的气象站气温对比，提取时序特征；
具体的，S201：对研究区域经过步骤S1中预处理操作之后得到的LST 时序进行时序分析可得，以水体覆盖为主的研究区域，其地表温度LST相对较为稳定，跟气温类似，呈现非常明显的时间周期变化规律；
S202：为定量描述LST的时间周期变化特征，使用谐波模型来估计研究区域的LST序列，也即LST(x)＝a0+a1*cos(x*w)+b1*sin(x*w)，式中，a0为LST 的总体情况，简称概值；a1和b1分别为模拟物候和太阳角变化引起的年内变化；x是时间变量，w为周期系数，w＝2π/T。
进一步的，S3：采用PCAN网络提取研究区域的小气候边界特征图；
具体的，S301：由于本发明中LST数据采用的是遥感影像的反演值，且存在噪声影响，精度相对较低，缺乏绝对测量值进行全面校验。考虑 LST的空间变化差异主要与该区域覆盖物的综合反射率和热容量等因素高度相关，因此，利用高清谷歌卫星影像(分辨率5米)中实际地物进行学习分类，从而获取研究区域更高精度的小气候边界特征，并作为空间特征选择的依据来指导后续的预测工作。
S302：针对高清卫图分辨率高及目标尺度变化大等特点，采用PCAN 网络(需要说明的是，PCAN网络采用文献 [Zhang,Q.,Wang,H.,Dong,J.,Zhong,G.,Sun,X.(2017).Prediction of sea surface temperature using long short-term memory.IEEEGeosci.Remote Sens.Lett.14,1745–1749.]中的PCAN网络)对步骤S301中获取的小气候边界特征进行特征提取；PCAN的主干网络采用Res-Net，共包含四个阶段，每个阶段的输出中高层级卷积通道与地物覆盖类别相关，并且通常具有类别选择性。因为是普通网络，为了建立每个通道与类别之间联系，加强对局部特征的响应。在Res-Net每个阶段的输出后引入通道级注意力模块 (CAM)，其结构图如附图1所示，在附图1中，xi代表CAM的输入，也是Res-Net每个阶段的输出；GAP代表全局均值池化模块，GMP代表全局最大池化模块，特征fi为GAP与GMP输出加和，CONV为1×1的卷积层，Wi是由sigmoid函数做特征选择处理后的注意力权重，yi是输出。
S303：针对多尺度图像描述问题，引入金字塔池化模块得到不同尺度的特征图，并双线性插值的方法将其融合成满足需求的特征图。
因实验中，GAP加GMP的池化方法，相对直接采用GMP并无明显差别，故本发明在实现时直接选择GMP模式。除此，本发明是直接引用 PCAN网络来提取小边界特征的，具体参数选择与优化不再赘述。
进一步的，S4：在LSTM的基础上构建基于LSTM+Attention的时空双向注意力预测模型，计算预测结果。
具体的，LSTM是一种特殊的递归神经网络(RNN)。RNN对时间序列数据具有很好的预测能力，但由于存在消失和爆炸梯度问题，它不能很好地对长期相关的LST序列进行建模。相比之下，由于LSTM的递归结构和选通机制，它可以在更长的时间内记住信息，并被视为处理时间序列相关问题的最新方法。
LSTM的关键就是单元状态，每个单元前后相连，构成一个链状的网络结构。LSTM使用三种门来控制单元状态，包括忘记门(ft)、输入门(it) 和输出门(ot)，如附图2所示。一个门是一个规则，规定多少信息可以删除或记忆。它由一个完全连接的神经网络层(由一个sigmoid函数激活)和一个逐点乘法运算组成。如何改变和传输信息的结构可以表示为
ft＝σ(Wf·[ht-1，xt]+bf)
it＝σ(Wi·[ht-1，xt]+bi)
Ct＝ft*Ct-1+it*Ct′
ot＝σ(Wo·[ht-1，xt]+bo)
ht＝ot*tanh(Ct)
其中，ft，it，ot是sigmoid函数σ的三个输出。它们的值介于0和1之间；ft确定需要丢弃的信息，it确定将要更新的信息，Ct-1表示旧单元状态。 Ct’为使用tanh函数创建新的候选值，Ct是一种新的单元状态，Ot决定输出的信息，ht表示输出信息。
为了实现LST图像的时空预测，基于LSTM和二维卷积，建立了一个用于LST预测的深层神经网络，它由一个输入层、2个conv2dlstm层和一个输出层组成，如附图2所示；其中conv2dlstm层是一个引入时空特征双向注意力机制的LSTM的预测模块，两个所述conv2d1stm分别对应空间注意力的输入预测和时间注意力的输入预测。
其中，输入是一个4D的张量，由于直接利用LSTM对LST时间序列进行预测，会导致较为严重相位滞后及幅度变化。因此，需要先采用加法或乘法时间序列模型，对其进行分解，再对分解后的趋势、季节或残差项进行预测。否则，预测值将在相位或幅度上与实际值发生极大的偏差。 LSTM层采用BatchNormalization(·)初始化，并根据当前输入yt-1、先前隐藏状态ht-1和内存状态mt-1更新内部隐藏状态，也即h0，m0＝BatchNormalization(·)，ht，mt＝LSTM(yt-1，ht-1，mt-1)。
为了根据隐藏状态有效地调整图像每个小气候特征的权重，本发明中间层提出了一个时间注意力与空间注意的双向注意力机制。
所述空间注意力是小气候特征V和LSTM的隐层状态h2 t-1被传入一个单层感知机中，再通过softmax函数产生图片K个小气候区域的注意力权重分布；其中，小气候特征V＝[v1,v2,…,vL]，是步骤S3中提取出来的研究区域的小气候边界特征，vi为D维度的空间图像特征，代表图片中的某个小气候区域；et，i＝UTtanh(Khht-1+KvV+ba)，αt，i＝softmax(et，i)，式中：U，Kh， Kv和ba是需要学习的注意力权重参数；αt，i为softmax函数产生的小气候特征注意权重，进而输出的显著信息表示为
同样地，所述时间注意力的输入是由气象站气温提取的时序特征W和 LSTM的隐层状态h1 t-1，对应输出显著信息Cwt。
所述输出层使用一个LSTM将时间和空间两个通道的输出进行融合，然后进行综合预测，ht＝LSTM(h1 t-1，h2 t-1)，yt＝softmax(Rhht+b)，式中，yt为模型第t步的输出，经迭代后得到最终预测出来的地表温度。例如：使用 50张时序图片来预测第51张图片，在第49步时，输出结果并不是最终结果，这个输出结果经过处理以及现有第50张图片和隐藏状态一起作为50 步的输入，最终才输出第51步的图片，因此，yt为模型第t步的输出，当所有步骤执行完以后得到最终预测出来的地表温度。
结果分析：
如附图3和附图4(附图4为附图3中左上角的时序分解图放大图) 所示，附图3统计了研究区2010年至2019年期间的地表温度LST的时空演变情况(为了展示真实反演情况，一些反演失败的异常值未做删除处理)。左上角的时序分解图(如附图4所示)表示了一个LST时间序列的经典分解，将该序列分解为趋势变化、季节变化和残差3个部分的组合。右上角的年度折线图展示的是10年尺度的逐年显示的LST时间序列，左下角的年度箱线图是按年份间隔对数据进行分组，显示各年份指数分布情况以及随时间变化的情况。右下角的月度箱线图是按季节间隔对数据进行分组，并展示指数在给定月份内的分布情况以及随时间变化情况。从分解图上可以清楚的看出，尽管覆盖物以水体为主，但提取的密云水库区域的LST时间序列存在显著的季节性周期变化，这可能是由于受到反射系数为季节性的覆盖物的间接影响。
通过图3中的LST序列与最邻近的密云气象站(台站代码：54416，东经：116.52，北纬：40.23)的气温月均序列进行点与点的对比，两者总体上的拟合估计的参数如下表1所示，其时序变化规律总体上是一致的。但考虑空间异质性,不同小气候特征区域具有不同的辐射温度。因此，选取邻近的气象站气温这种大气候特征作为研究区域的参照依据。
表1研究区域反演地表温度与气温的拟合估计参数
附图5为PCAN网络提取的ROI区域的小气候边界特征图。为了提高预测精度，根据该区域覆盖特征热容量差异，综合反射率和热容量等因素，将该地区分为水域、植被、裸地、建筑四大类，为了简化任务，我们将热容量相近的地物被合并为一类，如县级以上道路、硬化地面被合并在建筑类别中。即本文中仅需要更精确的刻画出水域、建筑、植被与裸地四类覆盖特征的差异。
本实施例中使用conv2dlsm进行LST图像的单步预测，即用前48次实际观测值的反演结果，预测第49次重访观测值的反演结果，经过实验发现，整个网络的输入为4D张量形式，表示为(步长、高度、宽度、通道)。Step是用于预测LST的时间窗口的大小。我们将其设为48，这意味着我们使用之前的48个测量LST序列来预测第49个LST。高度和宽度表示LST的ROI图像的大小。通道被设置为1，因为LST是唯一的预测因子。经反复试验，每个conv2dlsm的cell数和卷积数分别为48个。卷积核的大小为3×3。卷积核的数目设为16。我们选择前80％的数据集作为训练样本，剩下的20％作为测试样本。在训练过程中，20％的训练样本被进一步拆分以供验证。训练批量为4，学习率设置为1.8e-4，对训练速度有影响。将交叉熵应用于精度评定标准。Epoch设置为600。
预测结果如附图6所示，观测到的LSTM+Attention的相对误差表明，对于两个日期，每个像素的相对误差在0到60％范围内变化。可以看出，预测范围大于实际值。虽然误差对于某些像素来说相对较大，但大多数误差都在10％左右。最明显的是，根据直方图预测的地表温度的空间分布与真实的地表温度图像相似。特别是在预测的LST图像中，由于卷积在图像特征提取上的优势，使得图像内部左侧的水库轮廓非常清晰。两幅图像的相对误差范围不一致的原因可能是训练样本不足导致过拟合。
进一步的，本发明中还将本发明中提出的预测方法(LSTM+Attention) 与现有的BPNN、LSTM方法进行了对比，具体的，在300×300的图像中均匀的选择5个局部区域作为样本点进行比较分析。分别以左下L1 (100,100)、左上L2(100,200)、右下L3(200,100)、右上L4(200,200)、中间L5(150,150)共五个位置为中心，提取20×20个像素为样本点。采用BPNN和文献[Chao,Z.,Pu,F.,Yin,Y.,Han,B.,Chen,X.(2018).Research on real-time localrainfall predictionbased on MEMS sensors.J.Sens.2018,9.] 中的LSTM两个预测模型来用于比较。对于每个样本点，同样设置时间窗为48，时间序列的前80％作为训练样本，其余20％作为保留的测试样本。为了保证比较的公平性，使用网格搜索对原两个网络的超参数进行调整，以达到最佳性能。对应位置的预测结果直接从conv2dlsm预测图像结果中抽取。
采用三种指标用于衡量LST预测不同方法的性能，包括均方根误差 (RMSE)，平均绝对误差(MAE)和Pearson相关系数(r)，其定义如下：
其中，di是LST期望值yi与LST预测值yi′的偏差，而
和
分别表示LST 期望值均值和LST预测值均值。
在附图7的箱线图中，一共45个箱体，概括的显示了5个样本区域的3预测模型的3类指标值分布情况，其中每个箱体展示了对应区域位置内400个像素点的预测指标值分布。
为了更加清晰的从数值上分析，首先不考虑位置情况，对3个预测模型的指标均值和标准差进行统计。如下表2所示，LSTM+Attention的RMSE 和MEA值均小于BPNN与LSTM模型，而r值均大于BPNN与LSTM模型，这表明LSTM+Attention网络的预测效果明显优于其他两种。由于MEA 与RMSE的显著差异展示了预测结果异常值的偏差情况，这可能与文献[Chao,Z.,Pu,F.,Yin,Y.,Han,B.,Chen,X.(2018).Research on real-time local rainfallpredictionbased on MEMS sensors.J.Sens.2018,9.]中提到了LST空间异质性导致不同小气候特征边界异常值有关。而LSTM+Attention模型这两个指标差异明显变小，说明LSTM+Attention方法的空间注意力对边界异常值起到了抑制作用。
表2三种预测模型预测指标值统计
为了进一步分析这种空间异质性对预测结果的影响，按照不同位置区域统计预测指标值的均值和标准差。如下表3所示，从均值(MEAN)上看，水体边界区域L1与L3预测效果相对较差，而处于水体中央区域L5 的预测效果最好。标准差(SD)度量了同区域内不同像素点预测结果差异的波动情况，同样是纯水体区域L2、L4、L5的标准差较小，而边界位置 L1与L3标准差较大。这说明空间异质性对预测结果是存在明显影响的。这也进一步证实本文提出的双向注意力机制，特别是空间注意力解决空间异质性是有效的，能够从整体上提高预测性能。
表3五个位置区域的预测指标统计
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (10)
1.基于时空双向注意力机制的水库地表温度预测方法，其特征在于，包括以下步骤，
S1：数据预处理；
S2：对研究区域经过步骤S1中预处理操作之后得到的LST时序进行时序分析，与邻近的气象站气温对比，提取时序特征；
S3：采用PCAN网络提取研究区域的小气候边界特征图；
S4：在LSTM的基础上构建基于LSTM+Attention的时空双向注意力预测模型，计算预测结果。
2.根据权利要求1所述的基于时空双向注意力机制的水库地表温度预测方法，其特征在于，步骤S1中所述的数据包括Landsat 7数据和Landsat8数据；
所述数据预处理的具体操作包括以下步骤，
S101：利用空间邻域滤波和傅里叶变换频域滤波对Landsat7和Landsat8数据进行带噪滤波；
S102：将带噪滤波后的Landsat 8所有图像的3、4、5和6波段，以及带噪滤波后的Landsat7所有图像的2、3、4和5波段校准到大气顶部反射率，然后计算地表温度LST；
S103：基于季节因素和临近月份的月份变化幅度情况，将步骤S102中得到的LST序列按照每月上、中、下旬进行时间映射，缺失值进行插补，形成一个新的LST时间序列。
3.根据权利要求2所述的基于时空双向注意力机制的水库地表温度预测方法，其特征在于，步骤S2的具体操作包括以下步骤，
S201：对研究区域经过步骤S1中预处理操作之后得到的LST时序进行时序分析可得，以水体覆盖为主的研究区域，其地表温度LST相对较为稳定，跟气温类似，呈现非常明显的时间周期变化规律；
S202：为定量描述LST的时间周期变化特征，使用谐波模型来估计研究区域的LST序列，也即LST(x)＝a0+a1*cos(x*w)+b1*sin(x*w)，式中，a0为LST的总体情况，简称概值；a1和b1分别为模拟物候和太阳角变化引起的年内变化；x是时间变量，w为周期系数，w＝2π/T。
4.根据权利要求3所述的基于时空双向注意力机制的水库地表温度预测方法，其特征在于，步骤S3的具体操作包括以下步骤，
S301：利用高清谷歌卫星影像中实际地物进行学习分类，获取研究区域的小气候边界特征；
S302：采用PCAN网络对步骤S301中获取的小气候边界特征进行特征提取；
S303：针对多尺度图像描述问题，引入金字塔池化模块得到不同尺度的特征图，并双线性插值的方法将其融合成满足需求的特征图。
5.根据权利要求4所述的基于时空双向注意力机制的水库地表温度预测方法，其特征在于，步骤S302中所述得PCAN网络的主干网络采用Res-Net，共包含四个阶段，且在每个阶段的输出后引入通道级注意力模块。
6.根据权利要求4所述的基于时空双向注意力机制的水库地表温度预测方法，其特征在于，步骤S4中所述的基于LSTM+Attention的时空双向注意力预测模型包括一个输入层、两个conv2dlstm层和一个输出层，两个所述conv2dlstm分别对应空间注意力的输入预测和时间注意力的输入预测。
7.根据权利要求6所述的基于时空双向注意力机制的水库地表温度预测方法，其特征在于：所述输入层采用加法或乘法时间序列模型，对输入的LST时间序列进行分解，采用BatchNormalization(·)初始化，并根据当前输入yt-1、先前隐藏状态ht-1和内存状态mt-1更新内部隐藏状态，也即h0，m0＝BatchNormalization(·)，ht，mt＝LSTM(yt-1，ht-1，mt-1)。
8.根据权利要求7所述的基于时空双向注意力机制的水库地表温度预测方法，其特征在于：所述空间注意力是小气候特征V和LSTM的隐层状态h2 t-1被传入一个单层感知机中，再通过softmax函数产生图片K个小气候区域的注意力权重分布；其中，小气候特征V＝[v1,v2,…,vL]，是步骤S3中提取出来的研究区域的小气候边界特征，vi为D维度的空间图像特征，代表图片中的某个小气候区域；et，i＝UTtanh(Khht-1+KvV+ba)，αt，i＝softmax(et，i)，式中：et，i是对于时间步骤t，将小气候特征V和LSTM的隐层状态ht-1传入一个单层感知机计算的得分，U，Kh，Kv和ba是需要学习的注意力权重参数；at，i为softmax函数产生的小气候特征注意权重，进而输出的显著信息表示为
9.根据权利要求8所述的基于时空双向注意力机制的水库地表温度预测方法，其特征在于：所述时间注意力的输入是由气象站气温提取的时序特征W和LSTM的隐层状态h1 t-1，对应输出显著信息Cwt。
10.根据权利要求9所述的基于时空双向注意力机制的水库地表温度预测方法，其特征在于：所述输出层使用一个LSTM将时间和空间两个通道的输出进行融合，然后进行综合预测，ht＝LSTM(h1 t-1，h2 t-1)，yt＝softmax(Rhht+b)，式中，Rh和b分别是变换参数与偏置，yt为模型第t步的输出，经迭代后得到最终预测出来的地表温度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111178187.0A CN114155429A (zh) | 2021-10-09 | 2021-10-09 | 基于时空双向注意力机制的水库地表温度预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111178187.0A CN114155429A (zh) | 2021-10-09 | 2021-10-09 | 基于时空双向注意力机制的水库地表温度预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114155429A true CN114155429A (zh) | 2022-03-08 |
Family
ID=80462575
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111178187.0A Withdrawn CN114155429A (zh) | 2021-10-09 | 2021-10-09 | 基于时空双向注意力机制的水库地表温度预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114155429A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114913296A (zh) * | 2022-05-07 | 2022-08-16 | 中国石油大学(华东) | 一种modis地表温度数据产品重建方法 |
| CN115510767A (zh) * | 2022-11-21 | 2022-12-23 | 四川省气象服务中心(四川省专业气象台 四川省气象影视中心) | 基于深度时空网络的区域气温预测方法 |
| CN115795255A (zh) * | 2022-09-21 | 2023-03-14 | 深圳大学 | 一种湿地的时间序列变化检测方法、装置、介质及终端 |
| CN116150418A (zh) * | 2023-04-20 | 2023-05-23 | 南京邮电大学 | 一种基于混合聚焦注意力机制的图文匹配方法及系统 |
| CN116306819A (zh) * | 2023-03-22 | 2023-06-23 | 大连海事大学 | 基于光谱重构的高光谱交叉定标方法、装置及电子设备 |
-
2021
- 2021-10-09 CN CN202111178187.0A patent/CN114155429A/zh not_active Withdrawn
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114913296A (zh) * | 2022-05-07 | 2022-08-16 | 中国石油大学(华东) | 一种modis地表温度数据产品重建方法 |
| CN114913296B (zh) * | 2022-05-07 | 2023-08-11 | 中国石油大学(华东) | 一种modis地表温度数据产品重建方法 |
| CN115795255A (zh) * | 2022-09-21 | 2023-03-14 | 深圳大学 | 一种湿地的时间序列变化检测方法、装置、介质及终端 |
| CN115795255B (zh) * | 2022-09-21 | 2024-03-26 | 深圳大学 | 一种湿地的时间序列变化检测方法、装置、介质及终端 |
| CN115510767A (zh) * | 2022-11-21 | 2022-12-23 | 四川省气象服务中心(四川省专业气象台 四川省气象影视中心) | 基于深度时空网络的区域气温预测方法 |
| CN115510767B (zh) * | 2022-11-21 | 2023-10-27 | 四川省气象服务中心(四川省专业气象台 四川省气象影视中心) | 基于深度时空网络的区域气温预测方法 |
| CN116306819A (zh) * | 2023-03-22 | 2023-06-23 | 大连海事大学 | 基于光谱重构的高光谱交叉定标方法、装置及电子设备 |
| CN116306819B (zh) * | 2023-03-22 | 2024-05-03 | 大连海事大学 | 基于光谱重构的高光谱交叉定标方法、装置及电子设备 |
| CN116150418A (zh) * | 2023-04-20 | 2023-05-23 | 南京邮电大学 | 一种基于混合聚焦注意力机制的图文匹配方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114155429A (zh) | 基于时空双向注意力机制的水库地表温度预测方法 | |
| CN113128134B (zh) | 一种矿区生态环境演变驱动因子权重量化分析方法 | |
| Wang et al. | A method for land surface temperature retrieval based on model-data-knowledge-driven and deep learning | |
| Fu et al. | Estimating landscape net ecosystem exchange at high spatial–temporal resolution based on Landsat data, an improved upscaling model framework, and eddy covariance flux measurements | |
| Sekertekin et al. | Modeling diurnal Land Surface Temperature on a local scale of an arid environment using artificial Neural Network (ANN) and time series of Landsat-8 derived spectral indexes | |
| CN114966692B (zh) | 基于Transformer的InSAR技术冻土区多变量时序形变预测方法及装置 | |
| Jia et al. | Predicting land surface temperature with geographically weighed regression and deep learning | |
| Biard et al. | Automated detection of weather fronts using a deep learning neural network | |
| Moosavi et al. | Estimation of spatially enhanced soil moisture combining remote sensing and artificial intelligence approaches | |
| CN111191673A (zh) | 一种地表温度降尺度方法及系统 | |
| Fan et al. | A comparative study of four merging approaches for regional precipitation estimation | |
| Collados‐Lara et al. | Spatiotemporal estimation of snow depth using point data from snow stakes, digital terrain models, and satellite data | |
| CN111859054A (zh) | 气象卫星数据的处理方法及装置 | |
| de Sousa Araújo et al. | Extreme precipitation prediction based on neural network model–A case study for southeastern Brazil | |
| Salehi et al. | Spatial and temporal resolution improvement of actual evapotranspiration maps using Landsat and MODIS data fusion | |
| Premier et al. | A novel approach based on a hierarchical multiresolution analysis of optical time series to reconstruct the daily high-resolution snow cover area | |
| González‐Abad et al. | Using explainability to inform statistical downscaling based on deep learning beyond standard validation approaches | |
| Maulik et al. | AIEADA 1.0: Efficient high-dimensional variational data assimilation with machine-learned reduced-order models | |
| Tang et al. | Filling then spatio-temporal fusion for all-sky MODIS land surface temperature generation | |
| CN112285808B (zh) | 一种aphrodite降水数据的降尺度方法 | |
| Ma et al. | Developing a land continuous variable estimator to generate daily land products from Landsat data | |
| CN113408111A (zh) | 大气可降水量反演方法及系统、电子设备和存储介质 | |
| Madhukumar et al. | 3-D Bi-directional LSTM for Satellite Soil Moisture Downscaling | |
| Boke-Olén et al. | Remotely sensed soil moisture to estimate savannah NDVI | |
| Liu et al. | Bi-LSTM model for time series leaf area index estimation using multiple satellite products |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220308 |
|
| WW01 | Invention patent application withdrawn after publication |