CN112183886B - 基于卷积网络和注意力机制的短时临近降雨预测方法 - Google Patents
基于卷积网络和注意力机制的短时临近降雨预测方法 Download PDFInfo
- Publication number
- CN112183886B CN112183886B CN202011138708.5A CN202011138708A CN112183886B CN 112183886 B CN112183886 B CN 112183886B CN 202011138708 A CN202011138708 A CN 202011138708A CN 112183886 B CN112183886 B CN 112183886B
- Authority
- CN
- China
- Prior art keywords
- term
- convolution
- rainfall
- short
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000007246 mechanism Effects 0.000 title claims abstract description 31
- 238000013528 artificial neural network Methods 0.000 claims abstract description 66
- 230000008569 process Effects 0.000 claims abstract description 45
- 230000006403 short-term memory Effects 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 230000007774 longterm Effects 0.000 claims abstract description 8
- 230000002441 reversible effect Effects 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 230000007787 long-term memory Effects 0.000 claims description 32
- 230000015654 memory Effects 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 238000013459 approach Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Operations Research (AREA)
- Entrepreneurship & Innovation (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种基于卷积网络和注意力机制的短时临近降雨预测方法。该方法包括：获取被预测区域在当前时间点前预设时段内的降雨过程图像；将所述降雨过程图像进行预处理，获得完全时空特性的张量；完全时空特性的张量输入多尺度特征融合的神经网络中进行特征提取，获得局部短期运动特征；将所述局部短期运动特征输入到结合了注意力机制的卷积长短期记忆人工神经网络中进行降雨预测，获得降雨预测信息；将所述预测结果信息输入到卷积层进行反向重构，获得所述被预测区域的未来降雨图像序列。解决了时空信息丢失容易，预测精度低的问题，提高了短时临近降雨的预测精度。
Description
技术领域
本申请涉及信号工程技术领域，特别是涉及一种基于卷积网络和注意力机制的短时临近降雨预测方法。
背景技术
短时临近降雨预测是大气科学的一个重要领域。该任务的目标是在未来相对短的时间段(例如0-2小时)内，对当地区域的降雨情况进行及时且准确的预测。目前，该技术已经被广泛应用于为居民出行、农业生产、飞行安全等方面提供防洪防汛信息，它不仅能够方便人们，而且有利于防灾减灾，这也一直是天气预测领域的关键任务。随着气候的变化和城市化进程的加快，大气情况变得越来越复杂，各种气象现象频繁发生。气候变化给人们的生活和工作带来了许多不利影响，并且增加了许多不确定性的危险，如果能够对上述气象现象做出有效的预测和预防，损失将会大大减少。
而目前的短时临近降雨预测的常规方法主要包括：基于雷达回波外推方法，特别是其中的交叉相关法和基于光流的方法等，能有效地外推出未来雷达回波图(雷达回波图是定高度平面位置指示器图像)，通过马歇尔-帕尔默关系或Z-R关系转换为降雨图,在转换的过程中会引入不必要的系统误差，导致短时临近降雨的预测精度低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高短时临近降雨的预测精度的基于卷积网络和注意力机制的短时临近降雨预测方法。
一种基于卷积网络和注意力机制的短时临近降雨预测方法，所述方法包括：
获取被预测区域在当前时间点前预设时段内的降雨过程图像；
将所述降雨过程图像进行预处理，获得完全时空特性的张量；
完全时空特性的张量输入多尺度特征融合的神经网络中进行特征提取，获得局部短期运动特征；
将所述局部短期运动特征输入到结合了注意力机制的卷积长短期记忆人工神经网络中进行降雨预测，获得降雨预测信息；
将所述预测结果信息输入到卷积层进行反向重构，获得所述被预测区域的未来降雨图像序列。
在其中一个实施例中，所述将所述局部短期运动特征输入到结合了注意力机制的卷积长短期记忆人工神经网络中进行降雨预测，获得降雨预测信息的步骤，包括：
将所述局部短期运动特征输入结合了注意力机制的第一卷积长短期记忆人工神经网络中，学习全局长期的时空特征依赖关系，获得时间运动特征，并将所述时间运动特征压缩成隐状态张量输出；
将所述隐状态张量输入到结合了注意力机制的第二卷积长短期记忆人工神经网络中进行预测，获得预测结果信息。
在其中一个实施例中，所述第一卷积长短期记忆人工神经网络和所述第二卷积长短期记忆人工神经网络的激活函数为ReLU非线性激活函数。
在其中一个实施例中，所述第一卷积长短期记忆人工神经网络由3个卷积长短期记忆人工神经网络单元组成；第二卷积长短期记忆人工神经网络由3个卷积长短期记忆人工神经网络单元组成。
在其中一个实施例中，在所述各所述卷积长短期记忆人工神经网络单元之前，还引入了Batch Normalization方法；
通过Batch Normalization方法对输入到各所述卷积长短期记忆人工神经网络单元的数据进行批标准化后，输入到各所述卷积长短期记忆人工神经网络单元。
上述基于卷积网络和注意力机制的短时临近降雨预测方法，通过获取在被预测区域当前时间点前预设时段内的降雨过程图像；将降雨过程图像进行预处理，获得完全时空特性的张量，完全时空特性的张量包含了大气变化中的时间和空间维度，更适合时空相关性强的短时临近降雨预测任务；完全时空特性的张量输入多尺度特征融合的神经网络中进行特征提取，获得局部短期运动特征，避免了直接利用卷积长短期记忆人工神经网络中进行学习而引起的空间特征混乱，将局部短期运动特征输入到结合了注意力机制的卷积长短期记忆人工神经网络中进行降雨预测，获得降雨预测信息，将所述预测结果信息输入到卷积层进行反向重构，获得被预测区域的未来降雨图像序列，改善了预测降雨图像模糊的情况，解决了时空信息丢失容易，预测精度低的问题，提高了短时临近降雨的预测精度。
附图说明
图1为一个实施例中基于卷积网络和注意力机制的短时临近降雨预测方法的流程示意图；
图2为一个实施例中单帧降雨过程图像的预处理流程示意图；
图3为一个实施例中卷积长短期记忆人工神经网络结构图；
图4为另一个实施例中基于卷积网络和注意力机制的短时临近降雨预测方法的流程示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种基于卷积网络和注意力机制的短时临近降雨预测方法，包括以下步骤：
步骤S220，获取被预测区域在当前时间点前预设时段内的降雨过程图像。
其中，被预测区域指的是需要进行短时临近降雨预测的区域，被预测区域可以是一个地区，也可以是一个市，还可以是自定义的一个需要进行短时临近降雨预测区域等等。该降雨过程图像包括被预测区域在当前时间点前预设时段内的所有的降雨过程图像，降雨过程图像是根据历史降雨数据绘制而成的图像。
例如：在当前时间点为2020年10月15日11点30分，当前时间点前预设时段为1小时，被预测区域为A市，则从气象平台获取A市2020年10月15日10点30分-2020年10月15日11点30分的历史降雨数据，以10分钟为一次统计间隔，统计A市各个地方在2020年10月15日10点30分-2020年10月15日10点40分的降雨量，获得第一张降雨过程图像，统计A市各个地方在2020年10月15日10点40分-2020年10月15日10点50分的降雨量，获得第二张降雨过程图像，统计A市各个地方在2020年10月15日10点50分-2020年10月15日11点00分的降雨量，获得第三张降雨过程图像，统计A市各个地方在2020年10月15日11点00分-2020年10月15日11点10分的降雨量，获得第四张降雨过程图像，统计A市各个地方在2020年10月15日11点10分-2020年10月15日11点20分的降雨量，获得第五张降雨过程图像，统计A市各个地方在2020年10月15日11点20分-2020年10月15日11点30分的降雨量，获得第六张降雨过程图像，这六张降雨过程图像即为A市在2020年10月15日11点30分前1小时内的所有的降雨过程图像。
步骤S240，将降雨过程图像进行预处理，获得完全时空特性的张量。
其中，预处理主要是将降雨过程图像转换为完全时空特性的张量，即三维张量X∈RT×W×H，R表示数据特征的域值，其中T是时间维度信息，W、H分别是行列空间维度信息，如图2所示，原来单帧降雨过程图像被转换为空间网格上多帧时间维度的向量，T为时间维度信息，通过降雨时间的前后关系依次连续堆叠单帧降雨过程图像，变成三维时空立体结构，组成连续降雨过程图像序列。
步骤S260，完全时空特性的张量输入多尺度特征融合的神经网络中进行特征提取，获得局部短期运动特征。
其中，多尺度特征融合的神经网络是多尺度卷积神经网络(即：Multi-scaleCNN)。
步骤S280，将局部短期运动特征输入到结合了注意力机制的卷积长短期记忆人工神经网络中进行降雨预测，获得降雨预测信息。
其中，卷积长短期记忆人工神经网络(ConvLSTM)是LSTM(全称：Long Short-TermMemory，是一种时间循环神经网络)的变体，改变主要是W的权值计算变成了卷积运算，可以提取出图像的特征。
在一个实施例中，将局部短期运动特征输入到结合了注意力机制的卷积长短期记忆人工神经网络中进行降雨预测，获得降雨预测信息的步骤，包括：
将局部短期运动特征输入结合了注意力机制的第一卷积长短期记忆人工神经网络中，学习全局长期的时空特征依赖关系，获得时间运动特征，并将时间运动特征压缩成隐状态张量输出；将隐状态张量输入到结合了注意力机制的第二卷积长短期记忆人工神经网络中进行预测，获得预测结果信息。
其中，第一卷积长短期记忆人工神经网络和第二卷积长短期记忆人工神经网络的激活函数为ReLU非线性激活函数。第一卷积长短期记忆人工神经网络由3个卷积长短期记忆人工神经网络单元组成；第二卷积长短期记忆人工神经网络由3个卷积长短期记忆人工神经网络单元组成。
在一个实施例中，在各卷积长短期记忆人工神经网络单元之前，还引入了BatchNormalization方法；通过Batch Normalization方法对输入到各卷积长短期记忆人工神经网络单元的数据进行批标准化后，输入到各卷积长短期记忆人工神经网络单元。
其中，Batch Normalization方法是进行批标准化的方法，用于重新调整数据分布。
如图3所示的卷积长短期记忆人工神经网络结构图，该结构本质上还是LSTM，可是状态间的转换从乘法运算转换成了卷积运算，这样不仅可以像LSTM一样建立时序关系，而且可以像卷积神经网络(CNN)一样刻画空间特征，有效克服了时序传递过程中空间信息丢失的问题。正向传递与反向传递两个单向传递的卷积LSTM层组合连接后构成卷积长短期记忆人工神经网络，该卷积长短期记忆人工神经网络结合前后长期信息综合输出结果，解决了单向传递无法处理从后到前特征信息的问题。
其中，卷积长短期记忆人工神经网络的每一个卷积长短期记忆人工神经网络单元包含了来自卷积神经网络(CNN)时间和空间的输出，结构中计算过程如下：
其中，t是指当前时刻，Xt表示当前时刻的输入，Ht-1表示t-1时刻的输出，ft,it,ot分别代表ConvLTSM中遗忘门、输入门和输出门，这里的W和b表示门结构的连接权重和偏置项，Wxi代表输入门中与输入x相乘的卷积核参数，Whi代表了输入门中与隐藏状态h相乘的卷积核参数，Wci代表的是输入门中与状态更新单元c相乘的卷积核参数，Wxf代表遗忘门中与输入x相乘的卷积核参数，Whf代表了遗忘门中与隐藏状态h相乘的卷积核参数，Wcf代表的是遗忘门中与状态更新单元c相乘的卷积核参数，Wxo代表输出门中与输入x相乘的卷积核参数，Who代表了输出门中与隐藏状态h相乘的卷积核参数，Wco代表的是输出门中与状态更新单元c相乘的卷积核参数，Wxc代表的是状态更新单元c中与输入x相乘的卷积核参数，Whc代表的是状态更新单元c中与隐藏状态h相乘的卷积核参数，bi代表的是输入门的偏置项参数，bf代表的是遗忘门的偏置项参数，bo代表的是输出门的偏置项参数，bc代表的是状态更新单元的偏置项参数。
ft控制每个单元需要遗忘多少信息，it决定了存储单元需要加入多少新的信息，ot表示要输出什么信息，式中用卷积操作*代替原来LSTM的乘法操作，为Hadamard乘积，即矩阵对应元素相乘，这里的σ非线性激活函数用的是Sigmoid，公式为S(x)＝(1+e-x)-1，控制三个门取值范围在[0,1]，Ct为状态更新单元，是卷积LSTM的核心部分。
步骤S300，将预测结果信息输入到卷积层进行反向重构，获得被预测区域的未来降雨图像序列。
其中，卷积层根据预测结果信息反向重构生成被预测区域的未来降雨图像序列。
上述基于卷积网络和注意力机制的短时临近降雨预测方法，通过获取在被预测区域当前时间点前预设时段内的降雨过程图像；将降雨过程图像进行预处理，获得完全时空特性的张量，完全时空特性的张量包含了大气变化中的时间和空间维度，更适合时空相关性强的短时临近降雨预测任务；完全时空特性的张量输入多尺度特征融合的神经网络中进行特征提取，获得局部短期运动特征，避免了直接利用卷积长短期记忆人工神经网络中进行学习而引起的空间特征混乱，将局部短期运动特征输入到结合了注意力机制的卷积长短期记忆人工神经网络中进行降雨预测，获得降雨预测信息，将所述预测结果信息输入到卷积层进行反向重构，获得被预测区域的未来降雨图像序列，改善了预测降雨图像模糊的情况，解决了时空信息丢失容易，预测精度低的问题，提高了短时临近降雨的预测精度。
请参阅图4，提供了一种基于卷积网络和注意力机制的短时临近降雨预测方法，具体步骤如下：
首先，将被预测区域在当前时间点前预设时段内的降雨过程图像构建为具有统一时间维度和空间维度的完全时空特性的张量，形成连续降雨过程图像序列，其次，通过连续降雨过程图像序列输入多尺度特征融合的神经网络中进行特征提取，获取局部短期运动特征，再经过第一卷积长短期记忆人工神经网络(即三层加入注意力机制的长短期记忆人工神经单元(ConvLSTM))学习全局长期的时空特征依赖关系，将捕捉学习到的时间运动特征压缩成隐状态张量，输入到连接的第二卷积长短期记忆人工神经网络(即三层加入注意力机制的长短期记忆人工神经单元(ConvLSTM))进行未来降雨预测，获得未来降雨的预测结果信息，将未来降雨的预测结果信息输入到最后1层用于融合多帧时空状态的卷积层进行反向重构，生成未来的降雨图像序列。其中，基于卷积网络和注意力机制的短时临近降雨预测方法中，利用ReLU非线性激活函数代替传统Sigmoid技巧，还引入了Batch Normalization(BN)方法，提高网络收敛速度、缓解过拟合现象，能显著增强模型的学习能力，使其拥有更强的多帧降雨图的时空特征表达能力，有效提高预测准确性。
上述基于卷积网络和注意力机制的短时临近降雨预测方法，降雨过程图像输入数据维度需要先被重构，分别构建数据的时间维度和空间维度，在时空特征提取和运动信息学习的过程中，输入、输出都是三维张量，状态与状态之间转换也都是三维张量卷积运算，使得数据间具有统一的维度，同时保留了所有时间与空间特性，对该被预测区域降雨过程的预报更加全面、精确。
在一个实施例中，构建公式(6)中所示降雨过程图像的像素级均方误差(MSE)作为模型(该模型是由多尺度特征融合的神经网络、结合了注意力机制的卷积长短期记忆人工神经网络和卷积层组成的编码预测模型)的损失函数，用来衡量预测结果和实际结果间的相似度。式中y代表真实输出，代表预测输出，N为当前输出帧的总数，n表示当前第n个输出帧(一帧即为一张降雨过程图像)，此时W、H分别代表降雨过程图像的横纵坐标。
该方法将前时刻的样本作为输入，后时刻的样本作为真实的输出，若当前时刻为t，当输入的10帧数据为{Xt-9,Xt-8,…Xt}，则该模型可预测的未来10帧未来降雨图像输出为多帧降雨过程图像不断输入模型进行训练，计算多帧图像间实际和预测的误差，并通过反向传播，不断更新网络权重，使损失函数值不断降低，重复迭代直至收敛，让重构的未来降雨图像序列越来越像真实图像序列，这个定义的相似性损失函数提高了生成未来降雨图像的特征表达能力。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (3)
1.一种基于卷积网络和注意力机制的短时临近降雨预测方法，其特征在于，所述方法包括：
获取被预测区域在当前时间点前预设时段内的降雨过程图像；
将所述降雨过程图像进行预处理，获得完全时空特性的张量，所述预处理是将降雨过程图像转换为完全时空特性的张量，即三维张量X∈RT×W×H，R表示数据特征的域值，其中T是时间维度信息，W、H分别是行列空间维度信息；
完全时空特性的张量输入多尺度特征融合的神经网络中进行特征提取，获得局部短期运动特征；
将所述局部短期运动特征输入到结合了注意力机制的卷积长短期记忆人工神经网络中进行降雨预测，获得降雨预测信息；
将所述预测结果信息输入到卷积层进行反向重构，获得所述被预测区域的未来降雨图像序列；
所述将所述局部短期运动特征输入到结合了注意力机制的卷积长短期记忆人工神经网络中进行降雨预测，获得降雨预测信息的步骤，包括：
将所述局部短期运动特征输入结合了注意力机制的第一卷积长短期记忆人工神经网络中，学习全局长期的时空特征依赖关系，获得时间运动特征，并将所述时间运动特征压缩成隐状态张量输出；
将所述隐状态张量输入到结合了注意力机制的第二卷积长短期记忆人工神经网络中进行预测，获得预测结果信息；
所述第一卷积长短期记忆人工神经网络由3个卷积长短期记忆人工神经网络单元组成；第二卷积长短期记忆人工神经网络由3个卷积长短期记忆人工神经网络单元组成；
所述卷积长短期记忆人工神经网络单元包含了来自卷积神经网络时间和空间的输出，结构中计算过程如下：
其中，t是指当前时刻，Xt表示当前时刻的输入，Ht-1表示t-1时刻的输出，Ht表示t时刻的输出，ft,it,ot分别代表ConvLTSM中遗忘门、输入门和输出门，Wxi代表输入门中与输入x相乘的卷积核参数，Whi代表了输入门中与隐藏状态h相乘的卷积核参数，Wci代表的是输入门中与状态更新单元c相乘的卷积核参数，Wxf代表遗忘门中与输入x相乘的卷积核参数，Whf代表了遗忘门中与隐藏状态h相乘的卷积核参数，Wcf代表的是遗忘门中与状态更新单元c相乘的卷积核参数，Wxo代表输出门中与输入x相乘的卷积核参数，Who代表了输出门中与隐藏状态h相乘的卷积核参数，Wco代表的是输出门中与状态更新单元c相乘的卷积核参数，Wxc代表的是状态更新单元c中与输入x相乘的卷积核参数，Whc代表的是状态更新单元c中与隐藏状态h相乘的卷积核参数，bi代表的是输入门的偏置项参数，bf代表的是遗忘门的偏置项参数，bo代表的是输出门的偏置项参数，bc代表的是状态更新单元的偏置项参数，σ表示非线性激活函数，Ct为t时刻的状态更新单元，Ct-1为t-1时刻的状态更新单元，为Hadamard乘积。
2.根据权利要求1所述的方法，其特征在于，所述第一卷积长短期记忆人工神经网络和所述第二卷积长短期记忆人工神经网络的激活函数为ReLU非线性激活函数。
3.根据权利要求1所述的方法，其特征在于，在所述各所述卷积长短期记忆人工神经网络单元之前，还引入了Batch Normalization方法；
通过Batch Normalization方法对输入到各所述卷积长短期记忆人工神经网络单元的数据进行批标准化后，输入到各所述卷积长短期记忆人工神经网络单元。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011138708.5A CN112183886B (zh) | 2020-10-22 | 2020-10-22 | 基于卷积网络和注意力机制的短时临近降雨预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011138708.5A CN112183886B (zh) | 2020-10-22 | 2020-10-22 | 基于卷积网络和注意力机制的短时临近降雨预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112183886A CN112183886A (zh) | 2021-01-05 |
| CN112183886B true CN112183886B (zh) | 2024-03-15 |
Family
ID=73923313
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011138708.5A Active CN112183886B (zh) | 2020-10-22 | 2020-10-22 | 基于卷积网络和注意力机制的短时临近降雨预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112183886B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112906673A (zh) * | 2021-04-09 | 2021-06-04 | 河北工业大学 | 一种基于注意力机制的下肢运动意图预测方法 |
| CN113095590B (zh) * | 2021-04-29 | 2022-04-29 | 中国人民解放军国防科技大学 | 微波水平降雨场高时空分辨率重构分析与短临预测方法 |
| CN113837352B (zh) * | 2021-08-06 | 2023-07-14 | 中国地质大学（武汉） | 基于长短期记忆神经网络的降雨-径流时空关系模拟方法 |
| CN113657477B (zh) * | 2021-08-10 | 2022-04-08 | 南宁五加五科技有限公司 | 一种短临降水的预报方法、装置及系统 |
| CN114492952B (zh) * | 2022-01-06 | 2023-08-01 | 清华大学 | 一种基于深度学习的短临降水预报方法和装置 |
| CN114997490B (zh) * | 2022-05-30 | 2024-08-27 | 北京环境特性研究所 | 温度廓线预测模型的构建方法、预测方法、装置及设备 |
| CN118133888B (zh) * | 2024-04-29 | 2024-08-06 | 南京航空航天大学 | 一种基于紫外极光图像的极光电集流指数预测方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107703564A (zh) * | 2017-10-13 | 2018-02-16 | 中国科学院深圳先进技术研究院 | 一种降雨预测方法、系统及电子设备 |
| CN107992938A (zh) * | 2017-11-24 | 2018-05-04 | 清华大学 | 基于正反卷积神经网络的时空大数据预测方法和系统 |
| CN110288157A (zh) * | 2019-06-27 | 2019-09-27 | 电子科技大学 | 一种基于注意力机制和lstm的径流预测方法 |
| CN110363327A (zh) * | 2019-06-04 | 2019-10-22 | 东南大学 | 基于ConvLSTM和3D-CNN的短临降水预测方法 |
| CN110909862A (zh) * | 2019-10-11 | 2020-03-24 | 平安科技（深圳）有限公司 | 基于卷积神经网络的注意力权重计算方法和装置 |
| CN110909919A (zh) * | 2019-11-07 | 2020-03-24 | 哈尔滨工程大学 | 融合注意力机制的深度神经网络模型的光伏功率预测方法 |
| CN111145245A (zh) * | 2019-12-31 | 2020-05-12 | 哈尔滨工业大学（深圳） | 一种短时临近降雨预报方法、系统及计算机可读存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10169656B2 (en) * | 2016-08-29 | 2019-01-01 | Nec Corporation | Video system using dual stage attention based recurrent neural network for future event prediction |
-
2020
- 2020-10-22 CN CN202011138708.5A patent/CN112183886B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107703564A (zh) * | 2017-10-13 | 2018-02-16 | 中国科学院深圳先进技术研究院 | 一种降雨预测方法、系统及电子设备 |
| CN107992938A (zh) * | 2017-11-24 | 2018-05-04 | 清华大学 | 基于正反卷积神经网络的时空大数据预测方法和系统 |
| CN110363327A (zh) * | 2019-06-04 | 2019-10-22 | 东南大学 | 基于ConvLSTM和3D-CNN的短临降水预测方法 |
| CN110288157A (zh) * | 2019-06-27 | 2019-09-27 | 电子科技大学 | 一种基于注意力机制和lstm的径流预测方法 |
| CN110909862A (zh) * | 2019-10-11 | 2020-03-24 | 平安科技（深圳）有限公司 | 基于卷积神经网络的注意力权重计算方法和装置 |
| CN110909919A (zh) * | 2019-11-07 | 2020-03-24 | 哈尔滨工程大学 | 融合注意力机制的深度神经网络模型的光伏功率预测方法 |
| CN111145245A (zh) * | 2019-12-31 | 2020-05-12 | 哈尔滨工业大学（深圳） | 一种短时临近降雨预报方法、系统及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于长短期记忆网络与注意力机制的短期光伏发电预测;李清;高春燕;胡长骁;蔡文姗;;电气自动化;20200930(第05期);19-21+37 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112183886A (zh) | 2021-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112183886B (zh) | 基于卷积网络和注意力机制的短时临近降雨预测方法 | |
| Zhang et al. | Wind speed prediction method using shared weight long short-term memory network and Gaussian process regression | |
| CN111191841B (zh) | 一种电力负荷预测方法、装置、计算机设备及存储介质 | |
| CN108280551B (zh) | 一种利用长短期记忆网络的光伏发电功率预测方法 | |
| CN111639787B (zh) | 一种基于图卷积网络的时空数据预测方法 | |
| CN110322009B (zh) | 基于多层卷积长短时记忆神经网络的图像预测方法 | |
| Cannon | Quantile regression neural networks: Implementation in R and application to precipitation downscaling | |
| Paras et al. | A feature based neural network model for weather forecasting | |
| CN111027772B (zh) | 基于pca-dbilstm的多因素短期负荷预测方法 | |
| CN110516833A (zh) | 一种基于特征提取的Bi-LSTM预测道路交通状态的方法 | |
| CN111967679A (zh) | 基于tcn模型的电离层总电子含量预报方法 | |
| CN112415521A (zh) | 基于cgru的强时空特性雷达回波临近预报方法 | |
| CN110363349B (zh) | 一种基于ascs的lstm神经网络水文预测方法及系统 | |
| CN113610286B (zh) | 顾及时空相关性和气象因素的pm2.5浓度预测方法及装置 | |
| CN109886496B (zh) | 一种基于气象信息的农产量预测方法 | |
| CN115310724A (zh) | 一种基于Unet和DCN_LSTM的降水预测方法 | |
| CN116702627B (zh) | 一种基于深度卷积神经网络的城市暴雨内涝快速模拟方法 | |
| CN117665825B (zh) | 一种雷达回波外推预报方法、系统及存储介质 | |
| Lv et al. | An improved long short-term memory neural network for stock forecast | |
| CN114565187A (zh) | 一种基于图时空自编码网络的交通路网数据预测方法 | |
| CN112766603A (zh) | 一种交通流量预测方法、系统、计算机设备及存储介质 | |
| CN113947182A (zh) | 基于双阶段堆叠图卷积网络的交通流预测模型构建方法 | |
| CN117195976A (zh) | 一种基于分层注意力的交通流量预测方法及系统 | |
| CN113094891B (zh) | 多风电场功率建模、pdf构建、预测场景生成方法和系统 | |
| CN113408183A (zh) | 基于预测模型的车辆基地短期复合预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |