CN113610329B - 一种双流卷积长短期记忆网络的短时临近降雨预报方法 - Google Patents
一种双流卷积长短期记忆网络的短时临近降雨预报方法 Download PDFInfo
- Publication number
- CN113610329B CN113610329B CN202111168227.3A CN202111168227A CN113610329B CN 113610329 B CN113610329 B CN 113610329B CN 202111168227 A CN202111168227 A CN 202111168227A CN 113610329 B CN113610329 B CN 113610329B
- Authority
- CN
- China
- Prior art keywords
- time
- rainfall
- network
- space
- short
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013277 forecasting method Methods 0.000 title claims abstract description 11
- 230000015654 memory Effects 0.000 title claims description 71
- 238000000034 method Methods 0.000 claims abstract description 95
- 230000008569 process Effects 0.000 claims abstract description 62
- 230000007774 longterm Effects 0.000 claims abstract description 29
- 230000007787 long-term memory Effects 0.000 claims abstract description 8
- 230000006403 short-term memory Effects 0.000 claims abstract description 8
- 238000010586 diagram Methods 0.000 claims description 25
- 206010040736 Sinoatrial block Diseases 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- 230000006798 recombination Effects 0.000 claims description 10
- 238000005215 recombination Methods 0.000 claims description 10
- 230000006835 compression Effects 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 9
- 230000005284 excitation Effects 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 3
- 238000011425 standardization method Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 abstract description 9
- 230000033001 locomotion Effects 0.000 abstract description 4
- 238000012544 monitoring process Methods 0.000 description 5
- 230000006855 networking Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000013213 extrapolation Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010006 flight Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Strategic Management (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Primary Health Care (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提出了一种双流卷积长短期记忆网络的短时临近降雨预报方法，属于天气预报技术领域。该方法通过两个分别对不同周期的降雨数据进行学习的长期预测子网络和短期预测子网络共同捕捉降雨过程中的时空变化，设计了一种全新的长短期记忆单元来提升子网络的时空特征学习能力，最后通过重结合模块实现对降雨过程的预测。该发明能够充分地捕获连续运动的降雨过程时空相关性，实现对区域内降雨运动趋势更精确的预报。
Description
技术领域
本发明涉及一种双流卷积长短期记忆网络的短时临近降雨预报方法，属于天气预报技术领域。
背景技术
相较于短期、中期、长期预报，短时临近预报的时效更短，主要集中在0-12小时，主要在于对中小尺度天气系统，尤其是强对流天气系统的预报，是一个具有巨大实际应用价值的研究领域。目前，该技术已经被广泛应用于居民的日常出行和生产活动、飞机航班的起飞与降落和重大活动的气象保障服务为等方面提供降雨信息，它不仅能够方便人们，而且有利于防灾减灾。
但是，相对于大尺度天气系统，强对流天气系统具有生命史短、突发性强等特点。其生命周期短的只有几分钟到几十分钟，最长不过十几个小时。由于生消速度快，因而难以把握。在这些气候因素的影响下，难以确定对流的形状和大小，并且对流呈现出复杂的变化趋势，这就需要一个能够捕捉数据之间的时空相关性的预测模型来解决这个问题。另一方面，与其他的预报任务相比，短临预报对时效性的要求更高，因此这项工作非常具有挑战性。
目前临近预报的常规方法主要是基于雷达回波外推方法和数值模式方法，但是传统的外推方法，没有充分挖掘历史观测数据的规律，仅依靠现有的几个有限的雷达数据进行预报；在预报效果上，由于没有考虑降雨系统的发生、发展、消亡等演化过程，使得预报的准确率不高。在预报产品的精细度上，无法满足区域对降雨产品的需求，特别是气候多变的沿海地区。
发明内容
为了克服现有技术的不足，本发明提供了一种满足短临预报对时效性的基于双流卷积长短期记忆网络的短时临近降雨预报方法。
本发明的技术方案：
本发明提供了一种双流卷积长短期记忆网络的短时临近降雨预报方法，其步骤如下：
步骤一，将历史连续降雨数据绘制成降雨图并构建具有统一时间维度和空间维度的长时间周期输入序列和具有统一时间维度和空间维度的短时间周期输入序列，所述具有统一时间维度和空间维度的长时间周期输入序列和所述具有统一时间维度和空间维度的短时间周期输入序列的最后时刻为同一时刻；
步骤二，对所述具有统一时间维度和空间维度的输入序列采用层标准化LayerNormalization方法调整其分布；
步骤三，构造所述双流卷积长短期记忆网络的预测模型，其包含长期预测子网络和短期预测子网络，
所述长期预测子网络包含第一3D卷积Ⅰ和3D-SA-LSTM堆叠网络Ⅰ，所述3D-SA-LSTM堆叠网络Ⅰ包括第一编码网络和第一预测网络，所述第一编码网络由R1层*S1列3D-SA-LSTM记忆网络单元Ⅰ堆叠构成，所述第一预测网络由R2层*S2列3D-SA-LSTM记忆网络单元Ⅰ堆叠构成，所述3D-SA-LSTM记忆网络单元Ⅰ是在LSTM记忆网络单元融入第一3D卷积网络Ⅰ和SAblock自注意力模块形成，所述具有统一时间维度和空间维度的长时间周期输入序列通过所述第一3D卷积Ⅰ编码得到长时间周期的降雨数据的时空特征图Ⅰ，所述长时间周期的降雨数据的时空特征图Ⅰ通过所述3D-SA-LSTM堆叠网络Ⅰ后提取得到降雨过程中的时空特征Ⅰ；
所述短期预测子网络包含第一3D卷积Ⅱ和3D-SA-LSTM堆叠网络Ⅱ，所述3D-SA-LSTM堆叠网络Ⅱ包括第二编码网络和第二预测网络，所述第二编码网络由R1层*S1列3D-SA-LSTM记忆网络单元Ⅱ堆叠构成，所述第二预测网络由R2层*S2列3D-SA-LSTM记忆网络单元Ⅱ堆叠构成，所述3D-SA-LSTM记忆网络单元Ⅱ是在LSTM记忆网络单元融入3D卷积网络Ⅱ和SA block自注意力模块形成，所述具有统一时间维度和空间维度的短时间周期输入序列通过所述第一3D卷积Ⅱ编码得到短时间周期的降雨数据的时空特征图Ⅱ，所述短时间周期的降雨数据的时空特征图Ⅱ通过所述3D-SA-LSTM堆叠网络Ⅱ后提取得到降雨过程中的时空特征Ⅱ；
步骤四，引入重结合模块，所述重结合模块包含压缩和激励块和第二3D卷积网络，所述压缩和激励块对所述降雨过程的时空特征Ⅰ进行调整得到降雨过程中的时空特征Ⅲ，并对调整后的降雨过程中的时空特征Ⅲ和所述降雨过程中的时空特征II进行降雨过程中的时空特征拼接，得到降雨过程中的时空特征IV，再通过所述第二3D卷积网络对通过所述降雨过程中的时空特征IV进行卷积计算，完成预测解码操作，得到最终对未来降雨过程的预测。
进一步地，步骤一中，所述具有统一时间维度和空间维度的输入序列公式：X∈RS ×M×N，其中，第一维度S代表时间维度，第二维度代表输入图像的长，第三维度代表输入图像的宽。
进一步地，所述3D-SA-LSTM记忆网络单元I或3D-SA-LSTM记忆网络单元II的计算公式如下：
其中，σ是sigmoid激活函数，*和⊙分别是3D卷积操作和Hadamard乘，W1×1×1是用于状态变量转换通道数的1×1×1卷积，SA是自注意力模块，[·，·]代表是拼接操作；所述3D-SA-LSTM记忆网络单元共有四个输入：Xt、
其中，Xt是由输入序列通过3D卷积编码得到的张量；
是上个时间步长的输出；
是上个时间步长的时间状态变量；
是本时间步长的l-1层的时空状态变量，当l＝1，
时间状态变量：
由遗忘门：Ft、输入门：It和输入模态门：Gt控制时间状态，空间状态变量：
由遗忘门：Ft′、输入门：I′t和输入模态门：G′t控制
中所保留的信息；最后，通过时间状态变量：
空间状态变量
和输出门：Ot计算得到隐藏状态变量：
由上个时间步长的输出：
和所述3D-SA-LSTM记忆网络单元隐藏状态变量：
共同通过自注意力模块SA block计算得到所述3D-SA-LSTM记忆网络单元最后的输出：
进一步地，所述自注意力模块SA block具体计算如下所示：
其中
是在将张量变换成合适的二维形式后进行矩阵乘法，C和
是通道数，{Wq，Wk，Wv}是一系列的1×1×1卷积，Qh是空间位置的注意力权重，Kh是列出所有可能位置的权重系数，Vh是特征图的值，ei，j是特征图中每对点的相似系数，下标i，j是坐标的位置，N＝T×H×W是i，j所有可以取得值，通过对ei，j进行标准化得到αi，j，第i个位置的聚合特征yi是和输入信号相同尺寸的输出信号，通过利用所有位置的加权和计算得到；通过对yi和本单元隐藏状态变量和上个时间步长的输出通过残差连接计算得到最终的输出：
其中β是超参数，控制有多少比例的历史状态会被保留。
进一步地，步骤四中，对未来降雨过程的预测所述R1层的层数＝R2层的层数，所述S1列的列数＝S2列的列数。
进一步地，步骤四中，所述得到最终对未来降雨过程的预测还包括使用了自适应损失函数来调整不同降雨量在数据集中的分布，所述自适应损失函数公式如下：
其中，N为当前输出帧的总数，n表示当前第n个输出帧，i、j分别代表当前帧中降雨图的横坐标和纵坐标；Y代表真实的输出，
代表预测降雨输出。
有益效果
本发明提出了一种双流卷积长短期记忆网络的深度学习方法用于短时临近降雨预报。该方法包括两个用于不同时间周期降雨数据的子网络共同学习降雨过程中的时空特征，长期预测子网络捕捉降雨过程中的整体运动趋势，短期预测子网络捕捉降雨过程中的瞬时变化。
子网络3D-SA-LSTM记忆网络单元结合了3D卷积和自注意力机制，有效地提升了单元对降雨数据的特征提取能力。通过长期预测子网络和短期预测子网络的协同学习，可以精确地捕捉降雨过程中的变化特性，从而根据历史的降雨数据对未来的降雨过程做出精确地预测。
该方法改善了现有方法在短临预报中容易丢失细节的情况，有效地提升了对降雨数据的特征提取能力，充分地捕捉降雨过程中的时空依赖，显著地提高了预测的精度。在CSI指标的多个阈值下均取得了理想的预报结果，充分地证明了该方法的有效性。
附图说明
图1为本发明的分层分布式组网的示意图；
图2为本发明的一种双流卷积长短期记忆网络的短时临近降雨预报方法的流程图；
图3为构造时空数据的示意图；
图4为图2中长期预测子网络和短期预测子网络的结构图；
图5为记忆网络单元3D-SA-LSTM结构图；
图6为自注意力SA block的示意图；
图7为记忆网络单元3D-SA-LSTM的示意图；
图8为重结合模块的示意图；
图9为本发明的实验结果的示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1为分层分布式组网的示意图，分层分布式观测组网充分考虑了工程实现效费比，采用基站式合作信号发射，分布式一维距离检测、基于到达时间的定位方法和组网数据融合等方式，在区域气象预报场景下具有下述优势：首先，分布式组网的配置方式，特别是将监测端置于需覆盖的重点区域(如露天体育场)，可显著提升监测的时效性和准确性；其次，分层节点之间采用完全分布式的方式，这种方式的优点在于路由选择只是由网络中的小部分节点来完成，于是一方面简化了节点间互相传送的组网信息，另一方面避免了组网架构中过于集中的路由控制；最后，采用的多接收布站形式基于北斗导航卫星系统进行时间同步，同时仅需要一维距离监测与处理，使得区域覆盖范围易于扩展，并具有良好的工程可行性。城市集控中心可以通过从各个监测节点中获取的降雨数据，对未来的降雨过程进行实时预测。
本发明采用双流卷积长短期记忆网络为两个不同输入时间周期的卷积长短期记忆网络，其包括一个长期预测子网络和一个短期预测子网络；一般的卷积长短期记忆网络只有一个时间维度上的输入，如连续十张间隔五分钟的降雨图所构成输入序列。但是不同的时间周期的输入数据中有不同的潜在特性(如短间隔的数据有降雨过程的变化细节信息，而长间隔的数据有降雨过程的整体运动趋势)，为了提升预测的准确性，本发明使用了两个卷积长短期记忆网络分别对不同时间周期的输入数据进行特征学习，再通过后面的特征融合来对两个卷积长短期记忆网络的特征进行结合后输出预测结果。
本发明提出的一种双流卷积长短期记忆网络的短时临近降雨预报方法，如图2至图8所示，为其短时临近降雨预报方法的流程图，其短时临近降雨预报方法的步骤如下：
步骤一，将历史连续降雨数据绘制成降雨图并构建具有统一时间维度和空间维度的长时间周期输入序列和具有统一时间维度和空间维度的短时间周期输入序列，这种序列包含了降雨过程中时间和位置信息。所述具有统一时间维度和空间维度的长时间周期输入序列和所述具有统一时间维度和空间维度的短时间周期输入序列的最后时刻为同一时刻；
所述具有统一时间维度和空间维度的输入序列公式：X∈RS×M×N，其中，第一维度S代表时间维度，第二维度M代表输入图像的长，第三维度N代表输入图像的宽，构造成适用于时空相关性强的三维时空数据，如图3所示，为时空数据构造示意图。根据各个监测节点中的降雨数据绘制所得的单帧降雨图只包含了某时间段内的降雨量，如果使用单帧的降雨图，就不能够学习到时间维度上的降雨变化。而降雨是一个在时间维度和空间维度上都在同时变化的过程，如果不能构造合适的输入数据，那么很难得到一个预测准确的模型。为此，本发明的方法按照时间顺序，构建了具有统一时间维度和空间维度的输入序列X∈RS ×M×N，其中，第一维度S代表时间维度，第二维度M代表输入图像的长，第三维度N代表输入图像的宽。如图3所示，原先单帧降雨图像转换为时间上连续的时空张量，图3中，一张数字图像应理解为64*64的数组。本发明将连续十张的降雨图像，构成10*64*64的数组，即为时间上连续的时空张量。在本发明模型中，长期预测子网络的输入是由连续五张每小时平均降雨量数据绘制的降雨图构成的时空张量，短期预测子网络的输入是由连续十张每六分钟平均降雨量数据绘制的降雨图构成的时空张量，长期预测子网络和短期预测子网络的输入序列的最后时刻为同一时刻。例如长期预测子网络的输入是从7点-12点的每小时降雨图，那么短期预测子网络的输入就是11点-12点的每六分钟降雨图。
步骤二，对所述具有统一时间维度和空间维度的输入序列采用层标准化LayerNormalization方法调整其分布，以加速整个网络训练时的收敛速度，缓解过拟合现象。
步骤三，构造所述双流卷积长短期记忆网络的预测模型，其包含长期预测子网络和短期预测子网络，如图4所示。
所述长期预测子网络包含第一3D卷积Ⅰ和3D-SA-LSTM堆叠网络Ⅰ，所述3D-SA-LSTM堆叠网络Ⅰ包括第一编码网络和第一预测网络，所述第一编码网络由R1层*S1列3D-SA-LSTM记忆网络单元Ⅰ堆叠构成，所述第一预测网络由R2层*S2列3D-SA-LSTM记忆网络单元Ⅰ堆叠构成，所述3D-SA-LSTM记忆网络单元Ⅰ是在LSTM记忆网络单元融入第一3D卷积网络Ⅰ和自注意力模块SA block形成，用于捕捉降雨过程中的时空特征I，其具有更强的特征学习能力，可以捕捉到降雨过程中的远距离空间依赖和长期时间依赖。
所述具有统一时间维度和空间维度的长时间周期输入序列通过所述第一3D卷积I编码得到长时间周期的降雨数据的时空特征图I，所述长时间周期的降雨数据的时空特征图I通过所述3D-SA-LSTM堆叠网络I后提取得到降雨过程中的时空特征I；
所述短期预测子网络包含第一3D卷积Ⅱ和3D-SA-LSTM堆叠网络Ⅱ，所述3D-SA-LSTM堆叠网络Ⅱ包括第二编码网络和第二预测网络，所述第二编码网络由R1层*S1列3D-SA-LSTM记忆网络单元Ⅱ堆叠构成，所述第二预测网络由R2层*S2列3D-SA-LSTM记忆网络单元Ⅱ堆叠构成，所述3D-SA-LSTM记忆网络单元Ⅱ是在LSTM记忆网络单元融入3D卷积网络Ⅱ和自注意力模块SA block形成，用于捕捉降雨过程中的时空特征II，其具有更强的特征学习能力，可以捕捉到降雨过程中的远距离空间依赖和长期时间依赖。
所述具有统一时间维度和空间维度的短时间周期输入序列通过所述第一3D卷积II编码得到短时间周期的降雨数据的时空特征图II，所述短时间周期的降雨数据的时空特征图II通过所述3D-SA-LSTM堆叠网络II后提取得到降雨过程中的时空特征II。
图6是本发明的自注意力Self-Attention(SA)block的示意图，图7是3D-SA-LSTM记忆网络单元的示意图。作为LSTM的一种变体，本发明的方法用3D卷积代替了原先的全连接层，不仅增加了对空间信息的提取能力，还增加了时间维度上的特征学习能力。通过自注意力模块SA block的计算，缓解了卷积操作导致的感受野过小的问题，有效地改善了记忆网络单元的远距离特征学习能力。
所述3D-SA-LSTM记忆网络单元I与3D-SA-LSTM记忆网络单元II的计算公式相同，如下：
其中，σ是sigmoid激活函数，*和⊙分别是3D卷积操作和Hadamard乘，W1×1×1是用于状态变量转换通道数的1×1×1卷积，SA是自注意力模块，[·，·]代表是拼接操作；所述3D-SA-LSTM记忆网络单元共有四个输入：Xt、
其中，Xt是由输入序列通过3D卷积编码得到的张量；
是上个时间步长的输出；
是上个时间步长的时间状态变量；
是本时间步长的l-1层的时空状态变量，当l＝1，
时间状态变量：
由遗忘门：Ft、输入门：It和输入模态门：Gt控制时间状态，空间状态变量：
由遗忘门：Ft′、输入门：I′t和输入模态门：G′t控制
中所保留的信息；最后，通过时间状态变量：
空间状态变量
和输出门：Ot计算得到隐藏状态变量：
由上个时间步长的输出：
和所述3D-SA-LSTM记忆网络单元隐藏状态变量：
共同通过自注意力模块SA block计算得到所述3D-SA-LSTM记忆网络单元最后的输出：
所述自注意力模块SA block具体计算如下所示：
其中
是在将张量变换成合适的二维形式后进行矩阵乘法，C和
是通道数，{Wq，Wk，Wv}是一系列的1×1×1卷积，Qh是空间位置的注意力权重，Kh是列出所有可能位置的权重系数，Vh是特征图的值，ei，j是特征图中每对点的相似系数，下标i，j是坐标的位置，N＝T×H×W是i，j所有可以取得值，通过对ei，j进行标准化得到αi，j，第i个位置的聚合特征yi是和输入信号相同尺寸的输出信号，通过利用所有位置的加权和计算得到；通过对yi和本单元隐藏状态变量和上个时间步长的输出通过残差连接计算得到最终的输出：
其中β是超参数，控制有多少比例的历史状态会被保留。
一般地，对未来降雨过程的预测网路，所述R1层的层数＝R2层的层数，所述S1列的列数＝S2列的列数，列数代表时间戳数。
3D-SA-LSTM记忆网络单元Ⅰ与3D-SA-LSTM记忆网络单元Ⅱ的结构相似，图5中以3D-SA-LSTM记忆网络单元Ⅰ示意，其第一编码网络和第一预测网络共包含三层和四个时间戳，四个时间戳分别为：第一时间戳:t-1、第二时间戳:t、第三时间戳:t+1、第四时间戳:t+2。其中第一编码网络中的第一层3D-SA-LSTM记忆网络单元的初始状态为0，输入为经过第一3D卷积Ⅰ对具有统一时间维度和空间维度的长时间周期输入序列进行编码得到长时间周期的降雨数据的时空特征图I。所得到时空特征图I，作为输入送入到编码部分的第一个时间戳的3D-SA-LSTM记忆网络单元中进行计算，通过3D-SA-LSTM记忆网络单元的遗忘门、输入门和输入模态门，得到第一时间戳的各个状态变量：
然后在第一个时间戳所计算得到的状态变量，根据箭头的方向作为下一个时间戳的记忆网络单元的输入。在预测网络中，会对编码网络中3D-SA-LSTM记忆网络单元的状态变量进行复制，通过在预测网络中的3D-SA-LSTM记忆网络单元进行计算，得到降雨过程中的时空特征I。
3D-SA-LSTM记忆网络单元Ⅱ通过同样结构的第二编码网络和第二预测网络，得到降雨过程中的时空特征II。
本发明构建了一个双流卷积长短期记忆网络，用于短时临近降雨预报。该网络通过长期预测子网络和短期预测子网络分别对不同时间周期的降雨数据进行特征学习，能够捕获不同周期的降雨数据的时空特征，长期预测子网络学习降雨过程中的整体运动趋势变化，而短期预测子网络学习降雨过程中的瞬时变化，长期预测子网络和短期预测子网络协同工作共同学习降雨过程的变化过程，从而提高短时临近降雨预报的精度。
同时，对于子网络中的记忆网络单元，本发明的方法根据降雨过程的变化特性，设计了一种结合3D卷积和自注意力机制的全新的长短期记忆网络单元。不同于普通的2D卷积只能捕捉同时间段内的空间信息，3D卷积对于这种连续的时空数据具有更好的时空特征提取能力，能够充分捕捉相邻时间帧中的空间依赖。自注意力机制可以帮助记忆网络单元有效地捕捉到远距离的空间依赖，不再局限于卷积核的感受野，更加全面地学习全局空间特征。
步骤四，引入重结合模块，如图8所示，是重结合模块示意图，由于两个不同子网络的输入序列不同，其中卷积核和状态变量的维度也不同。为了量化长期预测子网络对于最终每个时间步长的预测的影响程度，本发明的方法引入了压缩和激励块(SE块)来对于长期预测子网络的输出进行调整，并对调整后的长期预测子网络输出和短期预测子网络的输出进行特征拼接，再通过第二3D卷积网络计算给出最终的预测。
所述重结合模块包含压缩和激励块和第二3D卷积网络，所述压缩和激励块对所述降雨过程的时空特征I进行调整得到降雨过程中的时空特征Ⅲ，并对调整后的降雨过程中的时空特征Ⅲ和所述降雨过程中的时空特征Ⅱ进行降雨过程中的时空特征拼接，得到降雨过程中的时空特征Ⅳ，再通过所述第二3D卷积网络对通过所述降雨过程中的时空特征Ⅳ进行卷积计算，完成预测操作，得到最终对未来降雨过程的预测。
值得注意的是，在本发明网络中，长期预测子网络和短期预测子网络的预测部分的第二3D卷积网络集成在重结合模块中对未来降雨过程的预测结果进行解码。
本发明的重结合模块中引入了压缩和激励块(SE块)，对长期预测子网络的输出进行压缩操作和激励操作，通过学习的方式来自动获取到长期预测子网络的输出对于不同步长预测的影响程度，然后依照这个影响程度去和短期预测子网络的每个步长的特征做特征拼接，最终通过模块中的第二3D卷积解码得到未来降雨过程的预测。
本发明提出的方法显著提升了对降雨数据的学习能力，通过长期预测子网络和短期预测子网络的协同学习，在把握降雨过程整体变化趋势的同时，还能不失细节，对未来的降雨过程做出准确的预测。长期预测子网络和短期预测子网络中的记忆网络单元：3D-SA-LSTM，把3D卷积和自注意力机制融入到基础LSTM单元中，显著提升了记忆网络单元对时空特征的学习能力。
本发明的方法根据数据集中降雨量的分布，还构建了自适应损失函数，有效地改善了数据分布不均衡导致的预报不准确问题。本发明的方法使用了一个权重函数来调整不同降雨量在数据集中的分布，其权重函数如下：
其中X1，X2，X3，X4，X5分别为降雨量数据集中一定降雨量范围内的统计值，可以看到在每个降雨量范围的权重和自身在数据集中的占比成反比。
构建了公式(4)中所示降雨图像的像素级均方误差(MSE)作为模型的损失函数，用来训练模型。式中其中，N为当前输出帧的总数，n表示当前第n个输出帧，i、j分别代表当前帧中降雨图的横坐标和纵坐标；Y代表真实的输出，
代表预测降雨输出，通过权重赋值，本发明的方法有效地缓解数据分布不均匀的问题，改善了对于极端天气预报不准确的问题。
图9展示了本发明实验结果，相较于其他现有的预测方法，本发明方法预测的未来降雨过程取得了最好的结果。在结果图9中可以看到，不论是降雨范围的整体变化趋势，还是在降雨范围边缘的细节信息中，本发明的方法预测结果均最符合真实的降雨过程。在某地有无降雨(CSI-0.1)预测中，本发明的方法取得了78.8％的准确率，MIM取得了73.4％的准确率，TrajGRU取得了64.8％的准确率，ConvLSTM取得了68.8％的准确率。在某地大于10mm(CSI-10)的降雨点预测中，本发明的方法取得了59.5％的准确率，MIM取得了58.9％的准确率，TrajGRU取得了53.8％的准确率，ConvLSTM取得了53.5％的准确率。在某地大于20mm(CSI-20)的降雨点预测中，本发明的方法取得了37.1％的准确率，MIM取得了30.6％的准确率，TrajGRU取得了34.5％的准确率，ConvLSTM取得了31.6％的准确率。可以看出，本发明的方法有效地提高了短时临近降雨预测的精度。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明实施例揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (6)
1.一种双流卷积长短期记忆网络的短时临近降雨预报方法，其特征在于，其步骤如下：
步骤一，将历史连续降雨数据绘制成降雨图并构建具有统一时间维度和空间维度的长时间周期输入序列和具有统一时间维度和空间维度的短时间周期输入序列，所述具有统一时间维度和空间维度的长时间周期输入序列和所述具有统一时间维度和空间维度的短时间周期输入序列的最后时刻为同一时刻；
步骤二，对所述具有统一时间维度和空间维度的输入序列采用层标准化LayerNormalization方法调整其分布；
步骤三，构造所述双流卷积长短期记忆网络的预测模型，其包含长期预测子网络和短期预测子网络，
所述长期预测子网络包含第一3D卷积Ⅰ和3D-SA-LSTM堆叠网络Ⅰ，所述3D-SA-LSTM堆叠网络Ⅰ包括第一编码网络和第一预测网络，所述第一编码网络由R1层*S1列3D-SA-LSTM记忆网络单元Ⅰ堆叠构成，所述第一预测网络由R2层*S2列3D-SA-LSTM记忆网络单元Ⅰ堆叠构成，所述3D-SA-LSTM记忆网络单元Ⅰ是在LSTM记忆网络单元融入第一3D卷积网络Ⅰ和SA block自注意力模块形成，所述具有统一时间维度和空间维度的长时间周期输入序列通过所述第一3D卷积Ⅰ编码得到长时间周期的降雨数据的时空特征图Ⅰ，所述长时间周期的降雨数据的时空特征图Ⅰ通过所述3D-SA-LSTM堆叠网络Ⅰ后提取得到降雨过程中的时空特征Ⅰ；
所述短期预测子网络包含第一3D卷积Ⅱ和3D-SA-LSTM堆叠网络Ⅱ，所述3D-SA-LSTM堆叠网络Ⅱ包括第二编码网络和第二预测网络，所述第二编码网络由R1层*S1列3D-SA-LSTM记忆网络单元Ⅱ堆叠构成，所述第二预测网络由R2层*S2列3D-SA-LSTM记忆网络单元Ⅱ堆叠构成，所述3D-SA-LSTM记忆网络单元Ⅱ是在LSTM记忆网络单元融入3D卷积网络Ⅱ和SAblock自注意力模块形成，所述具有统一时间维度和空间维度的短时间周期输入序列通过所述第一3D卷积Ⅱ编码得到短时间周期的降雨数据的时空特征图Ⅱ，所述短时间周期的降雨数据的时空特征图Ⅱ通过所述3D-SA-LSTM堆叠网络Ⅱ后提取得到降雨过程中的时空特征Ⅱ；
步骤四，引入重结合模块，所述重结合模块包含压缩和激励块和第二3D卷积网络，所述压缩和激励块对所述降雨过程的时空特征Ⅰ进行调整得到降雨过程中的时空特征Ⅲ，并对调整后的降雨过程中的时空特征Ⅲ和所述降雨过程中的时空特征Ⅱ进行降雨过程中的时空特征拼接，得到降雨过程中的时空特征Ⅳ，再通过所述第二3D卷积网络对通过所述降雨过程中的时空特征Ⅳ进行卷积计算，完成预测解码操作，得到最终对未来降雨过程的预测。
2.根据权利要求1所述的短时临近降雨预报方法，其特征在于，步骤一中，所述具有统一时间维度和空间维度的输入序列公式：X∈RS×M×N，其中，第一维度S代表时间维度，第二维度代表输入图像的长，第三维度代表输入图像的宽。
3.根据权利要求1所述的短时临近降雨预报方法，其特征在于，所述3D-SA-LSTM记忆网络单元Ⅰ或3D-SA-LSTM记忆网络单元Ⅱ的计算公式如下：
其中，σ是sigmoid激活函数，*和⊙分别是3D卷积操作和Hadamard乘，W1×1×1是用于状态变量转换通道数的1×1×1卷积，SA是自注意力模块，[·，·]代表是拼接操作；所述3D-SA-LSTM记忆网络单元共有四个输入：Xt、
其中，Xt是由输入序列通过3D卷积编码得到的张量；
是上个时间步长的输出；
是上个时间步长的时间状态变量；
是本时间步长的l-1层的时空状态变量，当l＝1，
时间状态变量：
由遗忘门：Ft、输入门：It和输入模态门：Gt控制时间状态，空间状态变量：
由遗忘门：F′t、输入门：I′t和输入模态门：G′t控制
中所保留的信息；最后，通过时间状态变量：
空间状态变量
和输出门：Ot计算得到隐藏状态变量：
由上个时间步长的输出：
和所述3D-SA-LSTM记忆网络单元隐藏状态变量：
共同通过自注意力模块SA block计算得到所述3D-SA-LSTM记忆网络单元最后的输出：
4.根据权利要求3所述的短时临近降雨预报方法，其特征在于，所述自注意力模块SAblock具体计算如下所示：
其中
是在将张量变换成合适的二维形式后进行矩阵乘法，C和
是通道数，{Wq，Wk，Wv}是一系列的1×1×1卷积，Qh是空间位置的注意力权重，Kh是列出所有可能位置的权重系数，Vh是特征图的值，ei，j是特征图中每对点的相似系数，下标i，j是坐标的位置，N＝T×H×W是i，j所有可以取得值，通过对ei，j进行标准化得到αi，j，第i个位置的聚合特征yi是和输入信号相同尺寸的输出信号，通过利用所有位置的加权和计算得到；通过对yi和本单元隐藏状态变量和上个时间步长的输出通过残差连接计算得到最终的输出：
其中β是超参数，控制有多少比例的历史状态会被保留。
5.根据权利要求1所述的短时临近降雨预报方法，其特征在于，步骤四中，对未来降雨过程的预测所述R1层的层数＝R2层的层数，所述S1列的列数＝S2列的列数。
6.根据权利要求1所述的短时临近降雨预报方法，其特征在于，步骤四中，所述得到最终对未来降雨过程的预测还包括使用了自适应损失函数来调整不同降雨量在数据集中的分布，所述自适应损失函数公式如下：
其中，N为当前输出帧的总数，n表示当前第n个输出帧，i、j分别代表当前帧中降雨图的横坐标和纵坐标；Y代表真实的输出，
代表预测降雨输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111168227.3A CN113610329B (zh) | 2021-10-08 | 2021-10-08 | 一种双流卷积长短期记忆网络的短时临近降雨预报方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111168227.3A CN113610329B (zh) | 2021-10-08 | 2021-10-08 | 一种双流卷积长短期记忆网络的短时临近降雨预报方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113610329A CN113610329A (zh) | 2021-11-05 |
| CN113610329B true CN113610329B (zh) | 2022-01-04 |
Family
ID=78343348
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111168227.3A Active CN113610329B (zh) | 2021-10-08 | 2021-10-08 | 一种双流卷积长短期记忆网络的短时临近降雨预报方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113610329B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115016042B (zh) * | 2022-06-06 | 2023-07-28 | 湖南师范大学 | 基于多编码器融合雷达和降水信息的降水预测方法及系统 |
| CN116307283B (zh) * | 2023-05-19 | 2023-08-18 | 青岛科技大学 | 基于mim模型和时空交互记忆的降水预测系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111815037A (zh) * | 2020-06-24 | 2020-10-23 | 河海大学 | 一种基于注意力机制的可解释性短临极端降雨预测方法 |
| CN112415521A (zh) * | 2020-12-17 | 2021-02-26 | 南京信息工程大学 | 基于cgru的强时空特性雷达回波临近预报方法 |
| CN112767280A (zh) * | 2021-02-01 | 2021-05-07 | 福州大学 | 一种基于循环迭代机制的单幅图像雨滴去除方法 |
| CN112785043A (zh) * | 2020-12-31 | 2021-05-11 | 河海大学 | 一种基于时序注意力机制的洪水预报方法 |
-
2021
- 2021-10-08 CN CN202111168227.3A patent/CN113610329B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111815037A (zh) * | 2020-06-24 | 2020-10-23 | 河海大学 | 一种基于注意力机制的可解释性短临极端降雨预测方法 |
| CN112415521A (zh) * | 2020-12-17 | 2021-02-26 | 南京信息工程大学 | 基于cgru的强时空特性雷达回波临近预报方法 |
| CN112785043A (zh) * | 2020-12-31 | 2021-05-11 | 河海大学 | 一种基于时序注意力机制的洪水预报方法 |
| CN112767280A (zh) * | 2021-02-01 | 2021-05-07 | 福州大学 | 一种基于循环迭代机制的单幅图像雨滴去除方法 |
Non-Patent Citations (1)
| Title |
|---|
| Strong Spatiotemporal Radar Echo Nowcasting Combining 3DCNN and Bi-Directional Convolutional LSTM;suting chen等;《Atmosphere》;20200529;第1-18页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113610329A (zh) | 2021-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111223301B (zh) | 一种基于图注意力卷积网络的交通流量预测方法 | |
| CN109862585B (zh) | 一种基于深度时空神经网络的动态异构网络流量预测方法 | |
| US11270579B2 (en) | Transportation network speed foreeasting method using deep capsule networks with nested LSTM models | |
| CN113610329B (zh) | 一种双流卷积长短期记忆网络的短时临近降雨预报方法 | |
| CN114038200B (zh) | 基于注意力机制的时空同步图卷积网络交通流量预测方法 | |
| CN110633871A (zh) | 一种基于卷积长短期记忆网络的区域交通需求预测方法 | |
| CN112415521A (zh) | 基于cgru的强时空特性雷达回波临近预报方法 | |
| CN112257614B (zh) | 一种基于图卷积网络的航站楼客流量时空分布预测方法 | |
| CN113673769A (zh) | 基于多元时间序列插补的图神经网络交通流预测方法 | |
| CN113610286B (zh) | 顾及时空相关性和气象因素的pm2.5浓度预测方法及装置 | |
| CN115310724A (zh) | 一种基于Unet和DCN_LSTM的降水预测方法 | |
| CN115204478A (zh) | 一种结合城市兴趣点和时空因果关系的公共交通流量预测方法 | |
| CN114265913A (zh) | 工业物联网边缘设备上基于联邦学习的空时预测算法 | |
| CN116011684A (zh) | 一种基于时空图卷积网络的交通流量预测方法 | |
| CN116720156A (zh) | 基于图神经网络多模态气象数据融合的气象要素预报方法 | |
| CN116311939A (zh) | 基于动态时空相关性的od需求预测方法及系统 | |
| CN117195976A (zh) | 一种基于分层注意力的交通流量预测方法及系统 | |
| CN112529270A (zh) | 基于深度学习的水流量预测模型 | |
| CN112528557A (zh) | 基于深度学习的洪水流量预测系统和方法 | |
| CN115762147B (zh) | 一种基于自适应图注意神经网络的交通流量预测方法 | |
| CN117494034A (zh) | 基于交通拥堵指数和多源数据融合的空气质量预测方法 | |
| CN116665091A (zh) | 一种智慧交通场景下的实时多摄像头视频分析方法 | |
| CN115168327A (zh) | 基于多层树状长短期记忆网络的大规模数据时空预测方法 | |
| CN115796359A (zh) | 基于深度Koopman算符的PM2.5时空预测方法 | |
| CN115938112A (zh) | 交通需求预测方法、系统、电子设备及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |