CN117011668A - 一种基于时序预测神经网络的天气雷达回波外推方法 - Google Patents

一种基于时序预测神经网络的天气雷达回波外推方法 Download PDF

Info

Publication number
CN117011668A
CN117011668A CN202310714414.XA CN202310714414A CN117011668A CN 117011668 A CN117011668 A CN 117011668A CN 202310714414 A CN202310714414 A CN 202310714414A CN 117011668 A CN117011668 A CN 117011668A
Authority
CN
China
Prior art keywords
time
radar echo
layer
weather radar
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310714414.XA
Other languages
English (en)
Inventor
薛丰昌
章超钦
万家权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Chenxiang Space Information Technology Co ltd
Nanjing University of Information Science and Technology
Original Assignee
Nanjing Chenxiang Space Information Technology Co ltd
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Chenxiang Space Information Technology Co ltd, Nanjing University of Information Science and Technology filed Critical Nanjing Chenxiang Space Information Technology Co ltd
Priority to CN202310714414.XA priority Critical patent/CN117011668A/zh
Publication of CN117011668A publication Critical patent/CN117011668A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/95—Radar or analogous systems specially adapted for specific applications for meteorological use
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于时序预测神经网络的天气雷达回波外推方法，包括以下步骤：S1，用OpenCV读取连续时间序列的天气雷达回波数据集；S2，采用自适应性的归一化方法对天气雷达回波数据集进行预处理；S3，在ST‑LSTM单元中嵌入时空自注意力模块，得到基于时空自注意力和时序预测神经网络的时空序列预测模型；S4，将预处理后的天气雷达回波数据集中的训练集用于训练模型；S5，将训练好的模型对测试集进行预测，利用验证集进行验证，通过验证后，得到雷达回波外推模型。本发明能够更好的捕捉雷达回波云团间复杂的动态时空依赖关系，提高对强回波的预测精度。

Description

一种基于时序预测神经网络的天气雷达回波外推方法
技术领域
本发明涉及气象雷达回波外推短临预报技术领域，尤其涉及一种基于时序预测神经网络的天气雷达回波外推方法。
背景技术
雷达回波外推是用于强对流天气临近预报的重要方法，可用于短临降水预报等。雷达回波外推所要实现的工作是基于前几个连续时刻的雷达回波图像来预测回波云团在未来几个时刻的空间分布，是一个时空序列预测的问题。在时序预测中，临近时刻的数据是相互依赖的，随着预测时间步的推进，预测误差的累积是难以避免的，连续几个预测帧的较大偏差会在很大程度上误导未来帧的推测。因此，能否有效挖掘雷达回波图像之间长期的空间依赖关系仍是一大难题；且现有的较多时空序列预测模型对雷达回波高值区域的特征抓取能力不足，特别是当训练样本中存在较大比重的低回波样本时，对于回波高值区域走势的预测准确度还有待提升。
发明内容
发明目的：针对现有技术存在的问题，本发明提供一种基于时序预测神经网络的天气雷达回波外推方法，通过输入前一小时的雷达回波图像数据，得到未来一个小时的雷达回波外推结果。
技术方案：本发明的天气雷达回波外推方法，包括以下步骤：
S1，用OpenCV读取连续时间序列的天气雷达回波数据集，数据集中包含n个天气雷达回波样本；其中，n个天气雷达回波样本中包括训练集、验证集、测试集；每个天气雷达回波样本由20帧时间连续的天气雷达回波图像组成，其中，前10帧天气雷达回波图像记为x，作为模型的输入；后10帧天气雷达回波图像记为y，每帧图像以灰度图PNG格式存储；
S2，采用自适应性的归一化方法对天气雷达回波数据集进行预处理；
S3，在ST-LSTM单元中嵌入时空自注意力模块，得到基于时空自注意力和时序预测神经网络的时空序列预测模型；
S4，将预处理后的天气雷达回波数据集中的训练集用于训练模型；
S5，将训练好的模型对测试集进行预测，利用验证集进行验证，通过验证后，得到雷达回波外推模型。
进一步，步骤S2中，对天气雷达回波数据集进行预处理的具体实现过程如下：
S21，求得天气雷达回波样本X中的x的最大雷达反射率值；
S22，根据最大反射率值进行归一化处理，具体公式如下：
其中，ProNormalization(X)表示对天气雷达回波样本X进行归一化操作，max(x)表示对x取最大值，gain表示增益。
进一步，步骤S3中，构建时空序列预测模型的具体实现过程如下：
S31，通过联立两个Self-Attention基础结构，搭建时空自注意力模块，提取第l层第t时间步的时间特征信息和第l层第t时间步的空间特征信息/>
S32，将时空自注意力模块ST-SAM嵌入时序预测神经网络单元ST-LSTM，得到ST-SARNN Block，完成ST-SARNN Block内部计算；
S33，通过堆叠ST-SARNN Block，得到“编码-预测”型时序预测模型；
S34，利用“编码-预测”型时序预测模型中的Encoding Network对x进行多层的ST-SARNN Block计算；利用Forecasting Network对y进行逐时间步的预测。
进一步，所述步骤S31的具体实现过程如下：
S311，对时空自注意力模块ST-SAM第l隐藏层的时间步的高阶特征信息进行时间特征部分的卷积计算，分别得到/>三个时间维度的隐藏状态权重矩阵，具体公式如下：
其中，convolution()表示卷积计算；表示时间维度的“查询”向量，/>表示时间维度的“被查”向量，/>表示时间维度的“内容”向量；
S312，计算第l层第t时间步的时间特征信息具体公式如下：
其中，softmax()表示激活函数；T表示矩阵转置；z为自变量；
S313，计算第l层第t时间步的空间特征信息具体公式如下：
其中，表示空间维度的“查询”向量，/>表示空间维度的“被查”向量，/>表示空间维度的“内容”向量；
S314，将作为第l层第t时间步的时间特征信息流输出，作为输入传递给第l层第t+1时间步；将/>作为第l层第t时间步的空间特征信息流输出，作为输入传递给第l+1层第t时间步。
进一步，所述步骤S32的ST-SARNN Block内部计算的具体过程如下：
S321，初步提取时间特征信息得到第l层第t时间步的初始时间特征记忆隐藏状态矩阵/>具体计算公式如下：
其中,表示对第l-1层第t时间步的时间特征信息/>进行卷积操作；σ()为sigmoid函数，与tanh()函数同均为激活函数；*表示卷积操作；Wxg、Wxf、Wxi分别表示初步提取时间特征时单元状态更新值、遗忘门和输入门中针对/>进行卷积计算时可训练的卷积核参数；Whg、Whf、Whi分别表示初步提取时间特征时单元状态更新值、遗忘门和输入门中针对/>进行卷积计算时可训练的卷积核参数；bg、bf、bi分别表示初步提取时间特征时单元状态更新值、遗忘门和输入门中卷积运算时的偏置项；gt表示初步提取时间特征时的单元状态更新值；it表示初步提取时间特征时的输入门；ft表示初步提取时间特征时的遗忘门；/>是第l层第t-1时间步的时间特征信息；/>是第l层第t-1时间步的初始时间特征记忆隐藏状态矩阵；
S322，初步提取空间特征信息得到第l层第t时间步的初始空间特征记忆隐藏状态矩阵/>具体计算公式如下：
其中,W’xg、W’xf、W’xi分别表示初步提取空间特征时单元状态更新值、遗忘门和输入门中针对进行卷积计算时可训练的卷积核参数；Wmg、Wmf、Wmi分别表示初步提取空间特征时单元状态更新值、遗忘门和输入门中针对/>进行卷积计算时可训练的卷积核参数；b’g、b’f、b’i分别表示初步提取空间特征时单元状态更新值、遗忘门和输入门中卷积运算时的偏置项；/>是第l-1层第t时间步的空间特征信息；g’t表示初步提取空间特征时的单元状态更新值；i’t表示初步提取空间特征时的输入门；ft’表示初步提取空间特征时的遗忘门；/>是第l层第t时间步的初始空间特征记忆隐藏状态矩阵；
S323，进一步提取时间特征信息和空间特征信息，具体公式如下：
其中,Wxo、Who、Wco和Wmo分别表示用于对和/>进行卷积计算时卷积核内部可被训练的参数；bo表示在进行卷积运算求得输出门ot时的偏置项；/>表示将/>和/>在通道维度进行拼接，再进行一次1×1卷积，W1×1为1×1卷积核内的训练参数；表示计算得到的时空信息初步融合数据；ST-SAM()表示时空自注意力模块；/>表示第l层第t时间步进一步提取后的时间特征信息；/>表示第l层第t时间步进一步提取后的空间特征信息。
进一步，所述步骤S4的具体实现过程如下：
S41，将训练集中的每个样本的x输入到ST-SARNN模型中，得到预测的y的雷达回波图像yi′；
S42，计算损失函数loss，公式如下：
其中m为同一批训练的样本数，yi为第i个雷达回波真值。
本发明与现有技术相比，其显著效果如下：
本发明提出了一种基于自注意力和门控循环神经网络的雷达回波外推算法，针对循环神经网络对强回波预测能力不足的问题，将自注意力机制融入ST-LSTM结构的时空序列预测模型，形成ST-SARNN模型；同时，针对训练集中强弱回波样本不平衡的问题，采用一种自适应归一化的方法，使ST-SARNN模型能够更好的捕捉雷达回波云团间复杂的动态时空依赖关系，从而提高对强回波的预测精度。
附图说明
图1为本发明的流程图；
图2为本发明的时空自注意力模块的结构示意图；
图3为本发明加入时空自注意力后时序预测单元的结构示意图；
图4为本发明时空序列预测模型的整体结构；
图5为本发明用于雷达回波外推结果的序列示意图。
具体实施方式
下面结合说明书附图和具体实施方式对本发明做进一步详细描述。
如图1所示，本发明的天气雷达回波外推方法的实现步骤如下：
S1，获取天气雷达回波数据集：用OpenCV读取连续时间序列的天气雷达回波数据集，该数据集共包含130000个天气雷达回波样本，其中，100000个天气雷达回波样本作为训练集，20000个天气雷达回波样本作为验证集，10000个天气雷达回波样本作为测试集。每个天气雷达回波样本由20帧时间连续的天气雷达回波图像组成(每帧间隔6分钟)，前10帧天气雷达回波图像记为x，作为模型的输入(即前1小时天气雷达回波的时空分布)；后10帧天气雷达回波图像记为y，作为模型的输出(即未来1小时天气雷达回波的时空预测)。每帧天气雷达回波图像的水平分辨率为0.01度，约1km，每帧图像的网格数量为501×501，每个网格内的像素值为该网格所在区域的雷达回波反射率因子值，值域区间为0-80dBZ，雷达回波反射率因子值越大，代表雷达回波强度越大。每帧图像以灰度图PNG格式存储，读取时维度为[1，501，501]大小的矩阵。
S2，对天气雷达回波数据集进行预处理：采用自适应性的归一化方法对天气雷达回波图像进行预处理，提高强回波样本的比重。具体实现过程如下：
S21，求得天气雷达回波样本中x的最大雷达回波反射率因子值：通过OpenVC读取x(维度为[20，1，501，501])，读取的x为numpy格式，对x进行np.max()操作，得到x的最大雷达回波反射率因子值(最大像素值)。
S22，判断获得的最大雷达回波反射率因子值是否大于等于60dBZ：若得到的最大雷达回波反射率因子值大于等于60dBZ，则将该天气雷达回波样本X视为强回波样本，直接将该样本X(20帧)除以80dBZ进行归一化；否则，将该天气雷达回波样本X除以其前10帧天气雷达回波图像x的最大值与增益(gain)的和作为归一化的结果。具体公式如下：
其中ProNormalization(X)表示对天气雷达回波样本X进行归一化操作，max()表示取最大值；gain表示增益，且gain＝20。
此处增益的目的在于为未来时刻可能存在雷达回波反射率因子的增长提供一个增益空间，该值依据训练数据集的不同需要做调整，由于本发明所选用数据集的样本中，x的最大值与y的最大值差异在20dBZ以内，为确保对前后共20帧图像进行充分归一化，在此将增益定义为一个常量20dBZ。
进行归一化操作能保持深度学习误差反向传播时梯度的稳定性。由于数据集中含有大量的低回波样本，大量低回波样本导致模型会偏向于对低回波样本的预测，对强回波样本的预测能力较差，若对低回波样本直接除以80dBZ，则强回波样本和低回波样本仍然不平衡，因此通过公式(1)能改变低回波样本的数据分布，提高强回波样本的比重。
S3，在时序预测神经网络单元(ST-LSTM)中嵌入时空自注意力模块(ST-SAM)，得到基于时空自注意力和时序预测神经网络搭建的时空序列预测模型。具体实现过程如下：
S31，搭建时空自注意力模块(ST-SAM)：联立两个Self-Attention基础结构，分别用于提取雷达回波序列之间高阶的时间特征信息和空间特征信息，形成一个新的时空自注意力模块，从而进一步提取第l层第t时间步的时间特征信息和第l层第t时间步的空间特征信息/>具体结构如图2，其中，/>分别指通过卷积计算时间维度的“查询”向量、“被查”向量和“内容”向量时卷积核内可被训练的参数；/>分别指通过卷积计算空间维度的“查询”向量、“被查”向量和“内容”向量时卷积核内可被训练的参数；/>指通过时间特征提取过程中最后一次卷积计算时卷积核内可被训练的参数；/>指通过空间特征提取过程中最后一次卷积计算时卷积核内可被训练的参数。具体操作过程如下：
S311，图2以第l隐藏层为例，将该时间步的高阶特征信息进行时间特征部分的卷积计算(convolution)，分别得到/>三个时间维度的隐藏状态权重矩阵与/>维度一致)。计算如公式(2)所示：
其中，convolution()表示卷积计算；表示时间维度的“查询”向量，/>表示时间维度的“被查”向量，/>表示时间维度的“内容”向量。
S312，计算第l层第t时间步的时间特征信息具体公式如下：
其中，softmax()表示激活函数；T表示矩阵转置；convolution()表示卷积计算；将的转置和/>通过点乘得到相似度，再通过softmax(公式(3)中z为自变量)计算得到相似度值的占比，再将其与/>进行相似度加权计算(点乘)得到第l层第t时间步的时间特征信息/>
S313，计算空间特征信息具体公式如下：
其中，convolution()表示卷积计算；T表示矩阵转置；表示空间维度的“查询”向量，/>表示空间维度的“被查”向量，/>表示空间维度的“内容”向量；softmax()表示激活函数。
如公式(5)所示，将作为空间特征部分的输入，对/>进行进一步卷积计算，得到三个空间维度的隐藏状态权重矩阵(/>与/>维度一致)。公式(6)中，将的转置和/>通过点乘得到相似度，并通过softmax计算获取相似度值的占比，再将其与进行相似度加权计算(点乘)得到空间特征信息/>
S314，将作为第l层第t时间步的时间特征信息流输出，作为输入传递给第l层第t+1时间步，参与t+1时间步的时间特征信息计算；将/>作为第l层第t时间步的空间特征信息流输出，作为输入传递给第l+1层第t时间步，参与l+1层的空间特征信息计算。卷积计算中输入隐藏维度为64，输出隐藏维度为64×3，卷积核大小为5×5，步长为1，内边距padding为2。
S32，将时空自注意力模块(ST-SAM)嵌入时序预测神经网络单元(ST-LSTM)，得到ST-SARNN Block，用于强化对内部记忆单元中时空信息流的提取，具体如图3。图3中，虚线框1内为时空自注意力结构(ST-SAM)，虚线框2为前人提出PredRNN模型中的时序预测神经网络单元(ST-LSTM)。ST-SARNN Block内部计算的具体过程如下：
S321，初步提取时间特征信息得到第l层第t时间步的初始时间特征记忆隐藏状态矩阵/>具体计算过程如公式(7)-(10)所示：
公式(7)-(10)的计算与LSTM的门控结构运算类似，在神经网络学习的过程中能够将有用的信息赋予较大的权重，过滤无用的信息。其中,表示对第l-1层第t时间步的时间特征信息/>进行卷积操作；Wxg为卷积核内的训练参数，bg为偏置；σ为sigmoid函数，和tanh函数同为激活函数；*表示卷积操作；Wxg、Wxf、Wxi分别表示初步提取时间特征时单元状态更新值、遗忘门和输入门中针对/>进行卷积计算时可训练的卷积核参数；Whg、Whf、Whi分别表示初步提取时间特征时单元状态更新值、遗忘门和输入门中针对/>进行卷积计算时可训练的卷积核参数；bg、bf、bi分别表示初步提取时间特征时单元状态更新值、遗忘门和输入门中卷积运算时的偏置项；/>是第l层第t-1时间步的时间特征信息；gt表示初步提取时间特征时的单元状态更新值；it表示初步提取时间特征时的输入门；ft表示初步提取时间特征时的遗忘门；/>是第l层第t-1时间步的初始时间特征记忆隐藏状态矩阵。求得的/>在时间维度传递。
S322，初步提取第l层第t时间步的空间特征信息得到第l层第t时间步的初始空间特征记忆隐藏状态矩阵/>具体计算过程与时间特征信息的初步提取中的计算近似，如公式(11)-(14)：
其中,*表示卷积操作；tanh()表示激活函数；σ表示sigmoid函数；W’xg、W’xf、W’xi分别表示初步提取空间特征时单元状态更新值、遗忘门和输入门中针对进行卷积计算时可训练的卷积核参数；Wmg、Wmf、Wmi分别表示初步提取空间特征时单元状态更新值、遗忘门和输入门中针对/>进行卷积计算时可训练的卷积核参数；b’g、b’f、b’i分别表示初步提取空间特征时单元状态更新值、遗忘门和输入门中卷积运算时的偏置项；/>是第l-1层第t时间步的空间特征信息；/>表示第l-1层第t时间步的时间特征信息；g’t表示初步提取空间特征时的单元状态更新值；i’t表示初步提取空间特征时的输入门；f’t表示初步提取空间特征时的遗忘门；/>是第l层第t时间步的初始空间特征记忆隐藏状态矩阵。
S323，进一步提取时间特征信息和空间特征信息。计算过程如公式(15)-(17)所示：
公式(15)表示将ST-SARNN Block中所有具备时空信息的数据进行卷积并相加，经过sigmoid计算得到的输出门ot值域区间在[0,1]，具备时空特征的权重信息；其中,σ表示sigmoid函数；*表示卷积操作；Wxo、Who、Wco和Wmo分别表示用于对和/>进行卷积计算时卷积核内部可被训练的参数；bo表示在进行卷积运算求得输出门ot时的偏置项；表示第l层第t-1时间步的时间特征信息。
公式(16)中表示将/>和/>在通道维度进行拼接，再进行一次1×1卷积，W1×1为1×1卷积核内的训练参数；*表示卷积操作；σ表示sigmoid函数；/>表示计算得到的时空信息初步融合数据。由于/>和/>分别向时间和空间维度进行传递，具备时间和空间的特征属性，因此拼接能够将时空信息进行融合，再进行1×1卷积将时空信息压缩到/>和相同的维度。
公式(17)将作为时空自注意力模块(ST-SAM)的输入，进一步挖掘时空特征信息；其中，ST-SAM()表示时空自注意力模块；/>表示第l层第t时间步进一步提取后的时间特征信息；/>表示第l层第t时间步进一步提取后的空间特征信息。求得的/>和/>是第l层第t时间步进一步提取后的时间和空间特征信息矩阵。
S33，通过堆叠ST-SARNN Block，得到“编码-预测”型时序预测模型；构建的“编码-预测”型时序预测模型包括Encoding Network和Forecasting Network两部分，具体结构如图4，其中，Xt代表某一个训练样本t时刻的1帧天气雷达回波图像数据，编码部分每个时间步输入1帧，共输入有10帧；Mt-1代表t-1时刻最高层输出的空间特征信息；Ht+n代表t+n时刻最高层输出的时间特征信息，同时也是t+n时刻模型预测的1帧雷达回波图像。
S34，利用Encoding Network对x进行多层的ST-SARNN Block计算；利用Forecasting Network对y进行逐时间步的预测。具体如图4，“编码-预测”型时序预测模型一共分为四层，每层有n个ST-SARNN Block，其中，同一层的n个ST-SARNN Block内部训练的参数共享。其中，水平方向为时间特征提取的方向，垂直方向为空间特征提取的方向。
Encoding Network(编码)部分，第t时间步每一层的输入值如下：
第t时间步第一层(l＝1)：ST-SARNN Block的输入为该时间步的1帧雷达回波图像Xt(由于第一层没有数据，故将其作为图3中/>的值)、t-1时刻第一层输出的时间特征信息/>t-1时刻第一层输出的初始时间特征记忆隐藏状态矩阵/>和前1时刻最高层输出的空间特征信息Mt-1(即图3中的/>)。
第t时间步第二层(l＝2)：ST-SARNN Block的输入为该时间步前一层输出的时间特征信息(即图3中的/>)、前1时刻同一层输出的时间特征信息/>(即图3中的)、前1时刻同一层输出的初始记忆隐藏状态矩阵/>(即图3中的/>)和前1时刻最高层输出的空间特征信息Mt-1(即图3中的/>)。
第t时间步的三、四层与第二层操作一致。当t＝1时，由于是第一个时刻，不存在先前时间步的时空信息数据，因此所用的Mt-1、/>用0值初始化矩阵。
Forecasting Network(预测)部分，第t时间步每一层的输入值如下：
第t时间步第一层(l＝1)：ST-SARNN Block的输入为前1时刻最高层输出的时间特征信息Ht-1(由于预测层没有该时刻真实雷达回波图像作为输入，故将其作为图3中的值)、前1时刻第一层输出的时间特征信息/>前1时刻第一层输出的初始记忆隐藏状态矩阵/>和前1时刻最高层输出的空间特征信息Mt-1(即图3中的/>)。
第t时间步第二、三、四层与编码部分第二、三、四层操作一致。预测部分每个时刻最高层Ht+n再经过一次1×1卷积，使其与雷达回波图像具有相同的维度，并将其作为该时刻的预测。预测部分有10个时间步，因此可以预测得到后10帧的雷达回波图像。
S4，将预处理后的天气雷达回波数据集中的训练集用于训练模型，具体步骤如下：
S41，将训练集中的第i个天气雷达回波样本的x(即前10帧)输入到ST-SARNN模型中，得到预测的y(即后10帧)的雷达回波图像yi′；
S42，计算损失函数loss：损失函数loss为均方根误差函数(MSE)加平均绝对误差函数(MAE)，公式如下：
其中，m为同一批训练的样本数，yi为第i个雷达回波真值。将loss经过反向传播算法训练模型，其中，原始学习率为0.0001，衰减系数为0.6，批大小为12，满足条件后，停止训练。
S5，将训练好的模型对测试集进行预测、利用验证集进行验证，通过验证后，最后得到雷达回波外推模型。
选择一个具有代表性的案例作为展示，将该模型与ConvLSTM、PredRNN和MIM进行对比，结果如图5。其中第1行表示前1小时雷达回波数据(input date)，第2行表示天气雷达在未来时刻的真值，第3-5行分别表示ConvLSTM、PredRNN和MIM模型的预测结果，第6行表示本发明提出的模型ST-SARNN预测结果，该模型对高回波的区域捕捉能力有了一定提高。例如，在左下位置的雷达回波云团中出现了高回波的区域，随着预测的进行，ConvLSTM、PredRNN和MIM对于该区域的预测几乎已经偏离了真值，而ST-SARNN在较长的预测步中仍然保持了对高值区域的捕捉能力。

Claims (6)

1.一种基于时序预测神经网络的天气雷达回波外推方法，其特征在于，包括以下步骤：
S1，用OpenCV读取连续时间序列的天气雷达回波数据集，数据集中包含n个天气雷达回波样本；其中，n个天气雷达回波样本中包括训练集、验证集、测试集；每个天气雷达回波样本由20帧时间连续的天气雷达回波图像组成，其中，前10帧天气雷达回波图像记为x，作为模型的输入；后10帧天气雷达回波图像记为y，每帧图像以灰度图PNG格式存储；
S2，采用自适应性的归一化方法对天气雷达回波数据集进行预处理；
S3，在ST-LSTM单元中嵌入时空自注意力模块，得到基于时空自注意力和时序预测神经网络的时空序列预测模型；
S4，将预处理后的天气雷达回波数据集中的训练集用于训练模型；
S5，将训练好的模型对测试集进行预测，利用验证集进行验证，通过验证后，得到雷达回波外推模型。
2.根据权利要求1所述基于时序预测神经网络的天气雷达回波外推方法，其特征在于，步骤S2中，对天气雷达回波数据集进行预处理的具体实现过程如下：
S21，求得天气雷达回波样本X中的x的最大雷达反射率值；
S22，根据最大反射率值进行归一化处理，具体公式如下：
其中，ProNormalization(X)表示对天气雷达回波样本X进行归一化操作，max(x)表示对x取最大值，gain表示增益。
3.根据权利要求1所述基于时序预测神经网络的天气雷达回波外推方法，其特征在于，步骤S3中，构建时空序列预测模型的具体实现过程如下：
S31，通过联立两个Self-Attention基础结构，搭建时空自注意力模块，提取第l层第t时间步的时间特征信息和第l层第t时间步的空间特征信息/>
S32，将时空自注意力模块ST-SAM嵌入时序预测神经网络单元ST-LSTM，得到ST-SARNNBlock，完成ST-SARNN Block内部计算；
S33，通过堆叠ST-SARNN Block，得到“编码-预测”型时序预测模型；
S34，利用“编码-预测”型时序预测模型中的Encoding Network对x进行多层的ST-SARNN Block计算；利用Forecasting Network对y进行逐时间步的预测。
4.根据权利要求3所述基于时序预测神经网络的天气雷达回波外推方法，其特征在于，所述步骤S31的具体实现过程如下：
S311，对时空自注意力模块ST-SAM第l隐藏层的时间步的高阶特征信息进行时间特征部分的卷积计算，分别得到/>三个时间维度的隐藏状态权重矩阵，具体公式如下：
其中，convolution()表示卷积计算；表示时间维度的“查询”向量，/>表示时间维度的“被查”向量，/>表示时间维度的“内容”向量；
S312，计算第l层第t时间步的时间特征信息具体公式如下：
其中，softmax()表示激活函数；T表示矩阵转置；z为自变量；
S313，计算第l层第t时间步的空间特征信息具体公式如下：
其中，表示空间维度的“查询”向量，/>表示空间维度的“被查”向量，/>表示空间维度的“内容”向量；
S314，将作为第l层第t时间步的时间特征信息流输出，作为输入传递给第l层第t+1时间步；将/>作为第l层第t时间步的空间特征信息流输出，作为输入传递给第l+1层第t时间步。
5.根据权利要求3所述基于时序预测神经网络的天气雷达回波外推方法，其特征在于，所述步骤S32的ST-SARNN Block内部计算的具体过程如下：
S321，初步提取时间特征信息得到第l层第t时间步的初始时间特征记忆隐藏状态矩阵/>具体计算公式如下：
其中,表示对第l-1层第t时间步的时间特征信息/>进行卷积操作；σ()为sigmoid函数，与tanh()函数同均为激活函数；*表示卷积操作；Wxg、Wxf、Wxi分别表示初步提取时间特征时单元状态更新值、遗忘门和输入门中针对/>进行卷积计算时可训练的卷积核参数；Whg、Whf、Whi分别表示初步提取时间特征时单元状态更新值、遗忘门和输入门中针对进行卷积计算时可训练的卷积核参数；bg、bf、bi分别表示初步提取时间特征时单元状态更新值、遗忘门和输入门中卷积运算时的偏置项；gt表示初步提取时间特征时的单元状态更新值；it表示初步提取时间特征时的输入门；ft表示初步提取时间特征时的遗忘门；是第l层第t-1时间步的时间特征信息；/>是第l层第t-1时间步的初始时间特征记忆隐藏状态矩阵；
S322，初步提取空间特征信息得到第l层第t时间步的初始空间特征记忆隐藏状态矩阵/>具体计算公式如下：
其中,W’xg、W’xf、W’xi分别表示初步提取空间特征时单元状态更新值、遗忘门和输入门中针对进行卷积计算时可训练的卷积核参数；Wmg、Wmf、Wmi分别表示初步提取空间特征时单元状态更新值、遗忘门和输入门中针对/>进行卷积计算时可训练的卷积核参数；b’g、b’f、b’i分别表示初步提取空间特征时单元状态更新值、遗忘门和输入门中卷积运算时的偏置项；/>是第l-1层第t时间步的空间特征信息；g’t表示初步提取空间特征时的单元状态更新值；i’t表示初步提取空间特征时的输入门；f’t表示初步提取空间特征时的遗忘门；/>是第l层第t时间步的初始空间特征记忆隐藏状态矩阵；
S323，进一步提取时间特征信息和空间特征信息，具体公式如下：
其中,Wxo、Who、Wco和Wmo分别表示用于对和/>进行卷积计算时卷积核内部可被训练的参数；bo表示在进行卷积运算求得输出门ot时的偏置项；/>表示将/>和/>在通道维度进行拼接，再进行一次1×1卷积，W1×1为1×1卷积核内的训练参数；/>表示计算得到的时空信息初步融合数据；ST-SAM()表示时空自注意力模块；/>表示第l层第t时间步进一步提取后的时间特征信息；/>表示第l层第t时间步进一步提取后的空间特征信息。
6.根据权利要求1所述基于时序预测神经网络的天气雷达回波外推方法，其特征在于，所述步骤S4的具体实现过程如下：
S41，将训练集中的每个样本的x输入到ST-SARNN模型中，得到预测的y的雷达回波图像y′i；
S42，计算损失函数loss，公式如下：
其中m为同一批训练的样本数，yi为第i个雷达回波真值。
CN202310714414.XA 2023-06-14 2023-06-14 一种基于时序预测神经网络的天气雷达回波外推方法 Pending CN117011668A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310714414.XA CN117011668A (zh) 2023-06-14 2023-06-14 一种基于时序预测神经网络的天气雷达回波外推方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310714414.XA CN117011668A (zh) 2023-06-14 2023-06-14 一种基于时序预测神经网络的天气雷达回波外推方法

Publications (1)

Publication Number Publication Date
CN117011668A true CN117011668A (zh) 2023-11-07

Family

ID=88569938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310714414.XA Pending CN117011668A (zh) 2023-06-14 2023-06-14 一种基于时序预测神经网络的天气雷达回波外推方法

Country Status (1)

Country Link
CN (1) CN117011668A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117233724A (zh) * 2023-11-15 2023-12-15 中国气象局公共气象服务中心(国家预警信息发布中心) 一种基于深度时空注意力网络的雷达回波外推方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117233724A (zh) * 2023-11-15 2023-12-15 中国气象局公共气象服务中心(国家预警信息发布中心) 一种基于深度时空注意力网络的雷达回波外推方法和装置
CN117233724B (zh) * 2023-11-15 2024-02-06 中国气象局公共气象服务中心(国家预警信息发布中心) 一种基于深度时空注意力网络的雷达回波外推方法和装置

Similar Documents

Publication Publication Date Title
Luo et al. PFST-LSTM: A spatiotemporal LSTM model with pseudoflow prediction for precipitation nowcasting
CN108230278B (zh) 一种基于生成对抗网络的图像去雨滴方法
CN114008663A (zh) 实时视频超分辨率
CN112541864A (zh) 一种基于多尺度生成式对抗网络模型的图像修复方法
CN110826428A (zh) 一种高速的sar图像中船只检测方法
CN110084201B (zh) 一种监控场景下基于特定目标跟踪的卷积神经网络的人体动作识别方法
CN112750201B (zh) 三维重建方法及相关装置、设备
CN111582483A (zh) 基于空间和通道联合注意力机制的无监督学习光流估计方法
CN112307982A (zh) 基于交错增强注意力网络的人体行为识别方法
CN117011668A (zh) 一种基于时序预测神经网络的天气雷达回波外推方法
CN114611608A (zh) 基于深度学习模型的海表面高度数值预报偏差订正方法
CN115526891B (zh) 一种缺陷数据集的生成模型的训练方法及相关装置
CN116524419B (zh) 基于时空解耦与自注意力差分lstm的视频预测方法、系统
CN116844041A (zh) 一种基于双向卷积时间自注意力机制的耕地提取方法
CN116563682A (zh) 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法
CN116402851A (zh) 一种复杂背景下的红外弱小目标跟踪方法
CN110188621B (zh) 一种基于ssf-il-cnn的三维人脸表情识别方法
CN114821434A (zh) 一种基于光流约束的时空增强视频异常检测方法
CN112766099B (zh) 一种从局部到全局上下文信息提取的高光谱影像分类方法
CN114092803A (zh) 基于遥感图像的云检测方法、装置、电子设备及介质
CN113989612A (zh) 基于注意力及生成对抗网络的遥感影像目标检测方法
CN111563844A (zh) 一种遥感图像自适应融合方法
CN116403152A (zh) 一种基于空间上下文学习网络的人群密度估计方法
CN114638408A (zh) 一种基于时空信息的行人轨迹预测方法
Yao et al. A Forecast-Refinement Neural Network Based on DyConvGRU and U-Net for Radar Echo Extrapolation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination