CN114219979A - 一种基于多尺度时空融合的降水临近预测模型 - Google Patents

一种基于多尺度时空融合的降水临近预测模型 Download PDF

Info

Publication number
CN114219979A
CN114219979A CN202111435652.4A CN202111435652A CN114219979A CN 114219979 A CN114219979 A CN 114219979A CN 202111435652 A CN202111435652 A CN 202111435652A CN 114219979 A CN114219979 A CN 114219979A
Authority
CN
China
Prior art keywords
prediction
scale
module
feature
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111435652.4A
Other languages
English (en)
Inventor
陈训来
陈元昭
王蕊
张舒婷
宁述亮
兰孟城
韩晓光
崔曙光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Meteorological Bureau Shenzhen Meteorological Station
Shenzhen Research Institute of Big Data SRIBD
Original Assignee
Shenzhen Meteorological Bureau Shenzhen Meteorological Station
Shenzhen Research Institute of Big Data SRIBD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Meteorological Bureau Shenzhen Meteorological Station, Shenzhen Research Institute of Big Data SRIBD filed Critical Shenzhen Meteorological Bureau Shenzhen Meteorological Station
Priority to CN202111435652.4A priority Critical patent/CN114219979A/zh
Publication of CN114219979A publication Critical patent/CN114219979A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于多尺度时空融合的降水临近预测模型，属于气象预测技术领域，包括多尺度特征提取模块、多尺度空间预测模块、递归式跳跃链接模块以及多尺度预测特征融合模块，所述递归式跳跃链接模块，用于将编码器的输出与解码器对应的输出特征进行合并、相加以及融合操作；所述多尺度预测特征融合模块，用于通过反卷积神经网络不断交融合并，得到预测的雷达图。该基于多尺度时空融合的降水临近预测模型，通过在多个尺度空间进行序列的预测，既避免了从图片到特征图之间信息的丢失，又降低了雷达图片预测的难度，既有特征空间预测的准确性，又有像素空间带来的完整的图片信息，这种全面的信息通过融合达到了较好的预测效果。

Description

一种基于多尺度时空融合的降水临近预测模型
技术领域
本发明属于气象预测技术领域，具体为一种基于多尺度时空融合的降水临近预测模型。
背景技术
现有技术中，在进行降水临近预测时，多采用从未知因素分离物理运动的视频预测模型以及递归神经网络预测模型。
从未知因素分离物理运动的视频预测模型(Disentangling Physical Dynamicsfrom Unknown Factors for Unsupervised Video Prediction)，主要是从单尺度进行预测，仅是利用长短期记忆网络和物理动力学习网络将雷达序列一帧一帧编码成特征图，然后对特征图进行时空预测，最后再将预测的时空特征图转成相应的雷达图片来达到预测的效果。这样的做法能够很好地在特征尺度下进行预测，但从雷达图片到特征之间的信息损失却无法通过网络来弥补和还原，因此该模型的效果还存在一定的局限性。
递归神经网络预测模型，这类算法比较普遍，常见的有递归预测模型(PredRNN)，学习高阶非平稳特征信息(Memory In Memory:A Predictive Neural Network forLearning Higher-Order Non-Stationarity from Spatiotemporal Dynamics)。这类算法主要在像素尺度上进行雷达序列的预测。而由于像素空间包含的信息比较复杂，既有雷达图表现出来的有效的时空信息，还有冗余的雷达回波值得和雷达图的特点等信息，冗余的信息对于预测来说没有帮助，反而增加了预测的难度。因此，单单从像素空间进行预测，难度大，冗余信息多，这使得预测对算法的要求极高，普通的算法很难达到预测要求。
为了有效的解决上述的两个问题，我们提出了一种基于多尺度时空融合的降水临近预测模型。
发明内容
针对现有技术的不足，本发明提供了一种基于多尺度时空融合的降水临近预测模型，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于多尺度时空融合的降水临近预测模型，包括多尺度特征提取模块、多尺度空间预测模块、递归式跳跃链接模块以及多尺度预测特征融合模块；
所述多尺度特征提取模块，用于基于多层卷积神经网络对每一时刻输入图片进行特征提取，得到多尺度的特征；
所述多尺度空间预测模块，用于对不同尺度的雷达图片特征进行时空预测；
所述递归式跳跃链接模块，用于将编码器的输出与解码器对应的输出特征进行合并、相加以及融合操作；
所述多尺度预测特征融合模块，用于通过解码器将不同尺度的预测特征通过反卷积神经网络不断交融合并，得到预测的雷达图。
进一步优化本技术方案，所述多尺度特征提取模块中内置有U-NET，即U型全卷积神经网络模型，对像素进行输入，使用该像素周围的图像块作为网络的输入，进行特征提取，得到多尺度的特征。
进一步优化本技术方案，所述多尺度空间预测模块中内置有长短期记忆网络模型，多层长短记忆网络进行联合使用把握住不同时间和空间的信息，用于达到准确的预测效果。
进一步优化本技术方案，所述递归式跳跃链接模块中内置有长短期记忆网络模型，当在模块中输入T时刻的图片，编码器的输出是T时刻的特征，解码器的输出是T+1时刻的特征，利用一个长短期记忆模型，将T时刻的特征转变为T+1时刻的特征，然后再通过合并、相加或者注意力机制对同一时刻的特征进行融合，保证合并的信息为T+1时刻的融合信息。
进一步优化本技术方案，所述多尺度预测特征融合模块，通过在多个尺度对特征进行上下采样并进行融合，既包含雷达图在像素空间的预测，也包含高维特征空间的预测，使得不同尺度的特征分别得到不同的预测特征信息。
进一步优化本技术方案，所述递归式跳跃链接模块中的长短期记忆网络模型也可替换成门控循环单元模型进行递归式跳跃链接模块的模型算法。
与现有技术相比，本发明提供了一种基于多尺度时空融合的降水临近预测模型，具备以下有益效果：
1、该基于多尺度时空融合的降水临近预测模型，通过在多个尺度空间进行序列的预测，既避免了从图片到特征图之间信息的丢失，又降低了雷达图片预测的难度，在多尺度空间进行雷达图预测，既有特征空间预测的准确性，又有像素空间带来的完整的图片信息，这种全面的信息通过融合达到了较好的预测效果。
2、该基于多尺度时空融合的降水临近预测模型，通过精准的降水临近预测，能够得到更好的雷达图像预测，从而帮助气象预报员得到更准确的天气预报，这对防止灾害发生、保障人民生命财产安全均有着至关重要的意义。
附图说明
图1为本发明提出的一种基于多尺度时空融合的降水临近预测模型的算法框架图；
图2为本发明提出的一种基于多尺度时空融合的降水临近预测模型的对比效果图；
图3为本发明提出的一种基于多尺度时空融合的降水临近预测模型的对比数据图；
图4为本发明提出的一种基于多尺度时空融合的降水临近预测模型的结构示意图。
具体实施方式
下面将结合本发明的实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
请参阅图4，一种基于多尺度时空融合的降水临近预测模型，包括多尺度特征提取模块、多尺度空间预测模块、递归式跳跃链接模块以及多尺度预测特征融合模块。
所述多尺度特征提取模块，用于基于多层卷积神经网络对每一时刻输入图片进行特征提取，得到多尺度的特征。
所述多尺度特征提取模块中内置有U-NET，即U型全卷积神经网络模型，对像素进行输入，使用该像素周围的图像块作为网络的输入，进行特征提取，得到多尺度的特征。
所述多尺度空间预测模块，用于对不同尺度的雷达图片特征进行时空预测。
所述多尺度空间预测模块中内置有长短期记忆网络模型，多层长短记忆网络进行联合使用把握住不同时间和空间的信息，用于达到准确的预测效果。
所述递归式跳跃链接模块，用于将编码器的输出与解码器对应的输出特征进行合并、相加以及融合操作。
在普通的网络模型中，跳跃链接模块(Skip-Connection)一般为直接将编码器的输出与解码器对应的输出进行操作，常见的有合并(Concatenation)，相加(Add)，还有通过注意力机制(Attention)进行融合。而本实施例的算法与之不同。由于该算法是预测模型，假定此时的输入是T时刻的图片，编码器的输出是T时刻的特征，而解码器的输出是T+1时刻的特征，而这两个不同时刻的信息不能通过简单的合并方式进行合并。相反，本实施例采用的是递归式跳跃链接模块，即先采用一个长短期记忆模型，将T时刻的特征转变为T+1时刻的特征，然后再通过诸如合并，相加，或者注意力机制对同一时刻的特征进行融合，这样才能够保证合并的信息为T+1时刻的融合信息。
所述多尺度预测特征融合模块，用于通过解码器将不同尺度的预测特征通过反卷积神经网络不断交融合并，得到预测的雷达图。
如图1所述，基于图中的算法框架，本实施例通过在多个尺度对特征进行融合，既包含雷达图在像素空间的预测，也包含不同级别的特征的预测，这样不同尺度的特征通过预测模块分别得到了不同的预测特征信息。将T时刻的特征转变为T+1时刻的特征，然后再通过诸如合并，相加，或者注意力机制对同一时刻的特征进行融合，这样才能够保证合并的信息为T+1时刻的融合信息，这样一来，本实施例通过解码器将不同尺度的预测特征通过反卷积神经网络不断交融合并，最后得到了预测的雷达图。这种多尺度预测的方式，大大保留了图片表达的语义信息和特征表达的时空信息，从而大大提高了预测效果。
实施例二：
基于实施例一所述的基于多尺度时空融合的降水临近预测模型，对于模型中采用的递归神经网络模型，在实施例一的算法中采用的是ConvLSTM(长短期记忆网络，Convolutional Long-Short TermMemory)，但在本实施例中采用了GRU(门控循环单元，Gated Recurrent Unit)。实验表明，使用GRU模块预测效果更好一点。
实施例三：
基于实施例一所述的基于多尺度时空融合的降水临近预测模型，对比在降水临近预测上做的比较好的算法(PredRNN和MIM),如图2和图3所示，图中的Ours即为实施例一所述的基于多尺度时空融合的降水临近预测模型，能够发现我们的模型预测更加准确，各项指标(MAE、MSE、SSIM)都提升明显。从视觉效果上看，本模型能够更好的捕捉到高雷达回波，这对降水预测有着至关重要的意义。通过利用U型网络和卷积神经网络，将长短期记忆网络按照设计组合在一起，形成了多尺度时空融合模型，它是第一个利用多尺度方式对视频进行预测的模型，从而可以辅助气象预报员进行天气预测。
本发明的有益效果是：
1、该基于多尺度时空融合的降水临近预测模型，通过在多个尺度空间进行序列的预测，既避免了从图片到特征图之间信息的丢失，又降低了雷达图片预测的难度，在多尺度空间进行雷达图预测，既有特征空间预测的准确性，又有像素空间带来的完整的图片信息，这种全面的信息通过融合达到了较好的预测效果。
2、该基于多尺度时空融合的降水临近预测模型，通过精准的降水临近预测，能够得到更好的雷达图像预测，从而帮助气象预报员得到更准确的天气预报，这对防止灾害发生、保障人民生命财产安全均有着至关重要的意义。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于多尺度时空融合的降水临近预测模型，其特征在于，包括多尺度特征提取模块、多尺度空间预测模块、递归式跳跃链接模块以及多尺度预测特征融合模块；
所述多尺度特征提取模块，用于基于多层卷积神经网络对每一时刻输入图片进行特征提取，得到多尺度的特征；
所述多尺度空间预测模块，用于对不同尺度的雷达图片特征进行时空预测；
所述递归式跳跃链接模块，用于将编码器的输出与解码器对应的输出特征进行合并、相加以及融合操作；
所述多尺度预测特征融合模块，用于通过解码器将不同尺度的预测特征通过反卷积神经网络不断交融合并，得到预测的雷达图。
2.根据权利要求1所述的一种基于多尺度时空融合的降水临近预测模型，其特征在于，所述多尺度特征提取模块中内置有U-NET，即U型全卷积神经网络模型，对像素进行输入，使用该像素周围的图像块作为网络的输入，进行特征提取，得到多尺度的特征。
3.根据权利要求1所述的一种基于多尺度时空融合的降水临近预测模型，其特征在于，所述多尺度空间预测模块中内置有长短期记忆网络模型，多层长短记忆网络进行联合使用把握住不同时间和空间的信息，用于达到准确的预测效果。
4.根据权利要求1所述的一种基于多尺度时空融合的降水临近预测模型，其特征在于，所述递归式跳跃链接模块中内置有长短期记忆网络模型，当在模块中输入T时刻的图片，编码器的输出是T时刻的特征，解码器的输出是T+1时刻的特征，利用一个长短期记忆模型，将T时刻的特征转变为T+1时刻的特征，然后再通过合并、相加或者注意力机制对同一时刻的特征进行融合，保证合并的信息为T+1时刻的融合信息。
5.根据权利要求1所述的一种基于多尺度时空融合的降水临近预测模型，其特征在于，所述多尺度预测特征融合模块，通过在多个尺度对特征进行上下采样并进行融合，既包含雷达图在像素空间的预测，也包含高维特征空间的预测，使得不同尺度的特征分别得到不同的预测特征信息。
6.根据权利要求4所述的一种基于多尺度时空融合的降水临近预测模型，其特征在于，所述递归式跳跃链接模块中的长短期记忆网络模型也可替换成门控循环单元模型进行递归式跳跃链接模块的模型算法。
CN202111435652.4A 2021-11-29 2021-11-29 一种基于多尺度时空融合的降水临近预测模型 Pending CN114219979A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111435652.4A CN114219979A (zh) 2021-11-29 2021-11-29 一种基于多尺度时空融合的降水临近预测模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111435652.4A CN114219979A (zh) 2021-11-29 2021-11-29 一种基于多尺度时空融合的降水临近预测模型

Publications (1)

Publication Number Publication Date
CN114219979A true CN114219979A (zh) 2022-03-22

Family

ID=80698823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111435652.4A Pending CN114219979A (zh) 2021-11-29 2021-11-29 一种基于多尺度时空融合的降水临近预测模型

Country Status (1)

Country Link
CN (1) CN114219979A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115169431A (zh) * 2022-05-16 2022-10-11 湖南师范大学 一种雷暴识别方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115169431A (zh) * 2022-05-16 2022-10-11 湖南师范大学 一种雷暴识别方法及系统

Similar Documents

Publication Publication Date Title
CN110675403B (zh) 一种基于编码辅助信息的多实例图像分割方法
CN110781776A (zh) 一种基于预测和残差细化网络的道路提取方法
CN111787187B (zh) 利用深度卷积神经网络进行视频修复的方法、系统、终端
CN113596442B (zh) 视频处理方法、装置、电子设备及存储介质
CN116524419B (zh) 基于时空解耦与自注意力差分lstm的视频预测方法、系统
CN112258436A (zh) 图像处理模型的训练方法、装置、图像处理方法及模型
Bandara et al. Adamae: Adaptive masking for efficient spatiotemporal learning with masked autoencoders
CN114219979A (zh) 一种基于多尺度时空融合的降水临近预测模型
Gao et al. Generalized image outpainting with U-transformer
Xiao et al. Single UHD image dehazing via interpretable pyramid network
Hu et al. Store and fetch immediately: Everything is all you need for space-time video super-resolution
Wang et al. YOLO V4 with hybrid dilated convolution attention module for object detection in the aerial dataset
US20240062347A1 (en) Multi-scale fusion defogging method based on stacked hourglass network
Lu et al. Environment-aware multiscene image enhancement for internet of things enabled edge cameras
Ren et al. A lightweight object detection network in low-light conditions based on depthwise separable pyramid network and attention mechanism on embedded platforms
CN112200817A (zh) 基于图像的天空区域分割和特效处理方法、装置及设备
CN116227349A (zh) 一种基于多模态rnn的短临降水预测方法、装置及设备
CN115941966A (zh) 一种视频压缩方法及电子设备
CN115830428A (zh) 降水临近预测图像生成方法、系统、电子装置和存储介质
Ling et al. SRNDiff: Short-term Rainfall Nowcasting with Condition Diffusion Model
CN114565764A (zh) 基于舰船实例分割的港口全景感知系统
CN113781376A (zh) 一种基于分治融合的高清人脸属性编辑方法
CN117390954A (zh) 一种基于轻量化预测模型的降水预报方法和预报系统
CN114463670B (zh) 一种机场场面监控视频变化检测系统及方法
CN115965536A (zh) 图像补全方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination