CN111932527A - 基于长短期记忆与生成对抗网络的卫星云图预测的方法 - Google Patents

基于长短期记忆与生成对抗网络的卫星云图预测的方法 Download PDF

Info

Publication number
CN111932527A
CN111932527A CN202010867931.7A CN202010867931A CN111932527A CN 111932527 A CN111932527 A CN 111932527A CN 202010867931 A CN202010867931 A CN 202010867931A CN 111932527 A CN111932527 A CN 111932527A
Authority
CN
China
Prior art keywords
image
cloud picture
long
network
term memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010867931.7A
Other languages
English (en)
Inventor
郭洪涛
卞冬梅
鲍健
卞朝龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Quan Quan Information Technology Co ltd
Original Assignee
Jiangsu Quan Quan Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Quan Quan Information Technology Co ltd filed Critical Jiangsu Quan Quan Information Technology Co ltd
Priority to CN202010867931.7A priority Critical patent/CN111932527A/zh
Publication of CN111932527A publication Critical patent/CN111932527A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

基于长短期记忆与生成对抗网络的卫星云图预测的方法，本发明使用风云4号卫星云图数据作为云图预测的数据源。首先获取通过特定方法采集数据集，并按拍摄时间进行排序存储。读取图像时，将图像转换到合适的空间，喂入长短期记忆网络中，将降维后的数据喂入生成对抗网络的生成器中，得到预测图像。通过将长短期记忆网络与生成对抗网络相结合，可以提升预测图像的时间相关性，具有较好的预测效果。

Description

基于长短期记忆与生成对抗网络的卫星云图预测的方法
技术领域
本发明涉及深度学习与图像处理领域，特别是涉及到基于长短期记忆与生成对抗网络的卫星云图预测的方法。
背景技术
6月23日，中国使用长征三号乙运载火箭，将北斗三号的最后一颗即第55颗全球组网卫星送入太空。如今北斗三号全球卫星导航系统全面建成，中国得以通过北斗系统向全球提供导航、定位以及其他服务。风云四号卫星（FY－4）卫星是由中国航天科技集团公司第八研究院（上海航天技术研究院）抓总研制的第二代地球静止轨道（GEO）定量遥感气象卫星，采用三轴稳定控制方案，将接替自旋稳定的风云二号（FY－2）卫星，其连续、稳定运行将大幅提升我国静止轨道气象卫星探测水平。
随着深度学习技术的不断迭代，具有不同功能的网络结构相继被提出。本发明使用的长短期记忆网络可以提取图像序列的潜在变化信息，而生成对抗网络则在生成图像上具有较高性能，结合这两种网络结构可以实现卫星云图的预测任务。
发明内容
为了解决上述存在问题。本发明提出基于长短期记忆与生成对抗网络的卫星云图预测的方法，可以对未来时间的卫星云图进行预测。为达此目的：
本发明提供基于长短期记忆与生成对抗网络的卫星云图预测的方法，具体步骤如下：
步骤1：采集数据集，并把图像转换到RGB图像空间；
步骤2：图像预处理过程，将图像尺寸调整为8000X5000，将每个像素值除以127.5并减去1；
步骤3：将随机数经过批量标准化和非线性激活函数处理后，使用随机数训练生成对抗网络的生成器，使用已经预处理的真实卫星云图和生成器的预测云图喂入判别器，并不断优化生成器与判别器的权值，经过迭代，得到最优权值；
步骤4：停止生成对抗网络的训练，将真实的已经预处理的真实卫星云图喂入长短期记忆网络中，将生成器结果与真实结果对比，不断优化长短期记忆网络，使用判别器评估整个模型的预测效果，通过多轮迭代获取最优模型；
步骤5：使用最优模型，将特定时间段卫星云图喂入模型，得到预测图像。
作为本发明进一步改进，所述步骤2中图像预处理公式为：
Figure 82407DEST_PATH_IMAGE001
其中，
Figure 960233DEST_PATH_IMAGE002
分别是RGB图像色彩空间的三个色彩通道。
作为本发明进一步改进，所述步骤3中将随机数经过批量标准化，对每一层的输入进行计算，再通过BatchNormalization进行批量标准化，把每层神经网络任意神经元输入值的分布强行拉回到均值为0方差为1的标准正态分布，BatchNormalization激活函数的公式为：
输入：最小批量x的取值为={x1,...,xm};
需要学习的参数为γ, β
输出：{yi = BNγ，β(xi)}
Figure 936542DEST_PATH_IMAGE003
；
其中
Figure 495699DEST_PATH_IMAGE004
代表最小批量的均值,
Figure 67495DEST_PATH_IMAGE005
代表最小批量的方差，
Figure 86529DEST_PATH_IMAGE006
代表标准化，
Figure 314248DEST_PATH_IMAGE007
代表缩放和移位。
作为本发明进一步改进，所述步骤3中非线性激活函数处理，对每一层的输入进行计算，再通过LeakyRelu进行非线性处理，LeakyRelu激活函数的公式为：
Figure 677096DEST_PATH_IMAGE008
公式中，x表示图像的某一个像素值；a表示系数。
本发明提供基于长短期记忆与生成对抗网络的卫星云图预测的方法，有益效果在于：
1.本发明利用连续时间序列卫星云图，预测未来时间卫星云图更加准确；
2.本发明利用长短期记忆网络提取时间序列卫星云图特征；
3.本发明利用生成对抗网络生成图像，在图像效果上有较好的表现；
4.采用两步训练方法，对比合并训练法，在最终结果上有更好的表现；
5.本发明有较高应用前景。
附图说明
图1是生成对抗网络训练图；
图2是长短期网络训练图；
图3是长短期记忆网络与生成对抗网络结合的预测流程图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：
本发明提出基于长短期记忆与生成对抗网络的卫星云图预测的方法，可以对未来时间的卫星云图进行预测。
下面结合附图与具体实施方式对本发明作进一步详细描述：
其中图1是生成对抗网络训练图，图2是长短期网络训练图，图3是长短期记忆网络与生成对抗网络结合的预测流程图，具体步骤如下。
首先，采集数据集，并把图像转换到RGB图像空间。对图像进行预处理，将图像尺寸调整为8000X5000，将每个像素值除以127.5并减去1，图像像素预处理公式为：
Figure 41081DEST_PATH_IMAGE001
其中，
Figure 762175DEST_PATH_IMAGE002
分别是RGB图像色彩空间的三个色彩通道。
接着，使用随机数训练生成对抗网络的生成器，使用真实卫星云图（已预处理）和生成器的预测云图喂入判别器，并不断优化生成器与判别器的权值，经过迭代，得到最优权值。
对每一层的输入进行计算时，通过BatchNormalization进行批量标准化，把每层神经网络任意神经元输入值的分布强行拉回到均值为0方差为1的标准正态分布，BatchNormalization激活函数的公式为：
输入：最小批量x的取值为={x 1 ,...,x m };
需要学习的参数为γ, β
输出：{y i = BN γ ， β (x i )}
Figure 368868DEST_PATH_IMAGE003
其中
Figure 332144DEST_PATH_IMAGE004
代表最小批量的均值,
Figure 114418DEST_PATH_IMAGE005
代表最小批量的方差，
Figure 708210DEST_PATH_IMAGE006
代表标准化，
Figure 118377DEST_PATH_IMAGE007
代表缩放和移位。
将随机数通过BatchNormalization批量标准化处理后，通过LeakyRelu进行非线性处理，LeakyRelu激活函数的公式为：
Figure 619765DEST_PATH_IMAGE008
公式中，x表示图像的某一个像素值；a表示系数。
然后，停止生成对抗网络的训练，将真实的卫星云图（已预处理）喂入长短期记忆网络中，将生成器结果与真实结果对比，不断优化长短期记忆网络，使用判别器评估整个模型的预测效果，通过多轮迭代获取最优模型。最后，使用最优模型，将特定时间段卫星云图喂入模型，得到预测图像。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (4)

1.基于长短期记忆与生成对抗网络的卫星云图预测的方法，具体步骤如下：
步骤1：采集数据集，并把图像转换到RGB图像空间；
步骤2：图像预处理过程，将图像尺寸调整为8000X5000，将每个像素值除以127.5并减去1；
步骤3：将随机数经过批量标准化和非线性激活函数处理后，使用随机数训练生成对抗网络的生成器，使用已经预处理的真实卫星云图和生成器的预测云图喂入判别器，并不断优化生成器与判别器的权值，经过迭代，得到最优权值；
步骤4：停止生成对抗网络的训练，将真实的已经预处理的真实卫星云图喂入长短期记忆网络中，将生成器结果与真实结果对比，不断优化长短期记忆网络，使用判别器评估整个模型的预测效果，通过迭代获取最优模型；
步骤5：使用最优模型，将特定时间段卫星云图喂入模型，得到预测图像。
2.根据权利要求1所述的基于长短期记忆与生成对抗网络的卫星云图预测的方法，其特征在于：所述步骤2中图像预处理公式为：
Figure 62942DEST_PATH_IMAGE001
其中，
Figure 864545DEST_PATH_IMAGE002
分别是RGB图像色彩空间的三个色彩通道。
3.根据权利要求1所述的基于长短期记忆与生成对抗网络的卫星云图预测的方法，其特征在于：所述步骤3中将随机数经过批量标准化，对每一层的输入进行计算，再通过BatchNormalization进行批量标准化，把每层神经网络任意神经元输入值的分布强行拉回到均值为0方差为1的标准正态分布，BatchNormalization激活函数的公式为：
输入：最小批量x的取值为={x1,...,xm};
需要学习的参数为γ, β
输出：{yi = BNγ，β(xi)}
Figure 364796DEST_PATH_IMAGE003
其中
Figure 847730DEST_PATH_IMAGE004
代表最小批量的均值,
Figure 618503DEST_PATH_IMAGE005
代表最小批量的方差，
Figure 200794DEST_PATH_IMAGE006
代表标准化，
Figure 922762DEST_PATH_IMAGE007
代表缩放和移位。
4.根据权利要求1所述的基于长短期记忆与生成对抗网络的卫星云图预测的方法，其特征在于：所述步骤3中非线性激活函数处理，对每一层的输入进行计算，再通过LeakyRelu进行非线性处理，LeakyRelu激活函数的公式为：
Figure 6124DEST_PATH_IMAGE008
公式中，x表示图像的某一个像素值；a表示系数。
CN202010867931.7A 2020-08-26 2020-08-26 基于长短期记忆与生成对抗网络的卫星云图预测的方法 Pending CN111932527A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010867931.7A CN111932527A (zh) 2020-08-26 2020-08-26 基于长短期记忆与生成对抗网络的卫星云图预测的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010867931.7A CN111932527A (zh) 2020-08-26 2020-08-26 基于长短期记忆与生成对抗网络的卫星云图预测的方法

Publications (1)

Publication Number Publication Date
CN111932527A true CN111932527A (zh) 2020-11-13

Family

ID=73304578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010867931.7A Pending CN111932527A (zh) 2020-08-26 2020-08-26 基于长短期记忆与生成对抗网络的卫星云图预测的方法

Country Status (1)

Country Link
CN (1) CN111932527A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113156957A (zh) * 2021-04-27 2021-07-23 东莞理工学院 基于对抗生成网络的自主移动机器人自监督学习及导航方法
CN113156957B (zh) * 2021-04-27 2024-06-04 东莞理工学院 自主移动机器人自监督学习及导航方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108364097A (zh) * 2018-02-07 2018-08-03 国家海洋局北海预报中心 基于生成对抗网络的台风云系预测方法
CN109492751A (zh) * 2018-11-02 2019-03-19 重庆邮电大学 基于bn-dbn的网络安全态势要素获取机制
CN110930314A (zh) * 2019-10-21 2020-03-27 西安电子科技大学 图像条带噪声抑制方法及其装置、电子设备、存储介质
US10613252B1 (en) * 2015-10-02 2020-04-07 Board Of Trustees Of The University Of Alabama, For And On Behalf Of The University Of Alabama In Huntsville Weather forecasting systems and methods
CN111178626A (zh) * 2019-12-30 2020-05-19 苏州科技大学 基于wgan算法的建筑能耗预测方法及监测预测系统
CN111460196A (zh) * 2020-05-21 2020-07-28 南京大学 一种基于深度学习的云层变化趋势预测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10613252B1 (en) * 2015-10-02 2020-04-07 Board Of Trustees Of The University Of Alabama, For And On Behalf Of The University Of Alabama In Huntsville Weather forecasting systems and methods
CN108364097A (zh) * 2018-02-07 2018-08-03 国家海洋局北海预报中心 基于生成对抗网络的台风云系预测方法
CN109492751A (zh) * 2018-11-02 2019-03-19 重庆邮电大学 基于bn-dbn的网络安全态势要素获取机制
CN110930314A (zh) * 2019-10-21 2020-03-27 西安电子科技大学 图像条带噪声抑制方法及其装置、电子设备、存储介质
CN111178626A (zh) * 2019-12-30 2020-05-19 苏州科技大学 基于wgan算法的建筑能耗预测方法及监测预测系统
CN111460196A (zh) * 2020-05-21 2020-07-28 南京大学 一种基于深度学习的云层变化趋势预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XU Z等: "Satellite Image Prediction Relying on GAN and LSTM Neural Networks", 《ICC 2019 - 2019 IEEE INTERNATIONAL CONFERENCE ON COMMUNICATIONS (ICC)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113156957A (zh) * 2021-04-27 2021-07-23 东莞理工学院 基于对抗生成网络的自主移动机器人自监督学习及导航方法
CN113156957B (zh) * 2021-04-27 2024-06-04 东莞理工学院 自主移动机器人自监督学习及导航方法

Similar Documents

Publication Publication Date Title
CN111539469B (zh) 一种基于视觉自注意力机制的弱监督细粒度图像识别方法
CN107945118B (zh) 一种基于生成式对抗网络的人脸图像修复方法
CN111279362B (zh) 胶囊神经网络
CN114092832B (zh) 一种基于并联混合卷积网络的高分辨率遥感影像分类方法
CN112906989B (zh) 一种基于cnn-lstm的区域海表面温度预测方法
CN112699838B (zh) 基于光谱诊断特征加权的高光谱混合像元非线性盲分解方法
Zhao et al. A short-term hybrid wind power prediction model based on singular spectrum analysis and temporal convolutional networks
CN114707765A (zh) 一种基于动态加权聚合的联邦学习负荷预测方法
Jin et al. Deep learning for seasonal precipitation prediction over China
Zhong et al. Automatic aurora image classification framework based on deep learning for occurrence distribution analysis: A case study of all‐sky image data sets from the Yellow River Station
CN114782742A (zh) 基于教师模型分类层权重的输出正则化方法
Qiao et al. Effective ensemble learning approach for SST field prediction using attention-based PredRNN
Xu et al. Robust remote sensing scene classification by adversarial self-supervised learning
CN111914617B (zh) 一种基于平衡栈式生成式对抗网络的人脸属性编辑方法
CN111339734B (zh) 一种基于文本生成图像的方法
CN113989612A (zh) 基于注意力及生成对抗网络的遥感影像目标检测方法
CN110768864B (zh) 一种网络流量批量生成图像的方法及装置
CN116503499A (zh) 一种基于循环生成对抗网络的素描画生成方法及系统
CN111932527A (zh) 基于长短期记忆与生成对抗网络的卫星云图预测的方法
CN116258504A (zh) 银行客户关系管理系统及其方法
Wang et al. Ultra-short-term regional PV power forecasting based on fluctuation pattern recognition with satellite images
CN115578593A (zh) 一种使用残差注意力模块的域适应方法
CN114492171A (zh) 基于多任务深度学习神经网络的太阳风速度预测方法
Dong et al. Upetu: A unified parameter-efficient fine-tuning framework for remote sensing foundation model
Zhang et al. Digital twin empowered PV power prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201113