CN115546257A - 基于wgan-gp网络与光流法的卫星云图预测方法 - Google Patents
基于wgan-gp网络与光流法的卫星云图预测方法 Download PDFInfo
- Publication number
- CN115546257A CN115546257A CN202210948863.6A CN202210948863A CN115546257A CN 115546257 A CN115546257 A CN 115546257A CN 202210948863 A CN202210948863 A CN 202210948863A CN 115546257 A CN115546257 A CN 115546257A
- Authority
- CN
- China
- Prior art keywords
- layer
- satellite cloud
- discriminator
- network
- wgan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000003287 optical effect Effects 0.000 title claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000005070 sampling Methods 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 11
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000005315 distribution function Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 238000009825 accumulation Methods 0.000 claims 1
- 238000010248 power generation Methods 0.000 description 5
- 230000009977 dual effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种基于双判别器WGAN‑GP与光流法的卫星云图预测方法。首先对卫星云图数据集进行直方图均衡化处理，然后构建双判别器WGAN‑GP网络，将卫星云图序列输入生成器，利用光流法得到卫星云图的光流序列，再用编码解码器模块生成预测光流，将历史卫星云图与预测光流融合生成卫星云图的预测。将生成卫星云图与真实卫星云图一并输入判别器中训练，空间判别器与时间判别器分别对生成样本与真实样本进行评价，通过多次对抗训练使双判别器WGAN‑GP网络达到纳什均衡。最后，将历史卫星云图数据输入训练好的双判别器WGAN‑GP网络的生成器得到卫星云图预测结果。本方法能够有效减少地面背景信息对卫星云图预测任务的干扰，提高卫星云图预测的精度和效率。
Description
技术领域
本发明涉及图像处理领域，具体涉及一种基于双判别器WGAN-GP与光流 法的卫星云图预测方法。
背景技术
太阳能储量丰富，分布广泛，是当前最有发展潜力的可再生能源之一。相较 于传统的火电、水电等发电方式，太阳能受到昼夜变化、季节交替和地球大气层 变化的影响，因而具有波动性和随机性，光伏发电的输出功率也呈现出不稳定的 特点。在诸多气象要素的影响中，短时间内高空间分辨率的云运动预测是光伏功 率预测与波动性预测的核心问题。
卫星云图在气象预测中发挥着重要的作用，传统的卫星云图预测方法包括基 于数值天气预报的方法和基于循环神经网络的方法。基于数值天气预报的方法需 要大量的气象数据，消耗资源多运算量大，难以满足短时间卫星云图预测的需要； 基于循环神经网络的方法有着较深的网络层数，梯度难以传播到深层，随着预测 时间增长，生成的预测结果会不断模糊；同时上述方法在处理卫星云图数据时， 都容易受到地面背景信息的干扰导致预测结果不准确。本发明利用光流提取卫星 云图运动信息，并使用双判别器WGAN-GP网络进行预测模型训练。光流法能 够计算出一个连续运动图像序列中相邻两帧图像像素的运动信息，即每个像素移 动的方向和距离；WGAN-GP网络作为一种无监督学习方法，经过生成器与判别 器的对抗训练能够学习到真实样本的潜在特征并生成与之极为相似的伪样本。通 过训练WGAN-GP网络生成预测光流，再利用空间判别器与时间判别器分别对 生成样本与真实样本的空间相似度与时间相似度进行评价，通过对抗训练使双判 别器WGAN-GP网络达到纳什均衡，最后将预测光流与历史卫星云图融合得到 预测卫星云图，有效避免了地面背景信息对预测结果的干扰，并使生成的预测图 像具有和原图像相近的清晰度。
发明内容
发明目的：针对上述问题，本申请提供了一种卫星云图预测方法，该方法利 用光流与双判别器WGAN-GP网络能有效地排除地面背景对预测任务的干扰， 更好的提取卫星云图的时空特征实现对未来云运动的预测。
技术方案：基于双判别器WGAN-GP与光流法的卫星云图预测方法，包括 以下步骤：
步骤S1：获取历史卫星云图序列数据；
步骤S2：对卫星云图进行直方图均衡化预处理；
步骤S3：对经过预处理的图像，取t张卫星云图序列作为历史数据，第t+1 张卫星云图为预测目标；
步骤S4：构建双判别器WGAN-GP网络，每次训练以t张连续卫星云图序 列输入生成器，每相邻两张卫星云图进行计算得到一张光流图，共得到t-1张光 流图，令光流序列经过编码器解码器结构输出预测光流，将预测光流与第t时刻 卫星云图融合生成第t+1时刻卫星云图的预测；
步骤S5：将生成卫星云图与真实卫星云图一并输入判别器中训练，空间判 别器与时间判别器分别对生成样本与真实样本的空间相似度与时间相似度进行 评价，通过多次迭代对抗训练使双判别器WGAN-GP网络达到纳什均衡；
步骤S6：将历史卫星云图数据输入已训练好的双判别器WGAN-GP网络生 成器得到卫星云图预测图像，将生成的卫星云图预测图像加入序列，迭代地执行 生成器算法，得到第t+1至2t张卫星云图预测图像。
所述步骤S2对图像进行直方图均衡化预处理的公式为：
其中round()表示对结果取整，cdf(i)表示值为i的像素的累计分布函数，px(i)代表值为i的像素的出现概率，L为灰度级数，v为原始图像像素值，h(v)为进行 直方图均衡化操作后的像素值。
所述步骤S4包括以下步骤：
步骤S41，对输入生成器的t张连续卫星云图序列，每相邻两张卫星云图进 行计算得到一张光流图，共得到t-1张光流图；
步骤S42，构建双判别器WGAN-GP网络中的生成器，生成器网络的结构依 次有：输入层→光流提取层→三维卷积层1→三维卷积层2→三维卷积层3→三 维卷积层4→上采样层1→上采样层2→上采样层3→上采样层4→融合层→输出 层，三维卷积层1、三维卷积层2、三维卷积层3、三维卷积层4属于编码器部 分，上采样层1、上采样层2、上采样层3、上采样层4属于解码器部分；
步骤S43，构建双判别器WGAN-GP网络中的判别器，判别器网络包括空间 判别器与时间判别器，其中空间判别器网络的结构依次有：输入层→二维卷积层 1→二维卷积层2→二维卷积层3→二维卷积层4→全连接层1→全连接层2→全 连接层3→输出；
步骤S44，构建双判别器WGAN-GP网络中的判别器，其中时间判别器网络 的结构依次有：输入层→三维卷积层1→三维卷积层2→三维卷积层3→三维卷 积层4→全连接层1→全连接层2→全连接层3→输出；
步骤S45，将t-1张光流图输入到生成器中，通过三维卷积层进行编码处理， 再通过上采样层进行解码处理生成第t张光流图的预测；
步骤S46，使用第t张光流图对第t张卫星云图进行重映射处理，生成第t+1 张卫星云图的预测，重映射运算的公式为：
pt+1(x,y)＝pt(x-u,y-v)
其中pt为t时刻位于卫星云图点(x,y)处的像素值，u和v即光流图中的信息， 分别代表像素在x方向和y方向上的运动分量。
所述步骤S42中上采样层先使用双线性插值法令特征图大小翻倍，再利用卷 积使通道数减半；在三维卷积层1、三维卷积层2和三维卷积层3后加入了三个 跳跃连接，分别连接到上采样层1、上采样层2、上采样层3后，将在编码器中 经过三维卷积处理的特征图与在解码器中进行上采样后的特征图进行拼接，再传 递给下一层作为输入特征图，使解码器能够获得浅层编码器学习到的信息。
所述步骤S42中三维卷积层1的卷积核大小为3×3×3，三维卷积层2,3,4的 卷积核大小为2×3×3，三维卷积层4的步长为(1,1,1)，三维卷积层1,2,3的步长为 (1,2,2)，填充均为(0,1,1)。
所述步骤S43中卷积层的卷积核大小为3×3，步长为2，填充为1。
所述步骤S44中时间判别器网络的三维卷积层1至三维卷积层3的卷积核大 小3×3×3，三维卷积层4的卷积核大小为2×3×3，各层的步长均为(1,2,2)，填充 为(0,1,1)。
所述步骤S5中包含以下步骤：
步骤S51：固定生成器参数，训练判别器，双判别器WGAN-GP网络判别器 的损失函数为：
LD＝LS+LT+LGP
其中，LS为空间判别器损失，LT为时间判别器损失，LGP为梯度惩罚项，LD为判别器最终的损失，m为训练数据批次大小，G()为生成器的输出即卫星云图 的预测，xf表示历史卫星云图序列，xr为目标卫星云图，sr表示真实卫星云图序 列，即历史卫星云图加上目标卫星云图，sf表示预测卫星云图序列，xp为在生成 云图与真实云图之间进行线性插值采样所获样本，sp为在生成云图序列与真实云 图序列之间进行线性插值采样所获样本；
步骤S52：使用Adam优化算法更新判别器参数；
步骤S53：固定判别器参数，训练生成器，双判别器WGAN-GP网络生成器 的损失函数为：
其中，LG为生成器最终的损失函数，m为训练数据批次大小，xf表示历史卫 星云图，sf表示预测卫星云图序列；
步骤S54：使用Adam优化算法更新生成器参数。
所述步骤S52使用以下公式
mdω＝β1mdω+(1-β1)dω
vdω＝β2vdω+(1-β2)(dω)2
其中，ω为判别器参数，mdω为对参数梯度的一阶距估计，vdω为对参数梯 度的二阶距估计，β1和β2为衰减速率，
和
分别为对mdω和vdω的偏差修正， α为学习率，ε为一个极小常数。
有益效果：本发明使用光流提取卫星云图运动信息有效地排除了地面背景信 息对卫星云图预测任务的干扰，在双判别器WGAN-GP网络的生成器部分加入 了跳跃连接，使得预测模型能够从多尺度的特征图中获得更加丰富的信息；在判 别器部分使用了空间与时间两个判别器，训练好的预测模型能够有效地预测复杂 的云运动过程。
附图说明
图1为基于双判别器WGAN-GP的卫星云图预测流程图；
图2为双判别器WGAN-GP网络整体结构示意图；
图3为双判别器WGAN-GP网络生成器示意图；
图4为双判别器WGAN-GP网络空间判别器示意图；
图5为双判别器WGAN-GP网络时间判别器示意图；
图6为本实施例的算法收敛情况图；
图7为真实卫星云图序列和生成预测卫星云图序列的比较。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
图1为本发明实施例的流程图，图2为双判别器WGAN-GP网络生成器结构 图，图3为双判别器WGAN-GP网络判别器结构图，具体包括以下步骤：
步骤S1：获取历史卫星云图序列数据；
步骤S2：对源数据进行预处理，调整卫星云图尺寸为128×128像素，并对 卫星云图进行直方图均衡化处理，对图像进行直方图均衡化处理的公式为：
其中round()表示对结果取整，cdf(i)表示值为i的像素的累计分布函数，px(i)代表值为i的像素的出现概率，L为灰度级数，v为原始图像像素值，h(v)为进 行直方图均衡化操作后的像素值；
步骤S3：对经过预处理的图像，取t张卫星云图序列作为历史数据，第t+1 张卫星云图为预测目标；
步骤S4：构建双判别器WGAN-GP网络，每次训练以t张连续卫星云图序 列输入生成器，每相邻两张卫星云图进行计算得到一张光流图，共得到t-1张光 流图，令光流序列经过编码器解码器结构输出预测光流，将预测光流与第t时刻 卫星云图融合生成第t+1时刻卫星云图的预测；
步骤S41，对输入生成器的t张连续卫星云图序列，每相邻两张卫星云图进 行计算得到一张光流图，共得到t-1张光流图，计算相邻两张卫星云图光流图的 公式为：
Ixu+Iyv+It＝0
其中u和v分别代表像素在x方向和y方向上的运动分量，Ix和Iy分别代表 图像灰度在x方向和y方向上的梯度，It代表图像灰度在时间维度t上的梯度， 为了求得u和v，选取大小为5×5的窗口，利用窗口中共25个像素值构建方程 组使用最小二乘法求解：
其中m为窗口中的像素数，
分别为像素i的图像灰度在x，y方向上 的梯度，
为在时间维度t上的梯度；
步骤S42，构建双判别器WGAN-GP中的生成器，图2为双判别器WGAN-GP 网络生成器结构图，生成器网络的结构依次有：输入层→光流提取层→三维卷积 层1→三维卷积层2→三维卷积层3→三维卷积层4→上采样层1→上采样层2→ 上采样层3→上采样层4→融合层→输出，三维卷积层1的卷积核大小为3×3×3， 三维卷积层2,3,4的卷积核大小为2×3×3，三维卷积层4的步长为(1,1,1)，三维卷 积层1,2,3的步长为(1,2,2)，填充均为(0,1,1)。上采样层先使用双线性插值法令特 征图大小翻倍，在利用卷积使通道数减半。三维卷积层1、三维卷积层2、三维 卷积层3、三维卷积层4属于编码器部分，上采样层1、上采样层2、上采样层3、 上采样层4属于解码器部分。在三维卷积层1、三维卷积层2和三维卷积层3后 加入了三个跳跃连接，分别连接到上采样层1、上采样层2、上采样层3后，将 在编码器中经过三维卷积处理的特征图与在解码器中进行上采样后的特征图进 行拼接，再传递给下一层作为输入特征图，使解码器能够获得浅层编码器学习到 的信息，以减少特征图传播过程中信息的损失；
步骤S43，构建双判别器WGAN-GP中的判别器，判别器网络又分为空间判 别器与时间判别器，其中空间判别器网络的结构依次有：输入层→二维卷积层 1→二维卷积层2→二维卷积层3→二维卷积层4→全连接层1→全连接层2→全 连接层3→输出，各卷积层的卷积核大小为3×3，步长为2，填充为1；
步骤S44，构建双判别器WGAN-GP中的判别器，其中时间判别器网络的结 构依次有：输入层→三维卷积层1→三维卷积层2→三维卷积层3→三维卷积层 4→全连接层1→全连接层2→全连接层3→输出；三维卷积层1至三维卷积层3 的卷积核大小3×3×3，三维卷积层4的卷积核大小为2×3×3，各层的步长均为 (1,2,2)，填充为(0,1,1)；
步骤S45，将t-1张光流图通过三维卷积进行编码处理，再通过上采样层进 行解码处理生成第t张光流图的预测，对每一层卷积神经网络都使用LeakyReLU 函数进行非线性激活处理，LeakyReLU函数的公式为：
其中，x表示经过卷积运算后的数据，α为一极小非负常数。
步骤S45，使用第t张光流图对第t张卫星云图进行重映射处理，生成第t+1 张卫星云图的预测，重映射运算的公式为：
pt+1(x，y)＝pt(x-u，y-v)
其中pt为t时刻位于卫星云图点(x,y)处的像素值，u和v即光流图中的信息， 分别代表像素在x方向和y方向上的运动分量。
步骤S5：将生成卫星云图与真实卫星云图一并输入判别器中训练，空间判 别器与时间判别器分别对生成样本与真实样本的空间相似度与时间相似度进行 评价，通过多次迭代对抗训练使双判别器WGAN-GP网络达到纳什均衡；
步骤S51：固定生成器参数，训练判别器，双判别器WGAN-GP网络判别器 的损失函数为：
LD＝LS+LT+LGP
其中，LS为空间判别器损失，LT为时间判别器损失，LGP为梯度惩罚项，LD为判别器最终的损失，m为训练数据批次大小，G()为生成器的输出即卫星云图 的预测，xf表示历史卫星云图序列，xr为目标卫星云图，sr表示真实卫星云图序 列，即历史卫星云图加上目标卫星云图，sf表示预测卫星云图序列，xp为在生成 云图与真实云图之间进行线性插值采样所获样本，sp为在生成云图序列与真实云 图序列之间进行线性插值采样所获样本；
步骤S52：使用Adam优化算法更新判别器参数，设置学习率为0.0002，一 阶矩估计的指数衰减率为0.9，二阶矩估计的指数衰减率为0.999：
mdω＝β1mdω+(1-β1)dω
vdω＝β2vdω+(1-β2)(dω)2
其中，ω为判别器参数，mdω为对参数梯度的一阶距估计，vdω为对参数梯 度的二阶距估计，β1和β2为衰减速率，
和
分别为对mdω和vdω的偏差修正， α为学习率，ε为一个极小常数；
步骤S53：固定判别器参数，训练生成器，双判别器WGAN-GP网络生成器 的损失函数为：
其中，LG为生成器最终的损失函数，m为训练数据批次大小，xf表示历史卫 星云图，sf表示预测卫星云图序列；
步骤S54：使用Adam优化算法更新生成器参数，设置学习率为0.0002，一 阶矩估计的指数衰减率为0.9，二阶矩估计的指数衰减率为0.999。
步骤S6：将历史卫星云图数据输入已训练好的双判别器WGAN-GP网络生 成器得到卫星云图预测图像，将生成的卫星云图预测图像加入序列，迭代地执行 生成器算法，得到第t+1至2t张卫星云图预测图像。
图4为本发明所使用的改进双判别器WGAN-GP网络与光流法相结合的预 测模型的收敛情况，随着训练次数的增长，生成样本的分布与真实样本的分布不 断接近，生成器损失和判别器损失不断趋近于0，由图可知在训练到约200次左 右模型趋于收敛。
图6展示了本方法生成的预测卫星云图与几种传统方法生成的预测卫星云 图的比较，几种传统方法随着预测时间的增加生成的云图逐渐变得模糊，本方法 使用光流法与双判别器WGAN-GP网络生成预测图像，能够借助光流在原图像 的基础上外推预测结果，生成的预测图像具有和原图像相近的清晰度。
表1
表1为本方法与几种传统预测方法生成的预测结果的清晰度的定量分析，分 别展示了预测4帧和预测8帧时的平均结果，本文使用灰度方差(SMD)函数 评价图像清晰度，所得值越大说明清晰度越高。
表2
表2为本方法与几种传统预测方法生成的预测结果的准确性的定量分析，分 别展示了预测4帧和预测8帧时的平均结果，使用了峰值信噪比(PSNR)与结 构相似性(SSIM)评价预测结果的准确性，PSNR和SSIM值越大，说明预测结 果越接近真实结果。
以上所述仅为本发明的具体实施方法，并非用于限定本发明的范围，依据本 发明的技术实质所做的任何修改或等同替换，均应涵盖在本发明所要求的保护的 范围之内。
Claims (9)
1.基于WGAN-GP网络与光流法的卫星云图预测方法，其特征在于，包括以下步骤：
步骤S1：获取历史卫星云图序列数据；
步骤S2：对卫星云图进行直方图均衡化预处理；
步骤S3：对经过预处理的图像，取t张卫星云图序列作为历史数据，第t+1张卫星云图为预测目标；
步骤S4：构建双判别器WGAN-GP网络，每次训练以t张连续卫星云图序列输入生成器，每相邻两张卫星云图进行计算得到一张光流图，共得到t-1张光流图，令光流序列经过编码器解码器结构输出预测光流，将预测光流与第t时刻卫星云图融合生成第t+1时刻卫星云图的预测；
步骤S5：将生成卫星云图与真实卫星云图一并输入判别器中训练，空间判别器与时间判别器分别对生成样本与真实样本的空间相似度与时间相似度进行评价，通过多次迭代对抗训练使双判别器WGAN-GP网络达到纳什均衡；
步骤S6：将历史卫星云图数据输入已训练好的双判别器WGAN-GP网络生成器得到卫星云图预测图像，将生成的卫星云图预测图像加入序列，迭代地执行生成器算法，得到第t+1至2t张卫星云图预测图像。
2.根据权利要求1所述的基于WGAN-GP网络与光流法的卫星云图预测方法，其特征在于，所述步骤S2对图像进行直方图均衡化预处理的公式为：
其中round()表示对结果取整，cdf(i)表示值为i的像素的累计分布函数，px(i)代表值为i的像素的出现概率，L为灰度级数，v为原始图像像素值，h(v)为进行直方图均衡化操作后的像素值。
3.根据权利要求1所述的基于WGAN-GP网络与光流法的卫星云图预测方法，其特征在于，所述步骤S4包括以下步骤：
步骤S41，对输入生成器的t张连续卫星云图序列，每相邻两张卫星云图进行计算得到一张光流图，共得到t-1张光流图；
步骤S42，构建双判别器WGAN-GP网络中的生成器，生成器网络的结构依次有：输入层→光流提取层→三维卷积层1→三维卷积层2→三维卷积层3→三维卷积层4→上采样层1→上采样层2→上采样层3→上采样层4→融合层→输出层，三维卷积层1、三维卷积层2、三维卷积层3、三维卷积层4属于编码器部分，上采样层1、上采样层2、上采样层3、上采样层4属于解码器部分；
步骤S43，构建双判别器WGAN-GP网络中的判别器，判别器网络包括空间判别器与时间判别器，其中空间判别器网络的结构依次有：输入层→二维卷积层1→二维卷积层2→二维卷积层3→二维卷积层4→全连接层1→全连接层2→全连接层3→输出；
步骤S44，构建双判别器WGAN-GP网络中的判别器，其中时间判别器网络的结构依次有：输入层→三维卷积层1→三维卷积层2→三维卷积层3→三维卷积层4→全连接层1→全连接层2→全连接层3→输出；
步骤S45，将t-1张光流图输入到生成器中，通过三维卷积层进行编码处理，再通过上采样层进行解码处理生成第t张光流图的预测；
步骤S46，使用第t张光流图对第t张卫星云图进行重映射处理，生成第t+1张卫星云图的预测，重映射运算的公式为：
pt+1(x,y)＝pt(x-u,y-v)
其中pt为t时刻位于卫星云图点(x,y)处的像素值，u和v即光流图中的信息，分别代表像素在x方向和y方向上的运动分量。
4.根据权利要求3所述的基于WGAN-GP网络与光流法的卫星云图预测方法，其特征在于，所述步骤S42中上采样层先使用双线性插值法令特征图大小翻倍，再利用卷积使通道数减半；在三维卷积层1、三维卷积层2和三维卷积层3后加入了三个跳跃连接，分别连接到上采样层1、上采样层2、上采样层3后，将在编码器中经过三维卷积处理的特征图与在解码器中进行上采样后的特征图进行拼接，再传递给下一层作为输入特征图，使解码器能够获得浅层编码器学习到的信息。
5.根据权利要求3所述的基于WGAN-GP网络与光流法的卫星云图预测方法，其特征在于，所述步骤S42中三维卷积层1的卷积核大小为3×3×3，三维卷积层2,3,4的卷积核大小为2×3×3，三维卷积层4的步长为(1,1,1)，三维卷积层1,2,3的步长为(1,2,2)，填充均为(0,1,1)。
6.根据权利要求3所述的基于WGAN-GP网络与光流法的卫星云图预测方法，其特征在于，所述步骤S43中卷积层的卷积核大小为3×3，步长为2，填充为1。
7.根据权利要求3所述的基于WGAN-GP网络与光流法的卫星云图预测方法，其特征在于，所述步骤S44中时间判别器网络的三维卷积层1至三维卷积层3的卷积核大小3×3×3，三维卷积层4的卷积核大小为2×3×3，各层的步长均为(1,2,2)，填充为(0,1,1)。
8.根据权利要求1所述的基于WGAN-GP网络与光流法的卫星云图预测方法，其特征在于，所述步骤S5中包含以下步骤：
步骤S51：固定生成器参数，训练判别器，双判别器WGAN-GP网络判别器的损失函数为：
LD＝LS+LT+LGP
其中，LS为空间判别器损失，LT为时间判别器损失，LGP为梯度惩罚项，LD为判别器最终的损失，m为训练数据批次大小，G()为生成器的输出即卫星云图的预测，xf表示历史卫星云图序列，xr为目标卫星云图，sr表示真实卫星云图序列，即历史卫星云图加上目标卫星云图，sf表示预测卫星云图序列，xp为在生成云图与真实云图之间进行线性插值采样所获样本，sp为在生成云图序列与真实云图序列之间进行线性插值采样所获样本；
步骤S52：使用Adam优化算法更新判别器参数；
步骤S53：固定判别器参数，训练生成器，双判别器WGAN-GP网络生成器的损失函数为：
其中，LG为生成器最终的损失函数，m为训练数据批次大小，xf表示历史卫星云图，sf表示预测卫星云图序列；
步骤S54：使用Adam优化算法更新生成器参数。
9.根据权利要求8所述的基于WGAN-GP网络与光流法的卫星云图预测方法，其特征在于，所述步骤S52使用以下公式
mdω＝β1mdω+(1-β1)dω
vdω＝β2vdω+(1-β2)(dω)2
其中，ω为判别器参数，mdω为对参数梯度的一阶距估计，vdω为对参数梯度的二阶距估计，β1和β2为衰减速率，
和
分别为对mdω和vdω的偏差修正，α为学习率，ε为一个极小常数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210948863.6A CN115546257A (zh) | 2022-08-09 | 2022-08-09 | 基于wgan-gp网络与光流法的卫星云图预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210948863.6A CN115546257A (zh) | 2022-08-09 | 2022-08-09 | 基于wgan-gp网络与光流法的卫星云图预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115546257A true CN115546257A (zh) | 2022-12-30 |
Family
ID=84723648
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210948863.6A Pending CN115546257A (zh) | 2022-08-09 | 2022-08-09 | 基于wgan-gp网络与光流法的卫星云图预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115546257A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117220276A (zh) * | 2023-09-12 | 2023-12-12 | 河海大学 | 考虑时空特征相互影响的超短期光伏功率预测方法及系统 |
| CN117239744A (zh) * | 2023-11-15 | 2023-12-15 | 威派(武汉)高新技术有限公司 | 融合风云4号气象卫星数据的超短期光伏功率预测方法 |
-
2022
- 2022-08-09 CN CN202210948863.6A patent/CN115546257A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117220276A (zh) * | 2023-09-12 | 2023-12-12 | 河海大学 | 考虑时空特征相互影响的超短期光伏功率预测方法及系统 |
| CN117239744A (zh) * | 2023-11-15 | 2023-12-15 | 威派(武汉)高新技术有限公司 | 融合风云4号气象卫星数据的超短期光伏功率预测方法 |
| CN117239744B (zh) * | 2023-11-15 | 2024-02-02 | 威派(武汉)高新技术有限公司 | 融合风云4号气象卫星数据的超短期光伏功率预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109064507B (zh) | 一种用于视频预测的多运动流深度卷积网络模型方法 | |
| CN110363716B (zh) | 一种基于条件生成对抗网络复合降质图像高质量重建方法 | |
| CN115546257A (zh) | 基于wgan-gp网络与光流法的卫星云图预测方法 | |
| CN110111366B (zh) | 一种基于多级损失量的端到端光流估计方法 | |
| CN112365422A (zh) | 基于深层聚合网络的不规则缺失图像修复方法及其系统 | |
| CN112632311A (zh) | 一种基于深度学习的云层变化趋势预测方法 | |
| CN111931779A (zh) | 一种基于条件可预测参数的图像信息提取与生成方法 | |
| Xiong et al. | Contextual sa-attention convolutional LSTM for precipitation nowcasting: A spatiotemporal sequence forecasting view | |
| CN113935249A (zh) | 基于压缩和激励网络的上层海洋热结构反演方法 | |
| CN114821434A (zh) | 一种基于光流约束的时空增强视频异常检测方法 | |
| CN117391958B (zh) | 一种基于多路径聚合Transformer的卫星云图超分辨率重建方法 | |
| CN114973136A (zh) | 一种极端条件下场景图像识别方法 | |
| CN113989612A (zh) | 基于注意力及生成对抗网络的遥感影像目标检测方法 | |
| CN111368843B (zh) | 一种基于语义分割的冰上湖提取的方法 | |
| CN114663307B (zh) | 基于不确定性网络的集成图像去噪系统 | |
| CN116958192A (zh) | 一种基于扩散模型的事件相机图像重建方法 | |
| CN115439849B (zh) | 基于动态多策略gan网络的仪表数字识别方法及系统 | |
| CN116402719A (zh) | 一种基于潜在扩散模型的人盲脸图像恢复系统及其方法 | |
| CN116563103A (zh) | 一种基于自适应神经网络的遥感图像时空融合方法 | |
| CN115984132A (zh) | 一种基于cbaim差分循环神经网络的短临预报方法 | |
| CN114972024A (zh) | 一种基于图表示学习的图像超分辨率重建装置及方法 | |
| CN114758282A (zh) | 基于时序校正卷积的视频预测方法 | |
| Cai et al. | Short-term solar photovoltaic irradiation predicting using a nonlinear prediction method | |
| CN111932527A (zh) | 基于长短期记忆与生成对抗网络的卫星云图预测的方法 | |
| Lv et al. | SAIN: Similarity-aware video frame interpolation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |