CN111784583A - 一种用于降水图的循环随机超分辨率生成对抗网络 - Google Patents

一种用于降水图的循环随机超分辨率生成对抗网络 Download PDF

Info

Publication number
CN111784583A
CN111784583A CN202010671163.8A CN202010671163A CN111784583A CN 111784583 A CN111784583 A CN 111784583A CN 202010671163 A CN202010671163 A CN 202010671163A CN 111784583 A CN111784583 A CN 111784583A
Authority
CN
China
Prior art keywords
network
resolution
output
generator
discriminator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010671163.8A
Other languages
English (en)
Inventor
赵慧岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeast Petroleum University
Original Assignee
Northeast Petroleum University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeast Petroleum University filed Critical Northeast Petroleum University
Priority to CN202010671163.8A priority Critical patent/CN111784583A/zh
Publication of CN111784583A publication Critical patent/CN111784583A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于降水图的循环随机超分辨率生成对抗网络，包括生成器网络G和鉴别器网络D，生成器网络G和鉴别器网络D均为深度的卷积神经网络，使用有条件生成对抗网络，其中生成器网络G和鉴别器网络D都被赋予了附加条件，在超分辨率的情况下，条件即是低分辨率图像，生成器网络G经过训练学习并生成逼真的人工样本，对鉴别器网络D进行训练以区分训练数据集中的真实图像和生成器网络G生成的人工图像。本发明设计的网络可以为同一区域的低分辨率降水图像序列，生成带有时间演化的高分辨率降水图像序列，鉴别器网络经过训练可以确定其输入是否是训练数据集中的示例，生成器网络学习并生成逼真的人工样本，取代双三次下采样退化过程。

Description

一种用于降水图的循环随机超分辨率生成对抗网络
技术领域
本发明涉及气象图分析技术领域，具体为一种用于降水图的循环随机超分辨率生成对抗网络。
背景技术
在气象科学中，气象图缩小比例是与超分辨率分析紧密相关的概念，特别是用于降水图。降水在1km或更小的空间范围内会急剧变化，而全球气象模型的分辨率通常为几或几十公里，缩小比例通过产生更高分辨率的降水图来弥合这一差距，以评估极端降雨等现象的影响。基于神经网络的超分辨率分析方法，尤其是基于生成对抗网络图像超分辨率分析方法已经开始出现，例如X.Wang,等提出的ESRGAN方法，当前的超分辨率分析方法获取训练所用的低分辨率图像时，一般采用确定的双三次下采样方法，这样的退化模型不能很好地归纳气象图的自然图像特征。尤其在降水图中不同缩放比例的高/低分辨率图像间的降质条件是不确定的，双三次下采样退化过程与这种不确定自然降质条件不匹配，导致超分辨率分析的性能受限。当前所提出的基于生成对抗网络图像超分辨率分析方法都是面向单图像处理，未考虑降水图的时间演化过程，为此我们提出一种用于降水图的循环随机超分辨率生成对抗网络用于解决上述问题。
发明内容
本发明的目的在于提供一种用于降水图的循环随机超分辨率生成对抗网络，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种用于降水图的循环随机超分辨率生成对抗网络，包括生成器网络G和鉴别器网络D，所述生成器网络G和鉴别器网络D均为深度的卷积神经网络，使用有条件生成对抗网络，其中生成器网络G和鉴别器网络D都被赋予了附加条件，在超分辨率的情况下，条件即是低分辨率图像，生成器网络G经过训练学习并生成逼真的人工样本，对鉴别器网络D进行训练以区分训练数据集中的真实图像和生成器网络G生成的人工图像。
优选的一种实施案例，所述生成器网络G以低分辨率图像序列为输入，用尺寸为Nt×h×w×Nv的4维向量表示，其中Nt是帧数，h和w分别为图像的高度和宽度像素数，Nv为变量数，生成器网络G中使用L2的权重正则化，而且所有非递归层在每个帧均使用共享权重。
优选的一种实施案例，所述生成器网络G体系结构如下：
1)编码：使用卷积层将低分辨率输入矩阵映射到较大规模数量的通道，并针对每一帧数据使用不同的噪声实例将其与噪声输入串行级联，然后，通过残差模块组来处理此数据，并编码为深度表达形式；
2)初始化：仅使用输入低分辨率图像序列的第一个帧数据，使用卷积层将其映射到较大规模数量的通道，并与噪声输入串行级联，然后，通过残差模块组来处理此数据，得出循环层的初始状态；
3)解码/上采样：使用卷积门控循环单元层对深度表达形式的编码输出和循环层的初始状态数据进行建模，卷积门控循环单元层的输出，通过一系列残差模块和双线性插值模块进行升采样处理；
4)输出：最后使用一个卷积层将隐藏层的输出映射到尺寸为Nt×Kh×Kw×Nv的高分辨率矩阵，并使用S型激活函数将最终输出限制在0和1之间。
优选的一种实施案例，所述残差模块组由多个残差模块组成，所述双线性插值模块的数量为四个，从而将分辨率提高了K＝16倍。
优选的一种实施案例，所述鉴别器网络D以一对高/低分辨率序列为输入，鉴别器网络的任务是确定它们是否是源自训练数据集的一对数据，体系结构如下：
1)高分辨率序列编码：使用一系列跨步卷积模块对高分辨率输入进行下采样，然后通过残差模块将其编码为深度表达形式，且每个帧使用相同的权重；
2)低分辨率序列编码：使用一系列残差模块将其编码为深度表达形式，不执行下采样，输出具有与高分辨率序列编码输出具有相同的尺寸；
3)残差模块组及循环单元层：高分辨率序列编码的输出一方面和低分辨率序列编码的输出串行级联进入残差模块组及循环单元层，一方面直接进入残差模块组及循环单元层，两方面的输出分别进入池化，取每个特征图的平均值；
4)将分别池化后的两方面数据串行级联，并通过最后的全连接层，得到真/假鉴别的输出向量。
优选的一种实施案例，所述生成器网络G中的编码和初始化网络部分的激活函数使用常规的线性整流函数单元激活，所述生成器网络G和鉴别器网络D的其他激活函数均使用具有负斜率0.2的泄漏整流线性单元激活。
优选的一种实施案例，所述有条件生成对抗网络的优化目标为：
Figure BDA0002582351450000031
Figure BDA0002582351450000032
其中x代表真实样本(即高分辨率图像序列)，y代表条件(即低分辨率图像序列)，z是噪声。将生成器网络G损失函数表示为LG，将鉴别器网络的损失函数表示为LD，将相应的可训练权重分别表示为θD和θG。
优选的一种实施案例，训练具有梯度惩罚的生成对抗网络，梯度惩罚用于约束鉴别器网络D输出，否则该鉴别器网络输出是无界的，使用γ＝10的梯度惩罚权重，鉴别器网络D和生成器网络G的有条件生成对抗网络损失函数表示为：
Figure BDA0002582351450000041
LG(x,y,z；θG)＝D(G(y,z))\*MERGEFORMAT (4)
其中用于计算梯度惩罚项的样本
Figure BDA0002582351450000042
是实际样本与生成的样本之间的随机加权平均值：
Figure BDA0002582351450000043
ε是从0到1之间的均匀分布的随机取值，具有梯度惩罚的生成对抗网络的优化目标，使生成的样本的输出尽可能大而实际样本的输出尽可能小。
优选的一种实施案例，作为优化目标，鉴别器网络D和生成器网络G必须经过对抗训练，方法如下：使用5个子数据集交替训练鉴别器网络D，用1个子数据集训练生成器网络G，子数据集的训练规模选为16，使用Adam优化器进行优化，将生成器网络G和鉴别器网络D的学习率设定为10-4，Adam优化器收敛到合理的图像质量，然后在350000个训练序列的训练即将结束时，切换到学习率为10-5的随机梯度下降模式。
与现有技术相比，本发明的有益效果是：
1、本发明设计的网络可以为同一区域的低分辨率降水图像序列，生成带有时间演化的高分辨率降水图像序列。
2、生成器网络不是独立处理每个图像，而是使用循环层，以与先前状态和新接收到的数据一致的方式更新高分辨率的重构状态，使用的生成器网络是完全卷积的，这可以利用可变大小的低分辨率输入序列，并为任意长序列产生一致的时间演化；
3、鉴别器网络经过训练可以确定其输入是否是训练数据集中的示例，而生成器网络经过训练可以生成鉴别器网络归类为真实的人工样本，即生成器网络学习并生成逼真的人工样本，取代双三次下采样退化过程。
附图说明
图1为本发明本发明所述循环随机超分辨率生成对抗网络所包含的生成器网络G的结构示意图；
图2是本发明所述残差模块的结构示意图；
图3是本发明所述循环随机超分辨率生成对抗网络所包含的鉴别器网络D的结构示意图；
图4是本发明所述循环随机超分辨率生成对抗网络基于MCH-RZC数据集的重建时间序列的示例；
图5是本发明所述循环随机超分辨率生成对抗网络的RMSE，MS-SSIM，LSD和CRPS等指标的测试结果；
图6是本发明所述循环随机超分辨率生成对抗网络的KS、DKL和OF等指标的测试结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-6，本发明提供一种技术方案：一种用于降水图的循环随机超分辨率生成对抗网络，包括生成器网络G和鉴别器网络D，生成器网络G和鉴别器网络D均为深度的卷积神经网络，使用有条件生成对抗网络，其中生成器网络G和鉴别器网络D都被赋予了附加条件，在超分辨率的情况下，条件即是低分辨率图像，生成器网络G经过训练学习并生成逼真的人工样本，对鉴别器网络D进行训练以区分训练数据集中的真实图像和生成器网络G生成的人工图像。
生成器网络G以低分辨率图像序列为输入，用尺寸为Nt×h×w×Nv的4维向量表示，其中Nt是帧数，h和w分别为图像的高度和宽度像素数，Nv为变量数，生成器网络G中使用L2的权重正则化，而且所有非递归层在每个帧均使用共享权重。
生成器网络G体系结构如图1所示，具体如下：
1)编码：使用卷积层将低分辨率输入矩阵映射到较大规模数量的通道，并针对每一帧数据使用不同的噪声实例将其与噪声输入串行级联，然后，通过残差模块组来处理此数据，残差模块组由多个残差模块组成，每个残差模块的结构如图2所示，并编码为深度表达形式；
2)初始化：仅使用输入低分辨率图像序列的第一个帧数据，使用卷积层将其映射到较大规模数量的通道，并与噪声输入串行级联，然后，通过残差模块组来处理此数据，得出循环层的初始状态；
3)解码/上采样：使用卷积门控循环单元层对深度表达形式的编码输出和循环层的初始状态数据进行建模，卷积门控循环单元层的输出，通过一系列残差模块和双线性插值模块进行升采样处理，双线性插值模块的数量为四个，从而将分辨率提高了K＝16倍；
4)输出：最后使用一个卷积层将隐藏层的输出映射到尺寸为Nt×Kh×Kw×Nv的高分辨率矩阵，并使用S型激活函数将最终输出限制在0和1之间。
鉴别器网络D以一对高/低分辨率序列为输入，鉴别器网络的任务是确定它们是否是源自训练数据集的一对数据，体系结构如图2，具体如下：
1)高分辨率序列编码：使用一系列跨步卷积模块对高分辨率输入进行下采样，然后通过残差模块将其编码为深度表达形式，且每个帧使用相同的权重；
2)低分辨率序列编码：使用一系列残差模块将其编码为深度表达形式，不执行下采样，输出具有与高分辨率序列编码输出具有相同的尺寸；
3)残差模块组及循环单元层：高分辨率序列编码的输出一方面和低分辨率序列编码的输出串行级联进入残差模块组及循环单元层，一方面直接进入残差模块组及循环单元层，两方面的输出分别进入池化，取每个特征图的平均值；
4)将分别池化后的两方面数据串行级联，并通过最后的全连接层，得到真/假鉴别的输出向量。
生成器网络G中的编码和初始化网络部分的激活函数使用常规的线性整流函数单元激活，生成器网络G和鉴别器网络D的其他激活函数均使用具有负斜率0.2的泄漏整流线性单元激活。
有条件生成对抗网络的优化目标为：
Figure BDA0002582351450000071
Figure BDA0002582351450000072
其中x代表真实样本(即高分辨率图像序列)，y代表条件(即低分辨率图像序列)，z是噪声。将生成器网络G损失函数表示为LG，将鉴别器网络的损失函数表示为LD，将相应的可训练权重分别表示为θD和θG。
训练具有梯度惩罚的生成对抗网络，梯度惩罚用于约束鉴别器网络D输出，否则该鉴别器网络输出是无界的，使用γ＝10的梯度惩罚权重，鉴别器网络D和生成器网络G的有条件生成对抗网络损失函数表示为：
Figure BDA0002582351450000073
LG(x,y,z；θG)＝D(G(y,z))\*MERGEFORMAT (4)
其中用于计算梯度惩罚项的样本
Figure BDA0002582351450000081
是实际样本与生成的样本之间的随机加权平均值：
Figure BDA0002582351450000082
ε是从0到1之间的均匀分布的随机取值，具有梯度惩罚的生成对抗网络的优化目标，使生成的样本的输出尽可能大而实际样本的输出尽可能小。
作为优化目标，鉴别器网络D和生成器网络G必须经过对抗训练，方法如下：使用5个子数据集交替训练鉴别器网络D，用1个子数据集训练生成器网络G，子数据集的训练规模选为16，使用Adam优化器进行优化，将生成器网络G和鉴别器网络D的学习率设定为10-4，Adam优化器收敛到合理的图像质量，然后在350000个训练序列的训练即将结束时，切换到学习率为10-5的随机梯度下降模式。
综上，鉴别器网络经过训练可以确定其输入是否是训练数据集中的示例，而生成器网络经过训练可以生成鉴别器网络归类为真实的人工样本，即生成器网络学习并生成逼真的人工样本，取代双三次下采样退化过程。在本发明中，我们使用有条件生成对抗网络，其中生成器网络G和鉴别器网络D都被赋予了附加条件。在超分辨率的情况下，条件即是低分辨率图像，对鉴别器网络进行训练以区分训练数据集中的真实图像和生成器网络生成的人工图像。
生成器网络G和鉴别器网络D都是深度的卷积神经网络，并广泛使用残差模块。残差模块通过两个激活函数和卷积层处理其输入，在处理结束时将输入添加到输出中，在卷积层中权重接近零的残差模块可以充当身份映射。网络中残差模块的数量通常很灵活，因为网络不使用的块只是简单地将其输入通过，网络中残差模块的数量是通过迭代过程确定的，但是由于上述原因，它们的确切数量并不重要，即便会增加计算成本，但如果有较多的残差模块也不会对性能有害，网络还采用了卷积门控循环单元(ConvGRU)充当循环层，其为门控循环单元(GRU)的变体。卷积门控循环单元用二维卷积代替了门控循环单元中的学习仿射变换。与处理给定帧长的图像的常规卷积操作(包括残差模块)不同，卷积门控循环单元层从帧与帧的层级上学习适当的更新规则，从而使生成器网络可以为时间演变序列建模，并允许鉴别者评估图像序列而非单个图像的合理性。
为了验证本发明所提出的循环随机超分辨率生成对抗网络，从MeteoSwiss天气雷达数据中提取的样本做为数据集(以下称为“MCH-RZC”)。数据集包含180000个图像序列，每个序列由8个128×128像素大小的图像组成，每个像素对应1km的物理大小。后续帧之间的时间间隔为10分钟。选择每个序列中的图像大小和图像数量作为训练数据量和可用计算资源之间的折衷。像素值以mmh-1为单位表示降水率R；这是由雷达反射率，质量控制和各种偏差校正所得出的。我们通过取R的对数对MCH-RZC数据进行预处理，由于已知R的对数分布为R>0，因此这导致了正态分布，从而使学习变得更加容易。通过在图像时间序列上使用随机旋转(分别为0°，90°，180°，或270°)和随机镜像来增加样本多样性。对生成器网络进行了400000个序列的训练，对应于320万个单独的图像，对鉴别器网络进行了200万个序列的训练(1000万个图像)。使用NviDia P100 GPU进行训练，每个训练应用程序大约需要48个小时。
在训练和评估期间提供给生成对抗网络的图像是变量x的变换(其中x对应的是log(R))。尽管变量的分布通过对数转换变得更平滑，但它需要在未定义对数的空区域(非降水或非多云)中进行特殊处理。我们通过以下变换来解决此问题：将空像素映射到0，将可检测范围[xmin,xmax]移位并缩放为[θ,1]，从而将整个数据集变换为[0,1]，阈值θ是将非降水值与降水值分开的小的正值。变换是可逆的，因此，在对生成对抗网络生成的序列进行后处理时，我们将值小于θ的每个像素都视为空，而将值大于θ的像素映射回x，这里我们使用θ≈0.17。为了抑制有时会在阈值引起的尖锐边缘出现的伪影，在将图像馈送到网络之前用高斯滤波器对图像进行平滑处理。
在图4中显示了MCH-RZC数据集的生成对抗网络重建降水图时间序列的示例。此示例是使用361600个序列训练的生成器网络生成的，这些生成器网络参数也是根据前文所示方法进行选择的，从图4可以较直观的看出本发明提出的循环随机超分辨率生成对抗网络可以生成和真实测试图像序列非常接近的结果。
为了评估循环随机超分辨率生成对抗网络生成的降水图时间序列的量化指标，我们用3200个发生器训练序列的时间帧计算了RMSE，MS-SSIM，LSD和CRPS指标。这些指标的定义和处理方法如下：
首先是基本的图像质量指标，均方根误差
Figure BDA0002582351450000101
其中xi是实际图像的各个像素值，xgen,i＝G(y,z)i是生成的图像的相应像素，N是像素数。
为了评估生成的图像是否正确地再现了真实图像的空间结构，计算多尺度结构相似性指数(MS-SSIM)，以及给出差异的对数光谱距离(LSD)的功率谱：
Figure BDA0002582351450000102
其中Preal和Pgen分别是真实图像和生成图像的功率谱。
还可以使用一种指标来评估图像质量，该指标利用了整个预测集合，连续分级概率评分(CRPS)。对于给定的像素：
Figure BDA0002582351450000103
所有上述指标都是针对转换为[0,1]范围的数据计算的。
图5给出了RMSE，MS-SSIM，LSD和CRPS指标的测试结果，由图可知各项参数的质量指数在5000个生成器网络训练序列后，迅速收敛并达到平衡。
为了评估生成对抗网络是否产生正确数量的可变性，建议从整体天气预报中采用秩统计方法，以获得有条件生成对抗网络产生的序列可变性的启发式度量。对于每个样本，我们只有一个“真实数据”(真正的高分辨率序列)和Np个预测的集合。对于图像中的每个像素，我们可以将所有Np个预测中的实际值的归一化等级定义为r＝Ns/Np，其中Ns是整体中该像素的值小于像素的值的预测数。显然0≤r≤1，并且如果样本的分布与预测的分布相同，则在对许多像素和许多序列求平均时，r应该在该范围内均匀分布。因此，可以将r分布的均匀性用作生成图像的正确变异性的评估指标。r的分布可以通过检查r的直方图来直观地评估，还可以使用秩分布Pr和r的可能值之间的分布距离度量来量化。在这里，检测了几个这样的指标。首先，将两组概率P和Q之间的KolmoGorov-Smirnov(KS)统计量定义为：KS＝sup|C-D|\*MERGEFORMAT(8)，其中C和D分别是P和Q的累积分布函数(CDF)。
其次，关于Q的P的Kullback-Leibler散度(DKL)为
Figure BDA0002582351450000111
其中ri是等级可以达到的不同值。与KS不同，DKL通常在P和Q之间不对称。通常，P表示“理想”分布，而Q表示近似值，因此在这项工作中，对P使用均匀分布，对Q使用观察到的秩分布。计算离群分数(OF)，当以百分比为单位给出时，也称为离群百分比，其定义为位于预测集合之外的真实样本的占比。
图6给出了训练期间循环随机超分辨率生成对抗网络的变异性指标随时间的演变情况，并使用验证数据集对每个验证样本使用100个集合成员进行了评估。由图可知在使用优化器进行训练的过程中，这些指标的分级指数起初迅速提高，15000个生成器网络训练序列后，迅速收敛并达到平衡。
综上所述，本发明设计的网络可以为同一区域的低分辨率降水图像序列，生成带有时间演化的高分辨率降水图像序列，生成器网络不是独立处理每个图像，而是使用循环层，以与先前状态和新接收到的数据一致的方式更新高分辨率的重构状态，使用的生成器网络是完全卷积的，这可以利用可变大小的低分辨率输入序列，并为任意长序列产生一致的时间演化。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种用于降水图的循环随机超分辨率生成对抗网络，包括生成器网络G和鉴别器网络D，其特征在于：所述生成器网络G和鉴别器网络D均为深度的卷积神经网络，使用有条件生成对抗网络，其中生成器网络G和鉴别器网络D都被赋予了附加条件，在超分辨率的情况下，条件即是低分辨率图像，生成器网络G经过训练学习并生成逼真的人工样本，对鉴别器网络D进行训练以区分训练数据集中的真实图像和生成器网络G生成的人工图像。
2.根据权利要求1所述的一种用于降水图的循环随机超分辨率生成对抗网络，其特征在于：所述生成器网络G以低分辨率图像序列为输入，用尺寸为Nt×h×w×Nv的4维向量表示，其中Nt是帧数，h和w分别为图像的高度和宽度像素数，Nv为变量数，生成器网络G中使用L2的权重正则化，而且所有非递归层在每个帧均使用共享权重。
3.根据权利要求2所述的一种用于降水图的循环随机超分辨率生成对抗网络，其特征在于：所述生成器网络G体系结构如下：
1)编码：使用卷积层将低分辨率输入矩阵映射到较大规模数量的通道，并针对每一帧数据使用不同的噪声实例将其与噪声输入串行级联，然后，通过残差模块组来处理此数据，并编码为深度表达形式；
2)初始化：仅使用输入低分辨率图像序列的第一个帧数据，使用卷积层将其映射到较大规模数量的通道，并与噪声输入串行级联，然后，通过残差模块组来处理此数据，得出循环层的初始状态；
3)解码/上采样：使用卷积门控循环单元层对深度表达形式的编码输出和循环层的初始状态数据进行建模，卷积门控循环单元层的输出，通过一系列残差模块和双线性插值模块进行升采样处理；
4)输出：最后使用一个卷积层将隐藏层的输出映射到尺寸为Nt×Kh×Kw×Nv的高分辨率矩阵，并使用S型激活函数将最终输出限制在0和1之间。
4.根据权利要求3所述的一种用于降水图的循环随机超分辨率生成对抗网络，其特征在于：所述残差模块组由多个残差模块组成，所述双线性插值模块的数量为四个，从而将分辨率提高了K＝16倍。
5.根据权利要求1所述的一种用于降水图的循环随机超分辨率生成对抗网络，其特征在于：所述鉴别器网络D以一对高/低分辨率序列为输入，鉴别器网络的任务是确定它们是否是源自训练数据集的一对数据，体系结构如下：
1)高分辨率序列编码：使用一系列跨步卷积模块对高分辨率输入进行下采样，然后通过残差模块将其编码为深度表达形式，且每个帧使用相同的权重；
2)低分辨率序列编码：使用一系列残差模块将其编码为深度表达形式，不执行下采样，输出具有与高分辨率序列编码输出具有相同的尺寸；
3)残差模块组及循环单元层：高分辨率序列编码的输出一方面和低分辨率序列编码的输出串行级联进入残差模块组及循环单元层，一方面直接进入残差模块组及循环单元层，两方面的输出分别进入池化，取每个特征图的平均值；
4)将分别池化后的两方面数据串行级联，并通过最后的全连接层，得到真/假鉴别的输出向量。
6.根据权利要求2至5所述的一种用于降水图的循环随机超分辨率生成对抗网络，其特征在于：所述生成器网络G中的编码和初始化网络部分的激活函数使用常规的线性整流函数单元激活，所述生成器网络G和鉴别器网络D的其他激活函数均使用具有负斜率0.2的泄漏整流线性单元激活。
7.根据权利要求1所述的一种用于降水图的循环随机超分辨率生成对抗网络，其特征在于：所述有条件生成对抗网络的优化目标为：
Figure FDA0002582351440000031
Figure FDA0002582351440000032
其中x代表真实样本(即高分辨率图像序列)，y代表条件(即低分辨率图像序列)，z是噪声。将生成器网络G损失函数表示为LG，将鉴别器网络的损失函数表示为LD，将相应的可训练权重分别表示为θD和θG。
8.根据权利要求7所述的一种用于降水图的循环随机超分辨率生成对抗网络，其特征在于：训练具有梯度惩罚的生成对抗网络，梯度惩罚用于约束鉴别器网络D输出，否则该鉴别器网络输出是无界的，使用γ＝10的梯度惩罚权重，鉴别器网络D和生成器网络G的有条件生成对抗网络损失函数表示为：
Figure FDA0002582351440000033
LG(x,y,z；θG)＝D(G(y,z))\*MERGEFORMAT (4)
其中用于计算梯度惩罚项的样本
Figure FDA0002582351440000034
是实际样本与生成的样本之间的随机加权平均值：
Figure FDA0002582351440000035
ε是从0到1之间的均匀分布的随机取值，具有梯度惩罚的生成对抗网络的优化目标，使生成的样本的输出尽可能大而实际样本的输出尽可能小。
9.根据权利要求7所述的一种用于降水图的循环随机超分辨率生成对抗网络，其特征在于：作为优化目标，鉴别器网络D和生成器网络G必须经过对抗训练，方法如下：使用5个子数据集交替训练鉴别器网络D，用1个子数据集训练生成器网络G，子数据集的训练规模选为16，使用Adam优化器进行优化，将生成器网络G和鉴别器网络D的学习率设定为10-4，Adam优化器收敛到合理的图像质量，然后在350000个训练序列的训练即将结束时，切换到学习率为10-5的随机梯度下降模式。
CN202010671163.8A 2020-07-13 2020-07-13 一种用于降水图的循环随机超分辨率生成对抗网络 Withdrawn CN111784583A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010671163.8A CN111784583A (zh) 2020-07-13 2020-07-13 一种用于降水图的循环随机超分辨率生成对抗网络

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010671163.8A CN111784583A (zh) 2020-07-13 2020-07-13 一种用于降水图的循环随机超分辨率生成对抗网络

Publications (1)

Publication Number Publication Date
CN111784583A true CN111784583A (zh) 2020-10-16

Family

ID=72767107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010671163.8A Withdrawn CN111784583A (zh) 2020-07-13 2020-07-13 一种用于降水图的循环随机超分辨率生成对抗网络

Country Status (1)

Country Link
CN (1) CN111784583A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269356A (zh) * 2021-05-18 2021-08-17 中国人民解放军火箭军工程大学 一种面向缺失数据的设备剩余寿命预测方法及系统
CN113487495A (zh) * 2021-06-02 2021-10-08 湖北地信科技集团股份有限公司 一种基于深度学习的多尺度高分影像抗噪生成方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110570353A (zh) * 2019-08-27 2019-12-13 天津大学 密集连接生成对抗网络单幅图像超分辨率重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110570353A (zh) * 2019-08-27 2019-12-13 天津大学 密集连接生成对抗网络单幅图像超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JUSSI LEINONEN, DANIELE NERINI AND ALEXIS BERNE: "Time-Evolving Atmospheric Fields with a", 《IEEE TRANSACTIONS IN GEOSCIENCE AND REMOTE SENSING》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269356A (zh) * 2021-05-18 2021-08-17 中国人民解放军火箭军工程大学 一种面向缺失数据的设备剩余寿命预测方法及系统
CN113269356B (zh) * 2021-05-18 2024-03-15 中国人民解放军火箭军工程大学 一种面向缺失数据的设备剩余寿命预测方法及系统
CN113487495A (zh) * 2021-06-02 2021-10-08 湖北地信科技集团股份有限公司 一种基于深度学习的多尺度高分影像抗噪生成方法
CN113487495B (zh) * 2021-06-02 2022-04-29 湖北地信科技集团股份有限公司 一种基于深度学习的多尺度高分影像抗噪生成方法

Similar Documents

Publication Publication Date Title
Kumar et al. Videoflow: A conditional flow-based model for stochastic video generation
CN113658051B (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
CN110363716B (zh) 一种基于条件生成对抗网络复合降质图像高质量重建方法
CN113178255B (zh) 一种基于gan的医学诊断模型对抗攻击方法
CN106845471A (zh) 一种基于生成对抗网络的视觉显著性预测方法
Dodge et al. Quality resilient deep neural networks
CN111507993A (zh) 一种基于生成对抗网络的图像分割方法、装置及存储介质
CN110475118A (zh) 一种基于注意力机制深度循环网络的旧电影闪烁修复方法
CN112365422B (zh) 基于深层聚合网络的不规则缺失图像修复方法及其系统
CN111080531B (zh) 一种水下鱼类图像的超分辨率重建方法、系统及装置
CN112115967B (zh) 一种基于数据保护的图像增量学习方法
Vu et al. Perception-enhanced image super-resolution via relativistic generative adversarial networks
Zhao et al. ADRN: Attention-based deep residual network for hyperspectral image denoising
CN111784583A (zh) 一种用于降水图的循环随机超分辨率生成对抗网络
CN111898482A (zh) 基于渐进型生成对抗网络的人脸预测方法
CN115909002A (zh) 一种基于对比学习的图像翻译方法
CN116844041A (zh) 一种基于双向卷积时间自注意力机制的耕地提取方法
CN116563682A (zh) 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法
Ma et al. Forgetting to remember: A scalable incremental learning framework for cross-task blind image quality assessment
Zhang et al. Embarrassingly simple binarization for deep single imagery super-resolution networks
CN115439849B (zh) 基于动态多策略gan网络的仪表数字识别方法及系统
Liu et al. Evolving deep convolutional neural networks for hyperspectral image denoising
CN114862699B (zh) 基于生成对抗网络的人脸修复方法、装置及存储介质
Hammouch et al. A two-stage deep convolutional generative adversarial network-based data augmentation scheme for agriculture image regression tasks
CN117634930B (zh) 一种台风云图预测方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201016