CN112734648A - 基于深度学习超分辨率网络的降水时间降尺度预测方法 - Google Patents

基于深度学习超分辨率网络的降水时间降尺度预测方法 Download PDF

Info

Publication number
CN112734648A
CN112734648A CN202110077737.3A CN202110077737A CN112734648A CN 112734648 A CN112734648 A CN 112734648A CN 202110077737 A CN202110077737 A CN 202110077737A CN 112734648 A CN112734648 A CN 112734648A
Authority
CN
China
Prior art keywords
data
precipitation
resolution
time
dimension
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110077737.3A
Other languages
English (en)
Inventor
周康
丁立新
程建新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202110077737.3A priority Critical patent/CN112734648A/zh
Publication of CN112734648A publication Critical patent/CN112734648A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习超分辨率网络的降水时间降尺度预测方法，首先对原始气象数据经过多次维度变换，生成可供降尺度模型训练的输入图片。然后使用基于深度学习的超分辨率算法得到时间降尺度后的高分辨率实况气象数据。最后将时间降尺度后的气象预测数据再次通过预设维度变换，生成最终多时间刻度的降水格点预警数据。本发明采用了多种降水预测领域内的评测指标，来评定时间降尺度算法的性能表现。同时，本发明引入了基于对抗神经网络的超分模型，提升了降尺度后预测图片的质量以及降水预测的准确度。

Description

基于深度学习超分辨率网络的降水时间降尺度预测方法
技术领域
本发明属于深度学习图像增强技术领域，涉及一种在时间维度上的降水数据降尺度预测方法，具体涉及一种基于深度学习超分辨率网络的降水时间降尺度预测方法。
背景技术
随着社会的不断发展进步，人们对降水预报的模式及精度提出了越来越多的要求。常见的降水预报模式是在空间维度上的降水降尺度预测。所谓降尺度，就是把大尺度、低分辨率的气候模式输出的信息转化为小尺度、高分辨率的区域地面气候变化信息的一种方法。降尺度技术的原理和图像超分辨率算法非常类似，图像超分辨率技术是将一张低分辨率的图像变为高分辨率，通过估算网格密集化后，补充缺失的像素值，训练好的模型参数可以预测更多降水分布的样本观测数据。空间降尺度指的是将低分辨率的降水数据在空间范围内降尺度为高分辨率的降水数据，而降水在时间维度上的降尺度预测也提出了越来越多的要求。
降水本身是一个时间关联性很强的行为，相邻时间点之间降雨值大小关系密切，具有紧密的联系。同时，现有的很多降水时间降尺度预报模式，其降尺度预报比例较低，达不到高时间分辨率要求。
目前国内外针对时间序列数据的降尺度预测方法一般是直接借鉴降水空间降尺度的方法。如果把原始降水数据看作是一张图片，数据维度为如[time,lat,lon]形式的三维格式，每个点的降水值看做是对应的像素值。空间降尺度就是要扩充第二维和第三维经纬度坐标值的像素点，类比到时间降尺度，系统就是要扩充第一维时间刻度的像素点。另外，现有的降水空间降尺度方法都是基于插值算法以及一些常见的深度学习超分辨率算法。其中，插值算法如最近元法、双线性内插法和三次内插法等，是针对图像上每个像素点的值是用其周围几个像素点进行计算逼近得到。但是，基于此方法降尺度生成的高分辨率图像过于平滑，不能很好地保留原始图像的细节。
为了解决以上缺点，Thomas等人创新性的将深度学习超分辨率技术应用到了时间降尺度算法中，主要是采用了SRCNN超分辨率模型作为降尺度算法。SRCNN模型将深度学习与传统稀疏编码之间的关系作为依据，将3层网络划分为图像块提取、非线性映射以及最终的图像重建结构。其中，图像块提取结构包含了3层CNN卷积层，图像重建结构是只包含了1层反卷积层。
近年来，研究者们针对SRCNN算法做了大量的改进，主体就是使用更高效的图像超分辨率模型来替代简单的SRCNN网络，如表1所示。ESPCN模型是将SRCNN网络图像特征提取结构中的3层CNN卷积层替换成了4层CNN卷积层。而VDSR模型则是继续在特征提取结构中的CNN卷积层的深度进行优化，将3层CNN卷积层增加至18层卷积层，实现了比SRCNN更深的网络。LapSRN模型是在图像重建结构上进行优化，借鉴了拉普拉斯金字塔结构，可以实现逐级上采样操作，降低了网络参数训练的计算量，从而加快了网络训练的收敛速度。RDN模型在特征提取结构中引入了残差学习机制，其中的主要结构rdb框架本质上就是残差网络结构与密集网络结构的结合，可以有效的缓解深度神经网络中由于层数过深导致的退化问题。
表1多种深度学习超分辨率模型对比
Model Upsampling Operation Layers Residual learning Reconstruction Loss function
Bilinear Bilinear Interpolation 1 No Direct L2
SRCNN Sub-Pixel Convolution 4 No Direct L2
ESPCN Sub-Pixel Convolution 5 No Direct L2
VDSR Sub-Pixel Convolution 22 Local Residual learning Direct L2
LapSRN Transposed Convolution 27 Local Residual learning Progressive Charbonnier
以上这些基于CNN卷积神经网络的模型采用的损失函数是均方根误差函数(MSE)，通过比较多组实验结果发现：采用MSE损失函数来训练模型，难以修复原始图片中局部高纹理区域的特征细节。
发明内容
有鉴于此，本申请发明的目的在于提供一种在时间维度上的降水数据降尺度预测方法，用以解决或者至少改善现有技术中未充分挖掘降水数据时间关联性特征和降尺度生成高分辨率图像未能修复原始图像内高频细节的问题。
本发明所采用的技术方案是：一种基于深度学习超分辨率网络的降水时间降尺度预测方法，其特征在于，包括以下步骤：
步骤1：从原始气象文件中获取标准降水序列数据；其中，降水数据的数据格式为[time,lat,lon]形式的三维格式，第一维数据time表示时间，第二维数据lat表示经度坐标点，第三维数据lon表示纬度坐标点；降水图片上的每个像素点是指：当时time时刻下，每个lat*lon经纬度坐标点的降水值大小；
步骤2：对原始降水序列数据进行逐N小时累计处理，生成24时次的高分辨率降水序列数据，作为降尺度输出数据的标准时间刻度；其中，N为预设值；
步骤3：基于不同时间降尺度的比例，对高分辨率降水数据进行下采样操作，生成对应时间刻度的低分辨率降水序列数据；
步骤4：分别对低分辨率降水序列数据和高分辨率降水序列数据进行预设维度变换，只考虑降水数据中时间维度的影响，生成可供深度学习超分辨率网络模型训练的输入特征数据和对应的标签数据，所述标签数据为真实数据；输入特征数据和对应的标签数据分为训练集、验证集和测试集，所述训练集、验证集和测试集内均包含着这两种数据；
步骤5：将输入特征数据和对应的标签数据同时送入深度学习超分辨率网络模型中进行训练，获得若干次训练后性能最好的模型参数；
所述深度学习超分辨率网络模型，分别训练一个Generator生成器和Discriminator鉴别器网络，使得Generator生成器生成的高分辨率图片和真实高分辨率图片难以被Discriminator鉴别器区分开来；其中，深度学习超分辨率网络模型采用感知损失函数，感知损失函数包含内容损失和对抗损失，内容损失是计算Generator生成器的损失，对抗损失是计算Discriminator鉴别器的损失；
所述Generator生成器具有2个5×5Conv层和5个连续的残差密集块RRDB，残差密集块RRDB作为Generator生成器的基本帧结构，包含了2个密集块，每个密集块包含4个3×3的Conv卷积层，1个1×1的Conv卷积层和4个ReLU激活函数；
所述Discriminator鉴别器，具有1个5×5Conv层、5个连续的Disblock块、2个Dense层；每个Disblock块包含1个3×3的Conv卷积层，1个ReLU激活函数和1个BN归一层；
步骤6：基于训练好的深度学习超分辨率网络模型，将低时间分辨率的降水图片生成对应比例的高分辨率降水图片；
步骤7：基于预设的维度变换方法，将模型生成的高分辨率降水图片还原成标准的24时次的降水序列数据。
总体来说，本发明涉及两方面的创新点：对原始降水序列数据的预处理变换操作以及基于对抗神经网络的深度学习超分辨率模型。具体是在进行模型输入之前，需要将原始降水序列数据中的一维时间序列数据变换为三维的序列数据，不考虑降水数据中经纬度空间维度的影响。此时，可将维度变换后的降水数据类比为图像，将降水值类比为图像的像素值，可保留相邻时间点的降水关系特征。另外，本发明受到了GAN(GenerativeAdversarial Nets)对抗神经网络的启发，在SRGAN(Super Resolution GenerativeAdversarial Network)模型的基础上，提出了CPGAN(Climate Prediction GenerativeAdversarial Network)深度学习超分辨率的时间降尺度模型。GAN对抗神经网络相较于一般的基于CNN的超分辨率神经网络而言，优势在于可以修复更多高纹理处的局部图像。最后，通过训练出的深度学习超分辨率模型来实现低分辨率时间序列降水数据的降尺度预报。
附图说明
图1为本发明实施例的方法流程图；
图2为本发明实施例的全国区域划分图；
图3为本发明实施例的输入降水图片处理流程；
图4为本发明实施例的CPGAN深度学习超分辨率网络模型，在气象领域也称降尺度模型结构示意图；
图5为本发明实施例的RRDB残差密集块结构示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
本发明首先对原始气象数据经过多次维度变换，不考虑降水数据中经纬度空间维度的影响，只对第一维时间刻度切分成两个更小维度，充分挖掘降水数据时间关联性的这一特征。最终，生成可供降尺度模型训练的输入图片。然后，本发明受到了GAN对抗神经网络的启发，在SRGAN模型的基础上，提出了CPGAN深度学习超分辨率网络模型，在气象领域也称CPGAN降尺度模型。GAN对抗神经网络相较于一般的基于CNN的超分辨率神经网络而言，优势在于可以修复更多高纹理处的局部图像。最后将时间降尺度后的气象预测数据再次通过预设维度变换，生成最终多时间刻度的降水格点预警数据。
请见图1，本发明提供的一种基于深度学习超分辨率网络的降水时间降尺度预测方法，包括以下步骤：
步骤1：从原始气象文件中获取标准降水序列数据；其中，降水数据的数据格式为[time,lat,lon]形式的三维格式，第一维数据time表示时间，第二维数据lat表示经度坐标点，第三维数据lon表示纬度坐标点；降水图片上的每个像素点是指：当时time时刻下，每个lat*lon经纬度坐标点的降水值大小；
本实施例中，原始降水序列数据的时间分辨率为2时次、逐10分钟刻度。其中10分钟刻度是最小的时间刻度；
本实施例是通过PanoplyWin气象软件从原始气象文件(.nc文件)中提取出标准降水序列数据，原始降水序列数据可以从已有的标准气象数据库中获取。此处，本实施例是从中国气象局公共服务中心(CMA)获取具有代表性的降水数据，尽可能符合现实生活中的降水分布，提高降水预报的准确率。另外，降水气象图片不同于一般RGB格式的图片，其数据格式为如[time,lat,lon]形式的三维格式。时间降尺度技术就是指：在当前lat*lon区域内，可以预测到更多时刻下相应地点的降水值。
步骤2：对原始降水序列数据进行逐N小时累计处理，生成24时次的高分辨率降水序列数据，该时间刻度的降水数据作为降尺度输出数据的标准时间刻度；其中，N为预设值，本实施例取2；
本实施例在做降水降尺度预报时，需要有一个标准的时间刻度作为最终预报的周期长度。从提高模型训练效率和降低系统运行成本的角度出发，本实施例选取1天24时次作为降水预报的时间刻度。因此，系统对原始降水序列数据进行逐2小时累计处理，生成24时次、逐10分钟刻度的高分辨率降水序列数据，其time维度的数据长度为144。另外，本实施例将会复制一份高分辨率降水序列数据，准备在步骤3中做下采样操作。其中，原始高分辨率降水序列数据在步骤4中会进行预设维度变换生成标签(真实)数据，而步骤3中下采样操作生成的低分辨率降水序列数据在步骤4中会进行预设维度变换生成输入特征数据，供降尺度模型训练。
本实施例将全国划分为8个地区，不同地区对应的经纬度大小会不一样，如图2所示。因此，本系统将分别采取8种气象数据库来训练深度学习超分辨率模型。每个数据集内均是记录了某一年内某个地区的降水情况，总计2400张气象图片。由于每个地区一年内的降水情况在每个月都会有较大区别，所以按照4个降水级别从原始气象观测数据内等比例的生成2400张图片，这4个降水级别分别为：小雨(≥1mm)、中雨(≥20mm)、大雨(≥50mm)、暴雨(≥100mm).其中，选取2000张图片作为训练集，200张图片作为验证集以及200张图片作为测试集。
步骤3：基于不同时间降尺度的比例，对高分辨率降水数据进行下采样操作，生成对应时间刻度的低分辨率降水序列数据；
为了得到低分辨率的训练数据，本实施例对步骤2中生成的高分辨率降水数据进行下采样操作。本系统总计有3种时间降尺度模式，如EC模式(2时次至1时次)、NMC模式(2时次至30分钟)、RJTD模式(2时次至10分钟)，按照实际需要采用其中一种执行。基于不同时间降尺度的比例，本实施例会生成不同时间刻度的低分辨率降水序列数据。下采样操作的原理是指对于一副图像I尺寸为M*N，对起进行s倍下采样，即得到(M/s)*(N/s)尺寸的分辨率图像。当然，s应该是M和N的公约数才可以，如果考虑是矩阵形式的图像，就是把原始图像s*s窗口内的图像编程一个像素，这个像素点的值就是窗口内所有像素的均值。下采样方式有很多种，如最近邻插值，双线性插值，均值插值，中值插值等方法。其中，双线型内插值算法就是一种比较好的图像缩放算法，它充分的利用了源图中虚拟点四周的四个真实存在的像素值来共同决定目标图中的一个像素值。另外，本实施例是使用了scipy.ndimage.zoom插值函数来实现下采样操作，最大程度上降低对原始高分辨率降水图片质量的影响。
步骤4：分别对低分辨率降水序列数据和高分辨率降水序列数据进行预设维度变换，只考虑降水数据中时间维度的影响，生成可供深度学习超分辨率网络模型训练的输入特征数据和对应的标签数据，所述标签数据为真实数据；输入特征数据和对应的标签数据分为训练集、验证集和测试集，训练集、验证集和测试集内均包含着这两种数据；
由于原始降水序列数据记录的是全国区域内的降水情况，因此第二、三维对应的经纬度坐标点的数量会非常大。例如：华中地区(NCN)数据库内一张降水图片就记录了1500*2000个坐标点的降水数据，再乘以第一维时间刻度值的数量，那么，一张降水图片就记录了超过1千万坐标点的气象数据。如果直接对原始降水图片的第一维时间维度做超分辨率训练，那么模型训练的成本会非常高，对硬件如：GPU和内存也会有非常高的要求。因此，本实施例不考虑降水数据中经纬度空间维度的影响，经过多次维度变换，将第一维时间刻度切分成两个更小维度，生成易于模型训练的更小维度的降水图片。如图3所示，具体操作步骤如下所示：
步骤4.1：合并原始降水数据中的第二维和第三维经纬度坐标点的数据，即将平面空间坐标点降维成线性的坐标点。同时，本实施例还将原始降水数据做异常值处理，例如：降水量的正常范围在0～9999毫米，超过该范围的降水值会做临界值处理，压缩至正常范围内。本实施例还会根据不同地区内降水分布的特点，通过每个区域的降水最大值来筛选出不同降水分布的特定数量的点。降水分布分为以下几个区间，如：[0,2mm]、[2mm,4mm]、[4mm,6mm]、[6mm,8mm]、[8mm,10mm]、[10mm,20mm]、[20mm,50mm]、[50mm～]。此时，原始降水数据的维度由三维降至二维，格式为：[time,lat*lon]；
步骤4.2：交换第一维和第二维的数据，不考虑降水数据中经纬度空间维度的影响，只对第一维时间数据做处理。维度交换后，步骤4.3会继续将第二维的时间维度切分成三维的小图，那么，第一维经纬度数据将会作为输入降水小图的batchsize，从而将原始降水数据切分成多个低分辨率的降水图片作为模型的输入数据。此时，降水数据的维度仍是二维，格式为：[lat*lon,time]；
步骤4.3：拆分第二维时间维度成小图，即将time一维数据拆分成如[time1,time2,1]形式的三维数据，满足以下条件：
time＝time1*time2
最终，原始降水数据被处理成了总共lat*lon个[time1,time2,1]形式的小图，极大地降低了模型训练的成本。
按照以上步骤，分别对低分辨率和高分辨率的降水序列数据进行维度变换，生成输入特征数据和对应的标签(真实)数据。另外，在训练集、验证集和测试集内均包含着这两种数据。
另外，在步骤5之前，还可以采用预设规则将训练集中的输入特征数据和对应的标签(真实)数据进行重新排序。举例来说，可以采用随机的方式对训练集中的输入特征数据和对应的标签(真实)数据进行排序，或者根据采集的时间对其进行重新排序。当采用随机的方式时，保证每一次打乱后顺序各不相同，保证训练样本的组合随机性。
步骤5：将训练数据和标签数据同时送入深度学习超分辨率网络模型中进行训练，获得若干次训练后性能最好的模型参数；
得到步骤4生成的训练数据和标签后，本实施例将开始训练本实施例提出的深度学习超分辨率网络模型。传统的降尺度算法大都采用基于CNN的超分辨率神经网络来实现高分辨率降水预报，如：SRCNN模型、ESPCN模型、VDSN模型、LapSRN模型等。这些网络训练时用均方差作为损失函数，虽然能够获得很高的峰值信噪比，但是恢复出来的图像通常会丢失高频细节，使人不能有好的视觉感受。
本实施例受到了GAN对抗神经网络的启发，在SRGAN模型的基础上，提出了CPGAN深度学习超分辨率的时间降尺度模型，在气象领域也称CPGAN降尺度模型。CPGAN模型的核心思想是分别训练一个Generator生成器和Discriminator鉴别器网络，使得Generator生成器生成的高分辨率图片和真实高分辨率图片难以被Discriminator鉴别器区分开来。GAN对抗神经网络相较于一般的基于CNN的超分辨率神经网络而言，优势在于可以修复更多高纹理处的局部图像，使得最终生成的高分辨率降水预测值尽可能的与现实降水情况相符合。同时，CPGAN模型没有采用常见的MSE均方根损失函数，而是引入了感知损失函数(perceptual loss)。感知损失函数包含内容损失(content loss)和对抗损失(adversarial loss)，其中，内容损失是计算Generator生成器的损失，对抗损失是计算Discriminator鉴别器的损失。引入感知损失函数进一步提高了CPGAN模型输出降水数据的准确性。
CPGAN超分辨率时间降尺度模型结构图如图4所示，具体如下所示：
Generator生成器：对于给定的低分辨率输入图像ILR，本实施例使用该网络来初步生成其对应的高分辨率图像ISR。生成器具有2个5×5Conv层和5个连续的残差密集块(RRDB)。注意，RRDB残差密集块能够有效地避免模型过深导致出现的性能退化问题。同时，RRDB残差块是作为Generator生成器的基本帧结构，包含了2个密集块，如图5所示。其中，每个密集块包含4个3×3的Conv卷积层，1个1×1的Conv卷积层和4个ReLU激活函数。特别地，本实施例使用1×1的Conv层来减小RRDB输出数据的尺寸，从而降低Generator生成器训练时的运算量。
与SRGAN对抗神经网络中的基本块相比，RRDB使用密集残差学习策略，可以提高提取特征的表示能力。特别是，当基于GAN的超分辨率模型复杂度更大时，BN(BatchNormalization)归一化层的使用很容易会给生成的高分辨率图像中带来令人不快的伪像。因此，本实施例删除了生成器中的所有BN层。此外，本实施例将pixelsuffle方法用作模型的上采样操作。
最终，本实施例可以得到由Generator生成器G()生成的高分辨率预测图像ISR，可以由如下公式表示：
ISR＝G(ILR,θG)；
其中，θG＝{W1-N,b1-N}分别是指第N层生成器的权重和偏差。
Discriminator鉴别器：鉴别器网络具有1个5×5Conv层、5个连续的Disblock块、2个Dense层。其中：Disblock块是作为鉴别器的基本帧结构，每个Disblock块包含1个3×3的Conv卷积层，1个ReLU激活函数和1个BN归一层。该网络是一个二分类模型，目的是使得Generator生成器生成的高分辨率图片ISR和真实高分辨率图片IHR难以被区分开来，从而使生成的高分辨率图片可以修复更多的纹理细节，提高最终降水预测的准确性。网络的最终输出如下公式表示：
PSR,PHR＝D(ISR,IHR,θD)；
其中，θD＝{W1-M,b1-M}分别是指第M层生成器的权重和偏差。本实施例将Generator生成器D()生成的高分辨率图片ISR和真实高分辨率图片IHR作为鉴别器的输入数据。然后，将高分辨率输出图片ISR对应的类别设置为0，将真实高分辨率图片IHR对应的类别设置为1。最终，本实施例的目标就是使PSR输出概率值尽可能地逼近0，使PHR输出概率值尽可能地逼近1。这样，本实施例可以使生成的高分辨率图片ISR更接近标签图像IHR。
本实施例提出的CPGAN模型相较于SRGAN模型，做出了很多改进。例如，在生成器结构中，本实施例引入了密集连接RRDB残差块结构，这不仅可以增加网络的深度，还可以实现更复杂的结构。这样，网络可以学习更精细的细节。另外，CPGAN模型不使用批量标准化。学习如何规范化层之间的数据分布是许多深度神经网络中的一般做法。BN层通过在训练中使用一批数据的均值和方差规范化特征并且在测试时通过使用在整个训练集上预估后的均值和方差规范化测试数据。当训练集和测试集的统计结果相差甚远时，BN层常常趋向于引入一些不太爽的伪影并且限制了模型的泛化能力，删除批量标准化可提高稳定性并降低计算成本(减少学习参数)。
在一种实施方式中，还包括深度学习超分辨率模型的损失函数，用于表现预测与实际数据的差距程度。
在一种实施方式中，CPGAN模型利用感知损失来提升恢复出的图片的真实感。感知损失是利用卷积神经网络提取出的特征，通过比较生成图片经过卷积神经网络后的特征和目标图片经过卷积神经网络后的特征的差别，使生成图片和目标图片在语义和风格上更相似。感知损失包括两个部分：内容损失和对抗损失。其中，内容损失是计算Generator生成器的损失，对抗损失是计算Discriminator鉴别器的损失，具体计算方式如下所示：
内容损失：该损失是在生成器网络中生成的，本实施例旨在提高生成器生成的高分辨率图片ISR和真实高分辨率图片IHR之间的感知相似度。然后，本实施例将内容损失表示为输出图片ISR与标签图片IHR之间的欧式距离。本实施例定义内容损失为TCL，计算步骤如公式所示：
Figure BDA0002908153920000101
其中，Mi,j和Ni,j分别描述了VGG网络中各个特征图的尺寸大小；βi,j()表示由VGG网络中第i个最大池化层之前的第j个卷积获得的特征图，j为大于等于1并且小于等于5之间的一个整数，而i在前2个池化层之前都是大于等于1并且小于等于2之间的一个整数，而在第3个池化层和第5个池化层之间为大于等于1并且小于等于4之间的一个整数；βi,j(ISR)x,y表示输入图片为ISR，通过VGG网络中第i个最大池化层之前的第j个卷积获得的特征图中横坐标为x、纵坐标为y对应的像素点；βi,j(IHR)x,y表示输入图片为IHR，通过VGG网络中第i个最大池化层之前的第j个卷积获得的特征图中横坐标为x、纵坐标为y对应的像素点。
本网络使用的内容损失，是将生成器生成的假高分辨率图像和真实的高分辨率图像送入VGG19网络中进行特征提取，然后在提取的特征图上再使用均方根误差。这里并非是利用全部的VGG19网络提取特征，而是仅仅利用其中一部分。所以对应不同层数的VGG19网络进行提取。例如使用前9层进行特征提取，或者前7层进行特征提取。
对抗损失：这种损失会鼓励本实施例的生成器生成的高分辨率预测图像欺骗鉴别器网络，从而使最终生成的降水高分辨率图像更接近真实图像。本实施例在鉴别器结构中应用非饱和损失，这在模型训练的早期可以提供更高的梯度，从而加快模型收敛的速度。此外，这种损失是判断生成器网络生成的高分辨率图像G(ILR)是否真实的概率分布。本实施例定义对抗损失为TAL，计算步骤如公式所示：
Figure BDA0002908153920000111
其中，D(ISR)表示重构图片ISR为真实图片IHR的估计概率，而L表示训练集中标签(真实)数据的数量；
CPGAN模型内的总损失为感知损失，定义为TPL，是内容损失和对抗损失的总和，计算步骤如公式所示：
TPL＝μ·TCL+δ·TAL
其中，参数μ和δ分别为各自结构中的惩罚因子。通过大量的对比试验，可以发现使用感知损失来训练降尺度模型，模型的输出特征经过平滑后明显有所损失，可最大程度上恢复原始输入数据内的高频特征细节。
在一种实施方式中，还包括评价指标构建模块，用于构建评价指标检验优化后的卷积神经网络模型的预报效果。
在一种实施方式中，评价图像超分辨率模型生成图片质量的传统指标为：峰值信噪比(PSNR)和结构相似性(SSIM)。其中，峰值信噪比经常用作图像压缩等领域中信号重建质量的测量方法，它常简单地通过均方差(MSE)进行定义。结构相似性比经常用作比较失真图像和参考图像的结构。本实施例由于要比较生成气象图片的降水预测效果，所以不采用以上两个指标，而是采用了晴雨准确率(PC)、漏报率(PO)、FAR(空报率)、TS(降水等级准确率)这些指标来评价模型的预测性能。
以上指标计算公式如下所示：
Figure BDA0002908153920000121
Figure BDA0002908153920000122
Figure BDA0002908153920000123
Figure BDA0002908153920000124
其中，这些指标的值都在0至1之间。PC和TS指标对应的值越大，表示预测效果越好，而PC和FAR指标则是对应的值越小，表示预测效果越好。TS降水评分是有4个值，分别表示4个降水级别如：小雨(≥1mm)、中雨(≥20mm)、大雨(≥50mm)、暴雨(≥100mm)的预测概率值。而公式中NA为雨天预报正确站(次)数，NB为空报站(次)数，NC为漏报(次)数，ND为晴天预报正确(次)数。
基于提出的CPGAN深度学习超分辨率网络和目标训练集可以得到训练后的模型，模型训练时，对训练集中的输入特征数据和对应的标签(真实)数据采用多轮迭代的方式进行反复训练。其中，多轮迭代是指是每一次都将目标训练集按照不同的顺序打乱，重新组合训练，可以充分利用已有的数据。迭代次数可以根据优化函数进行设置，例如可以简单将迭代次数设置为1000、2000等。另外，本实施例还对训练集中的输入特征数据做数据增强处理，数据增强也叫数据扩增，意思是在不实质性的增加数据的情况下，让有限的数据产生等价于更多数据的价值。一般的数据增强处理是基于几何变换类操作，该操作没有改变图像本身的内容，它是选择了图像的一部分或者对像素进行了重分布。如果要改变图像本身的内容，就属于颜色变换类的数据增强了，常见的包括噪声、模糊、颜色变换、擦除、填充等等。此项目中，本实施例是采用了基于噪声的数据增强，就是在原来的图片的基础上，随机叠加一些噪声，如在面积大小可选定、位置随机的矩形区域上丢弃像素产生黑色矩形块，从而产生一些彩色噪声。
具体来说，通过前述步骤得到了训练后的模型，则可以利用该模型进行降水数据的降尺度预报了，可以将待处理的低时间分辨率的降水数据降尺度生成高时间分辨率的降水数据。
步骤6：基于训练好的深度学习超分辨率网络模型，在气象领域也称降尺度模型，将低时间分辨率的降水图片生成对应比例的高分辨率降水图片；
本实施例利用测试集对训练后的模型进行测试，检验训练后的模型的效果，并调整训练后的模型的参数，其中，参数具体包括卷积核与偏置；
并基于优化函数和调整后的参数，获得优化后的卷积神经网络模型。
具体来说，本实施例使用了Adam优化算法用来更新和计算影响模型训练和模型输出的网络参数，使其逼近或达到最优值。Adam算法和传统的随机梯度下降不同。随机梯度下降保持单一的学习率(即alpha)更新所有的权重，学习率在训练过程中并不会改变。而Adam通过计算梯度的一阶矩估计和二阶矩估计值，为不同的参数设计独立的自适应性学习率。Adam算法很容易实现，并且有很高的计算效率和较低的内存需求。Adam算法梯度的对角缩放(diagonal rescaling)具有不变性，因此很适合求解带有大规模数据或参数的问题。该算法同样适用于解决大噪声和稀疏梯度的非稳态(non-stationary)问题。
步骤7：基于预设的维度变换方法，将模型生成的高分辨率降水图片还原成标准的24时次的降水序列数据。
由步骤6得到的高分辨率预测图片的格式为[time1,time2,1]形式，本实施例需要再次把lat*lon个连续时间上的[time1,time2,1]预测图片合并转换成[time,lat,lon]形式的降水序列数据。其中，预设的维度变换方法和步骤4中的维度变换方法的顺序相反。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (8)

1.一种基于深度学习超分辨率网络的降水时间降尺度预测方法，其特征在于，包括以下步骤：
步骤1：从原始气象文件中获取标准降水序列数据；其中，降水数据的数据格式为[time,lat,lon]形式的三维格式，第一维数据time表示时间，第二维数据lat表示经度坐标点，第三维数据lon表示纬度坐标点；降水图片上的每个像素点是指：当时time时刻下，每个lat*lon经纬度坐标点的降水值大小；
步骤2：对原始降水序列数据进行逐N小时累计处理，生成24时次的高分辨率降水序列数据，作为降尺度输出数据的标准时间刻度；其中，N为预设值；
步骤3：基于不同时间降尺度的比例，对高分辨率降水数据进行下采样操作，生成对应时间刻度的低分辨率降水序列数据；
步骤4：分别对低分辨率降水序列数据和高分辨率降水序列数据进行预设维度变换，只考虑降水数据中时间维度的影响，生成可供深度学习超分辨率网络模型训练的输入特征数据和对应的标签数据，所述标签数据为真实数据；输入特征数据和对应的标签数据分为训练集、验证集和测试集，所述训练集、验证集和测试集内均包含着这两种数据；
步骤5：将输入特征数据和对应的标签数据同时送入深度学习超分辨率网络模型中进行训练，获得若干次训练后性能最好的模型参数；
所述深度学习超分辨率网络模型，分别训练一个Generator生成器和Discriminator鉴别器网络，使得Generator生成器生成的高分辨率图片和真实高分辨率图片难以被Discriminator鉴别器区分开来；其中，深度学习超分辨率网络模型采用感知损失函数，感知损失函数包含内容损失和对抗损失，内容损失是计算Generator生成器的损失，对抗损失是计算Discriminator鉴别器的损失；
所述Generator生成器具有2个5×5Conv层和5个连续的残差密集块RRDB，残差密集块RRDB作为Generator生成器的基本帧结构，包含了2个密集块，每个密集块包含4个3×3的Conv卷积层，1个1×1的Conv卷积层和4个ReLU激活函数；
所述Discriminator鉴别器，具有1个5×5Conv层、5个连续的Disblock块、2个Dense层；每个Disblock块包含1个3×3的Conv卷积层，1个ReLU激活函数和1个BN归一层；
步骤6：基于训练好的深度学习超分辨率网络模型，将低时间分辨率的降水图片生成对应比例的高分辨率降水图片；
步骤7：基于预设的维度变换方法，将模型生成的高分辨率降水图片还原成标准的24时次的降水序列数据。
2.根据权利要求1所述的基于深度学习超分辨率网络的降水时间降尺度预测方法，其特征在于：步骤1中，从原始气象文件中获取标准降水序列数据的时间分辨率为总计2个时次、逐10分钟刻度；原始降水数据的time维度的数据形式为[1,2,3,4,5,6,7,8,…,12]的列表，列表中有12个元素，代表2个时次、逐10分钟的降水值。
3.根据权利要求1所述的基于深度学习超分辨率网络的降水时间降尺度预测方法，其特征在于：步骤3中，总计有3种时间降尺度模式，EC模式、NMC模式和RJTD模式，按照实际需要采用其中一种执行；采用双线型内插值算法作，使用scipy.ndimage.zoom插值函数来实现对高分辨率降水数据进行下采样操。
4.根据权利要求1所述的基于深度学习超分辨率网络的降水时间降尺度预测方法，其特征在于，步骤4的具体实现包括以下子步骤：
步骤4.1：合并原始降水数据中的第二维和第三维经纬度坐标点的数据，即将平面空间坐标点降维成线性的坐标点，原始降水数据的维度由三维降至二维，格式为[time,lat*lon]；将原始降水数据做异常值处理，超过正常范围的降水值会做临界值处理，压缩至正常范围内；根据不同地区内降水分布的特点，通过每个区域的降水最大值来筛选出不同降水分布的特定数量的点；
步骤4.2：交换第一维和第二维的数据，不考虑降水数据中经纬度空间维度的影响，只对第一维时间数据做处理，此时，降水数据的维度仍是二维，格式为：[lat*lon,time]；
步骤4.3：拆分第二维时间维度成小图，即将第二维时间维度time数据拆分成[time1,time2,1]形式的三维数据，满足以下条件：
time＝time1*time2；
最终，原始降水数据被处理成了总共lat*lon个[time1,time2,1]形式的小图；
步骤4.4：执行步骤4.1-步骤4.3，分别对低分辨率降水序列数据和高分辨率降水序列数据进行预设维度变换，生成输入特征数据和对应的标签数据。
5.根据权利要求1所述的基于深度学习超分辨率网络的降水时间降尺度预测方法，其特征在于：步骤5中，对于给定的低分辨率输入图像ILR，使用Generator生成器来初步生成其对应的高分辨率图像ISR；
ISR＝G(ILR，θG)；
其中，G()表示Generator生成器，θG＝{W1-N，b1-N}分别是指第N层生成器的权重和偏差；
将Generator生成器生成的高分辨率图片ISR和真实高分辨率图片IHR作为Discriminator鉴别器的输入数据；然后，将高分辨率图片ISR对应的类别设置为0，将真实高分辨率图片IHR对应的类别设置为1，目标使ISR输出概率值PSR尽可能地逼近0，使IHR输出概率值PHR尽可能地逼近1；
所述Discriminator鉴别器的最终输出如下公式表示：
PSR，PHR＝D(ISR，IHR，θD)；
其中，D()表示Discriminator鉴别器，θD＝{W1-M，b1-M}分别是指第M层生成器的权重和偏差。
6.根据权利要求5所述的基于深度学习超分辨率网络的降水时间降尺度预测方法，其特征在于：步骤5中，将内容损失表示为输出图片ISR与标签图片IHR之间的欧式距离；
定义内容损失为TCL：
Figure FDA0002908153910000031
其中，Mi，j和Ni，j分别描述了VGG网络中各个特征图的尺寸大小；βi，j()表示由VGG网络中第i个最大池化层之前的第j个卷积获得的特征图，j为大于等于1并且小于等于5之间的一个整数，而i在前2个池化层之前都是大于等于1并且小于等于2之间的一个整数，而在第3个池化层和第5个池化层之间为大于等于1并且小于等于4之间的一个整数；βi，j(ISR)x，y表示输入图片为ISR，通过VGG网络中第i个最大池化层之前的第j个卷积获得的特征图中横坐标为x、纵坐标为y对应的像素点；βi，j(IHR)x，y表示输入图片为IHR，通过VGG网络中第i个最大池化层之前的第j个卷积获得的特征图中横坐标为x、纵坐标为y对应的像素点；
定义对抗损失为TAL：
Figure FDA0002908153910000041
其中，D(ISR)表示重构图片ISR为真实图片IHR的估计概率，而L表示训练集中标签数据的数量；
定义感知损失为TPL：
TPL＝μ·TCL+δ·TAL
其中，参数μ和δ分别为各自结构中的惩罚因子。
7.根据权利要求1-6任意一项所述的基于深度学习超分辨率网络的降水时间降尺度预测方法，其特征在于：步骤5中，模型训练时，首先采用预设规则将训练集中的输入特征数据和对应的标签数据进行重新排序，然后对输入特征数据做基于噪声的数据增强处理，最后对输入的特征数据采用多轮迭代的方式进行反复训练；
或者，首先对输入特征数据做基于噪声的数据增强处理，然后对输入的特征数据采用多轮迭代的方式进行反复训练。
8.根据权利要求1所述的基于深度学习超分辨率网络的降水时间降尺度预测方法，其特征在于：步骤7中，根据步骤6得到的高分辨率预测图片的格式[time1，time2，1]，把lat*lon个连续时间上的[time1，time2，1]预测图片合并转换成[time，lat，lon]形式的降水序列数据；其中，预设的维度变换方法和步骤4中的维度变换方法的顺序相反。
CN202110077737.3A 2021-01-20 2021-01-20 基于深度学习超分辨率网络的降水时间降尺度预测方法 Withdrawn CN112734648A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110077737.3A CN112734648A (zh) 2021-01-20 2021-01-20 基于深度学习超分辨率网络的降水时间降尺度预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110077737.3A CN112734648A (zh) 2021-01-20 2021-01-20 基于深度学习超分辨率网络的降水时间降尺度预测方法

Publications (1)

Publication Number Publication Date
CN112734648A true CN112734648A (zh) 2021-04-30

Family

ID=75594306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110077737.3A Withdrawn CN112734648A (zh) 2021-01-20 2021-01-20 基于深度学习超分辨率网络的降水时间降尺度预测方法

Country Status (1)

Country Link
CN (1) CN112734648A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113311703A (zh) * 2021-05-07 2021-08-27 华能青岛热电有限公司 智慧能源多能互动评价可视化系统及评价方法
CN113486590A (zh) * 2021-07-13 2021-10-08 上海眼控科技股份有限公司 一种数据处理方法、设备和存储介质
CN116228046A (zh) * 2023-05-09 2023-06-06 成都信息工程大学 一种基于卫星遥感和地理数据的山区空间降水估算方法
CN117746171A (zh) * 2024-02-20 2024-03-22 成都信息工程大学 一种基于对偶学习和辅助信息的无监督气象降尺度方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113311703A (zh) * 2021-05-07 2021-08-27 华能青岛热电有限公司 智慧能源多能互动评价可视化系统及评价方法
CN113486590A (zh) * 2021-07-13 2021-10-08 上海眼控科技股份有限公司 一种数据处理方法、设备和存储介质
CN116228046A (zh) * 2023-05-09 2023-06-06 成都信息工程大学 一种基于卫星遥感和地理数据的山区空间降水估算方法
CN117746171A (zh) * 2024-02-20 2024-03-22 成都信息工程大学 一种基于对偶学习和辅助信息的无监督气象降尺度方法
CN117746171B (zh) * 2024-02-20 2024-04-23 成都信息工程大学 一种基于对偶学习和辅助信息的无监督气象降尺度方法

Similar Documents

Publication Publication Date Title
CN112734648A (zh) 基于深度学习超分辨率网络的降水时间降尺度预测方法
CN113658115B (zh) 一种基于深度卷积生成对抗网络的图像异常检测方法
He et al. Sparse representation for blind image quality assessment
CN106127688B (zh) 一种超分辨率图像重建方法及其系统
CN112991354A (zh) 一种基于深度学习的高分辨率遥感影像语义分割方法
CN111540193A (zh) 一种基于图卷积时序生成对抗网络的交通数据修复方法
CN110070539A (zh) 基于信息熵的图像质量评价方法
Nie et al. Ghostsr: Learning ghost features for efficient image super-resolution
CN116012337A (zh) 一种基于改进YOLOv4的热轧带钢表面缺陷检测方法
CN115661655B (zh) 高光谱和高分影像深度特征融合的西南山区耕地提取方法
CN112419202A (zh) 基于大数据及深度学习的野生动物图像自动识别系统
CN103020905B (zh) 针对文字图像的稀疏约束自适应nlm超分辨率重建方法
CN113837314A (zh) 一种基于混合卷积神经网络的高光谱图像分类方法
CN112766283A (zh) 一种基于多尺度卷积网络的两相流流型识别方法
CN115937693A (zh) 一种基于遥感图像的道路识别方法及系统
CN105469358B (zh) 一种图像处理方法
CN102521796A (zh) 一种基于曲波变换的图像去块效应方法
Cheng et al. DeepDT: generative adversarial network for high-resolution climate prediction
CN103646409B (zh) 多元向量量化的高光谱图像压缩编码方法
CN116862252B (zh) 一种基于复合卷积算子的城市建筑物损失应急评估方法
CN116525073B (zh) 一种基于健康体检大数据的数据库智能管理系统
CN110880192B (zh) 基于概率密度函数字典的图像dct系数分布拟合方法
CN114782821B (zh) 一种联合多种迁移学习策略的滨海湿地植被遥感识别方法
CN114663315B (zh) 基于语义融合生成对抗网络的图像比特增强方法及装置
CN115512299A (zh) 基于雷达图像的U-net变体神经网络的洪涝预警方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210430