CN110619605B - 并行气象要素降尺度方法、装置、电子设备及存储介质 - Google Patents

并行气象要素降尺度方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110619605B
CN110619605B CN201910879807.XA CN201910879807A CN110619605B CN 110619605 B CN110619605 B CN 110619605B CN 201910879807 A CN201910879807 A CN 201910879807A CN 110619605 B CN110619605 B CN 110619605B
Authority
CN
China
Prior art keywords
data
resolution
network
training
downscaling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910879807.XA
Other languages
English (en)
Other versions
CN110619605A (zh
Inventor
匡秋明
刘进
刘旺
胡骏楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Public Meteorological Service Center Of China Meteorological Administration National Early Warning Information Release Center
Original Assignee
Public Meteorological Service Center Of China Meteorological Administration National Early Warning Information Release Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Public Meteorological Service Center Of China Meteorological Administration National Early Warning Information Release Center filed Critical Public Meteorological Service Center Of China Meteorological Administration National Early Warning Information Release Center
Priority to CN201910879807.XA priority Critical patent/CN110619605B/zh
Publication of CN110619605A publication Critical patent/CN110619605A/zh
Application granted granted Critical
Publication of CN110619605B publication Critical patent/CN110619605B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种并行气象要素降尺度方法、装置、电子设备及存储介质。方法包括：获取原始气象要素数据，原始气象要素数据包括目标气象要素的目标图像数据和辅助气象要素的辅助图像数据；通过降尺度模型中的融合网络模块对原始气象要素数据进行特征提取获得特征数据；利用降尺度模型中的多个超分辨率网络模块对特征数据进行处理获得每个超分辨率网络模块对应的高分辨率数据；通过降尺度模型中的集成网络模块将多个高分辨率数据进行融合，获得目标图像数据对应的目标降尺度数据。本申请实施例通过降尺度模型对原始气象要素数据进行特征提取、分辨率转换、数据融合等操作，以获得目标降尺度数据，能够降低降尺度的计算难度，从而提高了降尺度的效率。

Description

并行气象要素降尺度方法、装置、电子设备及存储介质
技术领域
本申请涉及气象数据处理领域，具体而言，涉及一种并行气象要素降尺度方法、装置、电子设备及存储介质。
背景技术
随着社会的发展，人们生活质量的提高，越来越多的人、越来越多的领域需要时间分辨率高的降水预报，以及其他气象要素的精确预报，包括温度、空气湿度、大气压强、风速、风向、空气可见度等气象要素。现有的气象数据传感器收集到的气象数据密度达不到1km级别，使用一种高效的多要素气象数据超分辨率模型，可以在不增加测量传感器的前提下得到较为准确的高分辨率气象数据。
直观地来看，降水、空气湿度、温度、大气压强、风向风速、可见度等这些气象要素之间存在着一些较为复杂的关联和影响，比如降水多的区域空气湿度较大，可见度相对也会较低。除此之外，地形对气象要素也有着一定的影响，比如地势较高的地方，测得的大气压强较低，山脉对风向有影响等。
目前国内外针对气象数据降尺度的传统方法有双线性插值方法和动力降尺度法、统计降尺度法和统计与动力相结合的降尺度法。传统简单的双线性插值方法，很多局地高分辨率信息(地形、地物)资料信息没有利用好，传统的动力降尺度比较耗时；动力降尺度法具有计算量大，受全球气候模式提供的边界条件影响大，动力模式对气候模拟的系统误差比较大等缺点，统计降尺度法则需要足够的观测资料建立统计模式，且不能用于大尺度气候要素与区域气候要素相关性差的地区，由上可知，传统技术和方法较为耗时。
发明内容
本申请实施例的目的在于提供一种并行气象要素降尺度方法、装置、电子设备及存储介质，用以解决现有的降尺度方法耗时的问题。
第一方面，本申请实施例提供一种并行气象要素降尺度方法，包括：
获取原始气象要素数据，所述原始气象要素数据包括目标气象要素的目标图像数据和辅助气象要素的辅助图像数据；通过降尺度模型中的融合网络模块对所述原始气象要素数据进行特征提取，获得特征数据；利用所述降尺度模型中的多个超分辨率网络模块分别对所述特征数据进行处理，获得每个超分辨率网络模块对应的高分辨率数据；通过所述降尺度模型中的集成网络模块将多个高分辨率数据进行融合，获得所述目标图像数据对应的目标降尺度数据。
本申请实施例通过降尺度模型对原始气象要素数据进行特征提取、分辨率转换、数据融合等操作，以获得目标降尺度数据，能够降低降尺度的计算难度，从而提高了降尺度的效率。
可选地，所述利用所述降尺度模型中的多个超分辨率网络模块分别对所述特征数据进行处理，获得每个超分辨率网络模块对应的高分辨率数据，包括：
利用子像素卷积操作对所述特征数据进行上采样，获得初始高分辨率数据；
通过所述降尺度模型中的多个超分辨率网络模块分别对所述初始高分辨率数据进行上采样，获得每个超分辨率网络模块对应的高分辨率数据。
本申请实施例通过子像素卷积操作获得高分辨率数据，其所需时间代价小，且获得的高分辨率数据较为准确。
可选地，所述通过所述降尺度模型中的集成网络模块将多个高分辨率数据进行融合，获得所述目标图像数据对应的目标降尺度数据，包括：
通过所述集成网络模块将多个高分辨率数据进行融合，获得融合后图像数据；
利用上下文融合方法对所述融合后图像数据进行处理，获得所述目标图像数据对应的目标降尺度数据。
本申请实施例通过上下文融合方法将多个超分辨率网络输出的数据进行融合，获得最终的目标降尺度数据，提高了降尺度的效率。
可选地，所述方法还包括：
构建预设数量的训练网络，并获取所述预设数量的训练数据集；其中，每个训练网络包括融合网络模块、超分辨率网络模块和集成网络模块，每份训练数据集包括多个训练数据；
利用每份训练数据集对应的训练网络进行并行迭代训练，每次迭代训练后获得各个训练网络中的参数；
根据预设规则对各个训练网络中的融合网络模块的参数进行更新；
在到达预设迭代次数或训练网络的损失函数小于预设值时停止训练，获得预设数量的训练后网络；
根据所述预设数量的训练后网络获得所述降尺度模型。
本申请实施例通过集成学习思想构建降尺度模型，并通过训练多个弱学习器，其训练速度快。
可选地，所述预设数量为n，且n个训练网络中包括1个主网络和n-1个子网络，所述根据预设规则对各个训练网络中的融合网络模块的参数进行更新，包括：
根据公式
Figure BDA0002203627050000031
计算获得所述主网络中融合网络模块的更新后参数；其中，Wnew为一次迭代训练后所述主网络的融合网络模块的更新后参数，W为一次迭代训练后主网络中融合网络模块的参数，Wi为第i个子网络在一次迭代训练后的融合网络模型的参数，W'为在该次迭代训练之前所述主网络的融合网络模块的参数，i≤n-1，且i为正整数；
利用所述主网络的融合网络模块的更新后参数同步更新各个子网络的融合网络模块的参数。
本申请实施例通过训练多个弱学习器，一方面训练速度快，另一方面能够使得训练完成后的各弱学习器的部分参数保持一致。
可选地，所述融合网络模块包括密集连接块，所述密集连接块包括短接的多个卷积块。本申请实施例通过密集连接块实现对输入的原始气象要素数据的特征提取，从而获得较为准确的特征数据。
可选地，每个超分辨率网络包括多个卷积块，且卷积块之间通过短接连接。本申请实施例通过多个超分辨率网络获得高分辨率数据，每个超分辨率网络的计算过程简单，耗时较短。
第二方面，本申请实施例提供一种并行气象要素降尺度装置，包括：
数据获取模块，用于获取原始气象要素数据，所述原始气象要素数据包括目标气象要素的目标图像数据和辅助气象要素的辅助图像数据；
特征提取模块，用于通过降尺度模型中的融合网络模块对所述原始气象要素数据进行特征提取，获得特征数据；
超分辨率转换模块，用于利用所述降尺度模型中的多个超分辨率网络模块分别对所述特征数据进行处理，获得每个超分辨率网络模块对应的高分辨率数据；
数据融合模块，用于通过所述降尺度模型中的集成网络模块将多个高分辨率数据进行融合，获得所述目标图像数据对应的目标降尺度数据。
第三方面，本申请实施例提供一种电子设备，包括：处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面的方法步骤。
第四方面，本申请实施例提供一种非暂态计算机可读存储介质，包括：
所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面的方法步骤。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种降尺度模型示意图；
图2为本申请实施例提供的多要素超分辨率卷积神经网络结构示意图；
图3为本申请实施例提供一种对降尺度模块进行训练的方法流程示意图；
图4为本申请实施例提供的训练网络结构示意图；
图5为本申请实施例提供一种气象要素降尺度方法流程示意图；
图6为本申请实施例提供的装置结构示意图；
图7为本申请实施例提供的电子设备实体结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
为了能够为人们提供更加精确的气象预报，需要对采集获得的大尺度的气象数据进行降尺度。应当说明的是，大尺度的气象数据是指，一个气象数据代表的区域较大，降尺度后的气象数据所代表的区域较小。例如：降尺度之前的一个气象数据表示一个城市的数据，经过降尺度之后可以获得这个城市的各个行政区的气象数据，即一个气象数据表示一个行政区的数据。
近年来，国外研究者利用图像超分辨率模型实现了气象数据的空间降尺度模型DeepSD。然而，DeepSD是一种比较简单的深度学习超分辨网络，可以实现实时的气象数据空间降尺度，不需要并行加速，但是效果不是很好。
因此，本申请实施例提供的一种降尺度模型，如图1所示，降尺度模型包括：融合网络模块101、多个超分辨率网络模块102和集成网络模块103，其中：
融合网络模块101用于对输入的数据进行特征提取，获得特征数据。图2为本申请实施例提供的多要素超分辨率卷积神经网络(Multi-FactorsSuper-resolutionConvolutional Neural Network，MFSRN)结构示意图，如图2所示，MFSRN包括融合网络模块(FusionNetwork)101和超分辨率网络模块102，该融合网络模块101包括密集连接块(denseblock)1011，密集连接块1011包括五个卷积块，这五个卷积块依次连接，并且第一个卷积块分别与第三个、第四个和第五个卷积块短接，第二个卷积块分别与第四个和第五个卷积块短接。应当说明的是，密集连接块1011包括的卷积块的个数，以及各个卷积块的连接关系可以根据实际情况进行调整，本申请实施例对此不作具体限定。
融合网络模块101对输入的原始气象要素数据进行卷积运算，由于原始气象要素数据中包括多种气象要素的数据，由于多个气象要素之间存在一定的关系，因此通过融合网络模块101进行特征提取之后，能够获得多个气象要素之间的联系的特征。
因此，本申请实施例考虑了多个气象要素之间的相互作用关系特征，采用密集连接的卷积神经网络对多个气象要素进行特征提取，自动提取各个气象要素之间的相互作用关系，以提升空间降尺度的效果。
一个超分辨率网络模块102包括三个卷积块，如图2所示，给出了融合网络模块101与一个超分辨率网络模块102的连接关系。超分辨率网络模块102中的三个卷积块依次连接，并且第一卷积块还与第三个卷积块短接。融合网络模块101输出特征数据后，将特征数据输入超分辨率网络模块102中，在超分辨率网络模块102中，经过子像素卷积操作对特征数据进行上采样，得到粗略的高分辨率数据，然后再经过三个卷积块进行卷积操作，获得最终的高分辨率数据。
集成网络模块103包括一个卷积块，用于将多个超分辨率网络模块102分别获得的高分辨率数据进行融合。
本申请实施例通过使用多个弱学习器构成超分辨率网络模块，每个弱学习器的计算量小，且多个弱学习器获得的高分辨率数据的准确度高。
在上述实施例的基础上，本申请实施例提供一种对降尺度模块进行训练的方法，如图3所示，该训练方法包括：
步骤301：构建预设数量的训练网络，并获取所述预设数量的训练数据集；其中，每个训练网络包括融合网络模块、超分辨率网络模块和集成网络模块，每份训练数据集包括多个训练数据。
在具体的实施过程中，预设数量可以是三个，也可以根据实际情况进行调整，例如，预设数量还可以是两个、四个或更多个。本申请实施例以构建三个训练网络为例，如图4所示。在对这三个训练网络进行训练时，先获得三份训练数据，具体获取方式可以是先获取一份训练数据集，训练数据集中包括多个训练数据，然后将这份训练数据集复制两份，并将复制的两份训练数据集中的训练数据的顺序随机打乱。从而，获得三份训练数据。
步骤302：利用每份训练数据集对应的训练网络进行并行迭代训练，每次迭代训练后获得各个训练网络中的参数。
在具体的实施过程中，如图4所示，利用每份训练数据对应的训练网络进行迭代训练，一个训练数据包括多个气象要素的数据，多个气象要素的数据中包括一个目标气象要素的目标图像数据和多个辅助气象要素的辅助图像数据，以及目标气象要素对应的标签。例如：目标气象要素可以为降水量，多个辅助气象要素可以为温度、湿度、压强、可见度、风俗和风向等，目标气象要素的标签为高分辨率数据。
为了提高训练效率，将每份训练数据集进行划分，划分为多个批次，例如：每份训练数据集中一共有100个训练数据，可以将这100个训练数据划分为10批，每批10个训练数据。在训练时，可以按照一批一批迭代训练，将一批的一个目标气象要素的目标图像数据和多个辅助气象要素的辅助图像数据输入到对应训练网络中，该训练网络对输入的数据进行分析处理，输入预测结果，然后根据预测结果和标签获得训练网络的参数。
训练网络的参数的获得可以基于欧式距离构造损失函数获得，该损失函数公式如下：
Figure BDA0002203627050000081
其中，O为训练网络的输出，Y为训练数据的标签，Θ为训练网络的参数。u为每个训练批次的样本数量，t用于表示每个训练批次中第t个训练数据，u和t均为正整数，且t≤u。
步骤303：根据预设规则对各个训练网络中的融合网络模块的参数进行更新。
在具体的实施过程中，在通过一次迭代训练获得训练网络的参数后，根据预设规则对各个训练网络中的融合网络模块的参数进行更新。其中，预设规则如下：
假设训练网络的个数为n，并且n个训练网络中有1个主网络和n-1个字网络，应当说明的是，可以将n个训练网络中的任意一个训练网络为主网络，剩下的为子网络。
在一轮训练后，获得主网络中融合网络模块的参数为W，各个子网络的融合网络模块的参数为Wi，根据公式
Figure BDA0002203627050000091
计算获得所述主网络中融合网络模块的更新后参数；其中，Wnew为一次迭代训练后所述主网络的融合网络模块的更新后参数，W为一次迭代训练后主网络中融合网络模块的参数，Wi为第i个子网络在一次迭代训练后的融合网络模型的参数，W'为在该次迭代训练之前所述主网络的融合网络模块的参数，i≤n-1，且i为正整数。应当说明的是，若是第一次迭代训练，那么W'为主网络的融合网络模块中的初始参数。
在获得到主网络中融合网络模块的参数之后，再将n-1个子网络的融合网络模块的参数也更新为Wnew，以实现各个训练网络中的融合网络模块的参数相等。
可以理解的是，由于在训练过程中，多个训练网络的融合网络模块的参数保持一致，而超分辨率网络模块中的参数各不相同。
步骤304：在到达预设迭代次数或训练网络的损失函数小于预设值时停止训练，获得预设数量的训练后网络。
在具体的实施过程中，利用训练数据集中的多个训练数据进行迭代训练，当达到迭代次数或者训练网络的损失函数小于预设值时停止训练，获得对应数量的训练后网络。
步骤305：根据所述预设数量的训练后网络获得所述降尺度模型。
在具体的实施过程中，将预设数量的训练后网络进行整合，获得如图1所示的降尺度模型。
本申请实施例通过采用异步训练可以充分利用计算资源，对多个具有相同结构的神经网络模型进行并行训练，同时公共参数仍然可以保持一致。集成学习(EnsembleLearning)是机器学习模型中非常实用的模型，其主要思路是先通过一定的规则生成多个学习器，再采用集成策略进行组合，将各个学习器的结果综合成最终结果，得到的最终结果往往比单个学习器的结果精确。
在训练完成降尺度模型后，可以利用测试样本集对降尺度模型的性能进行测试。其中，测试样本集中包括多个测试样本，每个测试样本包括多个气象要素的数据，多个气象要素的数据中包括一个目标气象要素的目标图像数据和多个辅助气象要素的辅助图像数据，以及目标气象要素对应的标签。在测试时，将目标气象要素的目标图像数据和多个辅助气象要素的辅助图像数据作为输入数据输入到降尺度模型中，降尺度模型对输入数据进行处理，输出预测结果，将预测结果和标签进行比对，计算对应的准确率、召回率以及均方误差，其中准确率是主要考量的指标，准确率越高，说明模型效果越好。
本申请实施例还提供一种利用上述实施例提供的降尺度模型的气象要素降尺度方法，如图5所示，该方法包括：
步骤501：获取原始气象要素数据，所述原始气象要素数据包括目标气象要素的目标图像数据和辅助气象要素的辅助图像数据。
在具体的实施过程中，原始气象要素数据为多个气象要素的二维向量堆(concat)叠而成，因此，原始气象要素数据为三维向量数据，第一维指示为何种气象要素，第二维指示纬度，第三维指示经度。并且，原始气象要素数据包括一个目标气象要素的目标图像数据和多个辅助气象要素的辅助图像数据。其中，目标图像数据为大尺度的数据，也可以理解为低分辨率数据。经过降尺度后获得的低尺度的数据也可以理解为高分辨率数据。例如：一张像素为256*256的降水量数据中，一个像素点表示4条街道的降水量情况，在经过降尺度之后，一个像素点用来表示1条街道的降水量情况。同样的，降尺度之前，一个城市的降水量使用256*256的图像数据表示，经过降尺度之后，一个城市的降水量可以使用1025*1025的图像数据表示。
可以理解的是，目标气象要素为本申请实施例要进行降尺度的要素。
步骤502：通过降尺度模型中的融合网络模块对所述原始气象要素数据进行特征提取，获得特征数据。
在具体的实施过程中，将原始气象要素数据输入降尺度模型中，融合网络模块对原始气象要素数据进行特征提取，获得特征数据。其中，获得的特征数据中包括多个气象要素之间关系的特征。
应当说明的是，降尺度模型的构建以及训练过程可以采用上述实施例所提供的方法，由于对降尺度模型的训练过程中，多个训练网络的融合网络模块的参数一致，所以训练获得的多个融合网络模块是相同的，多个融合网络模块分别对相同的输入进行特征提取，获得的特征数据也是相同的，因此，可以使用一个融合网络模块来代替三个训练网络中的融合网络模块。
步骤503：利用所述降尺度模型中的多个超分辨率网络模块分别对所述特征数据进行处理，获得每个超分辨率网络模块对应的高分辨率数据。
在具体的实施过程中，在通过融合网络模块获得特征数据之后，将该特征数据分别输入到多个超分辨率网络模块中，使得多个超分辨率网络模块分别对该特征数据进行处理，由于多个超分辨率网络模块中的参数不同，因此每个超分辨率网络模块的输出也是不同的。并且，经过多个超分辨率网络模块对特征数据进行处理后获得每个超分辨率网络模块对应的高分辨率数据(OutputHigh-ResolutionFactor)。应当说明的是，高分辨数据为目标气象要素对应的二维数据。
步骤504：通过所述降尺度模型中的集成网络模块将多个高分辨率数据进行融合，获得所述目标图像数据对应的目标降尺度数据。
在具体的实施过程中，将每个超分辨率网络模块对应的高分辨率数据进行合并堆叠，例如：共三个高分辨率数据，每个高分辨率数据为一个2*2的矩阵，那么合并堆叠之后得到2*6的矩阵。然后利用上下文融合方法(Context-wise Network Fusion，CNF)得到最终的目标降尺度数据。
其中，CNF的实质为卷积操作，并且不采用激活函数激活，CNF对应的公式为：
Figure BDA0002203627050000121
其中，n为超分辨率网络模块的数量，这里为3；Wi为第i个超分辨率网络模块的卷积核权重；bi为第i个超分辨率网络模块的卷积偏置项；Ii为第i个超分辨率网络模块的输出；O为最终降尺度模型的输出，也就是集成的结果。
本申请实施例通过降尺度模型对原始气象要素数据进行特征提取、分辨率转换、数据融合等操作，以获得目标降尺度数据，能够降低降尺度的计算难度，从而提高了降尺度的效率。
在上述实施例的基础上，所述利用所述降尺度模型中的多个超分辨率网络模块分别对所述特征数据进行处理，获得每个超分辨率网络模块对应的高分辨率数据，包括；
利用子像素卷积操作对所述特征数据进行上采样，获得初始高分辨率数据；
通过所述降尺度模型中的多个超分辨率网络模块分别对所述初始高分辨率数据进行上采样，获得每个超分辨率网络模块对应的高分辨率数据。
在具体的实施过程中，在利用融合网络模块对原始图像数据进行特征提取获得特征数据之后，利用子像素卷积(Sub-pixelConvolution)操作对特征数据进行上采样，得到初始高分辨率数据。其中，子像素卷积公式如下所示：
Omn＝Iabc
m＝b×r+a|r
n＝c×r+a％r
a＝r2
其中，I为子像素卷积输入的r2层特征图，r为超分辨率的像素倍数，r为正整数；O为子像素卷积输出的单层矩阵，大小是Ia的r倍；m、n分别指示O中像素横向和纵向位置；a、b、c分别指示I中像素的层、横向和纵向位置。
获得了初始高分辨率数据之后，将初始高分辨率数据分别输入到各个超分辨率网络模块中进行上采样，获得每个超分辨率网络模块对应的高分辨率数据。
本申请实施例通过子像素卷积操作对特征数据进行上采样，相比于双三次差值以及引进残差网络的思想，能够防止梯度消散，提高获得的高分辨率数据的准确性。
图6为本申请实施例提供的装置结构示意图，该装置可以是电子设备上的模块、程序段或代码。应理解，该装置与上述图5方法实施例对应，能够执行图5方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括：数据获取模块601、特征提取模块602、超分辨率转换模块603和数据融合模块604，其中：
数据获取模块601用于获取原始气象要素数据，所述原始气象要素数据包括目标气象要素的目标图像数据和辅助气象要素的辅助图像数据；特征提取模块602用于通过降尺度模型中的融合网络模块对所述原始气象要素数据进行特征提取，获得特征数据；超分辨率转换模块603用于利用所述降尺度模型中的多个超分辨率网络模块分别对所述特征数据进行处理，获得每个超分辨率网络模块对应的高分辨率数据；数据融合模块604用于通过所述降尺度模型中的集成网络模块将多个高分辨率数据进行融合，获得所述目标图像数据对应的目标降尺度数据。
在上述实施例的基础上，所述融合网络模块包括密集连接块，所述密集连接块包括短接的多个卷积块。
在上述实施例的基础上，每个超分辨率网络包括多个卷积块，且卷积块之间通过短接连接。
在上述实施例的基础上，该装置还包括：
网络构建模块，用于构建预设数量的训练网络，并获取所述预设数量的训练数据集；其中，每个训练网络包括融合网络模块、超分辨率网络模块和集成网络模块，每份训练数据集包括多个训练数据；
迭代模块，用于利用每份训练数据集对应的训练网络进行并行迭代训练，每次迭代训练后获得各个训练网络中的参数；
参数更新模块，用于根据预设规则对各个训练网络中的融合网络模块的参数进行更新；
训练后网络获得模块，用于在到达预设迭代次数或训练网络的损失函数小于预设值时停止训练，获得预设数量的训练后网络；
降尺度模型获得模块，用于根据所述预设数量的训练后网络获得所述降尺度模型。
在上述实施例的基础上，所述预设数量为n，且n个训练网络中包括1个主网络和n-1个子网络，参数更新模块具体用于：
根据公式
Figure BDA0002203627050000141
计算获得所述主网络中融合网络模块的更新后参数；其中，Wnew为一次迭代训练后所述主网络的融合网络模块的更新后参数，W为一次迭代训练后主网络中融合网络模块的参数，Wi为第i个子网络在一次迭代训练后的融合网络模型的参数，W'为在该次迭代训练之前所述主网络的融合网络模块的参数，i≤n-1，且i为正整数；
利用所述主网络的融合网络模块的更新后参数同步更新各个子网络的融合网络模块的参数。
在上述实施例的基础上，超分辨率转换模块603具体用于：
利用子像素卷积操作对所述特征数据进行上采样，获得初始高分辨率数据；
通过所述降尺度模型中的多个超分辨率网络模块分别对所述初始高分辨率数据进行上采样，获得每个超分辨率网络模块对应的高分辨率数据。
在上述实施例的基础上，数据融合模块604具体用于：
通过所述集成网络模块将多个高分辨率数据进行融合，获得融合后图像数据；
利用上下文融合方法对所述融合后图像数据进行处理，获得所述目标图像数据对应的目标降尺度数据。
综上所述，本申请实施例通过由多个弱学习器对原始气象要素数据进行降尺度，提高了数据处理的速度。
图7为本申请实施例提供的电子设备实体结构示意图，如图7所示，所述电子设备，包括：处理器(processor)701、存储器(memory)702和总线703；其中，
所述处理器701和存储器702通过所述总线703完成相互间的通信；
所述处理器701用于调用所述存储器702中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：获取原始气象要素数据，所述原始气象要素数据包括目标气象要素的目标图像数据和辅助气象要素的辅助图像数据；通过降尺度模型中的融合网络模块对所述原始气象要素数据进行特征提取，获得特征数据；利用所述降尺度模型中的多个超分辨率网络模块分别对所述特征数据进行处理，获得每个超分辨率网络模块对应的高分辨率数据；通过所述降尺度模型中的集成网络模块将多个高分辨率数据进行融合，获得所述目标图像数据对应的目标降尺度数据。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取原始气象要素数据，所述原始气象要素数据包括目标气象要素的目标图像数据和辅助气象要素的辅助图像数据；通过降尺度模型中的融合网络模块对所述原始气象要素数据进行特征提取，获得特征数据；利用所述降尺度模型中的多个超分辨率网络模块分别对所述特征数据进行处理，获得每个超分辨率网络模块对应的高分辨率数据；通过所述降尺度模型中的集成网络模块将多个高分辨率数据进行融合，获得所述目标图像数据对应的目标降尺度数据。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：获取原始气象要素数据，所述原始气象要素数据包括目标气象要素的目标图像数据和辅助气象要素的辅助图像数据；通过降尺度模型中的融合网络模块对所述原始气象要素数据进行特征提取，获得特征数据；利用所述降尺度模型中的多个超分辨率网络模块分别对所述特征数据进行处理，获得每个超分辨率网络模块对应的高分辨率数据；通过所述降尺度模型中的集成网络模块将多个高分辨率数据进行融合，获得所述目标图像数据对应的目标降尺度数据。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种并行气象要素降尺度方法，其特征在于，包括：
获取原始气象要素数据，所述原始气象要素数据包括目标气象要素的目标图像数据和辅助气象要素的辅助图像数据；
通过降尺度模型中的融合网络模块对所述原始气象要素数据进行特征提取，获得特征数据；
利用所述降尺度模型中的多个超分辨率网络模块分别对所述特征数据进行处理，获得每个超分辨率网络模块对应的高分辨率数据；
通过所述降尺度模型中的集成网络模块将多个高分辨率数据进行融合，获得所述目标图像数据对应的目标降尺度数据；
所述利用所述降尺度模型中的多个超分辨率网络模块分别对所述特征数据进行处理，获得每个超分辨率网络模块的高分辨率数据，包括；
利用子像素卷积操作对所述特征数据进行上采样，获得初始高分辨率数据；
通过所述降尺度模型中的多个超分辨率网络模块分别对所述初始高分辨率数据进行上采样，获得每个超分辨率网络模块对应的高分辨率数据；
所述融合网络模块包括密集连接块，所述密集连接块包括五个卷积块，这五个卷积块依次连接，并且第一个卷积块分别与第三个、第四个和第五个卷积块短接，第二个卷积块分别与第四个和第五个卷积块短接；所述超分辨率网络模块中的三个卷积块依次连接，并且第一卷积块还与第三个卷积块短接；所述集成网络模块包括一个卷积块，用于将多个超分辨率网络模块分别获得的高分辨率数据进行融合。
2.根据权利要求1所述的方法，其特征在于，所述通过所述降尺度模型中的集成网络模块将多个高分辨率数据进行融合，获得所述目标图像数据对应的目标降尺度数据，包括：
通过所述集成网络模块将多个高分辨率数据进行融合，获得融合后图像数据；
利用上下文融合方法对所述融合后图像数据进行处理，获得所述目标图像数据对应的目标降尺度数据。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
构建预设数量的训练网络，并获取所述预设数量的训练数据集；其中，每个训练网络包括融合网络模块、超分辨率网络模块和集成网络模块，每份训练数据集包括多个训练数据；
利用每份训练数据集对应的训练网络进行并行迭代训练，每次迭代训练后获得各个训练网络中的参数；
根据预设规则对各个训练网络中的融合网络模块的参数进行更新；
在到达预设迭代次数或训练网络的损失函数小于预设值时停止训练，获得预设数量的训练后网络；
根据所述预设数量的训练后网络获得所述降尺度模型。
4.根据权利要求3所述的方法，其特征在于，所述预设数量为n，且n个训练网络中包括1个主网络和n-1个子网络，所述根据预设规则对各个训练网络中的融合网络模块的参数进行更新，包括：
根据公式
Figure FDA0003940915600000021
计算获得所述主网络中融合网络模块的更新后参数；其中，Wnew为一次迭代训练后所述主网络的融合网络模块的更新后参数，W为一次迭代训练后主网络中融合网络模块的参数，Wi为第i个子网络在一次迭代训练后的融合网络模型的参数，W'为在该次迭代训练之前所述主网络的融合网络模块的参数，i≤n-1，且i为正整数；
利用所述主网络的融合网络模块的更新后参数同步更新各个子网络的融合网络模块的参数。
5.根据权利要求1所述的方法，其特征在于，所述融合网络模块包括密集连接块，所述密集连接块包括短接的多个卷积块。
6.根据权利要求1-5任一项所述的方法，其特征在于，每个超分辨率网络包括多个卷积块，且卷积块之间通过短接连接。
7.一种并行气象要素降尺度装置，其特征在于，包括：
数据获取模块，用于获取原始气象要素数据，所述原始气象要素数据包括目标气象要素的目标图像数据和辅助气象要素的辅助图像数据；
特征提取模块，用于通过降尺度模型中的融合网络模块对所述原始气象要素数据进行特征提取，获得特征数据；
超分辨率转换模块，用于利用所述降尺度模型中的多个超分辨率网络模块分别对所述特征数据进行处理，获得每个超分辨率网络模块对应的高分辨率数据；
数据融合模块，用于通过所述降尺度模型中的集成网络模块将多个高分辨率数据进行融合，获得所述目标图像数据对应的目标降尺度数据；
所述超分辨率转换模块具体用于：
利用子像素卷积操作对所述特征数据进行上采样，获得初始高分辨率数据；
通过所述降尺度模型中的多个超分辨率网络模块分别对所述初始高分辨率数据进行上采样，获得每个超分辨率网络模块对应的高分辨率数据；
所述融合网络模块包括密集连接块，所述密集连接块包括五个卷积块，这五个卷积块依次连接，并且第一个卷积块分别与第三个、第四个和第五个卷积块短接，第二个卷积块分别与第四个和第五个卷积块短接；所述超分辨率网络模块中的三个卷积块依次连接，并且第一卷积块还与第三个卷积块短接；所述集成网络模块包括一个卷积块，用于将多个超分辨率网络模块分别获得的高分辨率数据进行融合。
8.一种电子设备，其特征在于，包括：处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1-6任一项所述的方法。
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1-6任一项所述的方法。
CN201910879807.XA 2019-09-17 2019-09-17 并行气象要素降尺度方法、装置、电子设备及存储介质 Active CN110619605B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910879807.XA CN110619605B (zh) 2019-09-17 2019-09-17 并行气象要素降尺度方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910879807.XA CN110619605B (zh) 2019-09-17 2019-09-17 并行气象要素降尺度方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110619605A CN110619605A (zh) 2019-12-27
CN110619605B true CN110619605B (zh) 2022-12-20

Family

ID=68923347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910879807.XA Active CN110619605B (zh) 2019-09-17 2019-09-17 并行气象要素降尺度方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110619605B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111505738A (zh) * 2020-03-17 2020-08-07 上海眼控科技股份有限公司 数值天气预报中气象因素的预测方法及设备
CN111382716A (zh) * 2020-03-17 2020-07-07 上海眼控科技股份有限公司 数值模式的天气预测方法、装置、计算机设备和存储介质
CN111507902B (zh) * 2020-04-15 2023-09-26 京东城市(北京)数字科技有限公司 一种高分辨率图像获取方法及装置
CN116684645A (zh) * 2022-02-22 2023-09-01 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN114385600B (zh) * 2022-03-23 2022-07-19 北京弘象科技有限公司 一种ecmwf温度数据的降尺度订正方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107688906A (zh) * 2017-09-04 2018-02-13 北京玖天气象科技有限公司 多方法融合的输电线路气象要素降尺度分析系统及方法
CN109146788A (zh) * 2018-08-16 2019-01-04 广州视源电子科技股份有限公司 基于深度学习的超分辨率图像重建方法和装置
CN109359264A (zh) * 2018-05-30 2019-02-19 深圳先进技术研究院 一种基于modis的叶绿素产品降尺度方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107688906A (zh) * 2017-09-04 2018-02-13 北京玖天气象科技有限公司 多方法融合的输电线路气象要素降尺度分析系统及方法
CN109359264A (zh) * 2018-05-30 2019-02-19 深圳先进技术研究院 一种基于modis的叶绿素产品降尺度方法及装置
CN109146788A (zh) * 2018-08-16 2019-01-04 广州视源电子科技股份有限公司 基于深度学习的超分辨率图像重建方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Image Super Resolution Based on Fusing Multiple Convolution Neural Networks;Haoyu Ren 等;《2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops》;20171231;全文 *
基于BP神经网络的地表温度空间降尺度方法;汪子豪 等;《遥感技术与应用》;20181031;全文 *
基于不适定反问题求解的降水图像降尺度研究;王根等;《地球科学进展》;20171010(第10期);全文 *

Also Published As

Publication number Publication date
CN110619605A (zh) 2019-12-27

Similar Documents

Publication Publication Date Title
CN110619605B (zh) 并行气象要素降尺度方法、装置、电子设备及存储介质
Guo et al. Deep building footprint update network: A semi-supervised method for updating existing building footprint from bi-temporal remote sensing images
CN110619282B (zh) 一种无人机正射影像建筑物自动提取方法
CN111222474A (zh) 一种任意尺度的高分辨率图像小目标检测方法
CN110619283A (zh) 一种无人机正射影像道路自动提取方法
CN110853057B (zh) 基于全局和多尺度全卷积网络的航拍图像分割方法
CN112862774B (zh) 一种遥感影像建筑物精确分割方法
CN111598101B (zh) 基于遥感影像场景分割的城区智能提取方法、系统及设备
CN106295613A (zh) 一种无人机目标定位方法及系统
CN116343053B (zh) 基于光学遥感影像和sar遥感影像融合的固废自动提取方法
CN108876716B (zh) 超分辨率重建方法及装置
CN111523439A (zh) 一种基于深度学习的目标检测的方法、系统、设备及介质
CN111310623B (zh) 基于遥感数据与机器学习对泥石流敏感性地图分析的方法
Zhang et al. Satellite image super-resolution based on progressive residual deep neural network
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN104463962A (zh) 基于gps信息视频的三维场景重建方法
CN114445624A (zh) 一种城市地理空间内细粒度交通事故风险识别方法
CN113361528A (zh) 一种多尺度目标检测方法及系统
CN116611725A (zh) 一种基于绿色生态指标的土地类型识别方法及装置
CN115830073A (zh) 地图要素重建方法、装置、计算机设备和存储介质
CN113094422B (zh) 一种城市道路交通流量图生成方法、系统及设备
CN111738324B (zh) 一种基于分频卷积的多频率和多尺度融合的自动化裂缝检测方法
CN113780096A (zh) 基于半监督深度学习的植被类地物提取方法
Pang et al. PTRSegNet: A Patch-to-Region Bottom-Up Pyramid Framework for the Semantic Segmentation of Large-Format Remote Sensing Images
CN112989919A (zh) 一种从影像中提取目标对象的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant