CN110619604B - 三维降尺度方法、装置、电子设备及可读存储介质 - Google Patents

三维降尺度方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN110619604B
CN110619604B CN201910878609.1A CN201910878609A CN110619604B CN 110619604 B CN110619604 B CN 110619604B CN 201910878609 A CN201910878609 A CN 201910878609A CN 110619604 B CN110619604 B CN 110619604B
Authority
CN
China
Prior art keywords
image
network
downscaling
scale
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910878609.1A
Other languages
English (en)
Other versions
CN110619604A (zh
Inventor
匡秋明
刘进
沈晨凯
胡骏楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Public Meteorological Service Center Of China Meteorological Administration National Early Warning Information Release Center
Original Assignee
Public Meteorological Service Center Of China Meteorological Administration National Early Warning Information Release Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Public Meteorological Service Center Of China Meteorological Administration National Early Warning Information Release Center filed Critical Public Meteorological Service Center Of China Meteorological Administration National Early Warning Information Release Center
Priority to CN201910878609.1A priority Critical patent/CN110619604B/zh
Publication of CN110619604A publication Critical patent/CN110619604A/zh
Application granted granted Critical
Publication of CN110619604B publication Critical patent/CN110619604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供一种三维降尺度方法、装置、电子设备及可读存储介质，该方法包括：通过线性插值网络对目标图像进行线性插值处理，获得具有第二尺度的第一图像；通过特征提取网络对第一图像进行特征提取，获得第一特征图；通过图像重构网络分别对第一特征图和第一图像进行降尺度处理，获得第一特征图对应的第一降尺度图像和第一图像对应的第二降尺度图像；通过图像融合网络对第一降尺度图像和第二降尺度图像进行融合处理，获得第一融合图像。本方案通过线性插值网络对图像进行线性插值后再输入降尺度网络中，可实现分数倍降尺度，提高了降尺度的精度，且通过降尺度网络对图像进行特征提取，使获得的图像可以保留原始图像中更多的细节，效果更好。

Description

三维降尺度方法、装置、电子设备及可读存储介质
技术领域
本申请涉及降尺度技术领域，具体而言，涉及一种三维降尺度方法、装置、电子设备及可读存储介质。
背景技术
降尺度是指把大尺度、低分辨率的全球气候模式输出的信息转换为小尺度、高分辨率的区域地面气候变化信息的一种方法。
全球气象模式能很好地预估未来全球气象变化，但目前它输出的空间分辨率(通常为300千米左右)较低，缺少详细的区域气象信息，难以对区域气象做出合理的预测。降尺度可以弥补全球气象模式预测区域气象变化的局限，它可以把全球气象模式提供的大尺度气象信息转化为区域尺度的气象信息(如气温、降水、压强等)，从而实现对区域气象预测。
现有的降尺度方法有动力降尺度方法、统计降尺度方法以及统计与动力相结合降尺度方法，但是这些方法都存在精度不够，难以得到较为理想的降尺度效果。
发明内容
本申请实施例的目的在于提供一种三维降尺度方法、装置、电子设备及可读存储介质，用以改善现有技术中的降尺度方法的精度不够无法获得较为理想的降尺度效果的问题。
第一方面，本申请实施例提供了一种三维降尺度方法，用于通过图像超分辨率模型对图像进行降尺度处理，所述图像超分辨率模型包括线性插值网络和至少一级降尺度网络，所述至少一级降尺度网络中的每一级降尺度网络均包括特征提取网络、图像重构网络以及图像融合网络，所述方法包括：通过所述线性插值网络对获得的具有第一尺度的目标图像进行线性插值处理，获得具有第二尺度的第一图像，所述目标图像表征具有所述第一尺度的多个不同高度的气象数据；通过所述至少一级降尺度网络中目标降尺度网络中的特征提取网络对所述第一图像进行特征提取，获得第一特征图，所述目标降尺度网络位于所述线性插值网络之后，且与所述线性插值网络连接；通过所述目标降尺度网络中的图像重构网络分别对所述第一特征图和所述第一图像进行降尺度处理，获得所述第一特征图对应的第一降尺度图像和所述第一图像对应的第二降尺度图像，其中，所述第一降尺度图像和所述第二降尺度图像均表征具有第三尺度的多个不同高度的气象数据，所述第二尺度为所述第三尺度的整数倍，所述第一尺度为所述第三尺度的非整数倍；通过所述目标降尺度网络中的图像融合网络对所述第一降尺度图像和所述第二降尺度图像进行融合处理，获得具有所述第三尺度的第一融合图像，所述第一融合图像表征具有所述第三尺度的多个不同高度的气象数据。
在上述实现过程中，通过线性插值网络对图像进行线性插值后再输入降尺度网络中，从而可实现分数倍降尺度，有效提高了降尺度的精度，并且通过降尺度网络对图像进行特征提取，使得获得的图像可以保留原始图像中更多的细节，效果更好。
可选地，所述特征提取网络包括X个卷积层，所述通过所述至少一级降尺度网络中目标降尺度网络中的特征提取网络对所述第一图像进行特征提取，获得第一特征图，包括：通过第一卷积层对所述第一图像进行特征提取，获得第一子特征图；依次取i为2到X，通过第i卷积层对所述第一图像以及所述第一子特征图至第i-1子特征图进行特征提取，获得第i子特征图，在所述i为X时，第X子特征图为所述第一特征图，X为大于或等于2的整数。
在上述实现过程中，通过多个卷积层进行特征提取，且每个卷积层的输入均为前面所有卷积层的输出，从而使得最后获得的降尺度图像更好地保留了原始图像更多的细节。
可选地，所述图像重构网络包括第一反卷积层、第二反卷积层、第一卷积层和第二卷积层，所述通过所述目标降尺度网络中的图像重构网络分别对所述第一特征图和所述第一图像进行降尺度处理，获得所述第一特征图对应的第一降尺度图像和所述第一图像对应的第二降尺度图像，包括：通过所述第一反卷积层对所述第一特征图进行反卷积处理，获得第一反卷积图像；通过所述第一卷积层对所述第一反卷积图像进行特征提取，获得卷积图像；通过所述第二卷积层对所述卷积图像进行特征提取，获得第一降尺度图像；通过所述第二反卷积层对所述第一图像进行反卷积处理，获得第二降尺度图像。
在上述实现过程中，通过采用反卷积操作来进行降尺度，而不是利用插值法将图像转为指定尺寸，从而可以有效避免加入不必要的人为噪声，以防止对模型输出结果的影响。
可选地，所述降尺度网络的级数为根据需对所述目标图像的尺度进行降低的降尺度倍数确定的，从而可以根据实际需求灵活设置降尺度网络的级数。
可选地，所述至少一级降尺度网络包括多级降尺度网络，所述目标降尺度网络为第一级降尺度网络时，在所述获得具有所述第三尺度的第一融合图像之后，所述方法还包括：通过第n级降尺度网络中的特征提取网络对获得的第n-1特征图进行特征提取，获得第n特征图，n为大于或等于2的正整数；通过所述第n级降尺度网络中的图像重构网络对所述第n特征图和第n-1融合图像分别进行降尺度处理，得到所述第n特征图对应的第2n-1降尺度图像和所述第n-1融合图像对应的第2n降尺度图像，其中，所述第2n-1降尺度图像和所述第2n降尺度图像表征具有第2n尺度的多个不同高度的气象数据；通过所述第n级降尺度网络中的图像融合网络对所述第2n-1降尺度图像与所述第2n降尺度图像进行融合处理，获得具有所述第2n尺度的第n融合图像，所述第n融合图像表征具有所述第2n尺度的多个不同高度的气象数据。
在上述实现过程中，可以通过第n级降尺度网络继续对尺度进行降低，从而可实现对目标图像的尺度的多倍降低。
可选地，所述通过所述线性插值网络对获得的具有第一尺度的目标图像进行线性插值处理，获得具有第二尺度的第一图像，包括：通过所述线性插值网络对获得的具有第一尺度的目标图像进行三线性插值处理，获得具有第二尺度的第一图像。
在上述实现过程中，采用线性插值法不仅考虑到图像中像素点周围四个直接相邻像素点灰度值的影响，还考虑到它们灰度值变化率的影响，能够产生比双线性插值更为平滑的边缘，计算精度很高，处理后的图像相质损失最少，效果最佳。
可选地，所述获得第二尺度的第一图像之前，所述方法还包括：
基于以下优化函数对所述图像超分辨率模型进行训练；
Figure BDA0002203625150000041
其中，n表示训练样本个数，函数H表示第i个训练样本Xi经过所述图像超分辨率模型进行处理后的输出结果，Yi表示所述训练样本Xi对应的标签数据，θ为所述图像超分辨率模型中的网络参数。
在上述实现过程中，通过上述的优化函数对图像超分辨率模型进行训练，从而可以优化图像超分辨率模型中的网络参数，进而可获得最优的网络参数。
第二方面，本申请实施例提供了一种三维降尺度装置，用于通过图像超分辨率模型对图像进行降尺度处理，所述图像超分辨率模型包括线性插值网络和至少一级降尺度网络，所述至少一级降尺度网络中的每一级降尺度网络均包括特征提取网络、图像重构网络以及图像融合网络，所述装置包括：
线性插值模块，用于通过所述线性插值网络对获得的具有第一尺度的目标图像进行线性插值处理，获得具有第二尺度的第一图像，所述目标图像表征具有所述第一尺度的多个不同高度的气象数据；
特征提取模块，用于通过所述至少一级降尺度网络中目标降尺度网络中的特征提取网络对所述第一图像进行特征提取，获得第一特征图，所述目标降尺度网络位于所述线性插值网络之后，且与所述线性插值网络连接；
图像重构模块，用于通过所述目标降尺度网络中的图像重构网络分别对所述第一特征图和所述第一图像进行降尺度处理，获得所述第一特征图对应的第一降尺度图像和所述第一图像对应的第二降尺度图像，其中，所述第一降尺度图像和所述第二降尺度图像均表征具有第三尺度的多个不同高度的气象数据，所述第二尺度为所述第三尺度的整数倍，所述第一尺度为所述第三尺度的非整数倍；
图像融合模块，用于通过所述目标降尺度网络中的图像融合网络对所述第一降尺度图像和所述第二降尺度图像进行融合处理，获得具有所述第三尺度的第一融合图像，所述第一融合图像表征具有所述第三尺度的多个不同高度的气象数据。
可选地，所述特征提取网络包括X个卷积层，所述特征提取模块，具体用于通过第一卷积层对所述第一图像进行特征提取，获得第一子特征图；依次取i为2到X，通过第i卷积层对所述第一图像以及所述第一子特征图至第i-1子特征图进行特征提取，获得第i子特征图，在所述i为X时，第X子特征图为所述第一特征图，X为大于或等于2的整数。
可选地，所述图像重构网络包括第一反卷积层、第二反卷积层、第一卷积层和第二卷积层，所述图像重构网络，具体用于通过所述第一反卷积层对所述第一特征图进行反卷积处理，获得第一反卷积图像；通过所述第一卷积层对所述第一反卷积图像进行特征提取，获得卷积图像；通过所述第二卷积层对所述卷积图像进行特征提取，获得第一降尺度图像；通过所述第二反卷积层对所述第一图像进行反卷积处理，获得第二降尺度图像。
可选地，所述降尺度网络的级数为根据需对所述目标图像的尺度进行降低的降尺度倍数确定的。
可选地，所述至少一级降尺度网络包括多级降尺度网络，所述目标降尺度网络为第一级降尺度网络时，所述装置还包括：
降尺度模块，用于：
通过第n级降尺度网络中的特征提取网络对获得的第n-1特征图进行特征提取，获得第n特征图，n为大于或等于2的正整数；
通过所述第n级降尺度网络中的图像重构网络对所述第n特征图和第n-1融合图像分别进行降尺度处理，得到所述第n特征图对应的第2n-1降尺度图像和所述第n-1融合图像对应的第2n降尺度图像，其中，所述第2n-1降尺度图像和所述第2n降尺度图像表征具有第2n尺度的多个不同高度的气象数据；
通过所述第n级降尺度网络中的图像融合网络对所述第2n-1降尺度图像与所述第2n降尺度图像进行融合处理，获得具有所述第2n尺度的第n融合图像，所述第n融合图像表征具有所述第2n尺度的多个不同高度的气象数据。
可选地，所述线性插值模块，用于通过所述线性插值网络对获得的具有第一尺度的目标图像进行三线性插值处理，获得具有第二尺度的第一图像。
可选地，所述装置还包括：
训练模块，用于基于以下优化函数对所述图像超分辨率模型进行训练；
Figure BDA0002203625150000061
其中，n表示训练样本个数，函数H表示第i个训练样本Xi经过所述图像超分辨率模型进行处理后的输出结果，Yi表示所述训练样本Xi对应的标签数据，θ为所述图像超分辨率模型中的网络参数。
第三方面，本申请实施例提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。
第四方面，本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种电子设备的结构示意图；
图2为本申请实施例提供的一种图像超分辨率模型的结构示意图；
图3为本申请实施例提供的一种LapSRN模型的结构示意图；
图4为本申请实施例提供的一种LapSRN模型的详细网络结构示意图；
图5为本申请实施例提供的一种三维降尺度方法的流程图；
图6为本申请实施例提供的另一种图像超分辨率模型的结构示意图；
图7为本申请实施例提供的一种图像超分辨率模型的详细结构示意图；
图8为本申请实施例提供的一种卷积过程的示意图；
图9为本申请实施例提供的一种小波变换的过程示意图；
图10为本申请实施例提供的一种三维降尺度装置的结构框图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
本申请实施例提供一种三维降尺度方法，用于通过图像超分辨率模型对图像进行降尺度处理，即通过图像超分辨率模型中的线性插值网络对图像进行线性插值后再输入降尺度网络中，从而可实现分数倍降尺度，有效提高了降尺度的精度，并且通过图像超分辨率模型中的降尺度网络对图像进行特征提取，使得获得的图像可以保留原始图像中更多的细节，效果更好。
请参照图1，图1为执行三维降尺度方法的一种电子设备的结构示意图，所述电子设备可以包括：至少一个处理器110，例如CPU，至少一个通信接口120，至少一个存储器130和至少一个通信总线140。其中，通信总线140用于实现这些组件直接的连接通信。其中，本申请实施例中设备的通信接口120用于与其他节点设备进行信令或数据的通信。存储器130可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器130可选的还可以是至少一个位于远离前述处理器的存储装置。存储器130中存储有计算机可读取指令，当所述计算机可读取指令由所述处理器110执行时，电子设备执行下述图5所示方法过程。
图2为本申请实施例提供的一种图像超分辨率模型200的结构示意图，该图像超分辨率模型200包括线性插值网络210和至少一级降尺度网络，该至少一级降尺度网络中的每一级降尺度网络均包括特征提取网络220、图像重构网络230以及图像融合网络240。
本申请中采用图像超分辨率模型200对具有第一尺度的目标图像进行降尺度处理。可以理解地，具有第一尺度的目标图像是用于表征具有第一尺度的多个不同高度的气象数据，多个不同高度的气象数据可以包括地面气象数据以及地面以上多个高度的气象数据，如41个高度24小时的湿度数据，气象数据可以包括温度、湿度、降水等中的至少一种气象数据。第一尺度可以是原始大尺度气象数据，如25km尺度的41个高度24小时的湿度数据。
可以理解地，在本申请实施例中，由于气象数据为多维数据，则目标图像可以为三维图像，即模型在具体处理过程中，每个高度的气象数据采用一张图像进行表示，如16个高度的气象数据则采用16张图像进行表示，则16张图像可以理解为三维的目标图像，在进行小区域的气象数据的预测时，输出的图像也表示为16个高度的气象数据的三维图像，从而实现三维降尺度。
在实际应用中，由于设备的限制，一般只能采集大范围区域内的气象数据，即上述第一尺度的气象数据，所以，为了实现对小范围区域内的气象数据的预测，需要将大尺度的气象数据转换为小尺度的气象数据，即可以通过本申请实施例中的图像超分辨率模型200可实现大尺度气象数据与小尺度气象数据的转换，从而可以通过图像超分辨率模型200预测小范围区域的气象数据。
所以，为了将大尺度数据转换为小尺度数据，发明人在研究中发现，采用图像超分辨率的思想来对数据进行降尺度可以获得较好的降尺度效果。所以，本申请实施例中的图像超分辨率模型200是在具有深度拉普拉斯金字塔网络的快速准确图像超分辨率(Fastand Accurate Image Super-Resolution with Deep Laplacian Pyramid Networks，简称LapSRN)模型上进行改进获得的。
请参照图3，图3为本申请实施例提供的一种LapSRN模型的结构示意图，LapSRN模型主要是结合反卷积和残差的思想来提高速度和精度，其采用拉普拉斯金字塔的思想来完成网络多倍数的学习。可以看出，该LapSRN模型采用分级计算，其包括两个分支，分别为特征提取和图像重构，其中每一级中间进行一系列的卷积计算，卷积之后添加一个反卷积核，然后再由两个分支分别进行处理，其中一个分支继续进行下一级对应的卷积计算，另一分支采用一个卷积提取上采样之后的特征，该特征就是高频特征。除此之外，还有一条分支是直接使用反卷积的计算方式将原图像进行扩张，最终得到相同倍数的上采样图，和卷积网络得到的高频特征相加得到恢复后的图，然后依次往后继续进行处理可以得到最终需要的大小的图像，并且中间过程是2倍往上增加的，即每级网络均可以对图像的分辨率进行两倍放大。
因为LapSRN模型中有另一条分支直接将网络的输出特征进行相加，所以属于残差结构，同时由于其学习的是高频特征，因此属于稀疏连接，所以虽然网络的层数增加了，但是其对应的计算反而减少了，速度也提高了。由于每一级的网络都是提高2倍分辨率，所以，其采用的卷积结构几乎一样，所以在每一级之间卷积的参数也是共享的，由于这一共享机制的存在导致该LapSRN模型在训练的时候也会有更好的速度。
也就是说，LapSRN模型可以将低分辨率图像直接输入到模型中，通过逐级放大，在减少计算量的同时，也有效地提高了精度。
另外，LapSRN模型是建立在拉普拉斯金字塔结构的基础上，输入为低分辨率图像，而不是插值填充后的图像，模型由特征提取和图像重构两部分组成，如图4所示，图4为本申请实施例提供的一种LapSRN模型的详细网络结构示意图。
其中，特征提取用于通过卷积等建立非线性映射，然后上采样得到图像，图像重构用于首先进行上采样，然后与特征提取获得的图像进行融合。
特征提取部分包括特征嵌入层、上采样(反卷积层)和卷积层，由于每一级的网络结构相同，所以网络参数可以在每级网络中共享，由于参数共享，使得模型的数据处理速度更快。
由于LapSRN模型可以对图像的分辨率进行整数倍提升，对应地，利用LapSRN模型也可以对数据进行整数倍降尺度，但是在某些情况下，若需对目标图像进行降尺度的降尺度倍数为非整数倍时，此时直接利用上述的LapSRN模型来进行降尺度显然是不行的，所以，本申请实施例中在上述的LapSRN模型中加入了线性插值网络210，即图像超分辨率模型200包括线性插值网络210和至少一级降尺度网络，该降尺度网络包括特征提取网络220、图像重构网络230以及图像融合网络240。
其中，线性插值网络210可以用于对目标图像进行线性插值，从而可将目标图像进行采样，以改变气象数据的尺度，即由第一尺度变为第二尺度。在本申请实施例中，通过第一级降尺度网络中的线性插值网络210对目标图像进行线性插值处理，获得第二尺度的第一图像，这里的第一图像用于表征具有第二尺度的多个不同高度的气象数据。
图像超分辨率模型200中的特征提取网络220用于对图像进行特征提取，以提取图像特征，即通过特征提取网络220对第一图像进行特征提取，获得第一特征图。
图像重构网络230用于对特征提取网络220提取的特征进行重构，以获得新的图像，即通过图像重构网络230分别对第一特征图和第一图像进行降尺度处理，获得第一特征图对应的第一降尺度图像和第一图像对应的第二降尺度图像，所述第一降尺度图像和所述第二降尺度图像均表征具有第三尺度的多个不同高度的气象数据。
图像融合网络240用于将两个图像进行融合，以获得新的图像，即通过图像融合网络240对第一降尺度图像和第二降尺度图像进行融合处理，获得第一融合图像，该第一融合图像表征具有第三尺度的多个不同高度的气象数据，第二尺度为第三尺度的整数倍，第一尺度为第三尺度的非整数倍，第三尺度小于第一尺度。
例如，若第一尺度为12.5km，所需要降的第三尺度为5km，此时降尺度倍数为2.5倍，为非整数倍，则采用常规的LapSRN模型无法对其进行非整数倍降尺度处理，而LapSRN模型可以实现整数倍降尺度，所以在LapSRN模型中加入线性插值网络210，可以先通过线性插值网络210将第一尺度12.5km转换为第二尺度15km，然后在通过图像超分辨率模型200中的降尺度网络将第二尺度15km，转换为第三尺度5km，由此，通过模型的降尺度网络可实现3倍降尺度。
需要说明的是，由于LapSRN模型在进行降尺度时，通过每级降尺度网络可实现整数倍降尺度，所以，可以根据实际需求，灵活设置本申请实施例中的图像超分辨率模型200中降尺度网络的级数，即该降尺度网络的级数为根据降尺度网络需对目标图像的尺度进行降低的降尺度倍数确定的，从而可以根据实际需求灵活设置降尺度网络的级数。例如，在通过降尺度网络进行降尺度的降尺度倍数为4倍或5倍时，图像超分辨率模型200可包括2级降尺度网络，在降尺度倍数为8或9倍时，图像超分辨率模型200可以包括3级降尺度网络，也就是说，在降尺度倍数为2n或2n+1倍时，其图像超分辨率模型200包括n级降尺度网络，每级降尺度网络均包括上述的特征提取网络220、图像重构网络230以及图像融合网络240。
下面对本申请实施例中通过上述的图像超分辨率模型200实现降尺度的过程进行详细介绍。
请参照图5，图5为本申请实施例提供的一种三维降尺度方法的流程图，该方法用于通过上述的图像超分辨率模型200对图像进行降尺度处理，该方法包括如下步骤：
步骤S110：通过所述线性插值网络对获得的具有第一尺度的目标图像进行线性插值处理，获得具有第二尺度的第一图像。
由于可以根据降尺度倍数灵活设置降尺度网络的级数，所以，如在降尺度倍数为2倍、2.5倍或者3倍时，可只设置1级降尺度网络即可，即图像超分辨率模型200可以只包括1级降尺度网络，该1级降尺度网络包括特征提取网络220、图像重构网络230以及图像融合网络240。
线性插值网络210用于对图像进行插值，使得图像进行放大或变小等，常用的插值算法有最近邻插值、双线性插值和三线性插值等。
其中，本申请实施例中，为了获得较好的插值效果，采用三线性插值法对目标图像进行下采样，获得具有第二尺度的第一图像。三线性插值法不仅考虑到图像中像素点周围四个直接相邻像素点灰度值的影响，还考虑到它们灰度值变化率的影响，其克服了另外两种方法的不足之处，能够产生比双线性插值更为平滑的边缘，计算精度很高，处理后的图像相质损失最少，效果最佳。
其中，三线性插值法的具体实现过程在此不详细描述，而对目标图像进行下采样可以使得获得的第一图像能够更多地保留目标图像的原始特征，对后续的处理效果更好。
例如，第一尺度为12.5km，此时需降尺度倍数为2.5，即最终获得的第三尺度为5km，则此时可先将目标图像经过线性插值网络210进行线性插值，获得具有第二尺度的第一图像，第二尺度为15km，从而通过后续的处理，将第二尺度15km降为5km，实现3倍降尺度。
需要说明的是，可根据降尺度倍数来灵活调整线性插值网络210以及降尺度网络的各个参数，使得各个网络可以根据需求实现不同尺度的变换，如上述的第一尺度为12.5km，第三尺度为5km，此时降尺度倍数为2.5倍，则也可以通过线性插值网络210将第一尺度12.5km转换为第二尺度10km，再通过降尺度网络将第二尺度10km转换为5km，此时通过线性插值网络210对图像进行上采样，即放大图像，但是由于放大图像可能会丢失原始图像更多的细节特征，所以，本申请实施例中可以通过线性插值网络210对图像进行下采样，缩小图像，即通过线性插值网络210将第一尺度12.5km转换为第二尺度15km，第二尺度的取值最好为第三尺度的整数倍，因为LapSRN模型至少可以实现两倍降尺度，所以若第二尺度为第三尺度的四倍时，则可设置两级降尺度网络来进行降尺度，所以第二尺度为第三尺度的三倍时，可只设置一级降尺度网络即可实现3倍降尺度。
步骤S120：通过所述至少一级降尺度网络中目标降尺度网络中的特征提取网络对所述第一图像进行特征提取，获得第一特征图。
上述的目标降尺度网络是指图像超分辨率模型200中的任意一级降尺度网络，但是该目标降尺度网络位于所述线性插值网络之后，且与所述线性插值网络连接。可以理解地，若图像超分辨率模型200包括两级降尺度网络，则目标降尺度网络可以为第一级降尺度网络，则线性插值网络210在第一级降尺度网络之前且与第一级降尺度网络连接，也可以为第二级降尺度网络，则线性插值网络210在第一级降尺度网络与第二级降尺度网络之间，每级网络均包括特征提取网络220，若图像超分辨率模型200只包括一级降尺度网络，则目标降尺度网络指这一级降尺度网络。
其中，特征提取是指用于通过卷积等建立非线性映射，然后上采样得到图像。即特征提取网络220可以是由一些卷积层组成的网络，其目的是用于提取第一图像的特征。由于上述的LapSRN模型中的卷积层深度不深，其不能很好地提取原始图像的特征，为了使得LapSRN模型中特征提取的效果更好，本申请实施例中的特征提取网络220可以采用残差网络，一般有残差网络ResNet以及密集连接卷积网络(Densely Connected ConvolutionalNetworks，简称DenseNet)等，而DenseNet残差网络可以直接从原图生成高分辨率图像，使得该网络可以充分利用原始的低分辨率图像的所有分层特征，重构出高质量的图像。
由于为了较好的提取特征，一般会将网络层加深，而网络层加深会导致梯度消散的问题，所以残差网络可有效解决该问题。残差网络的特点是容易优化，并且能够通过增加相当的深度来提高准确度，其内部的残差块使用了跳跃连接，缓解了神经网络中增加网络深度带来的梯度消散的问题。
而DenseNet残差网络通过保证网络中层与层之间最大程度的信息传输的前提下，直接将所有层连接起来，即在DenseNet残差网络中每个卷积层的输入为前面所有卷积层的输出，使得DenseNet残差网络加强了特征的传递，从而避免了梯度弥散的问题。
步骤S130：通过所述目标降尺度网络中的图像重构网络分别对所述第一特征图和所述第一图像进行降尺度处理，获得所述第一特征图对应的第一降尺度图像和所述第一图像对应的第二降尺度图像。
图像重构网络230用于对第一特征图和第一图像进行降尺度处理，其包括反卷积层和卷积层，反卷积层的作用是将特征图进行分辨率放大，即将特征图进行降尺度，由此可获得第一特征图对应第一降尺度图像和第一图像对应的第二降尺度图像，第一降尺度图像和第二降尺度图像均表征具有第三尺度的多个不同高度气象数据，第三尺度小于第二尺度，第二尺度大于第一尺度，由此可实现对图像的降尺度处理。
由于LapSRN模型可以对数据进行整数倍降尺度，所以，第二尺度为第三尺度的整数倍，第一尺度为第三尺度的非整数倍，从而可以通过合理设置图像重构网络230中反卷积核的大小，以此可使得第二尺度为第三尺度的整数倍。如上述的若第一尺度为12.5km，第二尺度为15km，则第三尺度可以为5km，实现3倍降尺度。
步骤S140：通过所述目标降尺度网络中的图像融合网络对所述第一降尺度图像和所述第二降尺度图像进行融合处理，获得具有所述第三尺度的第一融合图像。
图像融合网络240用于对第一降尺度图像与第二降尺度图像进行融合，即将第一降尺度图像和第二降尺度图像的各个像素点进行相加，从而获得第一融合图像，第一融合图像表征具有第三尺度的多个不同高度的气象数据。由此，通过上述的图像超分辨率模型200可将大尺度图像转换为小尺度图像，即将大尺度数据转换为小尺度数据，实现数据的非整数倍降尺度。
所以，可通过获得大区域范围的气象数据，输入至图像超分辨率模型200中，由模型输出小尺度的气象数据，即小区域范围的气象数据，从而实现对小区域范围的气象的预测。
在上述实现过程中，通过线性插值网络210对图像进行线性插值后再输入降尺度网络中，从而可实现分数倍降尺度，有效提高了降尺度的精度，并且通过降尺度网络对图像进行特征提取，使得获得的图像可以保留原始图像中更多的细节，效果更好。
当然，在实际应用中，根据实际降尺度需求，图像超分辨率模型200不仅仅包括一级降尺度网络，如图像超分辨率模型200包括多级降尺度网络，当上述的目标降尺度网络为第一级降尺度网络时，在获得具有所述第三尺度的第一融合图像之后，还可以通过第n级降尺度网络中的特征提取网络220对获得的第n-1特征图进行特征提取，获得第n特征图，n为大于或等于2的正整数。然后通过第n级降尺度网络中的图像重构网络230对第n特征图和第n-1融合图像分别进行降尺度处理，得到第n特征图对应的第2n-1降尺度图像和第n-1融合图像对应的第2n降尺度图像，其中第2n-1降尺度图像和第2n降尺度图像表征具有第2n尺度的多个不同高度的气象数据。再通过第n级降尺度网络中的图像融合网络240对第2n-1降尺度图像与第2n降尺度图像进行融合处理，获得具有所述第2n尺度的第n融合图像，该第n融合图像表征具有第2n尺度的多个不同高度的气象数据，第2n-1尺度为第2n尺度的整数倍。
在这种实施例中，线性插值网络210均设置在第一级降尺度网络之前，如在n＝2时，该情况下，在通过第一级降尺度网络获得第一融合图像之后，为了对第一融合图像的尺度继续降低，则由第二级降尺度网络对第一融合图像继续进行处理，第二级降尺度网络的结构与第一级降尺度网络的结构一致，具体实现过程如下：
通过第二级降尺度网络中的特征提取网络220对获得的第一特征图进行特征提取，获得第二特征图，再通过第二级降尺度网络中的图像重构网络230对第二特征图和第一融合图像分别进行降尺度处理，得到第二特征图对应的第三降尺度图像和第一融合图像对应的第四降尺度图像，其中第三降尺度图像和第四降尺度图像表征具有第四尺度的多个不同高度的气象数据。再通过第二级降尺度网络中的图像融合网络240对第三降尺度图像和第四降尺度图像进行融合处理，获得第二融合图像，第二融合图像表征具有第四尺度的多个不同高度的气象数据，第三尺度为第四尺度的整数倍。
可以理解地，由于每级降尺度网络的结构相同，所以每级降尺度网络的处理过程均相似，以上述n＝2为例，若两级降尺度网络的降尺度倍数为4倍，则降尺度网络的级数为2，即第一图像经过两级降尺度网络后，其尺度降低4倍。
需要说明的是，在图像超分辨率模型200包括多级降尺度网络时，线性插值网络210的设置位置可以根据需求灵活设置，如在图像超分辨率模型200包括两级降尺度网络时，线性插值网络210可以设置在第一级降尺度网络前，也可以设置在第二级降尺度网络前，例如，降尺度需求为25km-5km，此时，总降尺度倍数为5倍，此时需要两级降尺度网络，则其降尺度过程可以为25km-12.5km-5km，此时线性插值网络210设置于第一级降尺度网络与第二级降尺度网络之间，即先通过第一级降尺度网络将尺度25km转换为12.5km，实现2倍降尺度，然后再通过线性插值网络210将尺度12.5km上采样至15km，然后再通过第二级降尺度网络将尺度15km转换为5km，通过第二级网络实现3倍降尺度；再例如，当降尺度过程为25km-10km-5km，此种情况下线性插值网络210可设置于第一级降尺度网络之前，即先通过线性插值网络210将尺度25km上采样至30km，然后通过第一级降尺度网络将尺度30km转换为10km，通过第一级降尺度网络实现3倍降尺度，然后再通过第二级降尺度网络将尺度10km转换为5km，通过第二级降尺度网络实现2倍降尺度。
再如，若图像超分辨率模型200包括三级降尺度网络时，上述的目标降尺度网络可以是其中任意一级降尺度网络，则线性插值网络210可以设置在第一级降尺度网络之前，此时目标降尺度网络为第一级降尺度网络，且目标图像即为输入的待处理图像，线性插值网络210还可以设置在第一级降尺度网络与第二级降尺度网络之间，此时目标降尺度网络为第二级降尺度网络，且目标图像即为第一级降尺度网络输出的融合图像，线性插值网络210还可以设置在第二级降尺度网络与第三级降尺度网络之间，此时目标降尺度网络为第三级降尺度网络，且目标图像为第二级降尺度网络输出的融合图像。
所以，每级降尺度网络均会输出对应的降尺度结果，在降尺度网络有多级时，可以根据中间输出结果的需求来灵活设置线性插值网络210的位置。
也就是说，在无法通过降尺度网络进行整数倍降尺度时，首先可将图像通过线性插值网络210进行下采样至目标尺度，如输入的目标图像为λ尺度，最终的尺度为
Figure BDA0002203625150000171
λ尺度，则可先将目标图像下采样至
Figure BDA0002203625150000172
λ尺度，然后再通过降尺度网络进行n倍降尺度即可。
在上述实现过程中，可以通过第n级降尺度网络继续对尺度进行降低，从而可实现对目标图像的尺度的多倍降低。
另外需要说明的是，若需对目标图像进行整数倍降尺度时，如目标图像对应的第一尺度为10km，第三尺度为5km，此时需要2倍降尺度，这种情况下则无需再用线性插值网络210先对目标图像进行线性插值，而直接可以将目标图像输入降尺度网络中进行2倍降尺度即可。
请参照图6，图6为本申请实施例提供的另一种图像超分辨率模型200的结构示意图，图6中的图像超分辨率模型200包括三级降尺度网络，其线性插值网络210设置于第一级降尺度网络10与第二级降尺度网络20之间，总降尺度倍数为10倍，降尺度过程为25km-12.5km-5km-2.5km。
降尺度网络为多级金字塔结构模型，逐级学习，图6中示出3级降尺度网络结构，若每级降尺度网络的降尺度倍数相同，则其网络参数可以共享，如上述第一级降尺度网络10和第三级降尺度网络30均实现2倍降尺度，则第一级降尺度网络10和第二级降尺度网络20的网络参数共享，使得在模型训练的速度更快。三个降尺度网络有三个输出结果，包括2个中间输出结果和1个最终输出结果。
可以理解地，在图6中，先通过第一级降尺度网络10将图像从尺度25km转换为12.5km，实现2倍降尺度，然后再通过线性插值网络210将尺度12.5km上采样至15km后输入至第二级降尺度网络20，然后第二级降尺度网络20将尺度15km转换为5km，实现3倍降尺度，继续由第三级降尺度网络30将尺度5km转换为2.5km，实现2倍降尺度。可见，每级降尺度网络均实现整数倍降尺度，且每级降尺度网络的数据处理过程类似，在此不详细描述每级降尺度网络的处理过程。
下面请参照图7，图7为本申请实施例提供的一种图像超分辨率模型200的详细结构示意图，图像重构网络230包括第一反卷积层、第二反卷积层、第一卷积层和第二卷积层，特征提取网络220包括X个卷积层层，下面对目标降尺度网络的处理过程进行详细描述。
由线性插值网络210对目标图像进行线性插值处理获得第一图像后，通过特征提取网络220中的第一卷积层对第一图像进行特征提取，获得第一子特征图，然后依次取i为2到X，通过第x卷积层对第一图像以及第一子特征图到第i-1子特征图进行特征提取，获得的i子特征图，在i为X时，第X子特征图为第一特征图，X为大于或等于2的整数。
例如，特征提取网络220包括3个卷积层，第一图像输入第一卷积层后，获得第一子特征图，为了更好地提取第一图像的特征，然后将第一图像和第一子特征图均输入第二卷积层，由第二卷积层继续进行特征提取，获得第二子特征图，然后将第一图像、第一子特征图和第二子特征图继续输入至第三卷积层中，由第三卷积层继续进行特征提取，获得第三子特征图，该第三子特征图即为第一特征图，从而由三个卷积层可提取第一图像更多的特征。
上述的卷积层可称为残差块，在模型中加入残差块，可有效解决梯度保障和梯度消散的问题，同时在训练过程中，模型学习残差反向传播是梯度可以直接传播到前面的卷积层，使得模型的收敛速度更快，并且，通过多个卷积层进行特征提取，且每个卷积层的输入均为前面所有卷积层的输出，从而使得最后获得的降尺度图像更好地保留了原始图像更多的细节。
通过图像重构网络230进行降尺度处理的过程如下：
通过第一反卷积层对第一特征图进行反卷积处理，获得第一反卷积图像，再通过第一卷积层对第一反卷积图像进行特征提取，获得卷积图像，通过第二卷积层对卷积图像进行特征提取，获得第一降尺度图像，然后通过第二反卷积层对第一图像进行反卷积处理，获得第二降尺度图像。
其中，通过采用反卷积操作来进行降尺度，而不是利用插值法将图像转为指定尺寸，从而可以有效避免加入不必要的人为噪声，以防止对模型输出结果的影响。
其中，卷积层的卷积核的大小为F×F，每层共H个滤波器，步长为S，填充数为P，反卷积层的卷积核大小为F'×F'，共H个滤波器，步长为S’，填充数为P’。
其中，卷积操作如下：
输入图像的像素大小为W×W，卷积核大小为F×F，填充数
Figure BDA0002203625150000191
卷积后得到的图像大小为
Figure BDA0002203625150000192
卷积过程可参照图8，具体为：将大小为W×W的图像以0为元素将图像填充至(W+2P)×(W+2P)，卷积核在图像中遍历，做卷积运算，每次运算得到一个标量，填入输出图像的对应像素点位置，一次卷积操作具体如下：
Figure BDA0002203625150000193
Figure BDA0002203625150000194
为卷积符号。
最终经过N×N次卷积运算，得到上采样后的尺寸变大的输出图像。
另外，反卷积层是卷积层的逆运算，原理与卷积一致，在此不再详细赘述。
需要说明的是，在两级降尺度的降尺度倍数不一致时，可通过设置反卷积层中的反卷积的步长来决定，如在上述实施例中，第一级降尺度网络10和第三级降尺度网络30均实现2倍降尺度，第二级降尺度网络20实现3倍降尺度，则第一级降尺度网络10和第二级降尺度网络20的网络参数可以实现完全共享，但是第二级降尺度网络20中的反卷积层的步长与其他两级降尺度网络不同，由此可实现不同倍数的降尺度。
图像融合网络240用于将两个图像进行融合，例如第一降尺度图像x和第二降尺度图像y进行融合，获得第一融合图像S的过程可表示如下：
Figure BDA0002203625150000195
另外，为了使得图像超分辨率模型200具有较好的效果，可以对预先对图像超分辨率模型200进行训练，如基于以下优化函数对所述图像超分辨率模型200进行训练；
Figure BDA0002203625150000196
其中，n表示训练样本个数，函数H表示第i个训练样本Xi经过所述图像超分辨率模型200进行处理后的输出结果，Yi表示所述训练样本Xi对应的标签数据，θ为所述图像超分辨率模型200中的网络参数。
在训练过程中，获取训练样本可以采用如下方式获取：
以华东某地区多时次、小尺度湿度数据以及地形数据作为初始数据集，该数据集包括1km尺度地形数据、2.5km尺度地面24小时湿度数据，2.5km尺度41高层24小时湿度数据。
为了将1km尺度地形数据和2.5km尺度地面24小时湿度数据进行融合形成地面气象数据，可以将地形数据和地面数据分别进行小波变换，可以理解地，上述数据均以图像的形式进行表示，小波变换具有完善的重构能力，保证信号在分解过程中没有信心损失和冗余信息，把图像分解成平均图像和细节图像的组合，分别代表了图像的不同结构，因此容易提取原始图像的结构信息和细节信息。
小波变换的过程如图9所示，具体过程为：先将1km地形数据，大小为1401*1601的图像进行插值下采样至2.5km，大小为561*641，然后分别对两个图像进行小波分解，建立图像的小波金字塔解；然后各分解层分别进行融合处理，采用不同的融合算子对各分解层的不同频率分量进行融合处理，最终得到融合后的小波金字塔，如低频分量采用加权平均，高频分量采用绝对值取大；再对融合后所得的小波金字塔进行小波逆变换，所得到的重构图像即为融合后的图像，尺度为2.5km，大小为561*641。
在实际应用中，可从41个高度数据中提取16个高度，分别是[0,2,4,6,8,10,14,18,22,26,30,32,34,35,36,38]，再与上述得到的重构图像进行有序叠加，获得最终的训练图像。如以20天的共480个时次的数据为训练集，首先对2.5km尺度的、大小为480*561*641*17的图像进行插值下采样至25km尺度，得到大小为480*57*65*17的图像，作为训练集的X；对2.5km尺度的、大小为480*561*641*16的图像进行插值下采样至12.5km尺度，得到大小为480*113*129*16的图像，作为标签集的Y，同样的方法，还可得到尺度为5km的标签集Z和上述的尺度为2.5km的标签集W。
以图6所示的图像超分辨率模型200为例，利用上述的训练集和标签集对该图像超分辨率模型200进行训练，三级降尺度网络的输出分别为12.5km、5km、2.5km。
例如，将25km尺度的图像输入至第一级降尺度网络10中，第一级降尺度网络10中的特征提取网络220中的卷积层的大小为3*3*17*256，图像重构网络230中的反卷积层的大小为4*4*256*17和卷积层的大小为3*3*256*256，图像重构网络230获得的图像大小为16*113*129*16，然后输入至图像融合网络240，经过反卷积层输出的图像大小为16*113*129*17，输入至第二级降尺度网络20中的特征提取网络220。
其中，所有卷积层的卷积核大小为3*3，每层共256个滤波器，步长为1，反卷积层的反卷积核的大小为4*4，共256个滤波器，其在三级降尺度网络中的步长分别为2、3、2。
第一级降尺度网络10输出的图像大小为16*113*129*16，即为12.5km尺度的图像，然后再对该图像进行线性插值后，获得15km尺度的图像再输入至第二级降尺度网络20的图像重构网络230，第二级降尺度网络20的输出为5km尺度的图像，大小为16*281*321*16，第三级降尺度网络30的输出为2.5km尺度的图像，大小为16*561*641*16。
可以理解地，输入图像的通道(高度)是17(16个高度+1个地形数据与地面数据的融合数据)，第一级降尺度网络10中的第一卷积层是将17个通道经过3*3的64个卷积核变成64个通道，然后经过64个卷积核的第二卷积层后进行残差(即与输入相加)，再将相加结果经过第三个64个卷积核的卷积层，提取特征。此时图像的大小没有改变，只是改变了图像的通道，也就是做了3层的图像特征提取。反卷积层的卷积核是4*4，进行图像大小的变化，也就是进行降尺度，由于反卷积之后直接输出的效果不好，所以还设置两个卷积层继续进行特征提取。
所以，在训练过程中，实现了分数倍降尺度。第一级降尺度网络10由25km->12.5km，是2倍；线性插值网络210和第二级降尺度网络20由12.5km->5km，是2.5倍；第三级降尺度网络30由5km->2.5km，是2倍，其中，当进行第二级降尺度网络20的降尺度操作时，进入第二级降尺度网络20的图像首先利用线性插值网络210进行线性插值下采样至15km，再输入第二级降尺度网络20，降尺度到5km，从而完成3倍降尺度。
通过上述的训练集输入图像超分辨率模型200中，将标签集作为标签数据输入图像超分辨率模型200中，在训练过程中，不断优化图像超分辨率模型200的输出结果与标签数据的误差大小，并更新模型的参数，最终获得训练后的模型的参数。
应理解，图像超分辨率模型200的训练过程跟上述实施例中的具体实现过程一致，在此不过多赘述。在训练过程中，根据图像超分辨率模型200的输出结果设置优化函数，基于优化函数对目标训练集进行迭代，继续对图像超分辨率模型200进行训练，从而得到训练后的图像超分辨率模型200。
其中，图像超分辨率模型200中的网络参数包括特征提取网络220中的卷积核、图像重构网络230中的反卷积核以及卷积核。
然后根据优化函数中的网络参数来对图像超分辨率模型200进行优化，当网络参数处于一个预设范围且保持稳定后，得到训练后的图像超分辨率模型200。
在上述实现过程中，通过上述的优化函数对图像超分辨率模型200进行训练，从而可以优化图像超分辨率模型200中的网络参数，进而可获得最优的网络参数。
请参照图10，图10为本申请实施例提供的一种三维降尺度装置300的结构框图，该装置300可以是电子设备上的模块、程序段或代码。应理解，该装置300与上述图5方法实施例对应，能够执行图5方法实施例涉及的各个步骤，该装置300具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置300存储有上述的图像超分辨率模型，用于通过图像超分辨率模型对图像进行降尺度处理，所述图像超分辨率模型包括线性插值网络和至少一级降尺度网络，所述至少一级降尺度网络中的每一级降尺度网络均包括特征提取网络、图像重构网络以及图像融合网络。
可选地，所述装置300包括：
线性插值模块310，用于通过所述线性插值网络对获得的具有第一尺度的目标图像进行线性插值处理，获得具有第二尺度的第一图像，所述目标图像表征具有所述第一尺度的多个不同高度的气象数据；
特征提取模块320，用于通过所述至少一级降尺度网络中目标降尺度网络中的特征提取网络对所述第一图像进行特征提取，获得第一特征图，所述目标降尺度网络位于所述线性插值网络之后，且与所述线性插值网络连接；
图像重构模块330，用于通过所述目标降尺度网络中的图像重构网络分别对所述第一特征图和所述第一图像进行降尺度处理，获得所述第一特征图对应的第一降尺度图像和所述第一图像对应的第二降尺度图像，其中，所述第一降尺度图像和所述第二降尺度图像均表征具有第三尺度的多个不同高度的气象数据，所述第二尺度为所述第三尺度的整数倍，所述第一尺度为所述第三尺度的非整数倍；
图像融合模块340，用于通过所述目标降尺度网络中的图像融合网络对所述第一降尺度图像和所述第二降尺度图像进行融合处理，获得具有所述第三尺度的第一融合图像，所述第一融合图像表征具有所述第三尺度的多个不同高度的气象数据。
可选地，所述特征提取网络包括X个卷积层，所述特征提取模块320，具体用于通过第一卷积层对所述第一图像进行特征提取，获得第一子特征图；依次取i为2到X，通过第i卷积层对所述第一图像以及所述第一子特征图至第i-1子特征图进行特征提取，获得第i子特征图，在所述i为X时，第X子特征图为所述第一特征图，X为大于或等于2的整数。
可选地，所述图像重构网络包括第一反卷积层、第二反卷积层、第一卷积层和第二卷积层，所述图像重构网络，具体用于通过所述第一反卷积层对所述第一特征图进行反卷积处理，获得第一反卷积图像；通过所述第一卷积层对所述第一反卷积图像进行特征提取，获得卷积图像；通过所述第二卷积层对所述卷积图像进行特征提取，获得第一降尺度图像；通过所述第二反卷积层对所述第一图像进行反卷积处理，获得第二降尺度图像。
可选地，所述降尺度网络的级数为根据需对所述目标图像的尺度进行降低的降尺度倍数确定的。
可选地，所述至少一级降尺度网络包括多级降尺度网络，所述目标降尺度网络为第一级降尺度网络时，所述装置300还包括：
降尺度模块，用于：
通过第n级降尺度网络中的特征提取网络对获得的第n-1特征图进行特征提取，获得第n特征图，n为大于或等于2的正整数；
通过所述第n级降尺度网络中的图像重构网络对所述第n特征图和第n-1融合图像分别进行降尺度处理，得到所述第n特征图对应的第2n-1降尺度图像和所述第n-1融合图像对应的第2n降尺度图像，其中，所述第2n-1降尺度图像和所述第2n降尺度图像表征具有第2n尺度的多个不同高度的气象数据；
通过所述第n级降尺度网络中的图像融合网络对所述第2n-1降尺度图像与所述第2n降尺度图像进行融合处理，获得具有所述第2n尺度的第n融合图像，所述第n融合图像表征具有所述第2n尺度的多个不同高度的气象数据。
可选地，所述线性插值模块310，用于通过所述线性插值网络对获得的具有第一尺度的目标图像进行三线性插值处理，获得具有第二尺度的第一图像。
可选地，所述装置300还包括：
训练模块，用于基于以下优化函数对所述图像超分辨率模型进行训练；
Figure BDA0002203625150000241
其中，n表示训练样本个数，函数H表示第i个训练样本Xi经过所述图像超分辨率模型进行处理后的输出结果，Yi表示所述训练样本Xi对应的标签数据，θ为所述图像超分辨率模型中的网络参数。
本申请实施例提供一种可读存储介质，所述计算机程序被处理器执行时，执行如图5所示方法实施例中电子设备所执行的方法过程。
综上所述，本申请实施例提供一种三维降尺度方法、装置、电子设备及可读存储介质，该方法通过线性插值网络对图像进行线性插值后再输入降尺度网络中，从而可实现分数倍降尺度，有效提高了降尺度的精度，并且通过降尺度网络对图像进行特征提取，使得获得的图像可以保留原始图像中更多的细节，效果更好。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种三维降尺度方法，其特征在于，用于通过图像超分辨率模型对图像进行降尺度处理，所述图像超分辨率模型包括线性插值网络和至少一级降尺度网络，所述至少一级降尺度网络中的每一级降尺度网络均包括特征提取网络、图像重构网络以及图像融合网络，所述方法包括：
通过所述线性插值网络对获得的具有第一尺度的目标图像进行线性插值处理，获得具有第二尺度的第一图像，所述目标图像表征具有所述第一尺度的多个不同高度的气象数据；
通过所述至少一级降尺度网络中目标降尺度网络中的特征提取网络对所述第一图像进行特征提取，获得第一特征图，所述目标降尺度网络位于所述线性插值网络之后，且与所述线性插值网络连接；
通过所述目标降尺度网络中的图像重构网络分别对所述第一特征图和所述第一图像进行降尺度处理，获得所述第一特征图对应的第一降尺度图像和所述第一图像对应的第二降尺度图像，其中，所述第一降尺度图像和所述第二降尺度图像均表征具有第三尺度的多个不同高度的气象数据，所述第二尺度为所述第三尺度的整数倍，所述第一尺度为所述第三尺度的非整数倍；
通过所述目标降尺度网络中的图像融合网络对所述第一降尺度图像和所述第二降尺度图像进行融合处理，获得具有所述第三尺度的第一融合图像，所述第一融合图像表征具有所述第三尺度的多个不同高度的气象数据。
2.根据权利要求1所述的方法，其特征在于，所述特征提取网络包括X个卷积层，所述通过所述至少一级降尺度网络中目标降尺度网络中的特征提取网络对所述第一图像进行特征提取，获得第一特征图，包括：
通过第一卷积层对所述第一图像进行特征提取，获得第一子特征图；
依次取i为2到X，通过第i卷积层对所述第一图像以及所述第一子特征图至第i-1子特征图进行特征提取，获得第i子特征图，在所述i为X时，第X子特征图为所述第一特征图，X为大于或等于2的整数。
3.根据权利要求1所述的方法，其特征在于，所述图像重构网络包括第一反卷积层、第二反卷积层、第一卷积层和第二卷积层，所述通过所述目标降尺度网络中的图像重构网络分别对所述第一特征图和所述第一图像进行降尺度处理，获得所述第一特征图对应的第一降尺度图像和所述第一图像对应的第二降尺度图像，包括：
通过所述第一反卷积层对所述第一特征图进行反卷积处理，获得第一反卷积图像；
通过所述第一卷积层对所述第一反卷积图像进行特征提取，获得卷积图像；
通过所述第二卷积层对所述卷积图像进行特征提取，获得第一降尺度图像；
通过所述第二反卷积层对所述第一图像进行反卷积处理，获得第二降尺度图像。
4.根据权利要求1所述的方法，其特征在于，所述降尺度网络的级数为根据需对所述目标图像的尺度进行降低的降尺度倍数确定的。
5.根据权利要求4所述的方法，其特征在于，所述至少一级降尺度网络包括多级降尺度网络，所述目标降尺度网络为第一级降尺度网络时，在所述获得具有所述第三尺度的第一融合图像之后，所述方法还包括：
通过第n级降尺度网络中的特征提取网络对获得的第n-1特征图进行特征提取，获得第n特征图，n为大于或等于2的正整数；
通过所述第n级降尺度网络中的图像重构网络对所述第n特征图和第n-1融合图像分别进行降尺度处理，得到所述第n特征图对应的第2n-1降尺度图像和所述第n-1融合图像对应的第2n降尺度图像，其中，所述第2n-1降尺度图像和所述第2n降尺度图像表征具有第2n尺度的多个不同高度的气象数据；
通过所述第n级降尺度网络中的图像融合网络对所述第2n-1降尺度图像与所述第2n降尺度图像进行融合处理，获得具有所述第2n尺度的第n融合图像，所述第n融合图像表征具有所述第2n尺度的多个不同高度的气象数据。
6.根据权利要求1所述的方法，其特征在于，所述通过所述线性插值网络对获得的具有第一尺度的目标图像进行线性插值处理，获得具有第二尺度的第一图像，包括：
通过所述线性插值网络对获得的具有第一尺度的目标图像进行三线性插值处理，获得具有第二尺度的第一图像。
7.根据权利要求1所述的方法，其特征在于，所述获得具有第二尺度的第一图像之前，所述方法还包括：
基于以下优化函数对所述图像超分辨率模型进行训练；
Figure FDA0002203625140000031
其中，n表示训练样本个数，函数H表示第i个训练样本Xi经过所述图像超分辨率模型进行处理后的输出结果，Yi表示所述训练样本Xi对应的标签数据，θ为所述图像超分辨率模型中的网络参数。
8.一种三维降尺度装置，其特征在于，用于通过图像超分辨率模型对图像进行降尺度处理，所述图像超分辨率模型包括线性插值网络和至少一级降尺度网络，所述至少一级降尺度网络中的每一级降尺度网络均包括特征提取网络、图像重构网络以及图像融合网络，所述装置包括：
线性插值模块，用于通过所述线性插值网络对获得的具有第一尺度的目标图像进行线性插值处理，获得具有第二尺度的第一图像，所述目标图像表征具有所述第一尺度的多个不同高度的气象数据；
特征提取模块，用于通过所述至少一级降尺度网络中目标降尺度网络中的特征提取网络对所述第一图像进行特征提取，获得第一特征图，所述目标降尺度网络位于所述线性插值网络之后，且与所述线性插值网络连接；
图像重构模块，用于通过所述目标降尺度网络中的图像重构网络分别对所述第一特征图和所述第一图像进行降尺度处理，获得所述第一特征图对应的第一降尺度图像和所述第一图像对应的第二降尺度图像，其中，所述第一降尺度图像和所述第二降尺度图像均表征具有第三尺度的多个不同高度的气象数据，所述第二尺度为所述第三尺度的整数倍，所述第一尺度为所述第三尺度的非整数倍；
图像融合模块，用于通过所述目标降尺度网络中的图像融合网络对所述第一降尺度图像和所述第二降尺度图像进行融合处理，获得具有所述第三尺度的第一融合图像，所述第一融合图像表征具有所述第三尺度的多个不同高度的气象数据。
9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-7任一所述方法中的步骤。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-7任一所述方法中的步骤。
CN201910878609.1A 2019-09-17 2019-09-17 三维降尺度方法、装置、电子设备及可读存储介质 Active CN110619604B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910878609.1A CN110619604B (zh) 2019-09-17 2019-09-17 三维降尺度方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910878609.1A CN110619604B (zh) 2019-09-17 2019-09-17 三维降尺度方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN110619604A CN110619604A (zh) 2019-12-27
CN110619604B true CN110619604B (zh) 2022-11-22

Family

ID=68923530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910878609.1A Active CN110619604B (zh) 2019-09-17 2019-09-17 三维降尺度方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN110619604B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111382716A (zh) * 2020-03-17 2020-07-07 上海眼控科技股份有限公司 数值模式的天气预测方法、装置、计算机设备和存储介质
CN112907441B (zh) * 2020-12-29 2023-05-30 中央财经大学 一种基于地下水卫星图像超分辨率的空间降尺度方法
CN117746171B (zh) * 2024-02-20 2024-04-23 成都信息工程大学 一种基于对偶学习和辅助信息的无监督气象降尺度方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101795271B1 (ko) * 2016-06-10 2017-11-07 현대자동차주식회사 영상의 선명화를 위한 전처리를 수행하는 영상 처리 장치 및 방법
TWI624804B (zh) * 2016-11-07 2018-05-21 盾心科技股份有限公司 利用超解析重建法生成高解析度影像的方法與系統
CN108229497B (zh) * 2017-07-28 2021-01-05 北京市商汤科技开发有限公司 图像处理方法、装置、存储介质、计算机程序和电子设备
CN108537731B (zh) * 2017-12-29 2020-04-14 西安电子科技大学 基于压缩多尺度特征融合网络的图像超分辨率重建方法
CN110033410B (zh) * 2019-03-28 2020-08-04 华中科技大学 图像重建模型训练方法、图像超分辨率重建方法及装置

Also Published As

Publication number Publication date
CN110619604A (zh) 2019-12-27

Similar Documents

Publication Publication Date Title
CN110619604B (zh) 三维降尺度方法、装置、电子设备及可读存储介质
CN110232394B (zh) 一种多尺度图像语义分割方法
CN113033570B (zh) 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法
CN110781773B (zh) 一种基于残差神经网络的道路提取方法
CN113486897A (zh) 一种卷积注意力机制上采样解码的语义分割方法
CN111652804B (zh) 基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法
CN113469052B (zh) 基于多尺度特征反卷积的超分辨率建筑物精细识别方法
CN111815516B (zh) 一种弱监督红外遥感图像超分辨率重建方法
CN111861884B (zh) 一种基于深度学习的卫星云图超分辨率重建方法
CN110223234A (zh) 基于级联收缩扩张的深度残差网络图像超分辨率重建方法
CN110288524B (zh) 基于增强型上采样和辨别融合机制的深度学习超分辨率方法
CN110619605B (zh) 并行气象要素降尺度方法、装置、电子设备及存储介质
CN112419150B (zh) 一种基于双边上采样网络的任意倍数图像超分辨率重建方法
CN116797787B (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN111401379A (zh) 基于编解码结构的DeepLabv3plus-IRCNet图像语义分割算法
CN114677304A (zh) 一种基于知识蒸馏和深度神经网络的图像去模糊算法
CN113160047B (zh) 一种基于多尺度通道注意力机制的单幅图像超分辨率方法
CN117082474B (zh) 一种科考船实时获取海洋环境预报数据的系统
CN115731141A (zh) 面向机动目标动态监测的天基遥感图像时空融合方法
Hui et al. Two-stage convolutional network for image super-resolution
CN114022356A (zh) 基于小波域的河道流量水位遥感图像超分辨率方法与系统
CN116434039B (zh) 一种基于多尺度拆分注意力机制的目标检测方法
CN116579228A (zh) 一种基于地形分类超分模型的天气预报模式空间降尺度方法
CN109409497B (zh) 一种路况预测方法及装置
CN110111254B (zh) 一种基于多级递归引导和渐进监督的深度图超分辨率方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant