CN113988153A - 基于条件生成对抗网络的高分辨率气溶胶估算方法 - Google Patents

基于条件生成对抗网络的高分辨率气溶胶估算方法 Download PDF

Info

Publication number
CN113988153A
CN113988153A CN202111120841.2A CN202111120841A CN113988153A CN 113988153 A CN113988153 A CN 113988153A CN 202111120841 A CN202111120841 A CN 202111120841A CN 113988153 A CN113988153 A CN 113988153A
Authority
CN
China
Prior art keywords
resolution
network
aod
image
aod image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111120841.2A
Other languages
English (en)
Inventor
刘鹏
张罗
赵灵军
何国金
马艳
陈腊娇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202111120841.2A priority Critical patent/CN113988153A/zh
Publication of CN113988153A publication Critical patent/CN113988153A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Development Economics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Educational Administration (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于条件生成对抗网络的高分辨率气溶胶估算方法，包括：构建条件生成对抗网络，条件生成对抗网络包括生成器网络和判别器网络；生成器网络通过初步分辨率提升和细节质量提升两个阶段对输入图像进行分辨率的提升；构建样本集，样本集包括原始高分辨率AOD图像、环境特征数据、估计高分辨率AOD图像和低分辨率AOD图像；通过样本集对生成器网络进行训练，训练好的生成器网络用于对待处理的低分辨率AOD图像进行高分辨率AOD图像的估计；其中，将低分辨率AOD图像作为空间条件，将环境特征数据作为环境条件对生成器网络进行训练。本发明能够实现对高分辨率AOD图像的准确估算。

Description

基于条件生成对抗网络的高分辨率气溶胶估算方法
技术领域
本发明涉及遥感信息技术领域，尤其涉及一种基于条件生成对抗网络的高分辨率气溶胶估算方法。
背景技术
大气气溶胶是由悬浮在空气中的固体或液体颗粒组成的一种气体分散系统。气溶胶通过与太阳辐射，云层和大气化学物质的复杂相互作用，对地球的辐射平衡和气候产生直接和间接的影响。有害的气溶胶颗粒还会损害人体健康，增加罹患心血管和呼吸系统疾病的风险。研究人员通常将大气消光系数在垂直方向上的积分定义为气溶胶光学厚度(AOD，Aerosol Optical Depth)，并作为气溶胶相关研究的关键参数。
时空完备的高精度AOD产品可以促进各种气溶胶相关研究。现有的AOD获取方式可以分为三类：地面观测，卫星检索和模型模拟。气溶胶机器人网络(AERONET)能够提供精确的AOD全球分布观测，但空间覆盖范围有限。通过大气化学模型对AOD进行模拟，例如全球3-D大气化学迁移模型(GEOS-Chem)，能够生成具有高时间分辨率的气溶胶剖面和柱浓度数据，但空间分辨率和准确性仍然受到限制。卫星检索可以获得高空间覆盖率AOD，例如中等分辨率成像光谱辐射仪(MODIS)和静止卫星Himawari-8。然而，由于有限的条幅宽度，云层覆盖的影响以及AOD检索算法理论固有局限性，单个卫星传感器AOD产品在准确性和时空完整性方面仍存在缺陷，但是来自不同卫星传感器的AOD产品可以进行优劣互补。因此，通过融合来自不同卫星传感器的卫星AOD产品，可以获取时空完备的高精度AOD产品。
目前国内外学者在估算高分辨率气溶胶研究中取得了一定的成果，融合多传感器AOD产品时，主要利用多源AOD产品的像素值来填充同一位置上AOD产品的缺失值。例如，通过不同卫星传感器在相同地理位置处的AOD值的函数关系，研究人员开发了多项式回归模型，最大似然估计模型，最小二乘估计模型，最优插值，经验正交函数以及一些简化的混合方法。此外，还有一些地理统计学方法，包括通用克里格法，地理统计逆向建模法和空间统计数据融合法。但是这些插值方法通常会导致平滑扩散，从而增加了AOD的不确定性，无法保证高分辨率AOD图像估算的准确性。
发明内容
本发明提供一种基于条件生成对抗网络的高分辨率气溶胶估算方法，用以解决现有技术中高分辨率AOD图像估算结果精度低的缺陷，实现对高分辨率AOD图像的准确估算，以保证获得的高分辨率AOD图像更加接近真实分布。
本发明提供一种基于条件生成对抗网络的高分辨率气溶胶估算方法，包括：
构建条件生成对抗网络，所述条件生成对抗网络包括生成器网络和判别器网络；所述生成器网络通过两个阶段对输入图像进行分辨率的提升，其中，第一个阶段对所述输入图像进行初步分辨率提升，第二个阶段对初步分辨率提升后的所述输入图像进行细节质量提升；
构建样本集，所述样本集包括原始高分辨率AOD图像、环境特征数据、估计高分辨率AOD图像和低分辨率AOD图像；其中，所述低分辨率AOD图像通过对所述原始高分辨率AOD图像进行降采样得到；所述估计高分辨率AOD图像通过将所述低分辨率AOD图像和所述环境特征数据输入至所述生成器网络得到；
通过所述样本集对所述生成器网络进行训练，得到训练好的所述生成器网络，训练好的所述生成器网络用于对待处理的低分辨率AOD图像进行高分辨率AOD图像的估计；其中，将所述低分辨率AOD图像作为空间条件，将所述环境特征数据作为环境条件对所述生成器网络进行训练；训练过程中，将所述样本集输入所述判别器网络，根据所述判别器网络的输出对所述生成器网络进行监督训练；满足预设条件，则得到训练好的所述生成器网络，否则，对所述生成器网络进行参数调整，并基于损失函数对所述生成器网络进行二次训练。
根据本发明提供的一种基于条件生成对抗网络的高分辨率气溶胶估算方法，得到训练好的所述生成器网络之后，还包括：获取待处理的低分辨率AOD图像，将所述待处理的低分辨率AOD图像和相应的所述环境特征数据输入训练好的所述生成器网络，得到高分辨率AOD图像；其中，所述样本集中的所述原始高分辨率AOD图像采用高空间、低时间分辨率的MODIS AOD数据；所述待处理的低分辨率AOD图像采用低空间、高时间分辨率的HimawariAOD数据，得到的所述高分辨率AOD图像为高空间、高时间分辨率的AOD估算数据。
根据本发明提供的一种基于条件生成对抗网络的高分辨率气溶胶估算方法，所述生成器网络包括依次连接的编-解码器网络、残差网络；
所述编-解码器网络用于输入所述低分辨率AOD图像，并根据所述低分辨率AOD图像生成第一高分辨率AOD图像，完成所述低分辨率AOD图像的初步分辨率提升；
所述残差网络用于输入所述第一高分辨率AOD图像和所述环境特征数据，根据所述环境特征数据对所述第一高分辨率AOD图像进行修正，得到所述估计高分辨率AOD图像，完成所述低分辨率AOD图像细节质量的提升。
根据本发明提供的一种基于条件生成对抗网络的高分辨率气溶胶估算方法，所述根据所述判别器网络的输出对所述生成器网络进行监督训练包括：
将所述样本集输入所述判别器网络，根据所述低分辨率AOD图像的降采样条件和所述环境特征数据，通过所述判别器网络对所述原始高分辨率AOD图像和所述估计高分辨率AOD图像进行判定，根据所述判别器网络的判定结果对所述生成器网络进行监督训练；若所述判别器网络无法区分所述原始高分辨率AOD图像和所述估计高分辨率AOD图像，则得到训练好的所述生成器网络，否则，训练失败。
根据本发明提供的一种基于条件生成对抗网络的高分辨率气溶胶估算方法，所述基于损失函数对所述生成器网络进行二次训练包括：
固定所述判别器网络的参数，并调整所述生成器网络的参数，根据所述生成器网络和所述判别器网络的相互对抗反馈，对所述生成器网络和所述判别器网络进行交替更新，得到训练好的所述生成器网络；其中，以最小化所述损失函数为目标，对所述生成器网络和所述判别器网络进行交替更新。
根据本发明提供的一种基于条件生成对抗网络的高分辨率气溶胶估算方法，所述损失函数如下式所示：
Loss_1(θG，θD)＝-log D(MHR，M′LR)-log(1-D(G(M′LR)，M′LR))
Loss_2(θG，θD)＝-log D(MHR，E)-log(1-D(G(M′LR)，E))
Figure BDA0003277068590000041
L(θG，θD)＝LossSC(θG)+λ1Loss_1(θG，θD)+λ2Loss_2(θG，θD)
式中，M′LR、MHR、M′HR、E分别为所述低分辨率AOD图像、所述原始高分辨率AOD图像、所述估计高分辨率AOD图像、所述环境特征数据；θG、θD分别为所述生成器网络、所述判别器网络的参数；Loss_1(θG，θD)、Loss_2(θG，θD)分别为基于所述低分辨率AOD图像的对抗损失、基于所述环境数据的对抗损失；D()为所述判别器网络输出的概率值；G()表示所述生成器网络；LossSC(θG)表示空间内容损失；n表示所述原始高分辨率AOD图像的像素数量；MHR，i、M′HR，i分别表示所述原始高分辨率AOD图像、所述估计高分辨率AOD图像中的第i个像素；ρ()表示惩罚函数；L(θG，θD)表示所述条件生成对抗网络的总体损失函数；λ1、λ2分别为权重系数。
本发明提供的基于条件生成对抗网络的高分辨率气溶胶估算方法，提出了一种新型的生成器网络，生成器网络通过两个阶段对输入的低分辨率AOD图像进行分辨率的提升，第一个阶段进行初步分辨率提升，第二个阶段进行细节质量提升，在对生成器网络进行训练的过程中，将低分辨率AOD图像作为空间条件，将环境特征数据作为环境条件，从而能够捕获AOD数据的深层表示以及AOD数据与局部环境模式的相互作用，进而能够估算出更真实的细节，有效提高了对高分辨率AOD图像估算的准确性，能够获得更加接近真实分布的高分辨率AOD图像；同时，本发明分两个阶段对生成器网络进行训练，第一个阶段通过判别器网络的输出对生成器网络进行监督训练，第二个阶段通过包含空间和环境内容的损失函数对估算误差进行纠正，进一步提高了对高分辨率AOD图像估算的准确性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于条件生成对抗网络的高分辨率气溶胶估算方法的流程示意图之一；
图2是本发明提供的基于条件生成对抗网络的高分辨率气溶胶估算方法的流程示意图之二；
图3是本发明提供的条件生成对抗网络的结构示意图；
图4(a)是本发明提供的原始高时间分辨率的Himawari AOD数据示意图；
图4(b)是本发明提供的生成的高时空分辨率的Himawari AOD数据示意图；
图5是本发明提供的基于条件生成对抗网络的高分辨率气溶胶估算装置的结构示意图；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图3描述本发明基于条件生成对抗网络的高分辨率气溶胶估算方法，包括如下步骤：
S100、构建条件生成对抗网络，所述条件生成对抗网络包括生成器网络和判别器网络；所述生成器网络通过两个阶段对输入图像进行分辨率的提升，其中，第一个阶段对所述输入图像进行初步分辨率提升，第二个阶段对初步分辨率提升后的所述输入图像进行细节质量提升。
S200、构建样本集，所述样本集包括原始高分辨率AOD图像、环境特征数据、估计高分辨率AOD图像和低分辨率AOD图像；其中，所述低分辨率AOD图像通过对所述原始高分辨率AOD图像进行降采样得到；所述估计高分辨率AOD图像通过将所述低分辨率AOD图像和所述环境特征数据输入至所述生成器网络得到。
S300、通过所述样本集对所述生成器网络进行训练，得到训练好的所述生成器网络，训练好的所述生成器网络用于对待处理的低分辨率AOD图像进行高分辨率AOD图像的估计；其中，将所述低分辨率AOD图像作为空间条件，将所述环境特征数据作为环境条件对所述生成器网络进行训练；训练过程中，将所述样本集输入所述判别器网络，根据所述判别器网络的输出对所述生成器网络进行监督训练；满足预设条件，则得到训练好的所述生成器网络，否则，对所述生成器网络进行参数调整，并基于损失函数对所述生成器网络进行二次训练。
S400、获取待处理的低分辨率AOD图像，将所述待处理的低分辨率AOD图像和相应的所述环境特征数据输入训练好的所述生成器网络，得到高分辨率AOD图像。
其中，步骤S100中，所述生成器网络包括依次连接的编-解码器网络、残差网络；
所述编-解码器网络用于输入所述低分辨率AOD图像，并根据所述低分辨率AOD图像生成第一高分辨率AOD图像，完成所述低分辨率AOD图像的初步分辨率提升；其中，所述编-解码器网络包括依次连接的编码器和解码器，所述编码器包括若干个二维卷积层，用于将所述低分辨率AOD图像转化为特定的空间向量，每个所述二维卷积层由一个LeakyReLU函数进行激活；所述解码器包括若干个二维转置卷积层，用于根据所述空间向量生成所述第一高分辨率AOD图像，每个二维转置卷积层由一个ReLU函数进行激活；所述二维卷积层和所述二维转置卷积层的数量相等，且卷积核大小及步幅长度对应相等，即每个编码器层使用给定卷积核和步幅长度的卷积执行零填充，每个解码器层通过使用与编码器层相同的转置卷积来实现特征图的上采样；所述编-解码器网络的输出使用Tanh激活函数。本实施例中，二维卷积层和二维转置卷积层的数量均为3个。
所述残差网络用于输入所述第一高分辨率AOD图像和所述环境特征数据，根据所述环境特征数据对所述第一高分辨率AOD图像进行修正，得到更接近真实细节的所述估计高分辨率AOD图像，完成所述低分辨率AOD图像细节质量的提升；其中，残差网络包括依次连接的若干个残差块和一个第一卷积层，残差块用于根据环境特征数据对所述第一高分辨率AOD图像的估算误差进行修正，输出具有空间细节的特征图；第一卷积层用于根据具有空间细节的特征图输出估计高分辨率AOD图像。本实施例中，残差块的数量为6个，且每个所述残差块的结构均相同，包括依次连接的第二卷积层、第一批处理归一化层、LeakyReLU激活函数层、第三卷积层、第二批处理归一化层、第一连接层；其中，第二卷积层、第三卷积层的卷积核大小为3x3，用于对第一高分辨率AOD图像进行特征提取；第一批处理归一化层、第二批处理归一化层用于防止梯度消失；ReLU激活函数层用于增加网络的非线性，防止梯度消失；第一连接层使用跳跃连接将低维度的图像特征与高维度的图像特征逐像素相加，得到具有空间细节的特征图。
通过对生成器网络结构的创新，引入编-解码器网络和残差网络两段网络，能够捕获AOD数据的深层表示以及AOD数据与局部环境模式的相互作用，进而能够估算出更真实的细节。
判别器网络包括依次连接的第四卷积层、第二连接层、第五卷积层、第六卷积层、第七卷积层，第四卷积层、第五卷积层、第六卷积层均由LeakyReLU激活函数进行激活，第七卷积层由Sigmod激活进行激活；第四卷积层用于将原始高分辨率AOD图像、估计高分辨率AOD图像分别与低分辨率AOD图像、环境条件数据进行卷积操作，得到特征图；第二连接层用于将卷积后的特征图进行合并，并作为第五卷积层的输入；第五卷积层、第六卷积层、第七卷积层用于进一步进行特征提取；LeakyReLU激活函数、Sigmod激活函数用于对数据进行非线性特征变换。
步骤S200中，所述原始高分辨率AOD图像的获取方法包括：
获取历史高分辨率AOD图像，采用主动选择窗口将每张所述历史高分辨率AOD图像划分为若干个图像块，并根据预设阈值从所述图像块中选取目标图像块，采用邻近均值对所述目标图像块的缺失值进行填充得到所述原始高分辨率AOD图像。其中，历史高分辨率AOD图像采用高空间、低时间分辨率的MODIS(Moderate-resolution ImagingSpectroradiometer，中分辨率成像光谱仪)AOD图像(分辨率为：1Km，天)，MODIS主要搭载在Terra和Aqua星上。主动选择窗口的大小和预设阈值根据实际需求进行设定，本实施例中，主动选择窗口的大小设置为32x32，预设阈值为大于95％。
所述低分辨率AOD图像的获取方法包括：
对所述原始高分辨率AOD图像进行降采样，得到相应的所述低分辨率AOD图像；其中，降采样的采样率根据实际需求进行设定，本实施例中，降采样后得到的低分辨率AOD图像的分辨率为：5Km，小时。
所述环境特征数据的获取方法包括：
采用3D-CNN对辅助数据进行特征提取，得到所述环境特征数据；其中，所述辅助数据包括但不限于气象因子、地表条件，例如，地表反射率、温度、湿度、风速；3D-CNN卷积核的大小根据实际需求进行设定，例如，3x3x4。
所述估计高分辨率AOD图像的获取方法包括：
将所述低分辨率AOD图像输入所述编-解码器网络，生成第一高分辨率AOD图像，完成所述低分辨率AOD图像的初步分辨率提升；
将第一高分辨率AOD图像和相应的环境特征数据输入残差网络，根据环境特征数据对所述第一高分辨率AOD图像的估算误差进行修正，得到更接近真实细节的所述估计高分辨率AOD图像，完成所述低分辨率AOD图像细节质量的提升。
步骤S300中，通过所述样本集对所述生成器网络进行训练包括：
S301、将包括原始高分辨率AOD图像、环境特征数据、估计高分辨率AOD图像和低分辨率AOD图像的样本集输入判别器网络，判别器网络根据低分辨率AOD图像的空间采样条件和环境特征数据的环境条件，对原始高分辨率AOD图像和估计高分辨率AOD图像进行判定，输出0或1；其中1表示将估计高分辨率AOD图像判别为原始高分辨率AOD图像，即判别器网络无法区分真实和生成图像，以此直到全部估计高分辨率AOD图像都被判定为原始高分辨率AOD图像，则表示生成器网络训练结束，获得训练好的生成器网络，执行步骤S400；其中0表示将估计高分辨率AOD图像判定为生成的高分辨率图像，即判别器能够区分真实和生成图像，则表示训练失败，执行步骤S302。
S302、固定所述判别器网络的参数，并调整S100中得到的所述生成器网络的参数，根据所述生成器网络和所述判别器网络的相互对抗反馈，对所述生成器网络和所述判别器网络进行交替更新，继续进行迭代训练，得到训练好的所述生成器网络；其中，以最小化所述损失函数为目标，对所述生成器网络和所述判别器网络进行交替更新。所述损失函数包括空间条件损失函数、环境条件损失函数、整体上的内容损失函数，如下式所示：
Loss_1(θG，θD)＝-log D(MHR，M′LR)-log(1-D(G(M′LR)，M′LR))
Loss_2(θG，θD)＝-log D(MHR，E)-log(1-D(G(M′LR)，E))
Figure BDA0003277068590000111
L(θG，θD)＝LossSC(θG)+λ1Loss_1(θG，θD)+λ2Loss_2(θG，θD)
式中，M′LR、MHR、M′HR、E分别为所述低分辨率AOD图像、所述原始高分辨率AOD图像、所述估计高分辨率AOD图像、所述环境特征数据；θG、θD分别为所述生成器网络、所述判别器网络的参数；Loss_1(θG，θD)、Loss_2(θG，θD)分别为基于所述低分辨率AOD图像的对抗损失(即空间条件损失函数)、基于所述环境数据的对抗损失(即环境条件损失函数)；D()为所述判别器网络输出的概率值，该概率值表示输入的估计高分辨率AOD图像是原始高分辨率AOD图像的概率；G()表示所述生成器网络；LossSC(θG)表示空间内容损失(即整体上的内容损失函数)；n表示所述原始高分辨率AOD图像的像素数量；MHR，i、M′HR，i分别表示所述原始高分辨率AOD图像、所述估计高分辨率AOD图像中的第i个像素；ρ()表示惩罚函数；L(θG，θD)表示所述条件生成对抗网络的总体损失函数；λ1、λ2分别为权重系数。
步骤S400中，待处理的低分辨率AOD图像采用的是低空间、高时间分辨率的Himawari AOD数据(分辨率为：5Km，小时)，将低空间、高时间分辨率的Himawari AOD数据输入到训练好的生成器网络，从而能够获得高空间、高时间分辨率(分辨率为：1Km，小时)的Himawari AOD估算数据。其中，输入的待处理的低分辨率AOD图像需要通过采用主动选择窗口划分为图像块，输入的每个图像块的有效值比例需大于80％，并采用邻近均值对图像块中的缺失值进行填充。原始Himawari AOD数据和获得的高时空分辨率的Himawari AOD数据分别如图4(a)、图4(b)所示。
为了进一步地阐述本发明方法的可行性和有效性，通常采用常用的PSNR和SSIM来评价图像的定量结果。此外，根据AOD数据的特征，本发明增加了RMSE指标进行测量。
表1中为5种方法的RMSE、PSNR和SSIM计算结果，5种方法分别为：克里金Krige，超分辨率卷积神经网络SRCNN，添加气象数据的本发明方法AeroCGAN(meteorologicaldata)，添加地表数据的本发明方法AeroCGAN(surface reflectance)，通过3D-CNN对辅助数据进行环境特征编码的本发明方法AeroCGAN(3D-CNN embedding)。
表1
RMSE PSNR SSIM
Krige 0.036 28.89 0.868
SRCNN 0.071 22.81 0.796
AeroCGAN(meteorological data) 0.031 30.17 0.864
AeroCGAN(surface reflectance) 0.029 30.75 0.861
AeroCGAN(3D-CNN embedding) 0.021 33.24 0.883
表1显示了具有三种评估指标的不同方法的性能比较。总体而言，这些指标证明了本发明提出的模型可以进一步提高性能，尤其是增加了有用的辅助数据。PSNR和SSIME值表明，这些方法都可以估计AOD的分布趋势，但RMSE值代表了不同方法的准确度差异。与其他方法相比，本发明通过3D-CNN对辅助数据进行编码后得到的模型的估计性能得到了显着改善，并获得了最佳的指标值(RMSE：0.021，PSNR：33.24，SSIM：0.883)。在RMSE值的改善，证明了直接添加辅助数据对模型效率的改善有限，因此3D-CNN可以提取高度相关的特征，从而提高了辅助数据的利用率。
下面结合图5对本发明提供的基于条件生成对抗网络的高分辨率气溶胶估算装置进行描述，下文描述的基于条件生成对抗网络的高分辨率气溶胶估算装置与上文描述的基于条件生成对抗网络的高分辨率气溶胶估算方法可相互对应参照。
该装置包括：网络构建模块501，用于构建条件生成对抗网络，所述条件生成对抗网络包括生成器网络和判别器网络；所述生成器网络通过两个阶段对输入图像进行分辨率的提升，其中，第一个阶段对所述输入图像进行初步分辨率提升，第二个阶段对初步分辨率提升后的所述输入图像进行细节质量提升；作为优选方案，所述生成器网络包括依次连接的编-解码器网络、残差网络；所述编-解码器网络用于输入所述低分辨率AOD图像，并根据所述低分辨率AOD图像生成第一高分辨率AOD图像，完成所述低分辨率AOD图像的初步分辨率提升；所述残差网络用于输入所述第一高分辨率AOD图像和所述环境特征数据，根据所述环境特征数据对所述第一高分辨率AOD图像进行修正，得到所述估计高分辨率AOD图像，完成所述低分辨率AOD图像细节质量的提升。
样本构建模块502，用于构建样本集，所述样本集包括原始高分辨率AOD图像、环境特征数据、估计高分辨率AOD图像和低分辨率AOD图像；其中，所述低分辨率AOD图像通过对所述原始高分辨率AOD图像进行降采样得到；所述估计高分辨率AOD图像通过将所述低分辨率AOD图像和所述环境特征数据输入至所述生成器网络得到；其中，所述样本集中的所述原始高分辨率AOD图像采用高空间、低时间分辨率的MODIS AOD数据。
高分辨率气溶胶估算模块503，用于通过所述样本集对所述生成器网络进行训练，得到训练好的所述生成器网络，训练好的所述生成器网络用于对待处理的低分辨率AOD图像进行高分辨率AOD图像的估计；所述高分辨率气溶胶估算模块503包括第一训练模块504、第二训练模块505、计算模块506。
所述第一训练模块504用于将所述样本集输入所述判别器网络，根据所述判别器网络的输出对所述生成器网络进行监督训练；满足预设条件，则得到训练好的所述生成器网络，否则，训练失败。作为优选方案，第一训练模块504的训练过程包括：将所述样本集输入所述判别器网络，根据所述低分辨率AOD图像的降采样条件和所述环境特征数据，通过所述判别器网络对所述原始高分辨率AOD图像和所述估计高分辨率AOD图像进行判定，根据所述判别器网络的判定结果对所述生成器网络进行监督训练；若所述判别器网络无法区分所述原始高分辨率AOD图像和所述估计高分辨率AOD图像，则得到训练好的所述生成器网络，否则，训练失败。
所述第二训练模块505用于在所述第一训练模块训练失败的情况下，对所述生成器网络进行参数调整，并基于损失函数对所述生成器网络进行二次训练，得到训练好的所述生成器网络。作为优选方案，所述第二训练模块505的训练过程包括：固定所述判别器网络的参数，并调整所述生成器网络的参数，根据所述生成器网络和所述判别器网络的相互对抗反馈，对所述生成器网络和所述判别器网络进行交替更新，得到训练好的所述生成器网络；其中，以最小化所述损失函数为目标，对所述生成器网络和所述判别器网络进行交替更新。所述损失函数如下式所示：
Loss_1(θG，θD)＝-log D(MHR，M′LR)-log(1-D(G(M′LR)，M′LR))
Loss_2(θG，θD)＝-log D(MHR，E)-log(1-D(G(M′LR)，E))
Figure BDA0003277068590000141
L(θG，θD)＝LossSC(θG)+λ1Loss_1(θG，θD)+λ2Loss_2(θG，θD)
式中，M′LR、MHR、M′HR、E分别为所述低分辨率AOD图像、所述原始高分辨率AOD图像、所述估计高分辨率AOD图像、所述环境特征数据；θG、θD分别为所述生成器网络、所述判别器网络的参数；Loss_1(θG，θD)、Loss_2(θG，θD)分别为基于所述低分辨率AOD图像的对抗损失、基于所述环境数据的对抗损失；D()为所述判别器网络输出的概率值；G()表示所述生成器网络；LossSC(θG)表示空间内容损失；n表示所述原始高分辨率AOD图像的像素数量；MHR，i、M′HR，i分别表示所述原始高分辨率AOD图像、所述估计高分辨率AOD图像中的第i个像素；ρ()表示惩罚函数；L(θG，θD)表示所述条件生成对抗网络的总体损失函数；λ1、λ2分别为权重系数。
所述计算模块506用于根据训练好的所述生成器网络，对待处理的低分辨率AOD图像进行高分辨率AOD图像的估计。作为优选方案，计算模块506将所述待处理的低分辨率AOD图像和相应的所述环境特征数据输入训练好的所述生成器网络，得到高分辨率AOD图像；其中，所述待处理的低分辨率AOD图像采用低空间、高时间分辨率的Himawari AOD数据，得到的所述高分辨率AOD图像为高空间、高时间分辨率的AOD估算数据。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行基于条件生成对抗网络的高分辨率气溶胶估算方法，该方法包括：
构建条件生成对抗网络，所述条件生成对抗网络包括生成器网络和判别器网络；所述生成器网络通过两个阶段对输入图像进行分辨率的提升，其中，第一个阶段对所述输入图像进行初步分辨率提升，第二个阶段对初步分辨率提升后的所述输入图像进行细节质量提升；
构建样本集，所述样本集包括原始高分辨率AOD图像、环境特征数据、估计高分辨率AOD图像和低分辨率AOD图像；其中，所述低分辨率AOD图像通过对所述原始高分辨率AOD图像进行降采样得到；所述估计高分辨率AOD图像通过将所述低分辨率AOD图像和所述环境特征数据输入至所述生成器网络得到；
通过所述样本集对所述生成器网络进行训练，得到训练好的所述生成器网络，训练好的所述生成器网络用于对待处理的低分辨率AOD图像进行高分辨率AOD图像的估计；其中，将所述低分辨率AOD图像作为空间条件，将所述环境特征数据作为环境条件对所述生成器网络进行训练；训练过程中，将所述样本集输入所述判别器网络，根据所述判别器网络的输出对所述生成器网络进行监督训练；满足预设条件，则得到训练好的所述生成器网络，否则，对所述生成器网络进行参数调整，并基于损失函数对所述生成器网络进行二次训练。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于条件生成对抗网络的高分辨率气溶胶估算方法，该方法包括：
构建条件生成对抗网络，所述条件生成对抗网络包括生成器网络和判别器网络；所述生成器网络通过两个阶段对输入图像进行分辨率的提升，其中，第一个阶段对所述输入图像进行初步分辨率提升，第二个阶段对初步分辨率提升后的所述输入图像进行细节质量提升；
构建样本集，所述样本集包括原始高分辨率AOD图像、环境特征数据、估计高分辨率AOD图像和低分辨率AOD图像；其中，所述低分辨率AOD图像通过对所述原始高分辨率AOD图像进行降采样得到；所述估计高分辨率AOD图像通过将所述低分辨率AOD图像和所述环境特征数据输入至所述生成器网络得到；
通过所述样本集对所述生成器网络进行训练，得到训练好的所述生成器网络，训练好的所述生成器网络用于对待处理的低分辨率AOD图像进行高分辨率AOD图像的估计；其中，将所述低分辨率AOD图像作为空间条件，将所述环境特征数据作为环境条件对所述生成器网络进行训练；训练过程中，将所述样本集输入所述判别器网络，根据所述判别器网络的输出对所述生成器网络进行监督训练；满足预设条件，则得到训练好的所述生成器网络，否则，对所述生成器网络进行参数调整，并基于损失函数对所述生成器网络进行二次训练。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于条件生成对抗网络的高分辨率气溶胶估算方法，该方法包括：
构建条件生成对抗网络，所述条件生成对抗网络包括生成器网络和判别器网络；所述生成器网络通过两个阶段对输入图像进行分辨率的提升，其中，第一个阶段对所述输入图像进行初步分辨率提升，第二个阶段对初步分辨率提升后的所述输入图像进行细节质量提升；
构建样本集，所述样本集包括原始高分辨率AOD图像、环境特征数据、估计高分辨率AOD图像和低分辨率AOD图像；其中，所述低分辨率AOD图像通过对所述原始高分辨率AOD图像进行降采样得到；所述估计高分辨率AOD图像通过将所述低分辨率AOD图像和所述环境特征数据输入至所述生成器网络得到；
通过所述样本集对所述生成器网络进行训练，得到训练好的所述生成器网络，训练好的所述生成器网络用于对待处理的低分辨率AOD图像进行高分辨率AOD图像的估计；其中，将所述低分辨率AOD图像作为空间条件，将所述环境特征数据作为环境条件对所述生成器网络进行训练；训练过程中，将所述样本集输入所述判别器网络，根据所述判别器网络的输出对所述生成器网络进行监督训练；满足预设条件，则得到训练好的所述生成器网络，否则，对所述生成器网络进行参数调整，并基于损失函数对所述生成器网络进行二次训练。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.基于条件生成对抗网络的高分辨率气溶胶估算方法，其特征在于，包括：
构建条件生成对抗网络，所述条件生成对抗网络包括生成器网络和判别器网络；所述生成器网络通过两个阶段对输入图像进行分辨率的提升，其中，第一个阶段对所述输入图像进行初步分辨率提升，第二个阶段对初步分辨率提升后的所述输入图像进行细节质量提升；
构建样本集，所述样本集包括原始高分辨率AOD图像、环境特征数据、估计高分辨率AOD图像和低分辨率AOD图像；其中，所述低分辨率AOD图像通过对所述原始高分辨率AOD图像进行降采样得到；所述估计高分辨率AOD图像通过将所述低分辨率AOD图像和所述环境特征数据输入至所述生成器网络得到；
通过所述样本集对所述生成器网络进行训练，得到训练好的所述生成器网络，训练好的所述生成器网络用于对待处理的低分辨率AOD图像进行高分辨率AOD图像的估计；其中，将所述低分辨率AOD图像作为空间条件，将所述环境特征数据作为环境条件对所述生成器网络进行训练；训练过程中，将所述样本集输入所述判别器网络，根据所述判别器网络的输出对所述生成器网络进行监督训练；满足预设条件，则得到训练好的所述生成器网络，否则，对所述生成器网络进行参数调整，并基于损失函数对所述生成器网络进行二次训练。
2.根据权利要求1所述的基于条件生成对抗网络的高分辨率气溶胶估算方法，其特征在于，得到训练好的所述生成器网络之后，还包括：获取待处理的低分辨率AOD图像，将所述待处理的低分辨率AOD图像和相应的所述环境特征数据输入训练好的所述生成器网络，得到高分辨率AOD图像；其中，所述样本集中的所述原始高分辨率AOD图像采用高空间、低时间分辨率的MODIS AOD数据；所述待处理的低分辨率AOD图像采用低空间、高时间分辨率的Himawari AOD数据，得到的所述高分辨率AOD图像为高空间、高时间分辨率的AOD估算数据。
3.根据权利要求1所述的基于条件生成对抗网络的高分辨率气溶胶估算方法，其特征在于，所述生成器网络包括依次连接的编-解码器网络、残差网络；
所述编-解码器网络用于输入所述低分辨率AOD图像，并根据所述低分辨率AOD图像生成第一高分辨率AOD图像，完成所述低分辨率AOD图像的初步分辨率提升；
所述残差网络用于输入所述第一高分辨率AOD图像和所述环境特征数据，根据所述环境特征数据对所述第一高分辨率AOD图像进行修正，得到所述估计高分辨率AOD图像，完成所述低分辨率AOD图像细节质量的提升。
4.根据权利要求1所述的基于条件生成对抗网络的高分辨率气溶胶估算方法，其特征在于，所述根据所述判别器网络的输出对所述生成器网络进行监督训练包括：
将所述样本集输入所述判别器网络，根据所述低分辨率AOD图像的降采样条件和所述环境特征数据，通过所述判别器网络对所述原始高分辨率AOD图像和所述估计高分辨率AOD图像进行判定，根据所述判别器网络的判定结果对所述生成器网络进行监督训练；若所述判别器网络无法区分所述原始高分辨率AOD图像和所述估计高分辨率AOD图像，则得到训练好的所述生成器网络，否则，训练失败。
5.根据权利要求1所述的基于条件生成对抗网络的高分辨率气溶胶估算方法，其特征在于，所述基于损失函数对所述生成器网络进行二次训练包括：
固定所述判别器网络的参数，并调整所述生成器网络的参数，根据所述生成器网络和所述判别器网络的相互对抗反馈，对所述生成器网络和所述判别器网络进行交替更新，得到训练好的所述生成器网络；其中，以最小化所述损失函数为目标，对所述生成器网络和所述判别器网络进行交替更新。
6.根据权利要求1至5任一项所述的基于条件生成对抗网络的高分辨率气溶胶估算方法，其特征在于，所述损失函数如下式所示：
Loss_1(θG，θD)＝-log D(MHR，M′LR)-log(1-D(G(M′LR)，M′LR))
Loss_2(θG，θD)＝-log D(MHR，E)-log(1-D(G(M′LR)，E))
Figure FDA0003277068580000031
L(θG，θD)＝LossSC(θG)+λ1Loss_1(θG，θD)+λ2Loss_2(θG，θD)
式中，M′LR、MHR、M′HR、E分别为所述低分辨率AOD图像、所述原始高分辨率AOD图像、所述估计高分辨率AOD图像、所述环境特征数据；θG、θD分别为所述生成器网络、所述判别器网络的参数；Loss_1(θG，θD)、Loss_2(θG，θD)分别为基于所述低分辨率AOD图像的对抗损失、基于所述环境数据的对抗损失；D()为所述判别器网络输出的概率值；G()表示所述生成器网络；LossSC(θG)表示空间内容损失；n表示所述原始高分辨率AOD图像的像素数量；MHR，i、M′HR，i分别表示所述原始高分辨率AOD图像、所述估计高分辨率AOD图像中的第i个像素；ρ()表示惩罚函数；L(θG，θD)表示所述条件生成对抗网络的总体损失函数；λ1、λ2分别为权重系数。
CN202111120841.2A 2021-09-24 2021-09-24 基于条件生成对抗网络的高分辨率气溶胶估算方法 Pending CN113988153A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111120841.2A CN113988153A (zh) 2021-09-24 2021-09-24 基于条件生成对抗网络的高分辨率气溶胶估算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111120841.2A CN113988153A (zh) 2021-09-24 2021-09-24 基于条件生成对抗网络的高分辨率气溶胶估算方法

Publications (1)

Publication Number Publication Date
CN113988153A true CN113988153A (zh) 2022-01-28

Family

ID=79736527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111120841.2A Pending CN113988153A (zh) 2021-09-24 2021-09-24 基于条件生成对抗网络的高分辨率气溶胶估算方法

Country Status (1)

Country Link
CN (1) CN113988153A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115482467A (zh) * 2022-09-29 2022-12-16 河南省景观规划设计研究院有限公司 一种智慧园林的自动灌溉系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115482467A (zh) * 2022-09-29 2022-12-16 河南省景观规划设计研究院有限公司 一种智慧园林的自动灌溉系统
CN115482467B (zh) * 2022-09-29 2023-09-05 河南省景观规划设计研究院有限公司 一种智慧园林的自动灌溉系统

Similar Documents

Publication Publication Date Title
CN113128134B (zh) 一种矿区生态环境演变驱动因子权重量化分析方法
CN112905560B (zh) 一种多源时空大数据深度融合的空气污染预测方法
CN113204061B (zh) 一种构建格点风速订正模型的方法及装置
CN116151483B (zh) 一种区域级降雨滑坡概率性预测方法及预测终端
CN113901384A (zh) 顾及全局空间自相关性和局部异质性的地面pm2.5浓度建模方法
CN117592005B (zh) Pm2.5浓度卫星遥感估算方法、装置、设备及介质
CN116310883B (zh) 基于遥感图像时空融合的农业灾害预测方法及相关设备
CN113324923A (zh) 一种结合时空融合与深度学习的遥感水质反演方法
CN113253364A (zh) 一种对站点风速预报结果进行订正的方法及装置
CN114463616B (zh) 一种基于Stacking与EMOS-CSG的多源卫星降水融合方法
CN113988153A (zh) 基于条件生成对抗网络的高分辨率气溶胶估算方法
Shang et al. Spatiotemporal reflectance fusion using a generative adversarial network
Saberi et al. Accuracy assessment and improvement of SRTM, ASTER, FABDEM, and MERIT DEMs by polynomial and optimization algorithm: A case study (Khuzestan Province, Iran)
CN112990354A (zh) 一种构建用于风速预测的深度卷积回归网络的方法及装置
CN116071644B (zh) 逐日叶面积指数数据反演方法、装置、设备及存储介质
CN117422619A (zh) 图像重建模型的训练方法、图像重建方法、装置及设备
CN116310851B (zh) 遥感图像变化检测方法
CN116229419B (zh) 一种行人检测方法及装置
CN116188969A (zh) 一种融合InSAR与时空卷积的地表形变预测方法
CN115100091A (zh) 一种sar图像转光学图像的转换方法及装置
CN111028178B (zh) 一种基于深度学习的遥感影像数据自动化几何纠正方法
CN113466135A (zh) 一种基于gee的海水水质在线反演监测方法
Mezouar et al. A Hybrid particle swarm optimization of the rational function model for satellite strip images ortho-rectification
CN110866363A (zh) 一种利用人工神经网络反演北极融池分布的方法
CN117036987B (zh) 一种基于小波域交叉配对的遥感影像时空融合方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination