CN114677313A - 一种生成多对抗网络结构的遥感图像空谱融合方法与系统 - Google Patents

一种生成多对抗网络结构的遥感图像空谱融合方法与系统 Download PDF

Info

Publication number
CN114677313A
CN114677313A CN202210269455.8A CN202210269455A CN114677313A CN 114677313 A CN114677313 A CN 114677313A CN 202210269455 A CN202210269455 A CN 202210269455A CN 114677313 A CN114677313 A CN 114677313A
Authority
CN
China
Prior art keywords
image
spectrum
discriminator
remote sensing
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210269455.8A
Other languages
English (en)
Inventor
雷大江
邹仁峰
张莉萍
李伟生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202210269455.8A priority Critical patent/CN114677313A/zh
Publication of CN114677313A publication Critical patent/CN114677313A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种生成多对抗网络结构的遥感图像空谱融合方法与系统，涉及卫星遥感图像融合技术领域，包括：卫星遥感图像数据集进行插值预处理使得遥感图像满足生成多对抗网络所需尺寸；构建生成对抗网络的生成器，从生成器产生的生成图像中选择适用于多对抗判别器；构建生成对抗网络的判别器，获取低分辨率多光谱图像(LRMS)与高分辨率全色图像(PAN)的融合图像；本发明通过结合多对抗思想与遥感图像专业领域知识，本发明提出了一种创新的生成多对抗网络，该框架将生成对抗网络扩展到多个判别器。多个判别器可以使生成器更好的综合光谱信息和结构信息，从而得到高质量的高分辨率多光谱图像。

Description

一种生成多对抗网络结构的遥感图像空谱融合方法与系统
技术领域
本发明涉及遥感图像融合技术领域，确切地说涉及一种生成多对抗网络结构的遥感图像空谱融合方法与系统。
背景技术
随着技术的进步，现在遥感图像已经在众多领域中得到广泛应用，例如军事侦察，农业气象预测等，由于遥感卫星技术的限制，遥感卫星只能获取低分辨率的多光谱图像(LRMS)和有着高分辨率的全色图像(Pan),实际应用是将两者融合产生高分辨率的多光谱图像(HRMS)，这一过程被叫做全锐化(Pansharpening)也就是遥感图像空谱融合。
Pansharpening是特定领域的卫星图像处理任务，旨在避免频谱失真，同时将低分辨率多光谱图像与相应的高分辨率全色图像尽可能地融合在一起。提高多光谱图像的空间分辨率。因为通过遥感图像融合获得的高空间分辨率和高光谱分辨率的遥感图像在遥感领域中非常重要，例如用作处理图像的预处理步骤，图像的分割和分类。因此，Pansharpening在图像融合领域有着重要的作用。
图像融合是一个典型的逆命题，难以解决。许多传统方法使用针对成分替换的Pansharpening方法，例如强度色调饱和度，主成分分析。还有一种常用的传统方法就是针对多分辨率分析，针对多分辨率分析算法是将PAN图像的空间细节通过多分辨率分解注入到上采样的LRMS图像的每一个波段中，常见的针对多分辨率分析算法有小波变换。针对分量替换的融合算法计算效率高，但是容易产生光谱扭曲。针对多分辨率的这类算法，经过多分辨率分解后，全色图像将丢失部分结构细节，融合图像通常空间信息不足；因此可以使用将两种或者多种算法融合在一起，将两种或多种算法的优点结合起来的融合算法，例如将PCA与滤波器结合的算法和针对自适应显著性检测的复杂滤波算法；针对变分框架的遥感图像Pansharpening方法的出现，使得求解反问题成为可能。该类方法通过引入两个平衡系数在光谱信息保真和空间信息保真之间做一个权衡，并且最小化能量函数从而获得高质量的光谱图像。例如第一个被提出的变分模型P+XS是Ballester等人针对Pansharpening问题针对线性组合Brovery中的假设。但是变分方法参数较多，往往求解会成为一个难题。
近年来，深度学习在计算机视觉领域得到了应用并取得巨大成功，尤其是在遥感方面。其中，例如Masi等人通过引入几个典型的遥感非线性辐射指数图增加输入的卷积神经网络(PCNN)，在高通滤波域上训练参数保留结构信息并将上采样后的多光谱图像直接添加到输出的残差网络(PanNet)。目前来说利用神经网络来进行遥感融合主要有两个方向，一是如PCNN，是直接求解输入图像到输出图像的映射，本质上都是通过最小化融合图像和参考图像之间的欧几里德距离来训练网络，这些算法只是将遥感图像的融合过程看成一个黑盒深度学习问题；二是如PanNet，尽管提出了将低分辨率多光谱图像转换到高频域来训练网络参数以使网络更多地关注高分辨率的全色图像的空间结构，但是这样在训练完成后直接加上低分辨率多光谱图像上采样后的图像作为光谱信息的补充会导致光谱信息的损失和结构信息的改变。将生成对抗网络GAN应用于Pansharpening也取得了成功。例如PSGAN(A Generative Adversarial Network for Pan-sharpening)和多流融合生成对抗网络(MSGAN)在全参考与无参考指标度量以及目视检验方面是目前最先进的算法。尽管生成对抗网络在遥感融合上取得了一些成功，但其训练难度依然很高。目前的改进方法都侧重于从生成器的网络结构和损失函数上来改进针对遥感图像融合的生成对抗网络，并忽略了判别器在生成对抗网络中的重要作用。
发明内容
本发明目的在于针对上述问题，提供一种具备遥感图像专业知识的、可以更好综合遥感图像结构信息与光谱信息的、针对遥感图像空谱融合的生成多对抗网络结构的空谱融合方法与系统。
本发明提供的这一种生成多对抗网络结构的遥感图像空谱融合方法与系统，包括遥感数据预处理、构建生成对抗网络的生成器、生成图像判别结构选择、判别器构建、以及获取低分辨率多光谱图像(LRMS)与高分辨率全色图像(PAN)的融合图像过程，通过上述过程能够有效的获得卫星遥感图像的融合图像。
在本发明的第一方面，本发明提供了一种生成多对抗网络结构的遥感图像空谱融合方法，包括对卫星遥感图像数据集中的多光谱图像和全色图像进行预处理；对预处理后的图像采用训练完成后的生成多对抗网络结构生成遥感融合图像；其中，生成多对抗网络结构的训练过程包括：
将上采样后的低分辨率多光谱图像以及全色图像的水平梯度信息图像和垂直梯度信息图像分别经过三层卷积网络，并在通道维度上进行拼接形成第一拼接图像；
将上采样前的低分辨率多光谱图像经过两层卷积网络后，与所述第一拼接图像再次拼接形成第二拼接图像，并对第二拼接图像进行下采样，通过生成器进行转置卷积解码重建出融合图像；
将重建出的所述融合图像作为生成图像，将高分辨率多光谱图像作为样本图像，并分别将所述生成图像和所述样本图像划分为结构部分和光谱部分；
利用结构判别器和光谱判别器分别判别出生成图像的光谱部分和结构部分对应为样本图像的光谱部分和结构部分的概率；
利用普通结构判别器对生成图像的普通结构信息图和样本图像的普通结构信息图进行判别，返回第一概率值；
利用梯度结构判别器对生成图像的梯度信息图与全色图中的梯度信息图进行判别，返回第二概率值；
利用光谱判别器对生成图像的光谱部分和样本图像的光谱部分进行判别，返回第三概率值；
使用加权平均方式对第一概率值和第二概率值进行处理，使用动态加权平均方式对得到的加权概率值与第三概率值进行处理，并将处理后的返回值传输给生成器；
采用联合训练的对抗方式，对各个生成器和各个判别器进行训练，直至生成器和各个判别器的损失函数达到收敛或者达到训练迭代轮数。
在本发明的第二方面，本发明还提供了一种生成多对抗网络结构的遥感图像空谱融合系统，包括图像采集装置、图像预处理装置和图像融合装置，所述图像采集装置用于采集卫星遥感图像数据集，所述图像预处理装置用于对卫星遥感图像数据集中的多光谱图像和全色图像进行预处理，所述图像融合装置用于对预处理后的图像采用训练完成后的生成多对抗网络结构生成遥感融合图像；
其中，所述图像融合装置包括输入模块、生成多对抗网络结构模块以及输出模块，所述输入模块用于输入预处理后的图像，所述生成多对抗网络结构模块用于对预处理后的图像进行处理，生成遥感图像融合图像，所述输出模块用于输出所述生成多对抗网络结构模块处理后的融合图像，其中：
生成多对抗网络结构的训练过程包括：
将上采样后的低分辨率多光谱图像以及全色图像的水平梯度信息图像和垂直梯度信息图像分别经过三层卷积网络，并在通道维度上进行拼接形成第一拼接图像；
将上采样前的低分辨率多光谱图像经过两层卷积网络后，与所述第一拼接图像再次拼接形成第二拼接图像，并对第二拼接图像进行下采样，通过生成器进行转置卷积解码重建出融合图像；
将重建出的所述融合图像作为生成图像，将高分辨率多光谱图像作为样本图像，并分别将所述生成图像和所述样本图像划分为结构部分和光谱部分；
利用结构判别器和光谱判别器分别判别出生成图像的光谱部分和结构部分对应为样本图像的光谱部分和结构部分的概率；
利用普通结构判别器对生成图像的普通结构信息图和样本图像的普通结构信息图进行判别，返回第一概率值；
利用梯度结构判别器对生成图像的梯度信息图与全色图中的梯度信息图进行判别，返回第二概率值；
利用光谱判别器对生成图像的光谱部分和样本图像的光谱部分进行判别，返回第三概率值；
使用加权平均方式对第一概率值和第二概率值进行处理，使用动态加权平均方式对得到的加权概率值与第三概率值进行处理，并将处理后的返回值传输给生成器；
采用联合训练的对抗方式，对各个生成器和各个判别器进行训练，直至生成器和各个判别器的损失函数达到收敛或者达到训练迭代轮数。
与现有技术相比，本发明的有益效果是：
本发明的网络结构采用生成多对抗结构，本网络将“多对抗”加入到生成对抗网络中，通过更改判别器的结构来提升整个生成对抗网络在遥感融合上的效果。将生成器中产生的图像分为两部分，一部分为光谱部分，另一部分为结构部分，分别放入判别器进行判别，使整个生成对抗网络更具有对抗性。
本发明网络结构与其他的针对遥感图像空谱融合的网络结构相比，可以更好综合遥感图像的结构信息与光谱信息；本发明将生成器产生的生成图像分为结构部分和光谱部分，同样的，本发明把样本图像也分为结构部分和光谱部分，接下来，本发明将生成图像的结构部分与样本图像的结构部分一同放入结构判别器，将生成图像的光谱部分与样本图像的光谱部分一同放入光谱判别器。在生成图像逐渐获得样本图像的细节信息的同时，两个判别器会返回两个值，这是两个在[0,1]区间的值，分别代表着判别器判别生成图像的光谱部分和结构部分为样本图像的光谱部分和结构部分的概率。虽然两个判别器返回了两个值，但此时生成器只能接收一个值来进行调整。如果此时本发明只选用两个判别器返回值中的一个，那显然就只能考虑到光谱信息和结构信息中的一个，那极有可能在训练过程中会出现一个信息过拟合而另一个信息欠拟合的现象。所以，为了兼顾光谱信息与结构信息，本发明采用算术平均值的方法而不是加权平均值的方法来处理光谱判别器和结构判别器的返回值，把处理后的返回值传输给生成器，使生成器生成的生成图像可以综合光谱信息与结构信息。
附图说明
本发明的前述和下文具体描述在结合以下附图阅读时变得更清楚，其中：
图1是本发明实施例的一种生成多对抗网络结构的遥感图像空谱融合方法框架图；
图2是本发明实施例的多对抗网络结构图；
图3是针对遥感图像空谱融合的生成多对抗网络结构图；
图4是本发明实施例的生成多对抗网络结构训练流程图；
图5是针对遥感图像空谱融合的生成多对抗网络结构中生成器结构图；
图6是针对遥感图像空谱融合的生成多对抗网络结构中判别器结构图；
图7是针对遥感图像空谱融合的生成多对抗网络结构的仿真评价指标图；
图8是针对遥感图像空谱融合的生成多对抗网络结构的真实数据评价指标图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例的一种生成多对抗网络结构的遥感图像空谱融合方法框架图，如图1所示，所述方法包括：
101、对卫星遥感图像数据集中的多光谱图像和全色图像进行预处理；
在本发明实施例中，所述卫星遥感图像数据集中包括多光谱图像和全色图像，需要对卫星遥感图像数据集进行插值处理，使得卫星遥感图像满足生成多对抗网络结构所需尺寸；即裁剪相同区域的多光谱图像与全色图像，使得高分辨率的多光谱图像和全色图像图像大小为4N×4N，低分辨率的多光谱图像大小为N×N；采用双三次插值方法对低分辨率多光谱图像进行4倍上采样，上采样后的低分辨率的多光谱图像的大小为4N×4N；使用梯度算子将全色图像中水平与垂直方向上的梯度信息图提取出来，两张梯度信息图像大小均为4N×4N，N为分辨率尺寸。
本实施例中，裁剪相同区域的多光谱图像(MS)与全色图像(PAN)，使得高分辨率多光谱图像(HRMS)和PAN图像大小为128*128，低分辨率多光谱图像(LRMS)大小为32*32；采用QuickBird卫星数据集提供的多光谱图像分辨率为2.44m，全色图像分辨率为0.61m。QuickBird卫星的多光谱图像提供了可见光谱(蓝色、绿色、红色)和近红外光谱范围内的四个波段。还采用双三次插值方法对低分辨率多光谱图像进行4倍上采样，上采样后的LRMS图像大小为128*128；使用梯度算子将全色图中水平与垂直方向上的梯度信息图提取出来，两张梯度信息图像大小均为128*128。
102、对预处理后的图像采用训练完成后的生成多对抗网络结构生成遥感融合图像。
在本发明实施例中，将预处理后的低分辨率多光谱图像以及全色图像输入到训练完成的生成多对抗网络结构中，即可生成遥感融合图像，实现遥感图像融合。
为了生成遥感融合图像，需要对生成多对抗网络结构进行训练，直至满足融合需求后，才能直接对待融合的图像进行处理；其中，图1是生成多对抗网络结构图，如图2所示，所述生成多对抗网络结构包括N个判别器，将N个判别器的融合结果输入至生成器中，从而构成了本发明实施例的生成多对抗网络。
在本发明实施例中，如图3所示，所述生成多对抗网络结构的优选实施例中，所述判别器包括结构判别器和光谱判别器，将全色图像和生成器生成的融合图像即高分辨率的多光谱图像均采用结构判别器和光谱判别器进行判别处理。
图4是本发明实施例中多对抗网络结构的训练过程，如图4所示，所述生成多对抗网络结构的训练过程包括：
201、将上采样后的低分辨率多光谱图像以及全色图像的水平梯度信息图像和垂直梯度信息图像分别经过三层卷积网络，并在通道维度上进行拼接形成第一拼接图像；
在本发明实施例中，首先需要将全色图像在水平与垂直方向上的梯度信息图输入生成器，如图5所示，所述生成器，将全色图在水平与垂直方向上的梯度信息图输入生成器，并在其经过三层卷积网络后分别与同样经过三层卷积的上采样后的LRMS图像在通道维度上拼接，再输入三层卷积网络训练后合并在一起。考虑到上采样后的LRMS图像会丢失部分原始LRMS图像信息，输入LRMS图像在经过两层卷积后与其在通道维度拼接，进行联合训练。为了保留完善的特征，在网络上设计中没有使用池化层而是使用步长为2的卷积层进行下采样。同时将初始特征通过跳跃连接的操作把光谱信息与纹理细节补充到高层。在其经过三层卷积网络后分别与同样经过三层卷积的上采样后的LRMS图像在通道维度上拼接形成第一拼接图像。
202、将上采样前的低分辨率多光谱图像经过两层卷积网络后，与所述第一拼接图像再次拼接形成第二拼接图像，并对第二拼接图像进行下采样，通过生成器进行转置卷积解码重建出融合图像；
在本发明实施例中，如图5所示，还需要将上采样前的低分辨率多光谱图像经过两层卷积网络后，与所述第一拼接图像再次拼接形成第二拼接图像，并对第二拼接图像进行下采样，通过生成器进行转置卷积解码重建出融合图像。其中，在网络上设计中使用步长为2的卷积层进行下采样。
其中，生成器的损失函数
Figure BDA0003554005130000081
表示为：
Figure BDA0003554005130000082
其中，K表示卫星遥感图像训练样本的数量；
Figure BDA0003554005130000083
表示在生成器和判别器之间的对抗损失，N表示判别器数量，Di(G(x))表示对训练样本x的生成图像G(x)在判别器i的判别结果；
Figure BDA0003554005130000091
旨在使得融合图像和真实的高分辨率的多光谱图像足够接近，并保留光谱信息，λ表示平衡参数，Z表示高分辨率的多光谱图像，
Figure BDA0003554005130000092
表示由包含低分辨率多光谱图像，水平方向全色图梯度信息图和垂直方向全色图梯度信息图的生成器所产生的生成图像，Y表示低分辨率的多光谱图像，
Figure BDA0003554005130000093
表示水平方向全色图的梯度信息，
Figure BDA0003554005130000094
表示垂直方向全色图的梯度信息，P表示全色图。
所述生成器损失函数中，损失函数的优化求解器使用Adam算法，批量大小设置为32，初始学习率设为0.0002，Adam算法动量项设置为0.05，两个权重超参数λ和ε分别为100和20。
203、将重建出的所述融合图像作为生成图像，将高分辨率多光谱图像作为样本图像，并分别将所述生成图像和所述样本图像划分为结构部分和光谱部分；
在本发明实施例中，将生成器产生的生成图像分为结构部分和光谱部分，同样的，把样本图像也分为结构部分和光谱部分；其中这里的生成图像实际上是高分辨率多光谱图像，这里的样本图像实际上是全色图像。
204、利用结构判别器和光谱判别器分别判别出生成图像的光谱部分和结构部分对应为样本图像的光谱部分和结构部分的概率；
本发明实施例中将生成图像的结构部分与样本图像的结构部分一同放入结构判别器，将生成图像的光谱部分与样本图像的光谱部分一同放入光谱判别器。在生成图像逐渐获得样本图像的细节信息的同时，两个判别器会返回两个值，这是两个在[0，1]区间的值，分别代表着判别器判别生成图像的光谱部分和结构部分为样本图像的光谱部分和结构部分的概率。
如图6所示，首先，将两个大小为128*128*1的结构信息图像放入结构判别器中，将两个大小为128*128*3的光谱信息图像放入到光谱判别器中。两个判别器在结构上一致，是两个五层卷积神经网络。接下来，从第一层到第三层，使用大小为3*3的，步长为2的卷积核，并且设padding＝“SAME”。第四层到第五层同前三层一样，只是卷积核步长设为1。除了最后一层，其他卷积层都是用Leaky ReLU激活，在最后一层使用sigmoid激活函数用于分类。
205、利用普通结构判别器对生成图像的普通结构信息图和样本图像的普通结构信息图进行判别，返回第一概率值；
在本发明实施例中，将结构判别器再分为普通结构判别器与梯度信息结构判别器，其中结构判别器能够判别生成图像的整体结构信息与全色图像的整体结构信息，得到第一概率值。
在本发明实施例中，卫星遥感图像一共有4层，取前三层作为光谱部分，取第4层做结构部分，也即是第4层为本发明实施例的所述普通结构信息图。
206、利用梯度结构判别器对生成图像的梯度信息图与全色图中的梯度信息图进行判别，返回第二概率值；
在本发明实施例中，在梯度信息结构判别器中，使用梯度算子将生成图像中水平与垂直方向上的梯度信息图与使用梯度算子将全色图中水平与垂直方向上的梯度信息图进行判别，能够得到第二概率值。
207、利用光谱判别器对生成图像的光谱部分和样本图像的光谱部分进行判别，返回第三概率值；
在本发明实施例中，可以光谱判别器对生成图像和样本图像的光谱部分进行判别，得到第三概率值。
在本发明实施例中，判别器判断得出的概率值的含义即为判断A为B的概率，以光谱判别器为例，光谱判别器会判断生成图像的光谱部分为样本图像的光谱部分的概率，该第三概率值是一个[0,1]之间的值，越靠近1，则说明生成图像的光谱部分与样本图像的光谱部分越接近，反之，则说明越偏离样本图像的光谱部分。
208、使用加权平均方式对第一概率值和第二概率值进行处理，使用动态加权平均方式对得到的加权概率值与第三概率值进行处理，并将处理后的返回值传输给生成器；
在本发明实施例中，在处理普通结构判别器与梯度信息结构判别器的返回值时，选用加权平均值方法。在结构信息判别器中，普通结构判别器的权值为0.7，梯度信息结构判别器的权值为0.3，当然，在具体的环境中，本领域技术人员可以适当调整两种结构判别器的权值。
在本发明实施例中，采用动态加权平均值的方法而来处理光谱判别器和结构判别器的返回值，把处理后的返回值传输给生成器，在处理结构判别器与光谱判别器时所用的动态加权方法，其公式为：
Figure BDA0003554005130000111
Figure BDA0003554005130000112
其中，Wi(xi)表示判别器i对其返回的概率值xi的权值，xi为判别器i返回的概率值，ai表示判别器i对应取[0,1)中的某定值，这里假设ai＝0.5，σi由Wi(1)＝0.9时确定，X为最后输出结果，即动态加权平均后的概率值，i＝1表示光谱判别器，i＝2表示结构判别器。由于判别器返回概率是[0,1]，因而在本发明中使用偏大型正态分布函数来用作动态加权方法原因在于：当概率值在0.5附近波动时，对生成器反馈作用较大，靠近1或者0时，对生成器反馈作用较小，通过动态加权平均的方式能够让加权结果更有利于对生成器进行反馈。
可以理解的是，这里的结构判断器返回的概率值是普通结构判别器和梯度结构判别器返回的概率值的加权概率值。
在本发明的优选实施例中，采用另一种动态加权的方式来计算出概率加权结果，如下：
Figure BDA0003554005130000113
其中，当j＝1时计算的是光谱判别器的权值，当j＝2时计算的是结构判别器的权值，wj0表示判别器的初始权重，wjk表示判别器在第k次迭代过程的权重。
本实施例的动态加权过程结合了迭代过程中的权重，这种权重更加能够反映概率值与生成器和判别器的关系。
在本发明的优选实施例中，如图6所示，首先，将两个大小为128*128*1的结构信息图像放入普通结构判别器中，将两个大小为128*128*1的梯度信息图像放入梯度信息结构判别器中，将两个大小为128*128*3的光谱信息图像放入到光谱判别器中。三个判别器在结构上一致，是两个五层卷积神经网络。接下来，从第一层到第三层，使用大小为3*3的，步长为2的卷积核，并且设padding＝“SAME”。第四层到第五层同前三层一样，只是卷积核步长设为1。除了最后一层，其他卷积层都是用Leaky ReLU激活，在最后一层使用sigmoid激活函数用于分类。最后，当普通结构判别器与梯度信息结构判别器都判别结束产生返回值时，使用加权平均方法得到结构判别器的返回值，当光谱判别器与结构判别器都判别结束产生返回值时，再将两个判别器的返回值动态加权平均作为最后的判别器结果。
其中，判别器的损失函数
Figure BDA0003554005130000121
表示为：
Figure BDA0003554005130000122
Figure BDA0003554005130000123
Figure BDA0003554005130000124
Figure BDA0003554005130000125
其中，
Figure BDA0003554005130000126
表示光谱判别器的损失函数，在光谱判别器中，利用Mspectrum作为参考，来判别输入的图像是Fspectrum还是Zspectrum；
Figure BDA0003554005130000127
表示普通结构判别器的损失函数，在普通结构判别器中，利用全色图像作为参考，来判别输入的图像是Fstructure还是Zstructure；
Figure BDA0003554005130000131
表示梯度信息结构判别器的损失函数，在梯度信息结构判别器中，利用全色图中水平与垂直方向上的梯度信息图作为参考，来判别输入的图像是Fgradient还是Zgradient。Fspectrum表示生成图像的光谱部分，Mspectrum表示低分辨率多光谱图像的光谱部分，Zspectrum表示高分辨率多光谱图像的光谱部分；P表示全色图，Fstructure表示生成图像的结构部分，Zstructure表示高分辨率多光谱图像的结构部分；R表示全色图的梯度信息结构部分，Fgradient表示生成图像的梯度信息结构部分，Zgradient表示高分辨率多光谱图像的梯度信息结构部分。
209、采用联合训练的对抗方式，对各个生成器和各个判别器进行训练，直至生成器和各个判别器的损失函数达到收敛或者达到训练迭代轮数。
在本发明优选实施例中，所述生成多对抗网络结构训练轮次为25轮也可以结束训练过程，达到训练完成的目标。
在本发明实施例中，在通过生成器进行转置卷积解码重建出融合图像之后还包括对融合图像进行评价，即仿真评价与真实数据评价；其中，如图7所示，在仿真评价中，将获取的多光谱图像作为参考，将全色图像下采样至多光谱图像相同的尺寸，同时将多光谱图像下采样四倍作为低分辨率的LRMS图像，整体在缩小的比例上进行融合，得到与多光谱图像一样尺寸的融合图像，最后测量相关指标；在生成对抗网络加入多对抗后，在SAM，ERGAS，Q4，SCC这4个指标上都有着不同程度的提升。如图8所示，评价将采用多种图像评价指标对实验结果进行测定，具体为：光谱角度映射(SAM),相对整体维数综合误差(ERGAS)，广义图像质量指标(UIQI)向n波段扩展(Qn)，空间相关系数(SCC)以及无参考质量评价指标(QNR)；其中QNR中包含了评价光谱细节损失的指标Dλ和评价空间细节损失的指标Ds。可以看出在原方法加入多对抗框架后在Dλ，Ds和QNR参数上的确有提升。说明加入多对抗后，融合图像比原算法的更加真实。
本发明实施例中，还提供了一种生成多对抗网络结构的遥感图像空谱融合系统，包括图像采集装置、图像预处理装置和图像融合装置，所述图像采集装置用于采集卫星遥感图像数据集，所述图像预处理装置用于对卫星遥感图像数据集中的多光谱图像和全色图像进行预处理，所述图像融合装置用于对预处理后的图像采用训练完成后的生成多对抗网络结构生成遥感融合图像；
所述图像融合装置包括输入模块、生成多对抗网络结构模块以及输出模块，所述输入模块用于输入预处理后的图像，所述生成多对抗网络结构模块用于对预处理后的图像进行处理，生成遥感图像融合图像，所述输出模块用于输出所述生成多对抗网络结构模块处理后的融合图像，其中，生成多对抗网络结构的训练过程如步骤201～步骤209的过程。
可以理解的是，本发明的一种生成多对抗网络结构的遥感图像空谱融合方法以及一种生成多对抗网络结构的遥感图像空谱融合系统属于本发明的同一构思，两者之间的技术特征可以相互引用，本发明对此不再一一赘述。
在本发明的描述中，需要理解的是，术语“同轴”、“底部”、“一端”、“顶部”、“中部”、“另一端”、“上”、“一侧”、“顶部”、“内”、“外”、“前部”、“中央”、“两端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋转”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种生成多对抗网络结构的遥感图像空谱融合方法，包括对卫星遥感图像数据集中的多光谱图像和全色图像进行预处理；对预处理后的图像采用训练完成后的生成多对抗网络结构生成遥感融合图像；
其特征在于，生成多对抗网络结构的训练过程包括：
将上采样后的低分辨率多光谱图像以及全色图像的水平梯度信息图像和垂直梯度信息图像分别经过三层卷积网络，并在通道维度上进行拼接形成第一拼接图像；
将上采样前的低分辨率多光谱图像经过两层卷积网络后，与所述第一拼接图像再次拼接形成第二拼接图像，并对第二拼接图像进行下采样，通过生成器进行转置卷积解码重建出融合图像；
将重建出的所述融合图像作为生成图像，将高分辨率多光谱图像作为样本图像，并分别将所述生成图像和所述样本图像划分为结构部分和光谱部分；
利用结构判别器和光谱判别器分别判别出生成图像的光谱部分和结构部分对应为样本图像的光谱部分和结构部分的概率；
利用普通结构判别器对生成图像的普通结构信息图和样本图像的普通结构信息图进行判别，返回第一概率值；
利用梯度结构判别器对生成图像的梯度信息图与全色图中的梯度信息图进行判别，返回第二概率值；
利用光谱判别器对生成图像的光谱部分和样本图像的光谱部分进行判别，返回第三概率值；
使用加权平均方式对第一概率值和第二概率值进行处理，使用动态加权平均方式对得到的加权概率值与第三概率值进行处理，并将处理后的返回值传输给生成器；
采用联合训练的对抗方式，对各个生成器和各个判别器进行训练，直至生成器和各个判别器的损失函数达到收敛或者达到训练迭代轮数。
2.根据权利要求1所述的一种生成多对抗网络结构的遥感图像空谱融合方法，其特征在于，所述对卫星遥感图像数据集中的多光谱图像和全色图像进行预处理包括对卫星遥感图像数据集进行插值处理，使得卫星遥感图像满足生成多对抗网络结构所需尺寸；即裁剪相同区域的多光谱图像与全色图像，使得高分辨率的多光谱图像和全色图像图像大小为4N×4N，低分辨率的多光谱图像大小为N×N；采用双三次插值方法对低分辨率多光谱图像进行4倍上采样，上采样后的低分辨率的多光谱图像的大小为4N×4N；使用梯度算子将全色图像中水平与垂直方向上的梯度信息图提取出来，两张梯度信息图像大小均为4N×4N，N为分辨率尺寸。
3.根据权利要求1所述的一种生成多对抗网络结构的遥感图像空谱融合方法，其特征在于，使用动态加权平均方式对得到的加权概率值与第三概率值进行处理所采用的公式包括：
Figure FDA0003554005120000021
Figure FDA0003554005120000022
其中，Wi(xi)表示判别器i对其返回的概率值xi的权值，xi为判别器i返回的概率值，ai表示判别器i对应取[0,1)中的某定值，σi由Wi(1)＝0.9时确定，X为最后输出结果，即动态加权平均后的概率值，i＝1表示光谱判别器，i＝2表示结构判别器。
4.根据权利要求1所述的一种生成多对抗网络结构的遥感图像空谱融合方法，其特征在于，生成器的损失函数
Figure FDA0003554005120000023
表示为：
Figure FDA0003554005120000031
其中，K表示卫星遥感图像训练样本的数量；
Figure FDA0003554005120000032
表示在生成器和判别器之间的对抗损失，N表示判别器数量；Di(G(x))表示对训练样本x的生成图像G(x)在判别器i的判别结果；
Figure FDA0003554005120000033
旨在使得融合图像和真实的高分辨率的多光谱图像足够接近，并保留光谱信息，λ表示平衡参数，Z表示高分辨率的多光谱图像，
Figure FDA0003554005120000034
表示由包含低分辨率多光谱图像，水平方向全色图梯度信息图和垂直方向全色图梯度信息图的生成器所产生的生成图像，Y表示低分辨率的多光谱图像，
Figure FDA0003554005120000035
表示水平方向全色图的梯度信息，
Figure FDA0003554005120000036
表示垂直方向全色图的梯度信息；
Figure FDA0003554005120000037
旨在保留全色图像的结构信息，
Figure FDA0003554005120000038
是一个控制两个约束部分之间权衡的正则参数。
5.根据权利要求1所述的一种生成多对抗网络结构的遥感图像空谱融合方法，其特征在于，判别器的损失函数
Figure FDA0003554005120000039
表示为：
Figure FDA00035540051200000310
Figure FDA00035540051200000311
Figure FDA00035540051200000312
其中，
Figure FDA00035540051200000313
表示光谱判别器的损失函数，在光谱判别器中，利用Mspectrum作为参考，来判别输入的图像是Fspectrum还是Zspectrum；
Figure FDA00035540051200000314
表示普通结构判别器的损失函数，在普通结构判别器中，利用全色图像作为参考，来判别输入的图像是Fstructure还是Zstructure；
Figure FDA00035540051200000315
表示梯度信息结构判别器的损失函数，在梯度信息结构判别器中，利用全色图中水平与垂直方向上的梯度信息图作为参考，来判别输入的图像是Fgradient还是Zgradient；Fspectrum表示生成图像的光谱部分，Mspectrum表示低分辨率多光谱图像的光谱部分，Zspectrum表示高分辨率多光谱图像的光谱部分；P表示全色图，Fstructure表示生成图像的结构部分，Zstructure表示高分辨率多光谱图像的结构部分；R表示全色图的梯度信息结构部分，Fgradient表示生成图像的梯度信息结构部分，Zgradient表示高分辨率多光谱图像的梯度信息结构部分。
6.一种生成多对抗网络结构的遥感图像空谱融合系统，包括图像采集装置、图像预处理装置和图像融合装置，所述图像采集装置用于采集卫星遥感图像数据集，所述图像预处理装置用于对卫星遥感图像数据集中的多光谱图像和全色图像进行预处理，所述图像融合装置用于对预处理后的图像采用训练完成后的生成多对抗网络结构生成遥感融合图像；
其特征在于，所述图像融合装置包括输入模块、生成多对抗网络结构模块以及输出模块，所述输入模块用于输入预处理后的图像，所述生成多对抗网络结构模块用于对预处理后的图像进行处理，生成遥感图像融合图像，所述输出模块用于输出所述生成多对抗网络结构模块处理后的融合图像，其中：
生成多对抗网络结构的训练过程包括：
将上采样后的低分辨率多光谱图像以及全色图像的水平梯度信息图像和垂直梯度信息图像分别经过三层卷积网络，并在通道维度上进行拼接形成第一拼接图像；
将上采样前的低分辨率多光谱图像经过两层卷积网络后，与所述第一拼接图像再次拼接形成第二拼接图像，并对第二拼接图像进行下采样，通过生成器进行转置卷积解码重建出融合图像；
将重建出的所述融合图像作为生成图像，将高分辨率多光谱图像作为样本图像，并分别将所述生成图像和所述样本图像划分为结构部分和光谱部分；
利用结构判别器和光谱判别器分别判别出生成图像的光谱部分和结构部分对应为样本图像的光谱部分和结构部分的概率；
利用普通结构判别器对生成图像的普通结构信息图和样本图像的普通结构信息图进行判别，返回第一概率值；
利用梯度结构判别器对生成图像的梯度信息图与全色图中的梯度信息图进行判别，返回第二概率值；
利用光谱判别器对生成图像的光谱部分和样本图像的光谱部分进行判别，返回第三概率值；
使用加权平均方式对第一概率值和第二概率值进行处理，使用动态加权平均方式对得到的加权概率值与第三概率值进行处理，并将处理后的返回值传输给生成器；
采用联合训练的方式，对各个生成器和各个判别器进行训练，直至生成器和各个判别器的损失函数达到收敛或者达到训练迭代轮数。
CN202210269455.8A 2022-03-18 2022-03-18 一种生成多对抗网络结构的遥感图像空谱融合方法与系统 Pending CN114677313A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210269455.8A CN114677313A (zh) 2022-03-18 2022-03-18 一种生成多对抗网络结构的遥感图像空谱融合方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210269455.8A CN114677313A (zh) 2022-03-18 2022-03-18 一种生成多对抗网络结构的遥感图像空谱融合方法与系统

Publications (1)

Publication Number Publication Date
CN114677313A true CN114677313A (zh) 2022-06-28

Family

ID=82075025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210269455.8A Pending CN114677313A (zh) 2022-03-18 2022-03-18 一种生成多对抗网络结构的遥感图像空谱融合方法与系统

Country Status (1)

Country Link
CN (1) CN114677313A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115345238A (zh) * 2022-08-17 2022-11-15 中国人民解放军61741部队 一种海水透明度融合数据的生成方法及生成装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115345238A (zh) * 2022-08-17 2022-11-15 中国人民解放军61741部队 一种海水透明度融合数据的生成方法及生成装置
CN115345238B (zh) * 2022-08-17 2023-04-07 中国人民解放军61741部队 一种海水透明度融合数据的生成方法及生成装置

Similar Documents

Publication Publication Date Title
CN107977932B (zh) 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN110533620B (zh) 基于aae提取空间特征的高光谱和全色图像融合方法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN111080567B (zh) 基于多尺度动态卷积神经网络的遥感图像融合方法及系统
CN110363215B (zh) 基于生成式对抗网络的sar图像转化为光学图像的方法
CN109727207B (zh) 基于光谱预测残差卷积神经网络的高光谱图像锐化方法
Dong et al. Generative dual-adversarial network with spectral fidelity and spatial enhancement for hyperspectral pansharpening
CN111145131A (zh) 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法
CN113222823B (zh) 基于混合注意力网络融合的高光谱图像超分辨率方法
Qu et al. A dual-branch detail extraction network for hyperspectral pansharpening
CN114119444B (zh) 一种基于深度神经网络的多源遥感图像融合方法
CN113327218B (zh) 一种基于级联网络的高光谱与全色图像融合方法
CN113763299B (zh) 一种全色与多光谱图像融合方法、装置及其应用
CN112819737A (zh) 基于3d卷积的多尺度注意力深度卷积网络的遥感图像融合方法
CN115760814A (zh) 一种基于双耦合深度神经网络的遥感图像融合方法及系统
CN113793289A (zh) 基于cnn和nsct的多光谱图像和全色图像模糊融合方法
CN107016641A (zh) 一种基于改进比值变换的全色与高光谱图像融合方法
CN116029930A (zh) 一种基于卷积神经网络的多光谱图像去马赛克方法
CN113902646A (zh) 基于深浅层特征加权融合网络的遥感影像泛锐化方法
CN114677313A (zh) 一种生成多对抗网络结构的遥感图像空谱融合方法与系统
CN110866888B (zh) 基于潜在信息表征gan的多模态mri合成方法
CN114511470B (zh) 一种基于注意力机制的双分支全色锐化方法
CN115222636A (zh) 一种基于生成对抗网络的多损失函数的遥感图像融合方法
CN114926452B (zh) 一种基于NSST和β散度非负矩阵分解的遥感图像融合方法
CN116343058A (zh) 基于全局协同融合的多光谱和全色卫星影像地表分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination