CN113487565A - 用于Sentinel-2卫星遥感图像的超分辨率分析方法 - Google Patents

用于Sentinel-2卫星遥感图像的超分辨率分析方法 Download PDF

Info

Publication number
CN113487565A
CN113487565A CN202110753797.2A CN202110753797A CN113487565A CN 113487565 A CN113487565 A CN 113487565A CN 202110753797 A CN202110753797 A CN 202110753797A CN 113487565 A CN113487565 A CN 113487565A
Authority
CN
China
Prior art keywords
image
resolution
super
kernel
src
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110753797.2A
Other languages
English (en)
Inventor
李云鹤
李博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhaoqing University
Original Assignee
Zhaoqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhaoqing University filed Critical Zhaoqing University
Priority to CN202110753797.2A priority Critical patent/CN113487565A/zh
Publication of CN113487565A publication Critical patent/CN113487565A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于卫星遥感图像处理技术领域，尤其为用于Sentinel‑2卫星遥感图像的超分辨率分析方法，包括如下步骤：使用KernelGAN生成对抗网络实现ISRC图像显式降质核的估计，然后结合降质噪声的估计与注入，用源图像ISRC降质生成低分辨率图像ILR，IsRC作为高分辨率图像IHR构造高‑低分辨率图像对(ILR，IHR)；使用(ILR，IHR)数据集训练超分辨生成对抗网络SR‑GAN；本发明基于生成对抗网络的超分辨率分析方法，通过降质核和注入噪声的结合，使用ESRGAN类生成器、PatchGAN类鉴别器以及VGG‑19类特征提取器相结合的生成对抗网络，使用感知损失函数，更加关注图像的视觉特征，从而使得结果具有更清晰的细节，具有更好感知效果；与最新Sentinel‑2超分辨率分析方法相比，在无参考图像质量评估定量对比和视觉效果直观比两方面都具有明显优势。

Description

用于Sentinel-2卫星遥感图像的超分辨率分析方法
技术领域
本发明属于卫星遥感图像处理技术领域，具体涉及一种用于Sentinel-2卫星遥感图像的超分辨率分析方法。
背景技术
遥感技术是从地面到空间各种对地球、天体观测的综合性技术系统的总称，可从遥感技术平台获取卫星数据、由遥感仪器以及信息接受、处理与分析，遥感技术是正在飞速发展的高新技术，它已经形成的信息网络，正时时刻刻、源源不断地向人们提供大量的科学数据和动态信息。
Sentinel-2最高可提供10m空间分辨率的图像，在将10m分辨率提升到2m分辨率的任务上，基于生成对抗网络的超分辨率方法遇到了不小的挑战，挑战主要来自于缺少2m分辨率的高分辨率真实图像。
近年，有学者使用Sentinel-2的10m分辨率图像与WorldView卫星的2m高分辨率图像组成高-低分辨率图像对，并以此构造网络训练数据集，[1]Galar等人提出了一种基于EDSR网络的超分辨率分析模型EDSR8-RGB；[2]Salgueiro等人基于ESRGAN网络提出RS-ESRGAN模型，这些方法可以将Sentinel-2传感器的10m通道增强到2.5m；[3]Zhang等人提出基于残差信道注意网络的方法RCAN。
[1]EDSR8-RGB、[2]RS-ESRGAN方法通过利用Sentinel-2和Worldview图像组成的非自然低-高图像对，[3]RCAN采用双三次降采样(BiCubic)来构造高-低分辨率图像对,这两种构造高-低分辨率图像对数据集的方法都会丢失与频率相关的轨迹细节。
发明内容
为解决现有技术中存在的上述问题，本发明提供了用于Sentinel-2卫星遥感图像的超分辨率分析方法，通过降质核和注入噪声的结合，得到与真实图像同域的低分辨率图像，得以获取接近自然高-低分辨率图像对的数据集，并在此数据集的基础上，使用ESRGAN类生成器、PatchGAN类鉴别器以及VGG-19类特征提取器相结合的生成对抗网络，使用感知损失函数，更加关注图像的视觉特征，从而使得分析结果具有更清晰的细节，具有更好感知效果。
为实现上述目的，本发明提供如下技术方案：用于Sentinel-2卫星遥感图像的超分辨率分析方法，使用生成对抗网络实现Sentinel-2的10m分辨率源图像ISR超分辨生成2.5m分辨率图像ISR，包括如下步骤：
步骤一：使用KernelGAN生成对抗网络实现ISRC图像显式降质核的估计，然后结合降质噪声的估计与注入，用源图像ISRC降质生成低分辨率图像ILR，ISRC作为高分辨率图像IHR构造高-低分辨率图像对(ILR，IHR)；
步骤二：使用(ILR，IHR)数据集训练超分辨生成对抗网络SR-GAN进行训练。
作为本发明的一种优选技术方案，所述KernelGAN包括一个核估计生成器Kernel-G和一个核估计鉴别器Kernel-D，具体包括：
Step1：对Sentinel-2卫星遥感图像ISRC进行分割，获得多个像素块级别的分割对象；
Step2：核估计生成器Kernel-G学习将输入图像ISRC缩小为ILR，提取显式降质核，使鉴别器在像素块级别上与输入图像ISRC不可区分；
Step3：核估计鉴别器Kernel-D学习输入图像ISRC的像素块分布，并区分属于该分布的真实图像块和伪造图像块。
作为本发明的一种优选技术方案，降质噪声的估计与注入具体包括：
Step1：从训练数据集的源图像ISRC中提取噪声图块；
Step2：将噪声显式注入降采样后的图像ILR_cl以生成逼真的低分辨率图像ILR。
作为本发明的一种优选技术方案，所述超分辨生成对抗网络SR-GAN包括基于ESRGAN模型设计的超分辨生成器SR-G、基于PatchGAN模型设计的超分辨鉴别器SR-D和基于VGG-19模型设计的感知特征提取器SR-F。
作为本发明的一种优选技术方案，所述超分辨生成器SR-G在构造的高-低分辨率图像对(ILR，IHR)上进行训练。
与现有技术相比，本发明的有益效果是：本发明提出基于生成对抗网络的超分辨率分析方法，用于Sentinel-2卫星的遥感图像的x4倍的超分辨率分析，通过降质核和注入噪声的结合，本发明得到与真实图像同域的低分辨率图像，得以获取接近自然高-低分辨率图像对的数据集，在此数据集的基础上，本发明使用ESRGAN类生成器、PatchGAN类鉴别器以及VGG-19类特征提取器相结合的生成对抗网络，使用感知损失函数，更加关注图像的视觉特征，从而使得本发明的结果具有更清晰的细节，具有更好感知效果；与最新Sentinel-2超分辨率分析方法相比，在仅有低分辨率图像、无高分辨率先验信息的场景中，本发明的这种使用了降质核估计和噪声注入的方法，相对于RCAN通过BiCubic构造图像对，以及EDSR8-RGB、RS-ESRGAN使用WorldView卫星高分辨率图像构造图像对的方法，在无参考图像质量评估定量对比和视觉效果直观比两方面都具有明显优势。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明KN-SRGAN方法的实现示意图；
图2为本发明中KernelGAN的实现示意图；
图3为本发明中的多层线性卷积层结构示意图；
图4为本发明中学习单个图像的像素块分布示意图；
图5为本发明中超分辨生成器的结构示意图；
图6为本发明中超分辨鉴别器的结构示意图；
图7为本发明中感知特征提取器的结构示意图；
图8为本发明中无参考图像质量评估指标NIQE的评价值示意图；
图9为本发明中无参考图像质量评估指标BRISQUE的评价值示意图；
图10为本发明中包含道路、河岸区域的生成图像的视觉效果对比示意图；
图11为本发明中包含房屋、工厂、绿地区域的生成图像的视觉效果对比示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-图11，本发明提供以下技术方案：用于Sentinel-2卫星遥感图像的超分辨率分析方法，使用生成对抗网络实现Sentinel-2的10m分辨率源图像ISR超分辨生成2.5m分辨率图像ISR，包括如下步骤：
步骤一：使用KernelGAN生成对抗网络实现ISRC图像显式降质核的估计，然后结合降质噪声的估计与注入，用源图像ISRC降质生成低分辨率图像ILR，ISRC作为高分辨率图像IHR构造高-低分辨率图像对(ILR，IHR)；
步骤二：使用(ILR，IHR)数据集训练超分辨生成对抗网络SR-GAN进行训练。
自然的高-低分辨率图像之间的对关系，可以近似地理解为高分辨率图像向低分辨率图像的降质关系，降质过程可表示为：
公式1：
ILR＝(ISRC*KS)↓s+n
其中，Ks和n分别表示降质核和降质噪声，S表示缩放因子，降质核和降质噪声的质量决定了高-低分辨率图像对与自然图像对的贴切程度，也就决定了网络提取低、高分辨率图像间映射特征的准确程度，进而决定超分辨率分析所生成图像的质量。
本发明首先考虑无噪声的降质过程，假设无噪低分辨率图像ILR_cl是使用降质核Ks通过缩放因子S对高分辨率图像ISRC进行降尺度的结果，即：
公式2：
ILR_cl＝(ISRC*Ks)↓s
本发明使用KernelGAN网络估计图像降质核Ks，KernelGAN是基于Internal-GAN网络结构设计的盲超分辨率降质核估计模型，是完全无监督的生成对抗网络，除输入图像ISRC本身外不需要任何其他训练数据，KernelGAN仅使用ISRC图像进行训练，学习其内部像素块分布，目标是找到图像特异性的降质核，寻求能够最好地保留ISRC各个尺度上像素块分布的降质核，更具体地说，本发明的目标是“生成”缩小的图像，并使缩小图像的像素块分布尽可能接近图像，其本质是通过深度学习提取高-低分辨率图像间跨尺度递归特性，KernelGAN中的GAN可以理解为像素块分布的匹配工具。
具体的，根据附图2所示，本实施例中，KernelGAN包括一个核估计生成器Kernel-G和一个核估计鉴别器Kernel-D，具体包括：
Step1：对Sentinel-2卫星遥感图像ISRC进行分割，获得多个像素块级别的分割对象；
Step2：核估计生成器Kernel-G学习将输入图像ISRC缩小为ILR，提取显式降质核，使鉴别器在像素块级别上与输入图像ISRC不可区分；
Step3：核估计鉴别器Kernel-D学习输入图像ISRC的像素块分布，并区分属于该分布的真实图像块和伪造图像块。
附图2为KernelGAN的实现原理图，在单个输入图像上进行训练，学习其裁切的图像块的内部像素块分布，核估计生成器Kernel-G和核估计鉴别器Kernel-D都是全卷积的，这意味着该网络应用于像素块而不是整个图像，给定输入图像ISRC，核估计生成器Kernel-G会学习将其缩小为ILR，目标是使鉴别器在像素块级别上与输入图像ISRC不可区分。
核估计生成器Kernel-G可以看作图像降采样模型，主要通过卷积层实现线性降采样，网络中不含非线性激活单元，这里不用非线性生成器，是因为非线性生成器有可能为优化目标生成物理上不需要的解，例如生成没有缩小但却包含有效像素块的图像；另外，由于单层卷积层无法准确收敛，本发明采用如附图3所示的多层线性卷积层结构，附图3中Conv表示卷积层，卷积层涉及到的参数包括：输入通道数，输出通道数，卷积核的尺寸，步长，补齐0层数，图中所列卷积层的参数分别设置为：Conv-1(3，64，7，1，0)，Conv-2(64，64，5，1，0)，Conv-3(64，64，3，1，0)，Conv-4(64，64，1，1，0)，Conv-5(64，64，1，1，0)，Conv-6(64，64，1，1，0)，Conv-7(64，1，1，2，0)。
核估计鉴别器Kernel-D的目标是学习输入图像ISRC的像素块分布，并区分属于该分布的真实图像块和伪造图像块，真实图像块是来自输入图像ISRC的裁切，伪造图像块来自核估计生成器生成的ILR_cl的裁切，本发明使用中介绍的全卷积像素块鉴别器，如附图4所示学习单个图像的像素块分布，附图4中Conv表示卷积层、ReLU表示ReLU激活函数、B-Nrom表示批归一化层、S-Norm表示谱归一化层、Sigmoid表示Sigmoid激活函数，图中所列卷积层的参数分别为：Conv-8(3，64，7，1，0)，Conv-9(64，64，1，1，0)，Conv-10(64，1，1，1，0)。
核估计鉴别器Kernel-D中所使用的卷积层不执行池化操作，如此可以分别隐式地作用于每个像素块，最后生成一个热图D-map，热图中的每个位置对应一个裁切的图像块输入，核估计鉴别器Kernel-D输出的热图表示每个像素从原始像素块分布中提取周围的像素块的可能性，并以此训练区分真实图像块和伪造图像块，损失函数定义为热图和标签图之间的逐像素均方误差，标签图是指真实图像块的全1映射，以及伪造图像块的全0映射。
KernelGAN的目标函数定义为：
公式3：
Figure BDA0003146545140000071
其中，G表示生成器、D表示鉴别器，其中，
Figure BDA0003146545140000072
是降质核Ks优化的正则化项：
公式4：
Figure BDA0003146545140000073
其中，
Figure BDA0003146545140000074
为损失函数，αs_1、αb、αsp、αc为常系数，本发明依经验设置αs_1＝0.5、αb＝0.5、αsp＝5、αc＝1，损失函数分别定义为：
公式5：
Figure BDA0003146545140000081
其中，k表示降质核每个点的参数值，
Figure BDA0003146545140000082
的目标是ki，j的加和为1。
公式6：
Figure BDA0003146545140000083
Figure BDA0003146545140000084
的目标是惩罚靠近边界的非零值，m是权重的常数掩码，其随着距k中心的距离呈指数增长。
公式7：
Figure BDA0003146545140000085
Figure BDA0003146545140000086
的目标是k的稀疏性以避免内核的过度平滑。
公式8：
Figure BDA0003146545140000087
Figure BDA0003146545140000088
的目标是使k的中心位于内核的中心，其中(x0，y0)表示中心的索引。
KernelGAN训练完成后，本发明关注的不是生成器网络，而是把核估计生成器中的卷积层依次以步长1进行卷积，提取显式降质核，同时，KernelGAN是基于单个输入图像ISRC进行训练，即每个输入图像训练出一个降质核，训练图像集生成的众多降质核将被后续步骤随机选取使用。
具体的，根据附图1所示，本实施例中，降质噪声的估计与注入具体包括：
Step1：从训练数据集的源图像ISRC中提取噪声图块；
Step2：将噪声显式注入降采样后的图像ILR_cl以生成逼真的低分辨率图像ILR。
由于图像在降采样过程中高频信息会丢失，与此同时噪声的分布也会同时发生变化，为了使降质图像ILR具有与源图像ISRC相似的噪声分布，本发明直接从训练数据集的源图像ISRC提取噪声图块，通过将噪声显式注入降采样后的图像ILR_cl以生成逼真的低分辨率图像ILR，因为内容丰富的图像块具有较大的方差，本发明提取噪声块的时候把方差控制在特定的范围内，在下述公式条件下提取噪声块：
公式9：
D(ni)＜σmax
其中，D(ni)表示计算方差的函数，而σmax表示设定的方差最大值，本发明从训练数据集的图象中随机选取图像提取噪声图块，提取一定数量的噪声图块构建数据集(S2N)，噪声注入过程是通过从S2N数据集随机选取噪声图块来执行的。
综上，由训练数据集(S2TR-H)图像生成低分辨率图像数据集(S2TR-L)的过程可表示为公式10，在每个图像处理的过程中i，j均为随即选取。
公式10：
Figure BDA0003146545140000091
具体的，根据附图5、附图6和附图7所示，本实施例中，超分辨生成对抗网络SR-GAN包括基于ESRGAN模型设计的超分辨生成器SR-G、基于PatchGAN模型设计的超分辨鉴别器SR-D和基于VGG-19模型设计的感知特征提取器SR-F，以便于引入感知损失函数以增强图像的低频特征的视觉效果。
超分辨生成器SR-G的结构如附图5所示，基于ESRGAN模型，采用RRDB网络结构，并在构造的高-低分辨率图像对(ILR，IHR)上训练它，生成图像的分辨率将放大4倍，附图5中Co表示级联、Conv表示卷积层、L-ReLU表示Leacky-ReLU激活函数、Upsample表示2倍插值上采样、β和θ为常数系数，图中所列卷积层的参数分别为：Conv-11(64，32，3，1，0)，Conv-12(96，32，3，1，0)，Conv-13(128，32，3，1，0)，Conv-14(160，32，3，1，0)，Conv-15(192，64，3，1，0)，Conv-16(64，64，3，1，0)，Conv-17(64，3，3，1，0)。
因为ESRGAN模型中的鉴别器可能会引入较多的伪影，本发明使用图像块鉴别器代替ESRGAN模型中的VGG-128鉴别器，超分辨鉴别器基于PatchGAN模型设计；另外，使用图像块鉴别器代替VGG-128鉴别器还处于以下方面的考虑：VGG-128将生成的图像的大小限制为128，这使得多尺度训练不方便；VGG-128采用固定的完全连接层，这使得鉴别器更加关注全局特征而忽略局部特征。
本发明使用具有固定接收域的全卷积结构的图像块鉴别器，鉴别器的每个输出值仅与局部固定区域的图像块有关，这样可以更关注以及优化局部细节，同时采用全部局部误差的平均值作为全局误差以确保全局一致性。
超分辨鉴别器SR-D的结构如附图6所示，附图6中Conv表示卷积层、L-ReLU表示Leacky-ReLU激活函数、B-Nrom表示批归一化层，图中所列卷积层的参数分别为：Conv-18(3，64，4，2，0)，Conv-19(64，128，4，2，0)，Conv-20(128，256，4，20)，Conv-21(256，512，4，1，0)，Conv-22(512，1，4，1，0)。
基于VGG-19模型，本发明引入感知特征提取器以提取感知损失函数
Figure BDA0003146545140000111
即提取VGG-19中的非激活特征，感知损失函数可以以增强图像的低频特征，让生成器生成的图像看起来更真实。
感知特征提取器SR-F的结构如附图7所示，附图7中Conv表示卷积层、ReLU表示ReLU激活函数、M-Pool表示Max池化层，图中所列卷积层的参数分别为：Conv-23(3，64，3，1，0)，Conv-24(64，64，3，1，0)，Conv-25(64，128，4，2，0)，Conv-26(128，128，4，20)，Conv-27(128，256，4，1，0)，Conv-28(256，256，4，1，0)，Conv-29(256，512，4，1，0)，Conv-30(512，512，4，1，0)，Conv-31(512，512，4，1，0)，Conv-32(512，1，4，1，0)。
超分辨生成对抗网络的损失函数
Figure BDA0003146545140000112
由3部分组成，包括逐像素损失函数
Figure BDA0003146545140000113
感知损失函数
Figure BDA0003146545140000114
和对抗损失函数
Figure BDA0003146545140000115
公式11：
Figure BDA0003146545140000116
其中，αx、αp、αa为常系数，本发明依经验设置为αx＝0.01、αp＝1、αa＝0.005，损失函数
Figure BDA0003146545140000117
的定义如公式12、公式13和公式16所示。
公式12：
Figure BDA0003146545140000118
逐像素损失函数
Figure BDA0003146545140000119
使用L1距离，评估生成图像G(ILR)与真实图像IHR之间的逐像素内容损失。
公式13：
Figure BDA00031465451400001110
感知损失函数
Figure BDA0003146545140000121
评估图像之间的内容和样式上的感知差异，感知损失函数
Figure BDA0003146545140000122
由内容相关的特征重构损失函数
Figure BDA0003146545140000123
和样式重构损失函数
Figure BDA0003146545140000124
组成，其中λf、λt为常系数，特征重构损失函数
Figure BDA0003146545140000125
和样式重构损失函数
Figure BDA0003146545140000126
可表示为：
公式14：
Figure BDA0003146545140000127
公式15：
Figure BDA0003146545140000128
其中，φj(I)表示图像I输入感知特征提取器后，在第j层卷积层得到的特征图，并且该特征图的形状为Cj×Hj×Wj(通道数×高×宽)，
Figure BDA0003146545140000129
表示平方Frobenius范数。
公式16：
Figure BDA00031465451400001210
对抗损失函数
Figure BDA00031465451400001211
的主要作用是增强生成图像的纹理细节，增强直观视觉感知。
具体的，根据附图5所示，本实施例中，超分辨生成器SR-G在构造的高-低分辨率图像对(ILR，IHR)上进行训练。
方法实例：
KN-SRGAN方法实例方法面向Sentinel-2图像，使用SEN12MS数据集来训练和测试模型。
本实施例使用SEN12MS的全球56个感兴趣区域在2017年6月1日至2017年8月31日期间的遥感数据，包含39692个256×256像素的图像，本实施例随机挑选其中的1个感兴趣区域的图像作为测试数据集(S2C)，包含测试图像813个；其余的38879个图象作为训练数据集(S2TR-H)，并由S2TR-H降质生成低分辨率图像数据集(S2TR-L)，进而构造高-低分辨率图像对数据集(S2TR)。
KN-SRGAN方法实例首先基于S2TR-H生成高-低分辨率图像对数据集S2TR，用于训练和测试，从S2TR-H的图象中随机选取2000个图像通过KernelGAN逐个训练生成降质核数据集(S2K)，然后从S2TR-H的图象中随机选取4000个图像逐个提取噪声图块构成噪声图块数据集(S2N)，最后使用降质核和注入噪声对S2TR-H中的图像逐个执行降质操作，在每个图像的处理过程中都是从S2K和S2N中随机选取降质核和注入噪声。
KernelGAN的核估计生成器和核估计鉴别器的结构参数以及损失函数的常数项已在上文提及，这里不再赘述。
网络训练中生成器和鉴别器均采用参数为β1＝0.5、β2＝0.999的ADAM优化器，生成器和鉴别器的学习速率均设置为0.0002，每750次迭代递减×0.1，网络迭代训练3000次。
超分辨生成对抗网络的结构参数以及损失函数的常数项已在上文提及，这里不再赘述，图像放大4倍，网络训练中生成器和鉴别器均采用参数为β1＝0.9、β2＝0.999的ADAM优化器，生成器和鉴别器的学习速率均设置为0.0001，网络迭代训练60000次。
因为实施超分辨率分析的图像已经是Sentinel-2的最高分辨率(10m)图像，现实中并没有能与生成图像对比测试的真实图像(2.5m分辨率)，一些常用的图像质量评估指标，例如PSNR、SSIM等，在此场景下不再适用，本实施例采用无参考图像质量评估(IQA)指标，包括NIQE和PBRISQUE。
NIQE是一种全盲的图像质量评估模型，基于一个简单有效的空间域自然场景统计模型建立“质量意识”统计特征集合，仅利用自然图像中观察到的统计规律性的可测量偏差进行训练。
BRISQUE是一种在空间域中基于自然场景统计的通用无参考图像质量评估模型。BRISQU不计算特定于失真的特征，而是使用局部归一化亮度系数的场景统计来量化可能的“自然”损失。
NIQE和BRISQUE的评价值可通过Matlab中的相应函数niqe和brisque计算，2个函数的输出结果都是[0，100]的正实数，且都是低分值表示高感知质量，高分值表示低感知质量。
表1 NIQE和BRISQUE的评价值统计(平均值)
NIQE BRISQUE
BiCubic 6.42 55.97
EDSR8--RGB 5.38 49.01
RCAN 4.56 46.67
RS-ESRGAN 3.36 22.35
KN-SRGAN 2.64 16.17
用BiCubic、EDSR8-RGB、RCAN、RS-ESRGAN、KN-SRGAN方法分别处理S2C中的813个图像，生成×4的高分辨率图，对图像使用Matlab逐个计算NIQE和BRISQUE评价值，图像质量评估指标评价值的分布如附图8、附图9所示，据评价值统计的平均值如表1所示，通过图和表可知，本实施例提出的KN-SRGAN方法在多种无参考图像质量评估指标上均优于其他方法。
通过附图10、附图11的多种地形区域图像的对比，可以比较直观的看出，传统的BiCubic方法因为插值算法的先天不足导致图像最为模糊和平滑，EDSR8-RGB，RCAN和RS-ESRGAN方法不能正确地区分锐化边缘的噪声，从而导致结果模糊，甚至一些房屋、道路无法区分，在发明的KN-SRGAN结果中，道路、河岸、房屋、工厂等对象易于分辨，和周边其他对象之间的分界线清晰，这表明通过噪声注入估算出的噪声更接近真实噪声，与EDSR8-RGB，RCAN，RS-ESRGAN方法相比，本发明的KN-SRGAN结果更加清晰，没有歧义。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.用于Sentinel-2卫星遥感图像的超分辨率分析方法，其特征在于，使用生成对抗网络实现Sentinel-2的10m分辨率源图像ISR超分辨生成2.5m分辨率图像ISR，包括如下步骤：
步骤一：使用KernelGAN生成对抗网络实现ISRC图像显式降质核的估计，然后结合降质噪声的估计与注入，用源图像ISRC降质生成低分辨率图像ILR，ISRC作为高分辨率图像IHR构造高-低分辨率图像对(ILR，IHR)；
步骤二：使用(ILR，IHR)数据集训练超分辨生成对抗网络SR-GAN进行训练。
2.根据权利要求1所述的用于Sentinel-2卫星遥感图像的超分辨率分析方法，其特征在于：所述KernelGAN包括一个核估计生成器Kernel-G和一个核估计鉴别器Kernel-D，具体包括：
Step1：对Sentinel-2卫星遥感图像ISRC进行分割，获得多个像素块级别的分割对象；
Step2：核估计生成器Kernel-G学习将输入图像ISRC缩小为ILR，提取显式降质核，使鉴别器在像素块级别上与输入图像ISRC不可区分；
Step3：核估计鉴别器Kernel-D学习输入图像ISRC的像素块分布，并区分属于该分布的真实图像块和伪造图像块。
3.根据权利要求1所述的用于Sentinel-2卫星遥感图像的超分辨率分析方法，其特征在于：降质噪声的估计与注入具体包括：
Step1：从训练数据集的源图像ISRC中提取噪声图块；
Step2：将噪声显式注入降采样后的图像ILR_cl以生成逼真的低分辨率图像ILR。
4.根据权利要求1所述的用于Sentinel-2卫星遥感图像的超分辨率分析方法，其特征在于：所述超分辨生成对抗网络SR-GAN包括基于ESRGAN模型设计的超分辨生成器SR-G、基于PatchGAN模型设计的超分辨鉴别器SR-D和基于VGG-19模型设计的感知特征提取器SR-F。
5.根据权利要求4所述的用于Sentinel-2卫星遥感图像的超分辨率分析方法，其特征在于：所述超分辨生成器SR-G在构造的高-低分辨率图像对(ILR，IHR)上进行训练。
CN202110753797.2A 2021-07-03 2021-07-03 用于Sentinel-2卫星遥感图像的超分辨率分析方法 Pending CN113487565A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110753797.2A CN113487565A (zh) 2021-07-03 2021-07-03 用于Sentinel-2卫星遥感图像的超分辨率分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110753797.2A CN113487565A (zh) 2021-07-03 2021-07-03 用于Sentinel-2卫星遥感图像的超分辨率分析方法

Publications (1)

Publication Number Publication Date
CN113487565A true CN113487565A (zh) 2021-10-08

Family

ID=77940640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110753797.2A Pending CN113487565A (zh) 2021-07-03 2021-07-03 用于Sentinel-2卫星遥感图像的超分辨率分析方法

Country Status (1)

Country Link
CN (1) CN113487565A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859147A (zh) * 2019-03-01 2019-06-07 武汉大学 一种基于生成对抗网络噪声建模的真实图像去噪方法
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法
CN110827213A (zh) * 2019-10-11 2020-02-21 西安工程大学 一种基于生成式对抗网络的超分辨率图像修复方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法
CN109859147A (zh) * 2019-03-01 2019-06-07 武汉大学 一种基于生成对抗网络噪声建模的真实图像去噪方法
CN110827213A (zh) * 2019-10-11 2020-02-21 西安工程大学 一种基于生成式对抗网络的超分辨率图像修复方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YUNHE LI ET AL.: "Super-Resolution of Sentinel-2 Images at 10m Resolution without Reference Images", PREPRINTS 2021, 20 April 2021 (2021-04-20), pages 1 - 22 *

Similar Documents

Publication Publication Date Title
CN111275637B (zh) 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
CN108830796B (zh) 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法
Liu et al. MRDDANet: A multiscale residual dense dual attention network for SAR image denoising
CN106952228A (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
CN110796622B (zh) 一种基于串联神经网络多层特征的图像比特增强方法
CN107133923B (zh) 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法
CN111612741B (zh) 一种基于失真识别的精确无参考图像质量评价方法
CN111127387B (zh) 无参考图像的质量的评价方法
CN110070539A (zh) 基于信息熵的图像质量评价方法
CN114170088A (zh) 一种基于图结构数据的关系型强化学习系统及方法
CN115063318A (zh) 自适应频率分解的低光照图像增强方法与相关设备
CN115170410A (zh) 融合小波变换和注意力机制的图像增强方法及装置
CN112163998A (zh) 一种匹配自然降质条件的单图像超分辨率分析方法
Iwasokun et al. Image enhancement methods: a review
CN116029902A (zh) 一种基于知识蒸馏的无监督真实世界图像超分辨方法
CN116152061A (zh) 一种基于模糊核估计的超分辨率重建方法
CN115272072A (zh) 一种基于多特征图像融合的水下图像超分辨率方法
CN117710216B (zh) 一种基于变分自编码器的图像超分辨率重建方法
CN117392036A (zh) 基于照明幅度的低光图像增强方法
CN117422619A (zh) 图像重建模型的训练方法、图像重建方法、装置及设备
CN113240581A (zh) 一种针对未知模糊核的真实世界图像超分辨率方法
CN117593187A (zh) 基于元学习和Transformer的遥感图像任意尺度超分辨率重建方法
CN111986079A (zh) 基于生成对抗网络路面裂缝图像超分辨率重建方法及装置
CN108776958B (zh) 混合降质图像的图像质量评价方法和装置
CN116091312A (zh) 一种低对比度图像联合增强和超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination