CN111899168B - 一种基于特征增强的遥感影像超分辨率重建方法和系统 - Google Patents

一种基于特征增强的遥感影像超分辨率重建方法和系统 Download PDF

Info

Publication number
CN111899168B
CN111899168B CN202010626301.0A CN202010626301A CN111899168B CN 111899168 B CN111899168 B CN 111899168B CN 202010626301 A CN202010626301 A CN 202010626301A CN 111899168 B CN111899168 B CN 111899168B
Authority
CN
China
Prior art keywords
sensing image
remote sensing
super
resolution
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010626301.0A
Other languages
English (en)
Other versions
CN111899168A (zh
Inventor
徐永洋
谢忠
胡安娜
罗卫
袁丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN202010626301.0A priority Critical patent/CN111899168B/zh
Publication of CN111899168A publication Critical patent/CN111899168A/zh
Application granted granted Critical
Publication of CN111899168B publication Critical patent/CN111899168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于特征增强的遥感影像超分辨率重建方法和系统，包括以下步骤：对原始高分辨率遥感影像数据集进行压缩操作，生成低分辨率遥感影像数据集；将所述低分辨率遥感影像数据集通过TE‑AGAN模型进行影像重建，生成超分辨率遥感影像数据集；将所述超分辨率遥感影像数据集和所述原始高分辨率遥感影像数据集输入判别网络进行训练，以迭代的训练方法训练该模型，直到网络收敛，生成超分辨率遥感影像转换网络模型；将低分辨率遥感影像输入已经训练好的所述超分辨率遥感影像转换网络模型，生成超分辨率遥感影像。本发明能根据数据集学习得到损失函数，从而避免根据经验设置损失函数引入额外的误差，保证超分辨率遥感影像的质量。

Description

一种基于特征增强的遥感影像超分辨率重建方法和系统
技术领域
本发明涉及遥感影像处理领域，尤其涉及一种基于特征增强的遥感影像超分辨率重建方法和系统。
背景技术
现今，随着国家航天事业的蓬勃发展，遥感影像得到广泛应用，高分辨率遥感影像为各种影像解译提供数据基础。特别地，基于遥感影像进行超分辨率影像重建任务也得到了更多的关注与研究。超分辨率影像的生成在医学图像诊断、遥感观测生物信息识别等方面有着很多应用，对促进环境保护、经济建设以及智能技术发展有着重要的意义。本专利研究出了一种稳定便捷的超分辨率遥感影像重建方法，以更好服务于国家和社会建设。
近年来，越来越多的专家和学者聚焦于有监督的超分影像重建研究，当前超分影像重建研究的方法大致可分为基于插值方法、基于重建方法和基于学习方法。基于插值的方法根据估计影像帧幅间距进行插值获取原始影像采样像素值，恢复去糊降噪的影像。这种算法不能引入高频信息而难以获得超分影像锐化效果，其适普性不强；基于重建的方法旨在假定超分影像处于干扰条件来结合数据约束以及利用先验知识优化求解目标图像。这种方法过度依赖假设条件以及先验知识与实际有偏差而达不到生成超高分辨率影像的需求。基于学习方法针对训练数据，自动根据预测模型进行特征映射训练并形成损失函数，减少人为误差，依靠合适的损失函数对数据本身进行学习。
近年来，越来越多的学者也将生成对抗网络应用到遥感影像处理领域，该技术在影像处理领域取得丰硕成果，已解决了一系列传统方法恢复图像中存在的问题。本文提出一种遥感影像超分辨率重建的特征增强的注意力生成对抗网络方法，即TE-AGAN算法，针对生成超分辨率遥感影像特征与纹理权衡提取的情况，利用注意力生成对抗网络解决这一问题。其次，相较于其他超分影像生成的方法，本方法训练数据过程结合多方面损失函数来调节超分辨率遥感影像生成细节信息，利用容易获得的遥感影像进行训练，改善对训练数据集的依赖性。
超分辨遥感影像特征增强的注意力生成对抗网络，相较于其他深度的方法，能根据数据集学习得到损失函数，从而避免根据经验设置损失函数引入额外的误差，保证超分辨率遥感影像的质量。
发明内容
本发明提供了一种基于特征增强的遥感影像超分辨率重建方法和系统，解决了传统基于插值的算法不能引入高频信息而难以获得超分影像锐化效果，适普性不强；传统基于重建的算法过度依赖假设条件以及先验知识与实际有偏差而达不到生成超高分辨率影像需求的技术问题。
本发明为解决其技术问题，提供了一种基于特征增强的遥感影像超分辨率重建方法和系统包括以下步骤：
S1、对原始高分辨率遥感影像数据集进行压缩操作，生成低分辨率遥感影像数据集；
S2、将所述低分辨率遥感影像数据集通过TE-AGAN模型进行影像重建，生成超分辨率遥感影像数据集；
S3、将所述超分辨率遥感影像数据集和所述原始高分辨率遥感影像数据集输入判别网络进行训练，直到网络收敛，生成超分辨率遥感影像转换网络模型；
S4、将低分辨率遥感影像输入已经训练好的所述超分辨率遥感影像转换网络模型，生成超分辨率遥感影像。
进一步地，本发明的一种基于特征增强的遥感影像超分辨率重建方法，步骤S2中所述将所述低分辨率遥感影像数据集通过TE-AGAN模型进行影像重建的具体步骤为：
S21、所述低分辨率遥感影像数据集依次经过Conv1、Conv2卷积层提取遥感影像地物信息的特征图，其中，在Conv1和Conv2卷积层的卷积操作后，将卷积操作提取的特征都将经过WN操作但不经过激活操作，从而得到所述特征图；而后，将所述特征图通过3层线性相连的RRDB块，并进行WN操作与relu激活函数；
S22、将经过步骤S21处理的所述特征图经过Attention块、Upconv1和Upconv2的反卷积层，再依次经过Conv3和Conv4卷积层恢复遥感影像地物信息；其中反卷积操作不经过WN操作，但采用Leaky-relu激活，卷积操作Conv3层采用WN和Leaky-relu激活操作，Conv4层仅采用WN操作。
进一步地，本发明的一种基于特征增强的遥感影像超分辨率重建方法，步骤S3中所述将所述超分辨率遥感影像数据集和所述原始高分辨率遥感影像数据集输入判别网络进行训练的具体步骤为：
S31、将所述超分辨率遥感影像数据集和所述原始高分辨率遥感影像数据集依次经过Conv0_0层，Conv0_1层，Conv1_0层，Conv1_1层，Conv2_0层，Conv2_1层，Conv3_0层，Conv4_0层，Conv4_1层，再通过Linear1和Linear2两次线性化操作，生成所述超分辨率遥感影像数据集和所述原始高分辨率遥感影像数据集的真实遥感影像数据的概率值；
S32、根据所述超分辨率遥感影像数据集和所述原始高分辨率遥感影像数据集的真实遥感影像数据的概率值，计算超分辨率遥感影像生成网络的对抗损失值
Figure BDA0002566630630000031
和判别网络的对抗损失值
Figure BDA0002566630630000032
计算所述超分辨率影像数据集和所述原始遥感影像数据集在像素空间上误差值L1；计算感知损失函数Lper；计算纹理损失函数LT；
S33、根据所述
Figure BDA0002566630630000033
L1、Lper、LT损失函数生成超分辨率遥感影像生成网络损失函数LG和判别网络损失函数LD；
S34、当损失函数LG、LD收敛时，停止网络训练，其他情况下返回步骤S31，重新训练网络。
进一步地，本发明的一种基于特征增强的遥感影像超分辨率重建方法，步骤S32中所述超分辨率遥感影像生成网络的对抗损失值
Figure BDA0002566630630000034
和判别网络的对抗损失值
Figure BDA0002566630630000035
的判别损失定义如下：
Figure BDA0002566630630000036
Figure BDA0002566630630000037
其中，xf表示超分辨率遥感影像；Exr表示真实数据的均值；xr表示原始高分辨率遥感影像；Exf是小批量mini-batch中所有生成数据的均值；
Figure BDA0002566630630000038
σ是sigmoid函数，C(xf)是非变换判别网络的输出。
进一步地，本发明的一种基于特征增强的遥感影像超分辨率重建方法，步骤S32中所述超分辨率影像数据集和所述原始遥感影像数据集在像素空间上误差值L1，具体计算公式为：
Figure BDA0002566630630000039
其中：yi和(G(x))i分别为每个batch size上训练时的单个样本值；L1是生成遥感影像和原始遥感影像在像素空间上误差值，n是训练的样本数目，i表示训练的样本编号。
进一步地，本发明的一种基于特征增强的遥感影像超分辨率重建方法，步骤S32中所述感知损失函数Lper的具体公式如下：
Figure BDA0002566630630000041
其中：ISR生成超分辨率影像，IHR是原始的高分辨率影像，
Figure BDA0002566630630000042
是遥感影像重训练模型计算的特征函数。
进一步地，本发明的一种基于特征增强的遥感影像超分辨率重建方法，步骤S32中所述纹理损失函数LT的具体公式如下：
Figure BDA0002566630630000043
其中，ISR生成超分辨率影像，IHR是原始的高分辨率影像，是Gr格拉姆矩阵，其通式为Gr(F)＝FFT，φ(I)是额外重训练遥感影像特征模型。
进一步地，本发明的一种基于特征增强的遥感影像超分辨率重建方法，步骤S33中所述超分辨率遥感影像生成网络损失函数LG和判别网络损失函数LD具体的公式为：
Figure BDA0002566630630000044
Figure BDA0002566630630000045
其中，
Figure BDA0002566630630000046
是超分辨率遥感影像生成网络的对抗损失值，
Figure BDA0002566630630000047
是判别网络的对抗损失值，Lper是感知损失函数，LT是纹理损失函数，L1是生成超分影像G(x)和原始影像Y在像素空间上的误差值，λ是平衡不同损失项的系数。
进一步地，本发明的一种遥感影像超分辨率重建生成的系统，包括以下模块：
数据预处理模块，用于对获取的遥感影像数据集进行挑选处理，将原始高分辨率影像数据集进行压缩处理，得到低分辨率遥感影像数据集；
超分辨率重建模块，用于将低分辨率遥感影像数据集通过TE-AGAN模型生成超分辨率遥感影像数据集；
生成对抗网络模块，用于将超分辨率遥感影像数据集及原始高分辨率遥感影像数据集通过生成对抗网络模型训练批量生成对应的超分辨率影像数据集。
与现有技术相比，本发明的有益效果在于：
1、本发明将深度学习注意力机制生成对抗网络用于遥感影像超分辨率重建方法的研究，提供的低分辨率遥感影像(LR)通过模型特征提生成超分辨率影像(SR)的方法，能够很好地恢复低质量以及退化影像重建的的整体质量与精确度。
2、本发明在超分辨率遥感影像重建时引入了密集残差模块RRDB，提高了超分辨率影像质量，保证模型训练以生成特征丰富、纹理清的遥感影像；判别网络使用相对判别网络来替换标准判别网络，使得GAN训练过程很大程度趋于稳定。
3、本发明在网络训练时引入注意力机制与权重归一化(WN)，以改进训练过程中影像生成能力，降低计算的复杂度以及改善特征映射噪声问题，利用该损失对生成对抗网络训练的准确性能够有着良好的控制。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为本发明方法的技术流程图；
图2为本发明方法的结构原理图；
图3为本发明方法中训练遥感影像超分辨率重建以及转换生成对抗网络的技术流程图；
图4为本发明具体实例展示图，具体包括原始高分辨率遥感影像、低分辨率影像以及超分辨率影像三个部分。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
请参考图1，其为本发明方法的技术流程图，本发明提出的一种遥感影像超分辨率重建的特征增强的注意力生成对抗网络方法，包括以下步骤：
S1、将原始高分辨率遥感影像数据集Y中的原始的遥感影像数据进行压缩操作，得到低分辨率遥感影像数据集X；其中，本实施例中，原始的遥感影像数据为300*300像素大小，低分辨率遥感影像数据集X中的低分辨率影像为75*75像素大小；
S2、利用步骤S1处理得到的低分辨率遥感影像数据集X，输入本发明提出的TE-AGAN中的RRDB和注意力块对影像进行重建，将低分辨率影像(LR)数据集X生成超分辨率影像(SR)数据集，将其记为G(x)；
S3、将超分辨率影像数据集和原始的高分辨率影像数据集，输入判别网络D，并以迭代的方式对判别网络D训练，直至损失函数收敛，生成超分辨率遥感影像转换网络模型；
S4、将待处理的低分辨率遥感影像输入已经训练好的所述超分辨率遥感影像转换网络模型，生成超分辨率遥感影像。
请参考图2，其为本发明的结构原理图，本发明提出的一种遥感影像超分辨率重建的特征增强的注意力生成对抗网络系统，其包括以下几个模块：数据预处理模块L1、超分辨率重建模块L2、生成对抗网络模块L3，其中：
数据预处理模块L1，用于对获取的遥感影像数据集进行挑选处理、将原始高分辨率影像(HR)数据集进行压缩处理；
超分辨率重建模块L2，用于将压缩的低分辨率遥感影像(LR)数据集通过TE-AGAN模型生成超分辨率遥感影像(SR)数据集，并加入对抗网络中训练得到超分辨率遥感影像(SR)生成对抗模型；
生成对抗网络模块L3，用于将超分辨率遥感影像数据集G(x)及原始高分辨率遥感影像数据集Y通过生成对抗网络模型训练批量生成对应的超分辨率影像数据集。
请参考图3，其为本发明方法中训练遥感影像转换生成超分辨率遥感影像、并加入对抗网络的技术流程图，包括以下步骤：
S21、将所述低分辨率遥感影像数据集X输入超分辨率生成网络G中，得到生成的高分影像数据集G(x)；本实施例中，经过两层卷积核大小分别为3×3×64、3×3×64，步数分别为1×1、2×2的卷积层Conv1和Conv2提取遥感影像地物信息的特征图，其中，在每个卷积操作后，提取的特征都将分别经过WN操作但不经过激活操作。而后，提取的特征图在通过3层卷积核大小为3×3×128，步长为2×2的RRDB块，并进行WN操作与relu激活函数。以最大程度保护遥感影像细节信息。
S22、将操作后完整的特征图，首先经过Attention块、2层卷积核大小分别为3×3×64、3×3×64，步数均为1×1的反卷积层Upconv1和Upconv2，再经过3×3×64、3×3×3，步数均为1×1的卷积层Conv3和Conv4恢复遥感影像地物信息。其中反卷积操作不经过WN操作，但采用Leaky-relu激活，卷积操作Conv3层采用WN和Leaky-relu激活操作，Conv4层仅采用WN操作。
S31、一方面将所述生成的超分辨率遥感影像数据集G(x)、所述原始高分辨率遥感影像数据集Y输入到判别网络D；最终分别得到真实高分辨率遥感影像数据的概率值；其中，为了增强判别网络D的判别能力，将标准的判别网络换为相对判别网络，将判别网络输入压缩成128×128大小的块进行判别，使其判别出细小特征；具体过程为：判别网络数据依次经过Conv0_0层，Conv0_1层，Conv1_0层，Conv1_1层，Conv2_0层，Conv2_1层，Conv3_0层，Conv4_0层，Conv4_1层；其中各卷积层的卷积核大小依次为3×3×64、4×4×64、3×3×128、4×4×128、3×3×256、4×4×256、3×3×512、3×3×512、4×4×512，步数大小依次为1×1、2×2、1×1、2×2、1×1、2×2、1×1、1×1、2×2的卷积操作；Conv0_0层卷积核后进行Leaky-relu激活操作，此后Conv0_1-Conv4_1层的8个卷积核后特征分别进行WN操作和Leaky-relu激活操作，再通过Linear1和Linear2两次线性化操作，得到所述超分辨率遥感影像数据集和所述原始高分辨率遥感影像数据集的真实遥感影像数据的概率值D(G(x))和D(y)。
S32、根据步骤S31得到的真实遥感影像数据的概率值，计算超分辨率遥感影像生成网络G的对抗损失值
Figure BDA0002566630630000071
和判别网络D的对抗损失值
Figure BDA0002566630630000072
其相应的判别损失定义如下：
Figure BDA0002566630630000073
Figure BDA0002566630630000074
其中，xf＝SR，即本文提出的TE-AGAN模型生成的超分辨率遥感影像样本(SR)；Exr表示真实数据的均值；xr表示真实的高分辨率遥感影像样本(HR)；Exf是小批量(mini-batch)中所有生成数据的均值；
Figure BDA0002566630630000075
σ是sigmoid函数，C(xf)是非变换判别网络的输出；
计算所述生成的超分辨率影像数据集G(x)和原始遥感影像影像数据集Y在像素空间上误差值L1，具体计算公式为：
Figure BDA0002566630630000076
其中：yi和(G(x))i分别为每个batch size上训练时的单个样本值；L1是生成遥感影像和原始遥感影像在像素空间上误差值，n是训练的样本数目，i表示训练的样本编号；
计算感知损失函数Lper，所述感知损失函数是超分辨率影像与原始高分辨率影像(HR)之间获取特征信息的体现，在具体的公式如下：
Figure BDA0002566630630000077
其中：ISR生成超分辨率影像；IHR是原始的高分辨率影像；
Figure BDA0002566630630000078
是遥感影像影像重训练模型计算的特征函数；
计算纹理损失函数LT，所述纹理损失函数是超分辨率遥感影像与原始高分辨率遥感真实影像(HR)之间的纹理损失，具体的公式如下：
Figure BDA0002566630630000081
式中，是Gr格拉姆矩阵，其通式为Gr(F)＝FFT，φ(I)是额外重训练遥感影像特征模型，ISR生成超分辨率影像；IHR是原始的高分辨率影像；
S33、根据上述得到的损失函数可得到超分辨率遥感影像生成网络G(亦是超分辨率重建的完整损失函数)和判别网络D损失函数分别为：LG、LD，具体的公式分别为：
Figure BDA0002566630630000082
Figure BDA0002566630630000083
其中：
Figure BDA0002566630630000084
是生成对抗网络值；
Figure BDA0002566630630000085
是判别网络D的对抗网络损失值；Lper是感知损失函数；LT是纹理损失函数；L1是生成超分辨率影像(SR)和原始高分辨率影像(HR)在像素空间上的误差值，λ是平衡不同损失项的系数，根据研究的具体问题取值，本次取的是10；
S34、当损失函数LG、LD收敛时，停止网络训练，将当前收敛情况下的生成网络G作为超分辨率遥感影像转换网络；其他情况下，返回步骤S31，重新训练网络。
以上发明的实例在图4中有具体遥感影像处理展示。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (8)

1.一种基于特征增强的遥感影像超分辨率重建方法，其特征在于，包括以下步骤：
S1、对原始高分辨率遥感影像数据集进行压缩操作，生成低分辨率遥感影像数据集；
S2、将所述低分辨率遥感影像数据集通过TE-AGAN模型进行影像重建，生成超分辨率遥感影像数据集；
S3、将所述超分辨率遥感影像数据集和所述原始高分辨率遥感影像数据集输入判别网络进行训练，直到网络收敛，生成超分辨率遥感影像转换网络模型；
步骤S3中所述将所述超分辨率遥感影像数据集和所述原始高分辨率遥感影像数据集输入判别网络进行训练的具体步骤为：
S31、将所述超分辨率遥感影像数据集和所述原始高分辨率遥感影像数据集依次经过Conv0_0层，Conv0_1层，Conv1_0层，Conv1_1层，Conv2_0层，Conv2_1层，Conv3_0层，Conv4_0层，Conv4_1层，再通过Linear1和Linear2两次线性化操作，生成所述超分辨率遥感影像数据集和所述原始高分辨率遥感影像数据集的真实遥感影像数据的概率值；
S32、根据所述超分辨率遥感影像数据集和所述原始高分辨率遥感影像数据集的真实遥感影像数据的概率值，计算超分辨率遥感影像生成网络的对抗损失值
Figure FDA0004051516940000011
和判别网络的对抗损失值
Figure FDA0004051516940000012
计算所述超分辨率遥感影像数据集和所述原始高分辨率遥感影像数据集在像素空间上误差值L1；计算感知损失函数Lper；计算纹理损失函数LT；
S33、根据所述
Figure FDA0004051516940000013
L 1、Lper、LT损失函数生成超分辨率遥感影像生成网络损失函数LG和判别网络损失函数LD；
S34、当损失函数LG、LD收敛时，停止网络训练，其他情况下返回步骤S31，重新训练网络；
S4、将低分辨率遥感影像输入已经训练好的所述超分辨率遥感影像转换网络模型，生成超分辨率遥感影像。
2.根据权利要求1所述的一种基于特征增强的遥感影像超分辨率重建方法，其特征在于，步骤S2中所述将所述低分辨率遥感影像数据集通过TE-AGAN模型进行影像重建的具体步骤为：
S21、所述低分辨率遥感影像数据集依次经过Conv1、Conv2卷积层提取遥感影像地物信息的特征图，其中，在Conv1和Conv2卷积层的卷积操作后，将卷积操作提取的特征都将经过WN操作但不经过激活操作，从而得到所述特征图；而后，将所述特征图通过3层线性相连的RRDB块，并进行WN操作与relu激活函数；
S22、将经过步骤S21处理的所述特征图经过Attention块、Upconv1和Upconv2的反卷积层，再依次经过Conv3和Conv4卷积层恢复遥感影像地物信息；其中反卷积操作不经过WN操作，但采用Leaky-relu激活，卷积操作Conv3层采用WN和Leaky-relu激活操作，Conv4层仅采用WN操作。
3.根据权利要求1所述的一种基于特征增强的遥感影像超分辨率重建方法，其特征在于，步骤S32中所述超分辨率遥感影像生成网络的对抗损失值
Figure FDA0004051516940000021
和判别网络的对抗损失值
Figure FDA0004051516940000022
的判别损失定义如下：
Figure FDA0004051516940000023
Figure FDA0004051516940000024
其中，xf表示超分辨率遥感影像；Exr表示真实数据的均值；xr表示原始高分辨率遥感影像；Exf是小批量mini-batch中所有生成数据的均值；
Figure FDA0004051516940000025
σ是sigmoid函数，C(xf)是非变换判别网络的输出。
4.根据权利要求1所述的一种基于特征增强的遥感影像超分辨率重建方法，其特征在于，步骤S32中所述超分辨率遥感影像数据集和所述原始高分辨率遥感影像数据集在像素空间上误差值L1，具体计算公式为：
Figure FDA0004051516940000026
其中：yi和(G(x))i分别为每个batch size上训练时的单个样本值；L1是生成遥感影像和原始遥感影像在像素空间上误差值，n是训练的样本数目，i表示训练的样本编号。
5.根据权利要求1所述的一种基于特征增强的遥感影像超分辨率重建方法，其特征在于，步骤S32中所述感知损失函数Lper的具体公式如下：
Figure FDA0004051516940000031
其中：ISR生成超分辨率影像，IHR是原始的高分辨率影像，
Figure FDA0004051516940000032
是遥感影像重训练模型计算的特征函数。
6.根据权利要求5所述的一种基于特征增强的遥感影像超分辨率重建方法，其特征在于，步骤S32中所述纹理损失函数LT的具体公式如下：
Figure FDA0004051516940000033
其中，ISR生成超分辨率影像，IHR是原始的高分辨率影像，是Gr格拉姆矩阵，其通式为Gr(F)＝FFT，φ(I)是额外重训练遥感影像特征模型。
7.根据权利要求1所述的一种基于特征增强的遥感影像超分辨率重建方法，其特征在于，步骤S33中所述超分辨率遥感影像生成网络损失函数LG和判别网络损失函数LD具体的公式为：
Figure FDA0004051516940000034
Figure FDA0004051516940000035
其中，
Figure FDA0004051516940000036
是超分辨率遥感影像生成网络的对抗损失值，
Figure FDA0004051516940000037
是判别网络的对抗损失值，Lper是感知损失函数，LT是纹理损失函数，L1是生成超分影像G(x)和原始影像Y在像素空间上的误差值，λ是平衡不同损失项的系数。
8.一种遥感影像超分辨率重建生成的系统，其特征在于，包括以下模块：
数据预处理模块，用于对获取的遥感影像数据集进行挑选处理，将原始高分辨率影像数据集进行压缩处理，得到低分辨率遥感影像数据集；
超分辨率重建模块，用于将低分辨率遥感影像数据集通过TE-AGAN模型生成超分辨率遥感影像数据集；
生成对抗网络模块，用于将超分辨率遥感影像数据集及原始高分辨率遥感影像数据集通过生成对抗网络模型训练批量生成对应的超分辨率遥感影像；
将所述超分辨率遥感影像数据集和所述原始高分辨率遥感影像数据集输入判别网络进行训练的具体步骤为：
S31、将所述超分辨率遥感影像数据集和所述原始高分辨率遥感影像数据集依次经过Conv0_0层，Conv0_1层，Conv1_0层，Conv1_1层，Conv2_0层，Conv2_1层，Conv3_0层，Conv4_0层，Conv4_1层，再通过Linear1和Linear2两次线性化操作，生成所述超分辨率遥感影像数据集和所述原始高分辨率遥感影像数据集的真实遥感影像数据的概率值；
S32、根据所述超分辨率遥感影像数据集和所述原始高分辨率遥感影像数据集的真实遥感影像数据的概率值，计算超分辨率遥感影像生成网络的对抗损失值
Figure FDA0004051516940000041
和判别网络的对抗损失值
Figure FDA0004051516940000042
计算所述超分辨率遥感影像数据集和所述原始高分辨率遥感影像数据集在像素空间上误差值L1；计算感知损失函数Lper；计算纹理损失函数LT；
S33、根据所述
Figure FDA0004051516940000043
L 1、Lper、LT损失函数生成超分辨率遥感影像生成网络损失函数LG和判别网络损失函数LD；
S34、当损失函数LG、LD收敛时，停止网络训练，其他情况下返回步骤S31，重新训练网络。
CN202010626301.0A 2020-07-02 2020-07-02 一种基于特征增强的遥感影像超分辨率重建方法和系统 Active CN111899168B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010626301.0A CN111899168B (zh) 2020-07-02 2020-07-02 一种基于特征增强的遥感影像超分辨率重建方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010626301.0A CN111899168B (zh) 2020-07-02 2020-07-02 一种基于特征增强的遥感影像超分辨率重建方法和系统

Publications (2)

Publication Number Publication Date
CN111899168A CN111899168A (zh) 2020-11-06
CN111899168B true CN111899168B (zh) 2023-04-07

Family

ID=73192888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010626301.0A Active CN111899168B (zh) 2020-07-02 2020-07-02 一种基于特征增强的遥感影像超分辨率重建方法和系统

Country Status (1)

Country Link
CN (1) CN111899168B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634135B (zh) * 2020-12-23 2022-09-13 中国地质大学（武汉） 基于超分辨率风格迁移网络的遥感影像超分辨率重建方法
CN112734638B (zh) * 2020-12-24 2022-08-05 桂林理工大学 一种遥感影像超分辨重建方法、装置及存储介质
CN113284046B (zh) * 2021-05-26 2023-04-07 中国电子科技集团公司第五十四研究所 基于无高分辨率参考图的遥感图像增强和复原方法及网络
CN113643182B (zh) * 2021-08-20 2024-03-19 中国地质大学（武汉） 一种基于对偶学习图网络的遥感影像超分辨率重建方法
CN114549992A (zh) * 2022-02-25 2022-05-27 清华大学 一种跨分辨率的建筑物影像提取方法及装置
CN117593658A (zh) * 2023-11-21 2024-02-23 岭南师范学院 一种基于bp神经网络的地表高分辨率甲烷反演方法及使用方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法
CN110349085A (zh) * 2019-06-28 2019-10-18 西安工程大学 一种基于生成对抗网络的单幅图像超分辨特征增强方法
CN110992262A (zh) * 2019-11-26 2020-04-10 南阳理工学院 一种基于生成对抗网络的遥感图像超分辨重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11024009B2 (en) * 2016-09-15 2021-06-01 Twitter, Inc. Super resolution using a generative adversarial network

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法
CN110349085A (zh) * 2019-06-28 2019-10-18 西安工程大学 一种基于生成对抗网络的单幅图像超分辨特征增强方法
CN110992262A (zh) * 2019-11-26 2020-04-10 南阳理工学院 一种基于生成对抗网络的遥感图像超分辨重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于注意力生成对抗网络的图像超分辨率重建方法;丁明航等;《计算机系统应用》(第02期);205-211 *

Also Published As

Publication number Publication date
CN111899168A (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN111899168B (zh) 一种基于特征增强的遥感影像超分辨率重建方法和系统
CN113096017B (zh) 基于深度坐标注意力网络模型的图像超分辨率重建方法
CN109816593B (zh) 一种基于注意力机制的生成对抗网络的超分辨率图像重建方法
CN112184577B (zh) 基于多尺度自注意生成对抗网络的单幅图像去雾方法
CN110060286B (zh) 一种单目深度估计方法
CN110070574B (zh) 一种基于改进PSMNet的双目视觉立体匹配方法
CN113538246B (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN113076957A (zh) 一种基于跨模态特征融合的rgb-d图像显著性目标检测方法
CN109993702B (zh) 基于生成对抗网络的满文图像超分辨率重建方法
CN113888547A (zh) 基于gan网络的无监督域自适应遥感道路语义分割方法
CN113256494B (zh) 一种文本图像超分辨率方法
CN112950480A (zh) 一种融合多感受野和密集残差注意的超分辨率重建方法
CN113592715A (zh) 一种面向小样本图像集的超分辨率图像重构方法
CN111222453B (zh) 基于密集连接和几何结构约束的遥感影像变化检测方法
CN113112003A (zh) 基于自编码器的数据增广改善深度学习信道估计性能方法
CN115936992A (zh) 一种轻量级Transformer的垃圾图像超分辨方法及系统
CN117593187A (zh) 基于元学习和Transformer的遥感图像任意尺度超分辨率重建方法
CN115457568B (zh) 一种基于生成对抗网络的历史文档图像降噪方法及系统
CN116597142A (zh) 基于全卷积神经网络与变换器的卫星图像语义分割方法及系统
CN115760589A (zh) 一种用于运动模糊图像的图像优化方法及装置
CN113269702A (zh) 基于跨尺度特征融合的低曝光静脉图像增强方法
CN113052016A (zh) 一种基于多尺度注意力残差和等变映射的人脸超分辨率方法
CN112308772A (zh) 基于深度学习局部与非局部信息的超分辨率重建方法
CN111899161A (zh) 一种超分辨率重建方法
CN111161152B (zh) 基于自适应卷积神经网络的图像超分辨方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant