CN115660063A - 一种遥感影像超分辨率模型训练方法和装置 - Google Patents

Abstract

本发明公开了一种遥感影像超分辨率模型训练方法，包括以下步骤：获取遥感影像数据集，其中数据集由真实的遥感影像实验数据集对构成，一组遥感影像实验数据集对包括LR低分辨率遥感影像块和HR高清遥感影像块；构建初始超分辨率遥感影像模型和对抗网络模型，初始超分辨率遥感影像模型由生成器网络训练生成；对抗网络模型由生成器网络和U‑net型判别器网络共同训练生成。根据上述技术方案，可以为网络训练真实学习到高‑低分辨率遥感影像的特征映射提供了良好数据保障，解决了超分辨率处理后出现重叠伪影的情况，加强了超分辨率处理后的遥感影像的真实纹理细节，为后续遥感影像场景解译应用提供更好数据基础。

Description

一种遥感影像超分辨率模型训练方法和装置

技术领域

本发明涉及图像智能处理技术领域，具体而言，涉及一种遥感影像超分辨率模型训练方法和装置。

背景技术

遥感影像作为地理信息载体的重要组成部分，其清晰度对后续图像应用准确性产生影响。由于遥感图像成像过程受到传感器技术制约，目前存在许多有实用价值而空间分辨率低下的历史遥感影像，如何真实、准确地提高遥感图像分辨率是长期研究的方向。鉴于遥感影像具有空间分辨率这一基本特性，理论上，清晰的遥感图像包含的单元像素密度更高，能够区分愈加精细的地物单元，因此提高遥感影像清晰度之根本，首先在于提高其空间分辨率。

图像超分辨率清晰化是图像预处理的重要步骤，主要包括基于插值、基于重构以及基于学习的超分辨率方法。基于插值的方法是根据已知像素点在设计的线性函数中插值估计出未知点像素值，如最近邻插值、Lanczos滤波插值或者双三次滤波插值，虽然此类方法运行处理效率高、计算简单易行，但囿于线性模型填充低频信息，导致整体语义信息特征与目标相距甚远，超分辨率结果出现了严重的细节丢失和边缘模糊。基于重构的方法旨在以大量低分辨率图像精准匹配来建立先验信息，最终重建出高质量的图像，主要有凸集投影法、迭代反投影法和最大后验概率法等。然而，超分辨率过程属于高度病态且欠定的问题，即使采用最优参数解算的模型，不同任务下的普适转换性能仍然较弱，超分辨率图像质量并不理想。

近年来，以大批量数据作为驱动的深度学习方法，在设计相应的模型和损失约束函数后，自动端到端的学习特征映射。生成对抗网络作为深度学习理论框架中重要组成部分，然而，目前大多方法制作训练数据集采用插值降采样+模糊的压缩方法(如Bicubic插值)获取低分辨率图像，不能真正模拟实际高-低分辨率图像纹理变化机理，超分辨率操作后的遥感图像，仍存在严重影响视觉的“伪影”和“鬼影”现象。

发明内容

为解决上述问题，本申请提供了一种遥感影像超分辨率模型训练方法，包括以下步骤：

获取遥感影像数据集，数据集由真实的遥感影像实验数据集对构成，一组遥感影像实验数据集对包括LR低分辨率遥感影像块和HR高清遥感影像块；

构建初始超分辨率遥感影像模型和对抗网络模型，初始超分辨率遥感影像模型由生成器网络训练生成；对抗网络模型由生成器网络和U-net型判别器网络共同训练生成；

其中，初始超分辨率遥感影像模型训练过程包括：将遥感影像数据集送入生成器网络，输出SR超分辨率遥感影像，计算损失约束，形成初始超分辨率生成模型G(I_LR)；

生成器网络和U-net型判别器网络共同训练指：将SR超分辨率遥感影像与HR高清遥感影像块在U-net型判别器网络执行对抗训练，计算超分辨率遥感影像生成器网络联合损失和判别器网络判别损失，形成遥感影像超分辨率模型。

其中，高分辨率遥感影像像素与低分辨率遥感影像像素的比例为4:1，即超分辨率比例因子为4。

进一步的，生成器网络训练指：

第1次Conv1卷积加入SN光谱规范化操作构成第1次操作；

接入RRDRB超密集残差连接块，对RRDRB输出的特征图进行Conv2卷积，加入SN光谱规范化操作构成第2次操作；

将第1次操作输出的特征图与第2次操作的特征图进行跃迁连接；

送入SAM自注意力机制模块；

将SAM输出的特征进行4倍上采样操作，4倍上采样操作包括两次2倍Nearest最近邻插值，分别加入SN光谱规范化操作；附加两次3×3卷积操作，卷积操作分别加入SN光谱规范化操作。

进一步的，U-net型判别器网络结构包括10层卷积操作，分别为：Conv0层、Conv1层、Conv2层、Conv3层、Conv4层、Conv5层、Conv6层、Conv7层、Conv8层以及Conv9层；

10层卷积操作层在卷积层后均加入SN光谱规范化层；

其中，Conv3层、Conv4层、Conv5层、Conv6层进行UpSampling上采样操作；

Conv2和Conv4、Conv1和Conv5、Conv0和Conv6卷积层采取跃迁连接操作；

Conv7和Conv8卷积层Leaky-ReLU(α＝0.2)函数的激活操作。

进一步的，初始超分辨率遥感影像模型G(I_LR)损失函数公式定义为：

其中，L_char为生成的SR超分辨率遥感影像集I_SR与HR真实高清遥感影像标签I_HR之间的像素差值残差，ε为稳定网络整体训练的常数项，且ε＝10^-3。

超分辨率遥感影像生成器网络和判别器网络的L_adv对抗损失项定义如下：

其中，

为判别器网络对抗损失函数，

为生成器网络的对抗损失函数，I_SR＝G(I_LR)为生成的超分辨率遥感图像数据集，I_HR为高清遥感图像数据集；E(*)代表输入数据批次的均值；D_Ra(I_HR,I_SR)＝σ(C(I_HR))-E[(C(I_SR)])，σ是sigmoid预测函数，C(*)代表判别器网络中非线性变换的输出值。

进一步的，超分辨率遥感影像生成器网络L_G联合损失定义为：

其中，η、λ以及β是调节生成器网络不同子损失项的常量，η＝10^-2、λ＝5×10^-4、β＝1×10⁴，L_text为SR超分辨率遥感影像与HR真实高清遥感影像之间的纹理约束损失项，定义为：

φ(*)为预训练的VGGNet-19模型，G_r(F)为格雷姆矩阵；

判别器网络L_D判别损失函数公式定义为：

L_G与L_D损失稳定迭代收敛时，停止网络训练。

另一方面，本申请提供了一种遥感影像超分辨率模型训练装置，包括：

遥感影像数据集预处理模块，用于生成遥感影像数据集，数据集由真实的遥感影像实验数据集对构成，一组遥感影像实验数据集对包括LR低分辨率遥感影像块和HR高清遥感影像块；

超分辨率遥感影像模型训练模块，包括生成器网络训练单元和对抗网络模型训练单元；

其中，生成器网络训练单元用于将遥感影像数据集送入生成器网络，输出SR超分辨率遥感影像，计算损失约束，形成初始超分辨率生成模型G(I_LR)；

对抗网络模型训练单元用于实现生成器网络和U-net型判别器网络对抗训练，计算超分辨率遥感影像生成器网络联合损失和判别器网络判别损失。

进一步的，生成器网络训练单元中，计算初始超分辨率遥感影像模型G(I_LR)损失函数公式定义为：

其中，L_char为生成的SR超分辨率遥感影像集I_SR与HR真实高清遥感影像标签I_HR之间的像素差值残差，ε为稳定网络整体训练的常数项，且ε＝10^-3。

对抗网络模型训练单元中，超分辨率遥感影像生成器网络和判别器网络的L_adv对抗损失项定义如下：

其中，

为判别器网络对抗损失函数，

为生成器网络的对抗损失函数，I_SR＝G(I_LR)为生成的超分辨率遥感图像数据集，I_HR为高清遥感图像数据集；E(*)代表输入数据批次的均值；D_Ra(I_HR,I_SR)＝σ(C(I_HR))-E[(C(I_SR)])，σ是sigmoid预测函数，C(*)代表判别器网络中非线性变换的输出值；

超分辨率遥感影像生成器网络L_G联合损失定义为：

其中，η、λ以及β是调节生成器网络不同子损失项的常量，η＝10^-2、λ＝5×10^-4、β＝1×10⁴，L_text为SR超分辨率遥感影像与HR真实高清遥感影像之间的纹理约束损失项，定义为：

φ(*)为预训练的VGGNet-19模型，G_r(F)为格雷姆矩阵；

判别器网络L_D判别损失函数公式定义为：

根据本发明，可以为网络训练真实学习到高-低分辨率遥感影像的特征映射提供了良好数据保障，解决了超分辨率处理后出现重叠伪影的情况，加强了超分辨率处理后的遥感影像的真实纹理细节，为后续遥感影像场景解译应用提供更好数据基础。

附图说明

图1是根据本发明实施例提供的遥感影像超分辨率模型训练方法步骤图；

图2是根据本发明实施例提供的遥感影像超分辨率模型训练方法流程图；

图3是根据本发明实施例提供的遥感影像超分辨率模型构成结构示意图；

图4是根据本发明实施例提供的生成器网络中RRDRB超残差密集连接块的结构图；

图5是根据本发明实施例提供的遥感影像超分辨率模型图像处理过程示意图；

图6是根据本发明实施例提供的遥感影像超分辨率模型对真实LR低分辨率图像场景处理结果图；

图7是根据本发明实施例提供的遥感影像超分辨率模型对真实HR低分辨率图像场景处理结果图。

具体实施方式

本申请提供了一种基于U-net型的生成对抗网络遥感影像超分辨率方案，首先，数据源方面，采用真实一一对应高-低分辨率影像构造训练数据，取代常规以高清影像下采样插值获得对应低分辨率影像，为网络训练真实学习到高-低分辨率遥感影像的特征映射提供了良好数据保障；其次，针对真实低分辨率遥感影像场景超分辨率处理后出现重叠伪影的情况，提出了U-net型的生成对抗网络的方案来改善这一问题；此外，本方法采取联合损失函数来训练网络，加强了超分辨率处理效果，使生成的遥感影像拥有真实纹理细节，为后续遥感影像场景解译应用提供更好数据基础。

下面结合说明书附图对本发明的具体实现方式做详细描述。

如图1所示，遥感影像超分辨率模型训练方法包括以下步骤：

步骤S100：数据预处理，即制作和获取遥感影像数据集，本步骤的数据集由真实的遥感影像实验数据集对构成，一组遥感影像实验数据集对包括LR低分辨率遥感影像块和HR高清遥感影像块，分别记为I_LR和I_HR；

对本步骤中数据采集的实现，可通过应用工具针对同一位置获取不同等级的遥感影像来完成，不同等级体现为分辨率的不同，高分辨率遥感影像像素与低分辨率遥感影像像素的比例控制为4:1，例如真实高清遥感影像尺寸为128×128像素，低分辨率影像尺寸则为32×32像素。

在图2中的步骤S210遥感影像获取和制作过程中，包括步骤S211对遥感影像训练集和步骤S212对测试集的准备，高分辨率影像可作为训练样本的数据标签验证训练结果；除此之外，在本申请的步骤S220，数据集中高分辨率影像与步骤S210的训练结果在判别器网络中共同作为对抗数据集来实现模型训练，在模型训练完成后，高分辨率影像在步骤S230中，通过遥感影像超分辨率生成模型生成更清晰的影像。

本步骤中，由于提供了真实的高-低分辨率遥感影像数据集，真实构建了遥感影像高低频特征的映射关系，可以使图像纹理更加贴近实际，避免了人工压缩和机械降采样构造高-低分辨率遥感影像数据的片面性，从而增加网络模型充分学习真实高-低图像特征信息映射的性能。

步骤S110：训练超分辨率生成模型：

本步骤中包括构建初始超分辨率遥感影像模型，初始超分辨率遥感影像模型由生成器网络训练生成；

生成器网络包括主干特征提取模块和上采样模块，主干特征提取模块由RRDRB超残差密集块和SAM自注意力机制共同构成，上采样模块用以拓展图像尺寸和空间分辨率；在本申请中，增加SN光谱规范化层贯穿生成器主干网络的卷积层，特征提取的生成器网络具体结构，如图3生成器网络G部分所示，从左端LR输入，至右端HR输出，包括：

第1次Conv1卷积加入SN光谱规范化操作构成第1次操作，具体为将32×32像素的低分辨率遥感训练数据集输入生成器网络，首先经过一层3×3的卷积操作，对第1层输出的特征信息引入SN光谱规范化层；

接入RRDRB超密集残差连接块，对RRDRB输出的特征图进行Conv2卷积+SN光谱规范化操作构成第2次操作；如图4所示，RRDRB超残差密集连接新块集合了密集网络和残差网络的结构，添加了额外残差特征流，加强网络对深层特征提取能力，并添加了高斯白噪音，加强网络随机拟合的鲁棒性能；

将第1次操作输出的特征图与第2次操作的特征图进行跃迁连接，以增加图像高低频显著性特征的学习能力，并送入SAM自注意力机制模块，同时加强网络对局部和全局图像特征的学习；

将SAM输出的特征进行4倍上采样操作，即包括两次2倍Nearest最近邻插值加入Conv加入SN光谱规范化操作；

附加两次3×3卷积操作，其中每次卷积操作分别接入SN光谱规范化操作。

通过以上结构的训练，最后输出128×128像素的SR超分辨率遥感影像，该影像尺寸同HR真实高清遥感影像相同，以二者的charbonnier差异作为损失约束，不断迭代训练生成器网络，直到网络收敛。

本步骤中生成器网络训练过程，将遥感影像数据集送入生成器网络，初步映射训练遥感影像高低频特征信息，得到初始超分辨率生成模型G(I_LR)。

初始超分辨率遥感影像模型G(I_LR)的charbonnier损失函数公式定义为：

其中，L_char为生成的SR超分辨率遥感影像集I_SR与HR真实高清遥感影像标签I_HR之间的像素差值残差，ε为稳定网络整体训练的常数项，且设为ε＝10^-3。

步骤S120：训练生成对抗网络模型：对抗网络模型由生成器网络和U-net型判别器网络共同训练生成：

即将步骤S110的生成模型和判别器网络在联合损失约束下，实现共同博弈对抗训练，直至生成对抗网络模型整体收敛，得到充分训练后特征细化的超分辨率生成网络模型。

本步骤中送入判别器网络的训练数据包括：步骤S110低分辨率遥感影像生成的SR超分辨图像数据集I_SR＝G(I_LR)和HR真实高清遥感影像数据集I_HR，二者的尺寸和通道数相同。

U-net型判别器网络结构，如图3中判别器网络D部分所示，包括10层卷积操作层：Conv0层、Conv1层、Conv2层、Conv3层、Conv4层、Conv5层、Conv6层、Conv7层、Conv8层以及Conv9层；

10层卷积操作层在卷积层后均加入SN光谱规范化层，以保证图像充分训练；

Conv3层、Conv4层、Conv5层、Conv6层进行UpSampling上采样操作，相应地变成Upconv3层、Upconv4层、Upconv5层、Upconv6层，以保证输入和输出图像形状保持一致；

Conv2和Conv4、Conv1和Conv5、Conv0和Conv6卷积层采取跃迁连接操作，为加强图像语义特征融合；

Conv7和Conv8卷积层Leaky-ReLU(α＝0.2)函数的激活操作；

最后经过Conv9层仅进行卷积+SN层操作，对输入图像真实性加以判别，并予以生成器网络反馈。

生成器网络和U-net型判别器网络共同训练指：将SR超分辨率遥感影像与HR高清遥感影像块送入U-net型判别器网络执行对抗训练，即生成模型和判别器网络在联合损失约束下，由判别器网络计算输入图像的真实性。

本步骤中判别器网络由于使用U-net型网络，可以深层联动和剖析输入图像的特征，提高判别器网络的甄别能力；另一方面，采用SN光谱规范化策略贯穿生成器网络和判别器网络的架构，训练网络权重的光谱范数可以加强生成对抗网络训练稳定性。

SN光谱规范化是在利普希茨连续和常数下进行：假设一个函数S(I)，I为图像空间矩阵，若满足||S(I_SR)-S(I_HR)||≤K||I_SR-I_HR||，K则称为利普希茨常数。

上式表示为：

经变换，可表示为两个向量内积：<(A^TA-K²)x,x>≤0；

经变换，K需要满足：

λ₁即为图像矩阵I光谱规范化的结果；

在神经网络参数迭代更新时，同时将参数和的权重W进行规范化，避免了网络参数激烈跳动，稳定网络训练。

联合损失约束包括了：计算的生成器网络生成的SR超分辨率遥感影像和HR真实高清遥感影像低频像素一致性的charbonnier loss损失项，计算的超分辨率遥感影像生成器网络和判别器网络的对抗损失项，计算的生成器网络的SR超分辨率遥感影像和HR真实高清遥感影像的纹理损失项。

这些联合损失函数构成了生成器网络的损失函数和判别器的损失函数，不断迭代反馈训练，当两个子网络损失函数趋于收敛达到平衡，终止训练，形成遥感影像超分辨率模型。

训练结束后，将真实的低分辨率遥感影像，或者真实高分辨率遥感影像作为测试集，分别输入超分辨率生成模型，产生更加清晰的超分辨率遥感影像。

超分辨率遥感影像生成器网络和判别器网络的L_adv对抗损失项定义如下：

其中，

为判别器网络对抗损失函数，

为生成器网络的对抗损失函数，I_SR＝G(I_LR)为生成的超分辨率遥感图像数据集，I_HR为高清遥感图像数据集；E(*)代表输入数据批次的均值；D_Ra(I_HR,I_SR)＝σ(C(I_HR))-E[(C(I_SR)])，σ是sigmoid预测函数，C(*)代表判别器网络中非线性变换的输出值。

超分辨率遥感影像生成器网络L_G联合损失定义为：

其中，η、λ以及β是调节生成器网络不同子损失项的常量，η＝10^-2、λ＝5×10^-4、β＝1×10⁴，L_text为SR超分辨率遥感影像与HR真实高清遥感影像之间的纹理约束损失项，定义为：

其中，φ(*)为预训练的VGGNet-19模型，G_r(F)为格雷姆矩阵；

判别器网络L_D判别损失函数公式定义为：

L_G与L_D损失稳定迭代收敛时，停止网络训练。

以上两个步骤的实现如图2中S220的示，实现训练遥感影像超分辨率生成模型。

最终，真实的高分辨率遥感影像，通过遥感影像超分辨率生成模型处理为更清晰的超分辨率遥感影像。

图5为通过遥感影像超分辨率模型图像处理过程示意图：

在数据获取与制作阶段，将真实一一对应的高-低清遥感影像数据进行筛选、裁剪操作，组成遥感影像数据集对；

训练超分辨率遥感影像生成模型阶段，将预处理操作得到的真实低清遥感影像块训练数据集输入设计的超分辨率图像生成模型，以对应真实高清遥感影像块作为数据标签，经过迭代和charbonnier损失训练约束下，初步得到超分辨率生成模型，能够粗略生成一一对应的超分辨遥感影像数据集；

训练生成对抗网络模型阶段，将超分辨率生成模型同判别器网络共同训练，生成模型将LR低分辨率遥感影像生成SR超分辨率遥感影像，同对应的HR高清遥感影像输入判别器网络进行真伪判别，在charbonnier损失项、对抗损失项和纹理损失项约束下不断更新迭代，最终训练出细化真实的超分辨率遥感影像生成模型。

图6中展示了通过本申请提供的实施例实现的异地场景真实LR低分辨率图像块经过超分辨率生成模型处理的结果。

图7中展示了通过本申请提供的实施例实现的异地场景真实HR高分辨率图像块经过超分辨率生成模型处理的结果。

本申请也提供了遥感影像超分辨率模型训练装置，包括：

遥感影像数据集预处理模块，用于准备遥感影像数据集，数据集由真实的遥感影像实验数据集对构成，一组遥感影像实验数据集对包括LR低分辨率遥感影像块和HR高清遥感影像块；

超分辨率遥感影像模型训练模块，包括生成器网络训练单元和对抗网络模型训练单元；

生成器网络训练单元用于将遥感影像数据集送入生成器网络，输出SR超分辨率遥感影像，计算损失约束，形成初始超分辨率生成模型G(I_LR)；

对抗网络模型训练单元用于实现生成器网络和U-net型判别器网络对抗训练，计算超分辨率遥感影像生成器网络联合损失和判别器网络判别损失。

生成器网络训练单元中，初始超分辨率遥感影像模型G(I_LR)损失函数公式定义为：

其中，L_char为生成的SR超分辨率遥感影像集I_SR与HR真实高清遥感影像标签I_HR之间的像素差值残差，ε为稳定网络整体训练的常数项，且ε＝10^-3。

对抗网络模型训练单元中，

超分辨率遥感影像生成器网络和判别器网络的L_adv对抗损失项定义如下：

其中，

为判别器网络对抗损失函数，

为生成器网络的对抗损失函数，I_SR＝G(I_LR)为生成的超分辨率遥感图像数据集，I_HR为高清遥感图像数据集；E(*)代表输入数据批次的均值；D_Ra(I_HR,I_SR)＝σ(C(I_HR))-E[(C(I_SR)])，σ是sigmoid预测函数，C(*)代表判别器网络中非线性变换的输出值；

超分辨率遥感影像生成器网络L_G联合损失定义为：

其中，η、λ以及β是调节生成器网络不同子损失项的常量，η＝10^-2、λ＝5×10^-4、β＝1×10⁴，L_text为SR超分辨率遥感影像与HR真实高清遥感影像之间的纹理约束损失项，定义为：

其中，φ(*)为预训练的VGGNet-19模型，G_r(F)为格雷姆矩阵；

判别器网络L_D判别损失函数公式定义为：

在本发明提供的遥感影像超分辨率生成网络由于设计了RRDRB超残差密集连接块和SAM自注意力机制模块，网络具备对真实高-分辨率遥感图像间深层特征的提取和学习能力，超分辨率遥感影像特征更加丰富准确；生成器网络和判别器网络对抗阶段的对抗损失采取相对损失策略，约束生成对抗网络训练的稳定性；在网络结构的构成上，采用SN光谱规范化策略贯穿生成器网络和判别器网络的架构，训练网络权重的光谱范数具备加强生成对抗网络训练稳定性的优点，在没有过多增加计算负担的情况下，又加强了训练的效果。同时对于训练集进行有效控制，制作并提供了真实的高-低分辨率遥感影像数据集，真实构建了遥感影像高低频特征的映射关系，图像纹理更加贴近实际，超分辨率处理后的遥感影像更加真实。

以上公开的仅为本发明的几个具体实施例，但本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (10)

1.一种遥感影像超分辨率模型训练方法，其特征在于，包括以下步骤：

获取遥感影像数据集，所述数据集由真实的遥感影像实验数据集对构成，一组所述遥感影像实验数据集对包括LR低分辨率遥感影像块和HR高清遥感影像块；

构建初始超分辨率遥感影像模型和对抗网络模型，所述初始超分辨率遥感影像模型由生成器网络训练生成；所述对抗网络模型由生成器网络和U-net型判别器网络共同训练生成；

其中，初始超分辨率遥感影像模型训练过程包括：将所述遥感影像数据集送入生成器网络，输出SR超分辨率遥感影像，计算损失约束，形成初始超分辨率生成模型G(I_LR)；

所述生成器网络和U-net型判别器网络共同训练指：将所述SR超分辨率遥感影像与HR高清遥感影像块在U-net型判别器网络执行对抗训练，计算超分辨率遥感影像生成器网络联合损失和判别器网络判别损失，形成遥感影像超分辨率模型。

2.根据权利要求1所述的模型训练方法，其特征在于，所述高分辨率遥感影像像素与低分辨率遥感影像像素的比例为4:1，即超分辨率比例因子为4。

3.根据权利要求1所述的模型训练方法，其特征在于，所述生成器网络训练指：

第1次Conv1卷积加入SN光谱规范化操作构成第1次操作；

接入RRDRB超密集残差连接块，对RRDRB输出的特征图进行Conv2卷积，加入SN光谱规范化操作构成第2次操作；

将所述第1次操作输出的特征图与第2次操作的特征图进行跃迁连接；

送入SAM自注意力机制模块；

将SAM输出的特征进行4倍上采样操作，所述4倍上采样操作包括两次2倍Nearest最近邻插值，分别加入SN光谱规范化操作；附加两次3×3卷积操作，所述卷积操作分别加入SN光谱规范化操作。

4.根据权利要求1所述的模型训练方法，其特征在于，所述U-net型判别器网络结构包括10层卷积操作；

所述10层卷积操作层为：Conv0层、Conv1层、Conv2层、Conv3层、Conv4层、Conv5层、Conv6层、Conv7层、Conv8层以及Conv9层；

所述10层卷积操作层在卷积层后均加入SN光谱规范化层；

所述Conv3层、Conv4层、Conv5层、Conv6层进行UpSampling上采样操作；

所述Conv2和Conv4、Conv1和Conv5、Conv0和Conv6卷积层采取跃迁连接操作；

所述Conv7和Conv8卷积层Leaky-ReLU(α＝0.2)函数的激活操作。

5.根据权利要求1所述的模型训练方法，其特征在于，所述初始超分辨率遥感影像模型G(I_LR)损失函数公式定义为：

其中，L_char为生成的SR超分辨率遥感影像集I_SR与HR真实高清遥感影像标签I_HR之间的像素差值残差，ε为稳定网络整体训练的常数项，且ε＝10^-3。

6.根据权利要求5所述的模型训练方法，其特征在于，所述超分辨率遥感影像生成器网络和判别器网络的L_adv对抗损失项定义如下：

其中，

为判别器网络对抗损失函数，

为生成器网络的对抗损失函数，I_SR＝G(I_LR)为生成的超分辨率遥感图像数据集，I_HR为高清遥感图像数据集；E(*)代表输入数据批次的均值；D_Ra(I_HR,I_SR)＝σ(C(I_HR))-E[(C(I_SR)])，σ是sigmoid预测函数，C(*)代表判别器网络中非线性变换的输出值。

7.根据权利要求6所述的模型训练方法，其特征在于，所述超分辨率遥感影像生成器网络L_G联合损失定义为：

其中，η、λ以及β是调节生成器网络不同子损失项的常量，η＝10^-2、λ＝5×10^-4、β＝1×10⁴，L_text为SR超分辨率遥感影像与HR真实高清遥感影像之间的纹理约束损失项，定义为：

φ(*)为预训练的VGGNet-19模型，G_r(F)为格雷姆矩阵；

判别器网络L_D判别损失函数公式定义为：

所述L_G与L_D损失稳定迭代收敛时，停止网络训练。

8.一种遥感影像超分辨率模型训练装置，其特征在于，包括：

遥感影像数据集预处理模块，用于生成遥感影像数据集，所述数据集由真实的遥感影像实验数据集对构成，一组所述遥感影像实验数据集对包括LR低分辨率遥感影像块和HR高清遥感影像块；

超分辨率遥感影像模型训练模块，包括生成器网络训练单元和对抗网络模型训练单元；

所述生成器网络训练单元用于将所述遥感影像数据集送入生成器网络，输出SR超分辨率遥感影像，计算损失约束，形成初始超分辨率生成模型G(I_LR)；

所述对抗网络模型训练单元用于实现生成器网络和U-net型判别器网络对抗训练，计算超分辨率遥感影像生成器网络联合损失和判别器网络判别损失。

9.根据权利要求8所述的模型训练装置，其特征在于，所述生成器网络训练单元中，计算初始超分辨率遥感影像模型G(I_LR)损失函数公式定义为：

其中，L_char为生成的SR超分辨率遥感影像集I_SR与HR真实高清遥感影像标签I_HR之间的像素差值残差，ε为稳定网络整体训练的常数项，且ε＝10^-3。

10.根据权利要求9所述的模型训练装置，其特征在于，所述对抗网络模型训练单元中，超分辨率遥感影像生成器网络和判别器网络的L_adv对抗损失项定义如下：

其中，

为判别器网络对抗损失函数，

为生成器网络的对抗损失函数，I_SR＝G(I_LR)为生成的超分辨率遥感图像数据集，I_HR为高清遥感图像数据集；E(*)代表输入数据批次的均值；D_Ra(I_HR,I_SR)＝σ(C(I_HR))-E[(C(I_SR)])，σ是sigmoid预测函数，C(*)代表判别器网络中非线性变换的输出值；

超分辨率遥感影像生成器网络L_G联合损失定义为：

其中，η、λ以及β是调节生成器网络不同子损失项的常量，η＝10^-2、λ＝5×10^-4、β＝1×10⁴，L_text为SR超分辨率遥感影像与HR真实高清遥感影像之间的纹理约束损失项，定义为：

φ(*)为预训练的VGGNet-19模型，G_r(F)为格雷姆矩阵；

判别器网络L_D判别损失函数公式定义为：

Images