CN110599401A - 遥感图像超分辨率重建方法、处理装置及可读存储介质 - Google Patents

遥感图像超分辨率重建方法、处理装置及可读存储介质 Download PDF

Info

Publication number
CN110599401A
CN110599401A CN201910766900.XA CN201910766900A CN110599401A CN 110599401 A CN110599401 A CN 110599401A CN 201910766900 A CN201910766900 A CN 201910766900A CN 110599401 A CN110599401 A CN 110599401A
Authority
CN
China
Prior art keywords
image
resolution
network
remote sensing
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910766900.XA
Other languages
English (en)
Inventor
马闻
潘宗序
雷斌
王博威
李盛
陈柯洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Electronics of CAS
Original Assignee
Institute of Electronics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Electronics of CAS filed Critical Institute of Electronics of CAS
Priority to CN201910766900.XA priority Critical patent/CN110599401A/zh
Publication of CN110599401A publication Critical patent/CN110599401A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution

Abstract

一种遥感图像超分辨率重建方法、处理装置及可读存储介质，该方法包括对图像进行预处理，构建生成对抗网络模型，对生成对抗网络模型进行优化、迁移学习等处理，最终得到能够输出与输入的低分辨率遥感图像相对应的超分辨率遥感图像的网络模型。本发明通过去除卷积神经网络中残差模块的批归一化对生成对抗网络模型进行优化，并利用迁移学习的方法训练生成对抗网络模型，克服遥感图像数量少、质量不高导致模型难以训练的难题，在节省内存消耗(约40％)的同时，提高了重建结果的性能指标和视觉效果。

Description

遥感图像超分辨率重建方法、处理装置及可读存储介质
技术领域
本发明涉及光学遥感图像的超分辨率重建技术领域，尤其涉及一种基于迁移学习和优化的生成对抗网络模型相结合的遥感图像超分辨率重建方法、处理装置及可读存储介质。
背景技术
遥感技术作为获取地物信息的重要手段，在资源调查、土地利用、城市规划、作物估产、国土普查、建筑物选址、荒漠化监测、环境保护、天气预报、灾害监测、气候变化及国防军工等方面均取得了显著的社会效益和经济效益，有着重要的作用。遥感影像的空间分辨率是衡量遥感影像质量的关键性指标，利用分辨率高的影像可获得更为丰富和清晰的地物细节，提高遥感影像的应用潜力，便于高层次的视觉判读，是遥感数据获取技术的趋向之一。然而在遥感领域，受成像环境、成像平台、传感器成本等多方面的制约，通常难以获得满足实际应用的遥感影像。
目前，获取高分辨率遥感影像的方法有通过硬件的方法、硬软件结合的方法和软件的方法。通过硬件的方法主要有降低卫星轨道高度、增加每单元面积的像素数量和扩大芯片尺寸等。然而，轨道高度的降低会限制影像的图幅；像素尺寸的减少会导致光通量也随之减少，所产生的散粒噪声使得图像质量严重恶化；增加芯片的尺寸的难题在于提高大容量的偶合转换率比较困难，而且高精度光学和图像传感器价格高。通过硬软件结合的方法普适性不强，无法应用于现存的遥感图像采集系统。
通过软件的方法即超分辨率重建不仅可以提高遥感影像的空间分辨率，而且成本较低，已成为遥感影像分辨率提升领域研究的热点。超分辨率重建方法通过一幅或多幅低分辨率图像重建高分辨率图像，从而提高图像的空间分辨率。其关键技术是获得额外附加信息来弥补图像在降质过程中损失的细节信息。图像的超分辨率重建旨在通过图像处理算法，利用低分辨率图像的特征信息，重建对应的高分辨率图像。
遥感图像的超分辨率复原技术主要分为两大类，基于重建的方法和基于学习的方法。随着深度学习技术的飞速发展，基于学习的方法又分为了基于浅层学习的方法和基于深度学习的方法。基于学习的超分辨率复原算法主要包括训练样本库的建立和组织(特征提取)、学习(搜索)模型以及高频信息重建过程三个部分。目前，常用的浅层学习方法有基于示例的方法、基于流形学习的方法，基于稀疏表示的方法。然而这类算法各阶段分别独立设计优化，且学习模型的特征提取与表达能力有限。
近年来，深度学习(Deep Learning，DL)模型，特别是卷积神经网络(Convolutional Neural Networks，CNNs)，因其强大的学习能力，被广泛用于解决超分辨率问题。基于深度学习进行超分辨率重建的方法一类侧重于提高重建的客观量化指标，基于卷积神经网络的方法(Super Resolution using Convolution Neural Network，SRCNN)率先将卷积神经网络引入到图像超分辨率复原的问题中，该方法的重建结果相比基于稀疏编码的超分方法(Sparse Coding based Super ResoLution，SCSR)的结果有较大提高。在SRCNN的基础上，极深网络的图像超分辨率复原方法(Very Deep networks for SuperResolution，VDSR)采用较高学习率提高训练速度，加深网络结构的同时进一步提升图像重建质量，但是这种方法缺乏层间信息反馈及上下文信息关联，为了解决这个问题，深度递归卷积网络的超分方法(Deeply Recursive Convolutional Network，DRCN)首先在极深网络的各层建立预测信息的监督层，然后将各层的预测信息通过跳跃连接到重建层，最后在重建层完成图像重建。深度递归残差网络(Deep Recursive Residual Network for SuperResolution，DRRN)在此基础上提出了一种非常深入的卷积神经网络模型，将全局残差模块、局部残差模块和递归神经网络相结合，提高精度的同时有效的防止了过拟合。另一类则侧重于提升重建结果的主观视觉效果，使其纹理细节信息恢复的更加生动逼真，基于生成对抗网络的自然图像超分辨率重建(Photo-Realistic Single Image Super-ResolutionUsing a Generative Adversarial Network，SRGAN)首次将生成对抗网络应用于图像质量恢复的任务中，在大倍率重建的时候仍能恢复出相比于其他方法更加令人满意的视觉效果。
但是遥感图像的超分辨率重建相对于普通光学自然图像的超分辨率重建，仍存在许多制约生成对抗网络应用于遥感图像的超分辨率重建的技术难题，如：
1、不同于光学自然图像的超分辨率重建需求，实际情况中的遥感图像超分辨率重建任务往往需要进行如4倍、8倍的大倍率重建，基于普通神经网络的超分辨率重建网络大多仅适用于小倍率(2倍、3倍)的重建任务，难以在遥感图像的真实应用场景中得到良好的重建效果；
2、目前基于深度学习方法的超分辨率重建网络大多使用批归一化(BatchNormalization)进行网络训练，但是批归一化并不适用于超分辨率重建任务，其在增加网络参数、降低重建精度的同时还会加重神经网络的训练负担、降低了网络的“有效使用率”，并且对特征进行归一化后去除了网络的灵活性；
3、基于卷积神经网络的超分辨率重建方法是以大量的不同场景、目标、条件下的高分辨率自然图像为样本进行训练，样本越多，则训练效果越好。若想将这一方法应用到遥感图像的超分辨率重建任务上，则需要大量的高质量遥感图像作为训练样本。而我们难以在现实情况中收集如此多场景、目标、条件下的高质量遥感图像，这制约了基于深度学习方法的超分辨率重建任务在遥感图像上的应用与发展。
发明内容
有鉴于此，本发明的主要目的在于提供一种遥感图像超分辨率重建方法、处理装置及可读存储介质，以期至少部分地解决上述提及的技术问题中的至少之一。
为达到上述目的，作为本发明的一个方面，提供了一种遥感图像超分辨率重建方法，包括如下步骤：
步骤S1：选取图像进行预处理，得到图像训练集和图像测试集；
步骤S2：构建生成对抗网络模型；具体包括以下子步骤：
子步骤S21：搭建设计生成对抗网络模型的生成网络架构，即：使用包含残差模块的卷积神经网络作为基础模型搭建，利用亚像素卷积代替图像的上采样操作，去除残差模块的批归一化，得到用于重建图像的生成网络架构；
子步骤S22：搭建用于优化所述生成网络架构的判别网络架构，得到生成对抗网络模型；
步骤S3：利用迁移学习的方法，使用步骤S1得到的图像训练集，分别根据用于训练生成网络架构的生成网络损失函数和用于训练判别网络架构的判别网络损失函数，对生成网络架构和判别网络架构进行交替训练，得到训练后的生成对抗网络模型；
步骤S4：将需要处理的低分辨率遥感图像输入到训练后的生成对抗网络模型的生成网络架构中，输出与所述的低分辨率遥感图像相对应的超分辨率遥感图像。
作为本发明的另一个方面，提供了一种实现上述遥感图像超分辨率重建方法的处理装置，包括：
数据集建立单元，用于对选取图像进行预处理，得到图像训练集和图像测试集；
网络获取单元，用于构建生成对抗网络模型；
生成对抗网络模型优化训练单元，用于利用迁移学习的方法，使用图像训练集，分别根据生成网络损失函数和判别网络损失函数，对生成网络架构和判别网络架构进行交替训练，得到训练后的生成对抗网络模型；
图像处理单元，用于将低分辨率遥感图像输入到训练后的生成对抗网络模型的生成网络架构中，输出与所述的低分辨率遥感图像相对应的超分辨率遥感图像。
作为本发明的再一个方面，还提供了一种遥感图像超分辨率重建的处理装置，包括：
存储器，存储有能被处理器执行的程序指令；
处理器，调用所述存储器中的程序指令，以执行上述遥感图像超分辨率重建方法。
作为本发明的再一个方面，还提供了一种可读存储介质，所述可读存储介质存储有执行指令，所述执行指令用于使能够读取所述可读存储介质的设备执行上述遥感图像超分辨率重建方法。
从上述技术方案可以看出，本发明的遥感图像超分辨率重建方法相对于现有技术至少具有以下有益效果其中之一或其中一部分：
1、针对目前基于深度学习方法的超分辨率重建网络使用批归一化带来的增加网络参数、降低重建精度的问题，本发明去除了卷积神经网络中的批归一化对生成对抗网络模型进行优化，在节省内存消耗的同时(约40％)，提高了重建结果的性能指标和视觉效果；针对遥感图像数量不足、质量不高导致深度神经网络难以训练的问题，本发明将迁移学习方法和经去除了卷积神经网络中的批归一化优化后的生成对抗网络模型相结合，在轻量化网络节省了内存消耗和计算量的同时，恢复出了更加逼近真实图像的视觉效果，测试图像重建后的平均量化指标也有所提升；
2、针对现有的基于卷积神经网络的超分辨率重建方法无法解决遥感图像的大倍率重建的难题，我们引入基于图像内容的感知损失函数和生成对抗网络模型取代传统的MSE损失函数，在大倍率重建下(4倍)，我们所重建出的超分辨率图像其纹理细节较于其他几种现有方法更加清晰锐化，视觉效果更加逼真，且客观量化指标(PSNR、SSIM)有所提升；
3、在本发明迁移学习的方法中，首先用高质量的自然图像训练集，即自然图像DIV2K数据集预训练生成对抗网络模型，再用少量遥感图像训练集中的遥感图像对预训练后的生成网络架构进行微调，增强了生成对抗网络模型的鲁棒性的同时，提高了重建的精度。
附图说明
图1是本发明实施例的生成对抗网络模型设计图，其中1(a)是生成网络架构结构图，图1(b)是判别网络架构结构图；
图2是深度神经网络的退化现象示意图；
图3是残差模块结构示意图；
图4是残差模块拓扑结构图，其中4(a)是残差模块，4(b)是对残差模块的拓扑可视化；
图5是亚像素卷积示意图；
图6是残差模块结构图，其中6(a)是现有技术，图6(b)是本发明实施例去掉批归一化的残差模块结构图；
图7是遥感测试图像4倍超分辨率重建视觉效果对比图，其中7(a)是高分辨率原图，图7(b)是对比例1基于Bicubic方法，图7(c)是对比例4基于SRCNN方法，图7(d)是对比例5基于SRGAN方法，图7(e)是本发明实施例1；
图8是遥感测试图像超分辨率重建视觉效果对比图，其中图8(a)是对比例6在有批归一化下重建的结果图，图8(b)是本发明实施例2在去除批归一化下重建的结果图。
具体实施方式
为了便于视觉判读，遥感图像需要良好的视觉效果。遥感图像相比于自然图像往往需要更大倍率的重建，但是目前大多数基于深度学习的超分辨率重建方法仅适用于小倍率重建；
目前大多数基于深度学习的计算机视觉任务使用批归一化(BatchNormalization)来训练神经网络模型，然而批归一化并不适用于超分辨率重建任务。
深度学习的方法需要大量高质量的遥感图像作为数据集训练网络，然而我们所能获得的遥感图像数据量有限，且图像的质量通常较低，这对于超分辨率重建任务非常不利。
针对以上技术缺陷，本发明提供了一种遥感图像超分辨率重建方法，该方法通过生成对抗网络模型实现遥感图像的大倍率精细重建；结合基于图像内容的感知损失函数和生成对抗网络模型取代传统的MSE损失函数，来解决大倍率重建下纹理细节模糊扭曲的难题；结合迁移学习技术，首先用高质量的自然图像训练集，即自然图像DIV2K数据集预训练生成对抗网络模型，再用少量遥感图像训练集对预训练后的生成网络架构进行微调，解决了遥感图像样本量有限且图像质量不高的难题；本发明去除了卷积神经网络中残差模块的批归一化对生成对抗网络模型进行优化，通过优化生成对抗网络模型，去掉批归一化，在节省内存消耗的同时(约40％)，提高了重建结果的性能指标和视觉效果。大量测试结果表明，尽管在大倍率重建(4倍)的前提下本发明所提出方法的主客观指标仍普遍优于其他方法。
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
步骤S1：对选取图像进行预处理，得到图像训练集和图像测试集；
其中选取的图像包括高分辨率自然图像和高分辨率遥感图像，图像训练集包括含有高分辨率图像和对应低分辨率图像的自然图像训练集和遥感图像训练集，图像测试集包括含有高分辨率图像和低分辨率图像的遥感图像测试集。
步骤S11：生成自然图像训练集；
将1000张DIV2K高分辨率自然图像裁剪得到高分辨率自然图像块，再对这些高分辨率自然图像块进行4倍双三次降采样操作，得到其对应的低分辨率自然图像块，组合自然图像对应的高低分辨率图像块得到自然图像训练集。
步骤S12：生成遥感图像训练集；
在UC-MERCED遥感图像数据集中飞机类别的100张图像中随机选取80张进行裁剪得到遥感图像高分辨率图像块，再对这些遥感图像高分辨率图像块进行4倍双三次降采样操作，得到对应的遥感图像低分辨率图像块，组合遥感图像对应的高低分辨率图像块得到遥感图像训练集，再通过尺度缩放(0.6倍、0.7倍、0.8倍、0.9倍和1倍)、角度旋转(0°、90°、180°和270°)等操作对遥感图像训练集进行20倍的数据扩充。
步骤S13：生成遥感图像测试集；
对UC-MERCED遥感图像数据集中飞机类别的剩余20张飞机图像进行裁剪得到测试用遥感图像高分辨率图像块，再对其进行4倍双三次降采样的操作得到其对应的测试用低分辨率遥感图像块，组合测试用遥感图像对应的高低分辨率遥感图像块得到遥感图像测试集。
步骤S2：构建生成对抗网络模型；具体包括以下子步骤：
子步骤S21：搭建设计生成对抗网络的生成网络架构，即：使用包含残差模块的卷积神经网络作为基础模型搭建，利用亚像素卷积代替图像的上采样操作，去除残差模块的批归一化，得到用于重建图像的生成网络架构；
生成对抗网络模型(GAN)用于超分辨率重建的原理并不复杂，生成网络架构利用低分辨率图像作为输入，产生对应的高分辨率输出，而判别网络架构则对超分辨率重建的图像和真实高分辨率图像进行分辨，并给出对应的梯度，用于优化生成网络架构。随着优化训练的进行，生成网络架构的重建能力逐渐获得提升，当生成网络架构能成功骗过判别网络架构的时候，我们就可以通过这个生成对抗网络模型完成图像的超分辨率重建了。以上过程可以用如下公式表示：
在本发明的实施例中，生成网络架构包括1个用于提取特征的卷积模块，R个残差模块和2个亚像素卷积层，其中，R为5-16的整数；在本发明的优选实施例中，生成网络架构包括1个用于提取特征的卷积模块，9个残差模块和2个亚像素卷积层；
在本发明的实施例中，卷积模块包含1个卷积核大小为N×N的卷积层和1个Relu激活层，其中，N为整数3、5或者9；在本发明的优选实施例中，卷积模块包含1个卷积核大小为3×3的卷积层和1个Relu激活层；
在本发明的实施例中，每个残差模块包含2个卷积核大小为M×M的卷积层和2个Relu激活层，去除每个残差模块中的2个批归一化，以提高重建精度，减少内存消耗，其中，M为整数3、5或者9；在本发明的优选实施例中，每个残差模块包含2个卷积核大小为3×3的卷积层和2个Relu激活层，去除每个残差模块中的2个批归一化，以提高重建精度，减少内存消耗；
在本发明的优选实施例中，每个残差模块的每层包含64个特征图。
在本发明的优选实施例中，其中，生成网络架构示意图如图1(a)所示。本发明所设计的生成网络架构包含，1个用于提取特征的卷积模块，9个残差模块和2个亚像素卷积层；
其中，卷积模块包含1个卷积核大小为3×3的卷积层和1个Relu激活层，每个残差模块包含2个卷积核大小为3×3的卷积层和2个Relu激活层，每个残差模块的每层包含64个特征图，本发明去除了残差模块中原有的2个批归一化对生成网络架构进行优化以得到更好的重建精度，减少内存消耗。
在本发明的优选实施例中，由于基于双三次插值的算法会大量耗费计算资源和时间成本，同时引入冗余噪声影响重建效果，本发明直接将未经插值的低分辨率图像作为生成网络架构的输入，通过训练两层亚像素卷积来学习一个最优的上采样的过程加快训练速度，相比于基于插值的算法，其可以达到网络的最优解。
下面，针对本发明设计的生成网络架构的发明点进行进一步阐释。
本步骤的关键点有3个：残差模块、亚像素卷积思想和生成网络架构的优化。
(1)残差模块
在计算机视觉里，特征的“等级”随增网络深度的加深而变高，研究表明，网络的深度是实现好的效果的重要因素，通过增大网络的感受野，以使网络可以根据更多的像素信息来推断目标像素点的像素值，增强网络的学习能力。然而随着神经网络结构的加深，带来了两个问题：一是梯度的消失和爆炸，导致了训练十分难收敛；另一个是神经网络的退化现象，对深度模型继续增加层数，系统精度得到饱和之后，迅速的下滑(不是由过拟合造成，因为训练误差和测试误差都会很高)。可以看到，如图2所示，56层的网络比20层网络效果还要差。
因此，本发明采用的残差模块的设计克服了这种由于网络深度增加而产生的学习率变低(梯度消失)，准确率无法有效提升(网络退化)的问题。
a、其中，残差模块抑制卷积神经网络退化的原理的具体说明如下：
在传统的平网络(Plain Network)中，一层的网络的数据来源只能是前一层网络，数据一层一层向下流。对于卷积神经网络来说，每一层在通过卷积核后都会产生一种类似有损压缩的效果，可想而知在有损压缩到一定程度以后，分不清楚原本清晰可辨的两张照片并不是什么意外的事情。这种行为叫有损压缩其实并不合适，实际在工程上我们称之为降采样(Down-Sampling)，就是在向量通过网络的过程中经过一些滤波器(Filters)的处理，产生的效果就是让输入向量在通过降采样处理后具有更小的尺寸，在信息传递时，或多或少会存在信息丢失、损耗等问题。在卷积神经网络中常见的就是卷积层和池化层，这两者都可以充当降采样的功能属性。主要目的是为了避免过拟合，以及有一定的减少运算量的副作用。
残差模块的结构如图3所示，可以看到普通直连的卷积神经网络和残差模块的最大区别在于，残差模块由旁路的支线将输入直接连到后面的层，使得后面的层可以直接学习残差，这种结构也被称为跨层连接。简单说就是前面层的较为“清晰”一些的向量数据会和后面被进一步“有损压缩”过的数据共同作为后面的数据输入，通过直接将输入信息绕道传到输出，保护信息的完整性，整个网络则只需要学习输入、输出差别的那一部分，简化学习目标的难度，而没有加过跨层连接的平网络则缺少这部分数据的参考，本身信息是缺失的。
从另一个角度来理解，由于低分辨率图像带有大量的低频信息，这些低频信息依然存在于高分辨率图像，没有残差模块的网络会花费大量时间学习这些低频信息，而残差模块将其隐去了。对于一个堆积层结构(几层堆积而成)当输入为x时其学习到的特征记为H(x)，现在我们希望其可以学习到残差F(x)＝H(x)-x，F是求和前的网络映射，H是求和后的网络映射。这样其实原始的学习特征是F(x)+x。当残差为0时相当于恒等映射，至少网络性能不会下降，然而实际上残差不会为0，这也会使得堆积层在输入特征基础上学习到新的特征，从而拥有更好的性能，整个过程既不会增加额外的参数也不会增加计算的复杂度。
跨层连接的过程实际上是卷积之后的输出与输入的逐点加和，这就需要二者具有相同的维度，残差模块的映射表示如下，
当输入与输出维度相同时：
当输入与输出维度不同时：
将残差模块拓扑结构进行可视化我们可以看到，图4(a)中f1、f2、f3这三个网络通过跨层连接之后，对其进行拓扑展开就演变成了图4(b)所示的结构，相当于是多个不同的网络模型做了融合或并联。将前面的向量信息通过多个不同的分类器模型将结构反馈到后面去。而普通的平网络只有图4(a)最下面的一条串联结构，这两种模型的不同正是造成它们学习能力不同的关键。
b、其中，残差模块防止梯度消失的原理的具体说明如下：
神经网络主要的训练方法是BP算法，BP算法的基础是导数的链式法则，也就是多个导数的连乘积。而sigmoid的导数最大为0.25，且大部分数值都被推向两侧饱和区域，这就导致大部分数值经过sigmoid激活函数之后，其导数都非常小，多个小于等于0.25的数值相乘，其运算结果很小。随着神经网络层数的加深，梯度后向传播到浅层网络时，基本无法引起参数的扰动，也就是没有将loss的信息传递到浅层网络，这样网络就无法训练学习了，这就是所谓的梯度消失。
然而在残差模块中我们引入了跨层连接的机制，xl+1层和其前面一层xl的关系纯粹是一个线性叠加的关系。进一步推导xl+2及其后面层的输出会发现展开后是这样一个表达式：
xl+1＝xl+F(xl)
xl+2＝xl+1+F(xl+1)
也就是后面的任意一层xL向量的内容会有一部分由其前面的某一层xl线性贡献。
再来看残差模块的反向传递的过程，我们定义loss为E，则有：
其中，xlable表示的是在当前样本和标签给定情况下某一层xL所对应的理想向量值，根据链式法则我们得到：
即任意一层的输出xL所产生的残差可以传递回其前面的任意层xl上，这个传递的过程是非常“快”或者说“直接”的，因此它在层数变多的时候也不会出现明显的效率问题。此外，上面公式中的第二项，可以使得，到是一个线性叠加的过程而非连乘，因此避免了梯度消失的现象。以上即从数学推导的层面解释了为什么深度残差模块的深度可以允许那么深，并且还没有出现令人恐惧的梯度消失和训练效率的问题。
在本发明实施例中，本发明采用残差模块的优势有两个：第一，残差模块的设计克服了由于生成网络深度增加而产生的梯度消失和网络退化的问题；第二，超分辨率重建任务的本质，就是学习图像在分辨率降低的过程中所丢失的高频细节信息，而超分辨率重建网络模型输入的低分辨率图像和输出的高分辨率图像的低频信息是十分相近的，在生成对抗网络模型训练的过程中这部分输入会占用大量的时间以及内存，实际上我们只需要学习高分辨率图像和低分辨率图像之间相差的高频残差部分。因此，残差模块的思想特别适合用来解决超分辨率重建问题。
(2)亚像素卷积思想
由于基于双三次插值的算法会大量耗费计算资源和时间成本，同时引入冗余噪声影响重建效果，我们借鉴了亚像素卷积思想，直接将未经插值的低分辨率图像作为生成网络架构的输入，通过训练两层亚像素卷积层来学习一个最优的上采样的过程加快训练速度，相比于基于插值的算法，其可以达到网络的最优解。
亚像素卷积的示意图如图5所示，生成网络架构的输入是原始低分辨率图像，通过两个卷积层以后，得到的特征图像大小与输入图像一样，但是特征通道变为r2(r是图像的目标放大倍数)。将每个像素的r2个通道重新排列成一个r×r的区域，对应于高分辨率图像中的一个r×r大小的子块，从而大小为r2×H×W的特征图像被重新排列成1×rH×rW大小的高分辨率图像。这个变换虽然被称作亚像素卷积(sub-pixel convolution)，但实际上并没有卷积操作。通过使用亚像素卷积的操作，图像从低分辨率到高分辨率放大的过程，插值函数被隐含地包含在前面的卷积层中，可以自动学习到。只在最后一层对图像大小做变换，前面的卷积运算由于在低分辨率图像上进行，因此效率会较高。
(3)生成网络架构的优化
目前基于深度学习方法的超分辨率重建网络使用批归一化(BatchNormalization)来进行深度神经网络的训练，其结构如图6(a)所示，批归一化的引入很好的解决了神经网络的内部协变量转移的问题，其主要应用于输入图像的数据分布和输出数据的分布不一致或有很大变动的情况。而做超分辨率重建的时候，输入与输出的数据分布几乎一致。相反，加入批归一化使得输入输出的数据分布发生了变化，而本来这种变化是可以避免的。为了让最后的分布还是一样，我们还要让网络“占用”一部分参数去还原这种变化，这种占用无疑降低了网络的“有效使用率”，并且对特征进行归一化后去除了网络的灵活性。
因此，在本发明的实施例中在残差模块的基础上去掉了批归一化对生成网络架构进行优化，其结构如图6(b)所示。同时，通过实验验证，去掉批归一化后可以节省训练过程中约40％的内存，超分辨率重建结果的视觉效果和客观指标也均有提升。
子步骤S22：搭建设计用于优化所述生成网络架构的判别网络架构；
判别网络架构如图1(b)所示，判别网络架构用于判断一幅高分辨率图像是由算法生成的还是真实的。如果连判别网络架构都无法区分出来，那么由算法生成的图像就达到了以假乱真的效果。这里使用一个普通卷积分类网络进行判别，激活函数为Leaky-ReLU，包含8个卷积层(filter number从64到512以2倍逐渐增加)，特征尺寸不断减小，最终通过两个全连接层和Sigmoid激活函数得到预测为真实图像的概率。
步骤S3：利用迁移学习的方法，使用图像训练集，分别根据用于训练生成网络架构的生成网络损失函数和用于训练判别网络架构的判别网络损失函数，对生成网络架构和判别网络架构进行交替训练，得到训练后的生成对抗网络模型；
在本发明的实施例中，生成网络损失函数为感知损失函数；感知损失函数包括内容损失函数和对抗损失函数；内容损失函数包括传统MSE损失函数和VGG网络损失函数；
这是因为，传统的超分辨率重建所使用的损失函数为均方误差(Mean-SquareError，MSE)，其定义式为：
其中，m、n分别表示图像的宽度和高度；IHR和ISR分别表示原始高分辨率图像和超分辨率重建后的图像；p、q分别表示每张图像对应的像素位置。
单独采用传统MSE损失函数作为生成网络架构的损失函数，以图像的像素差异来定义，能够使重建结果具有较高的峰值信噪比，但是缺少了高频信息，重建结果会出现过度平滑的纹理，因此在本发明实施例中使用基于图像内容的感知损失函数(PerceptualLoss)取代传统MSE损失函数，其感知损失函数定义式为：
感知损失函数：
内容损失函数：
传统MSE损失函数：
其中，m、n分别表示图像的宽度和高度；IHR和ISR分别表示原始高分辨率图像和超分辨率重建后的图像；p、q分别表示每张图像对应的像素位置；
VGG网络损失函数：
其中，W、H分别表示VGG网络卷积层特征图的维度，x、y分别表示每个特征图对应的像素位置，φi，j表示VGG19网络中第i个最大池化层后的第j个卷积层得到的特征；IHR和ILR分别表示原始高分辨率图像和输入的低分辨率图像。
对抗损失函数：
其中，表示的是判别网络架构将生成网络架构生成的图像判定为真实图像的概率；B表示图像的数量。
在本发明的实施例中，判别网络损失函数的定义如下式(6)；
其中，表示的是判别网络架构将真实图像判别为真的概率，表示判别网络架构将生成网络架构生成的图像判定为假的概率；B表示图像的数量。
在本发明的实施例中，步骤S3具体包括子步骤S31、子步骤S32和子步骤S33；
子步骤S31为，利用迁移学习的方法，根据生成网络损失函数和判别网络损失函数，使用DIV2K自然图像训练集分别对生成网络架构和判别网络架构交替进行预训练；
本发明的目标任务是使用深度学习算法训练针对光学遥感图像的超分辨率重建的生成对抗网络模型。深度学习的方法需要大量高分辨率、高质量的遥感图像作为训练数据集，然而实际情况中我们所能获得的遥感图像数据量非常有限，且图像的质量和清晰度通常较低，这对于超分辨率重建网络的训练任务非常不利。
为了解决这个难题，本发明引入迁移学习的思想，基于生成对抗网络模型在超分辨率重建领域上的出色表现，将迁移学习方法和去除批归一化后的生成对抗网络模型相结合进行遥感图像的超分辨率重建。
在这里，本发明首先使用高分辨率的自然图像DIV2K数据集(DIV2K数据集是一种新发布的用于图像复原任务的高质量图像数据集，包含800张训练图像，100张验证图像和100张测试图像)，即自然图像训练集，对生成对抗网络模型进行预训练。
具体来说，生成对抗网络模型的生成网络架构利用低分辨率自然图像作为输入，产生对应的高分辨率输出，而判别网络架构则对超分辨率重建的图像和真实高分辨率图像进行分辨，并给出对应的梯度，用于优化生成网络架构。利用迁移学习的方法，采用自然图像DIV2K训练集，根据生成网络损失函数和判别网络损失函数，对生成网络架构和判别网络架构交替训练，直到二者基本达到纳什平衡状态。
其中，生成网络架构输入的低分辨率自然图像块大小为32×32，训练使用ADAM算法对生成对抗网络模型进行预训练，mini-batch的大小设置为9，学习率设置为10-4。
子步骤S32为，使用少量遥感图像训练集对预训练后的生成网络架构进行微调，得到训练后的生成对抗网络模型。
在本发明的实施例中，对生成对抗网络模型进行预训练后，还包括使用UC-MERCED遥感图像数据集，即遥感图像训练集，对预训练后的生成网络架构进行微调；
在用高分辨率DIV2K自然图像训练集对生成对抗网络模型进行初步的预训练之后，针对本发明的目标任务：实现遥感图像的超分辨率重建，使用UC-MERCED遥感图像训练集对预训练后的生成网络架构进行微调(finetune)。具体来说，固定生成网络架构前面卷积层的权值参数，用80张遥感图像微调预训练后的生成网络架构最后三层的权值参数，并将微调过程中的学习率降为预训练时学习率的0.1倍。
在本发明的实施例中，微调(finetune)的优势是显然的，包括：
(1)不需要针对目标任务从头开始训练网络，节省了时间成本；
(2)预训练好的生成对抗网络模型是在自然图像大数据集上进行的，无形中扩充了遥感训练数据，使得最终训练后的生成对抗网络模型更鲁棒、泛化能力更好；
(3)微调实现简单。
步骤S33：使用UC-MERCED遥感图像测试集对训练后的生成对抗网络模型进行性能测试；
为了验证本发明所设计的基于生成对抗网络模型的遥感图像超分辨率重建方法的能力，我们选取UC-MERCED数据集中的20张遥感图像进行预处理作为遥感图像测试集对以上训练后的生成对抗网络模型进行性能的测试，将其测试结果(主观重建视觉效果和SSIM、PSNR客观量化指标)分别与原始高分辨率图像、基于双三次插值的重建方法(Bicubic)、基于卷积网络的重建方法(SRCNN)和基于生成对抗网络的重建方法(SRGAN)几种先进的方法进行对比。
测试结果证明，本发明的算法所训练的生成对抗网络模型能够相比于其他目前流行的算法重建出更加逼真的主观视觉效果，恢复更加清晰、锐化的纹理细节，且客观量化指标也有所提高。
步骤S4：将需要处理的低分辨率遥感图像输入到训练后的生成对抗网络模型的生成网络架构中，输出与所述的低分辨率遥感图像相对应的超分辨率遥感图像。
本发明的最终目的是，设计基于生成对抗网络模型的遥感图像超分辨率重建方法，将其能够应用到实际生活和生产过程中，即采用低分辨率遥感图像而获得相对应的超分辨率遥感图像。
在本发明的实施例中，还包括一种实现上述遥感图像超分辨率重建方法的处理装置，包括：
数据集建立单元，用于对选取图像进行预处理，得到图像训练集和图像测试集；
网络获取单元，用于构建生成对抗网络模型；
生成对抗网络模型优化训练单元，用于利用迁移学习的方法，使用图像训练集，分别根据生成网络损失函数和判别网络损失函数，对生成网络架构和判别网络架构进行交替训练，得到训练后的生成对抗网络模型；
图像处理单元，用于将低分辨率遥感图像输入到训练后的生成对抗网络模型的生成网络架构中，输出与所述的低分辨率遥感图像相对应的超分辨率遥感图像。
在本发明的实施例中，还包括一种遥感图像超分辨率重建的处理装置，包括：
存储器，存储有能被处理器执行的程序指令；
处理器，调用所述存储器中的程序指令，以执行上述遥感图像超分辨率重建方法。
在本发明的实施例中，还包括一种可读存储介质，可读存储介质存储有执行指令，执行指令用于使能够读取可读存储介质的设备执行上述遥感图像超分辨率重建方法。
以下结合具体实施例对本发明提供的遥感图像超分辨率重建方法作进一步说明。
实施例1
利用低分辨率遥感图像测试集中的图像1(飞机图像1)进行4倍超分辨率重建，采用本发明的遥感图像超分辨率重建方法。
实施例2
利用低分辨率遥感图像测试集中的图像2(飞机图像2)进行4倍超分辨率重建，采用本发明的遥感图像超分辨率重建方法。
对比例1
利用与实施例]相同的图像1进行4倍超分辨率重建，采用Bicubic(双三次插值)重建方法。
对比例2
利用与实施例1相同的图像1进行4倍超分辨率重建，采用ANR(邻域回归)重建方法。
对比例3
利用与实施例1相同的图像1进行4倍超分辨率重建，采用SC(稀疏编码)重建方法。
对比例4
利用与实施例1相同的图像1进行4倍超分辨率重建，采用SRCNN(卷积神经网络)重建方法。
对比例5
利用与实施例1相同的图像1进行4倍超分辨率重建，采用SRGAN(普通生成对抗网络)重建方法。
对比例6
利用与实施例2相同的图像2进行4倍超分辨率重建，采用批归一化处理操作，未对生成网络架构进行优化。
结果：
1、实施例1与高分辨率原图、对比例1、4、5的视觉效果对比：如图7(a)-(e)，遥感测试图像基于不同方法进行重建的视觉效果对比图。
2、实施例1与对比例1-5的平均量化指标(PSNR、SSIM)对比，数据如表1。
表1遥感测试图像基于不同方法进行重建的平均量化指标
平均值 对比例1 对比例2 对比例3 对比例4 对比例5 实施例1
PSNR(dB) 23.64 25.06 25.13 25.71 27.03 27.62
SSIM 0.71 0.72 0.72 0.73 0.76 0.78
3、实施例2与对比例6视觉效果对比：如图8(a)-(b)，测试图像重建视觉效果对比图，其中图8(a)是对比例6在有批归一化处理操作下重建的结果图，图8(b)是本发明实施例2在去除批归一化处理操作下重建的结果图。
结论：
1、实施例1与对比例1-5对比，得到PSNR指标：本发明所提出方法的PSNR指标比Bicubic方法高出3.98dB，比ANR方法高出2.56dB，比SC方法高出2.49dB，比SRCNN方法高出1.91dB，比SRGAN方法高出0.59dB。
2、实施例1与对比例1-5对比，得到SSIM指标：本发明所提出方法的SSIM指标比Bicubic方法高出0.07，比ANR方法高出0.06，比SC方法高出0.06，比SRCNN方法高出0.05，比SRGAN方法高出0.02。
3、实施例1与原图像、对比例1、4、5的测试图像重建视觉效果对比，本发明提出的遥感图像超分辨率重建方法能够恢复出最逼真的视觉效果，对机场路面地标进行局部放大可以发现，本发明提出的方法能够重建出最清晰锐化的纹理细节信息。
4、实施例2与对比例6的测试图像重建视觉效果对比，优化后去掉了批归一化的遥感测试图像重建视觉效果，对飞机尾翼处进行放大，本发明提出的遥感图像超分辨率重建方法相比于未去掉批归一化的方法能够明显恢复出更加清晰逼真的高频细节。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种遥感图像超分辨率重建方法，其特征在于，包括如下步骤：
步骤S1：选取图像进行预处理，得到图像训练集和图像测试集；
步骤S2：构建生成对抗网络模型；具体包括以下子步骤：
子步骤S21：搭建设计生成对抗网络模型的生成网络架构，即：使用包含残差模块的卷积神经网络作为基础模型搭建，利用亚像素卷积代替图像的上采样操作，去除残差模块的批归一化，得到用于重建图像的生成网络架构；
子步骤S22：搭建用于优化所述生成网络架构的判别网络架构，得到生成对抗网络模型；
步骤S3：利用迁移学习的方法，使用步骤S1得到的图像训练集，分别根据用于训练生成网络架构的生成网络损失函数和用于训练判别网络架构的判别网络损失函数，对生成网络架构和判别网络架构进行交替训练，得到训练后的生成对抗网络模型；
步骤S4：将需要处理的低分辨率遥感图像输入到训练后的生成对抗网络模型的生成网络架构中，输出与所述的低分辨率遥感图像相对应的超分辨率遥感图像。
2.根据权利要求1所述的方法，其特征在于：所述生成网络架构包括1个用于提取特征的卷积模块，R个残差模块和2个亚像素卷积层，其中，R为5-16的整数；
优选的，所述卷积模块包含1个卷积核大小为N×N的卷积层和1个Relu激活层，其中，N为整数3、5或9；
优选的，每个所述残差模块包含2个卷积核大小为M×M的卷积层和2个Relu激活层，去除每个残差模块中的2个批归一化，以提高重建精度，减少内存消耗，其中，M为整数3、5或9；
优选的，每个残差模块的每层包含64个特征图。
3.根据权利要求1所述的方法，其特征在于，所述步骤1中，选取的所述图像包括高分辨率自然图像和高分辨率遥感图像；
优选的，所述图像训练集包括分别含有高分辨率图像和对应低分辨率图像的自然图像训练集与遥感图像训练集；
优选的，所述图像测试集包括测试用高分辨率图像和对应低分辨率图像的遥感图像测试集；
优选的，步骤1中所述的进行预处理的步骤具体包括：对高分辨率图像进行裁剪得到高分辨率图像块，然后对高分辨率图像块进行4倍双三次降采样操作，得到相应的低分辨率图像块。
4.根据权利要求3所述的方法，其特征在于，
所述生成网络损失函数为感知损失函数，所述感知损失函数包括内容损失函数和对抗损失函数；所述内容损失函数包括传统MSE损失函数和VGG网络损失函数；具体定义如下式(1)-(5)；
感知损失函数：
内容损失函数：
传统MSE损失函数：
其中，m、n分别表示图像的宽度和高度；IHR和ISR分别表示原始高分辨率图像和超分辨率重建后的图像；p、q分别表示每张图像对应的像素位置；
VGG网络损失函数：
其中，W、H分别表示VGG网络卷积层特征图的维度，x、y分别表示每个特征图对应的像素位置，φi，j表示VGG19网络中第i个最大池化层后的第j个卷积层得到的特征；IHR和ILR分别表示原始高分辨率图像和输入的低分辨率图像。
对抗损失函数：
其中，表示的是判别网络架构将生成网络架构生成的图像判定为真实图像的概率；B表示图像的数量。
优选的，所述判别网络损失函数的定义如下式(6)；
其中，表示的是判别网络架构将真实图像判别为真的概率，表示判别网络架构将生成网络架构生成的图像判定为假的概率；B表示图像的数量。
5.根据权利要求4所述的方法，其特征在于：所述步骤S3具体包括：
子步骤S31：利用迁移学习的方法，根据生成网络损失函数和判别网络损失函数，使用自然图像训练集分别对生成网络架构和判别网络架构进行交替预训练；
子步骤S32：使用遥感图像训练集对预训练后的生成网络架构进行微调，得到训练后的生成对抗网络模型。
6.根据权利要求5所述的方法，其特征在于：
所述子步骤S31中，将32×32大小的低分辨率自然图像块作为输入，使用ADAM算法对生成对抗网络模型进行预训练，mini-batch的大小设置为9，学习率设置为10-4；
优选的，所述子步骤S32中，固定生成网络架构的前面卷积层的权值参数，微调预训练后的生成网络架构的最后三层的权值参数，使所述预训练后的生成网络架构在微调过程中的学习率降为预训练过程中的学习率的0.1倍。
7.根据权利要求3所述的方法，其特征在于：
执行完所述步骤S3、执行所述步骤S4之前还包括执行子步骤S33，即：利用遥感图像测试集对训练后的生成对抗网络模型进行性能测试。
8.一种实现如权利要求1-7任一项所述的遥感图像超分辨率重建方法的处理装置，其特征在于，包括：
数据集建立单元，用于对选取图像进行预处理，得到图像训练集和图像测试集；
网络获取单元，用于构建生成对抗网络模型；
生成对抗网络模型优化训练单元，用于利用迁移学习的方法，使用图像训练集，分别根据生成网络损失函数和判别网络损失函数，对生成网络架构和判别网络架构进行交替训练，得到训练后的生成对抗网络模型；
图像处理单元，用于将低分辨率遥感图像输入到训练后的生成对抗网络模型的生成网络架构中，输出与所述的低分辨率遥感图像相对应的超分辨率遥感图像。
9.一种遥感图像超分辨率重建的处理装置，其特征在于：包括：
存储器，存储有能被处理器执行的程序指令；
处理器，调用所述存储器中的程序指令，以执行如权利要求1-7任一项所述的遥感图像超分辨率重建方法。
10.一种可读存储介质，其特征在于：所述可读存储介质存储有执行指令，所述执行指令用于能够使读取所述可读存储介质的设备执行如权利要求1-7任一项所述的遥感图像超分辨率重建方法。
CN201910766900.XA 2019-08-19 2019-08-19 遥感图像超分辨率重建方法、处理装置及可读存储介质 Pending CN110599401A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910766900.XA CN110599401A (zh) 2019-08-19 2019-08-19 遥感图像超分辨率重建方法、处理装置及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910766900.XA CN110599401A (zh) 2019-08-19 2019-08-19 遥感图像超分辨率重建方法、处理装置及可读存储介质

Publications (1)

Publication Number Publication Date
CN110599401A true CN110599401A (zh) 2019-12-20

Family

ID=68855199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910766900.XA Pending CN110599401A (zh) 2019-08-19 2019-08-19 遥感图像超分辨率重建方法、处理装置及可读存储介质

Country Status (1)

Country Link
CN (1) CN110599401A (zh)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127321A (zh) * 2019-12-24 2020-05-08 浙江大学 遥感卫星分辨率提升方法、装置、电子设备及存储介质
CN111179177A (zh) * 2019-12-31 2020-05-19 深圳市联合视觉创新科技有限公司 图像重建模型训练方法、图像重建方法、设备及介质
CN111353424A (zh) * 2020-02-27 2020-06-30 中国科学院遥感与数字地球研究所 深度递归残差网络的遥感图像空谱融合方法和电子设备
CN111539874A (zh) * 2020-04-15 2020-08-14 山东神舟信息技术有限公司 一种加速视频超分辨率重建的方法及装置
CN111696049A (zh) * 2020-05-07 2020-09-22 中国海洋大学 基于深度学习的水下扭曲图像重建方法
CN111784573A (zh) * 2020-05-21 2020-10-16 昆明理工大学 一种基于迁移学习的被动太赫兹图像超分辨率重构方法
CN111815516A (zh) * 2020-07-08 2020-10-23 北京航空航天大学 一种弱监督红外遥感图像超分辨率重建方法
CN111818298A (zh) * 2020-06-08 2020-10-23 北京航空航天大学 一种基于光场的高清视频监控系统及方法
CN112037131A (zh) * 2020-08-31 2020-12-04 上海电力大学 一种基于生成对抗网络的单图像超分辨率重建方法
CN112102166A (zh) * 2020-08-26 2020-12-18 上海交通大学 一种联合超分辨率、色域扩展和逆色调映射方法及设备
CN112150379A (zh) * 2020-09-22 2020-12-29 武汉工程大学 基于感知判别增强生成对抗网络的图像去雾方法及装置
CN112163998A (zh) * 2020-09-24 2021-01-01 肇庆市博士芯电子科技有限公司 一种匹配自然降质条件的单图像超分辨率分析方法
CN112200724A (zh) * 2020-10-22 2021-01-08 长沙理工大学 一种基于反馈机制的单图像超分辨率重建系统及方法
CN112529828A (zh) * 2020-12-25 2021-03-19 西北大学 参考数据非敏感的遥感影像时空融合模型构建方法
CN112633123A (zh) * 2020-12-18 2021-04-09 国网浙江省电力有限公司电力科学研究院 一种基于深度学习的异源遥感影像变化检测方法及装置
CN112634135A (zh) * 2020-12-23 2021-04-09 中国地质大学（武汉） 基于超分辨率风格迁移网络的遥感影像超分辨率重建方法
CN112669212A (zh) * 2020-12-30 2021-04-16 杭州趣链科技有限公司 人脸图像超分辨率重建方法、装置、计算机设备及介质
CN112669210A (zh) * 2020-12-28 2021-04-16 山东大学 一种基于应用新型ReLU函数的VDSR模型的图像超分辨率方法、设备、存储介质
CN112734638A (zh) * 2020-12-24 2021-04-30 桂林理工大学 一种遥感影像超分辨重建方法、装置及存储介质
CN112785499A (zh) * 2020-12-31 2021-05-11 马培峰 超分辨率重建模型训练方法及计算机设备
CN112837221A (zh) * 2021-01-26 2021-05-25 合肥工业大学 一种基于双重判别的sar图像超分辨率重建方法
CN112837224A (zh) * 2021-03-30 2021-05-25 哈尔滨理工大学 一种基于卷积神经网络的超分辨率图像重建方法
CN112861997A (zh) * 2021-03-15 2021-05-28 北京小米移动软件有限公司 信息的处理方法、装置、存储介质和电子设备
CN113012049A (zh) * 2021-04-15 2021-06-22 山东新一代信息产业技术研究院有限公司 一种基于gan网络的遥感数据隐私保护方法
CN113160057A (zh) * 2021-04-27 2021-07-23 沈阳工业大学 基于生成对抗网络的rpgan图像超分辨率重建方法
CN113379618A (zh) * 2021-05-06 2021-09-10 航天东方红卫星有限公司 一种基于残差密集连接和特征融合的光学遥感图像去云方法
CN113487482A (zh) * 2021-07-01 2021-10-08 国网山东省电力公司威海供电公司 一种基于元迁移学习的自适应超分辨率方法
CN113538247A (zh) * 2021-08-12 2021-10-22 中国科学院空天信息创新研究院 超分辨率生成与条件对抗网络遥感影像样本生成方法
CN113902650A (zh) * 2021-12-07 2022-01-07 南湖实验室 基于平行深度学习网络架构的遥感影像锐化方法
CN114549328A (zh) * 2022-04-24 2022-05-27 西南财经大学 Jpg图像超分辨率恢复方法、计算机可读存储介质及终端
WO2022206021A1 (zh) * 2021-03-30 2022-10-06 中国科学院深圳先进技术研究院 图像重建模型生成及图像重建方法、装置、设备和介质
WO2023272414A1 (zh) * 2021-06-28 2023-01-05 华为技术有限公司 图像处理方法和图像处理装置
CN115879516A (zh) * 2023-03-02 2023-03-31 南昌大学 一种数据取证方法
CN117314756A (zh) * 2023-11-30 2023-12-29 中国平安财产保险股份有限公司 基于遥感图像的验保方法、装置、计算机设备及存储介质
CN117455774B (zh) * 2023-11-17 2024-05-14 武汉大学 一种基于差分输出的图像重建方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160224892A1 (en) * 2015-01-29 2016-08-04 Panasonic Intellectual Property Management Co., Ltd. Transfer learning apparatus, transfer learning system, transfer learning method, and recording medium
CN107194872A (zh) * 2017-05-02 2017-09-22 武汉大学 基于内容感知深度学习网络的遥感图像超分辨率重建方法
CN108460739A (zh) * 2018-03-02 2018-08-28 北京航空航天大学 一种基于生成对抗网络的遥感图像薄云去除方法
US20180373766A1 (en) * 2015-10-28 2018-12-27 Fractal Industries, Inc. Automated scalable contextual data collection and extraction system
CN110060204A (zh) * 2019-04-29 2019-07-26 江南大学 一种基于可逆网络的单一图像超分辨率方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160224892A1 (en) * 2015-01-29 2016-08-04 Panasonic Intellectual Property Management Co., Ltd. Transfer learning apparatus, transfer learning system, transfer learning method, and recording medium
US20180373766A1 (en) * 2015-10-28 2018-12-27 Fractal Industries, Inc. Automated scalable contextual data collection and extraction system
CN107194872A (zh) * 2017-05-02 2017-09-22 武汉大学 基于内容感知深度学习网络的遥感图像超分辨率重建方法
CN108460739A (zh) * 2018-03-02 2018-08-28 北京航空航天大学 一种基于生成对抗网络的遥感图像薄云去除方法
CN110060204A (zh) * 2019-04-29 2019-07-26 江南大学 一种基于可逆网络的单一图像超分辨率方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨晗: ""基于深度学习的肺结节检测与诊断研究"", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *
王振: ""基于学习策略的SAR图像超分辨"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127321B (zh) * 2019-12-24 2021-09-03 浙江大学 遥感卫星分辨率提升方法、装置、电子设备及存储介质
CN111127321A (zh) * 2019-12-24 2020-05-08 浙江大学 遥感卫星分辨率提升方法、装置、电子设备及存储介质
CN111179177A (zh) * 2019-12-31 2020-05-19 深圳市联合视觉创新科技有限公司 图像重建模型训练方法、图像重建方法、设备及介质
CN111179177B (zh) * 2019-12-31 2024-03-26 深圳市联合视觉创新科技有限公司 图像重建模型训练方法、图像重建方法、设备及介质
CN111353424A (zh) * 2020-02-27 2020-06-30 中国科学院遥感与数字地球研究所 深度递归残差网络的遥感图像空谱融合方法和电子设备
CN111353424B (zh) * 2020-02-27 2023-06-09 中国科学院遥感与数字地球研究所 深度递归残差网络的遥感图像空谱融合方法和电子设备
CN111539874A (zh) * 2020-04-15 2020-08-14 山东神舟信息技术有限公司 一种加速视频超分辨率重建的方法及装置
CN111696049A (zh) * 2020-05-07 2020-09-22 中国海洋大学 基于深度学习的水下扭曲图像重建方法
CN111784573A (zh) * 2020-05-21 2020-10-16 昆明理工大学 一种基于迁移学习的被动太赫兹图像超分辨率重构方法
CN111818298B (zh) * 2020-06-08 2021-10-22 北京航空航天大学 一种基于光场的高清视频监控系统及方法
CN111818298A (zh) * 2020-06-08 2020-10-23 北京航空航天大学 一种基于光场的高清视频监控系统及方法
CN111815516A (zh) * 2020-07-08 2020-10-23 北京航空航天大学 一种弱监督红外遥感图像超分辨率重建方法
CN111815516B (zh) * 2020-07-08 2022-09-27 北京航空航天大学 一种弱监督红外遥感图像超分辨率重建方法
CN112102166A (zh) * 2020-08-26 2020-12-18 上海交通大学 一种联合超分辨率、色域扩展和逆色调映射方法及设备
CN112102166B (zh) * 2020-08-26 2023-12-01 上海交通大学 一种联合超分辨率、色域扩展和逆色调映射方法及设备
CN112037131A (zh) * 2020-08-31 2020-12-04 上海电力大学 一种基于生成对抗网络的单图像超分辨率重建方法
CN112150379A (zh) * 2020-09-22 2020-12-29 武汉工程大学 基于感知判别增强生成对抗网络的图像去雾方法及装置
CN112163998A (zh) * 2020-09-24 2021-01-01 肇庆市博士芯电子科技有限公司 一种匹配自然降质条件的单图像超分辨率分析方法
CN112200724A (zh) * 2020-10-22 2021-01-08 长沙理工大学 一种基于反馈机制的单图像超分辨率重建系统及方法
CN112200724B (zh) * 2020-10-22 2023-04-07 长沙理工大学 一种基于反馈机制的单图像超分辨率重建系统及方法
CN112633123A (zh) * 2020-12-18 2021-04-09 国网浙江省电力有限公司电力科学研究院 一种基于深度学习的异源遥感影像变化检测方法及装置
CN112634135A (zh) * 2020-12-23 2021-04-09 中国地质大学（武汉） 基于超分辨率风格迁移网络的遥感影像超分辨率重建方法
CN112734638A (zh) * 2020-12-24 2021-04-30 桂林理工大学 一种遥感影像超分辨重建方法、装置及存储介质
CN112734638B (zh) * 2020-12-24 2022-08-05 桂林理工大学 一种遥感影像超分辨重建方法、装置及存储介质
CN112529828A (zh) * 2020-12-25 2021-03-19 西北大学 参考数据非敏感的遥感影像时空融合模型构建方法
CN112529828B (zh) * 2020-12-25 2023-01-31 西北大学 参考数据非敏感的遥感影像时空融合模型构建方法
CN112669210B (zh) * 2020-12-28 2022-06-03 山东大学 一种基于静态工作点的图像超分辨率方法、设备、介质
CN112669210A (zh) * 2020-12-28 2021-04-16 山东大学 一种基于应用新型ReLU函数的VDSR模型的图像超分辨率方法、设备、存储介质
CN112669212A (zh) * 2020-12-30 2021-04-16 杭州趣链科技有限公司 人脸图像超分辨率重建方法、装置、计算机设备及介质
CN112669212B (zh) * 2020-12-30 2024-03-26 杭州趣链科技有限公司 人脸图像超分辨率重建方法、装置、计算机设备及介质
CN112785499A (zh) * 2020-12-31 2021-05-11 马培峰 超分辨率重建模型训练方法及计算机设备
CN112837221A (zh) * 2021-01-26 2021-05-25 合肥工业大学 一种基于双重判别的sar图像超分辨率重建方法
CN112837221B (zh) * 2021-01-26 2022-08-19 合肥工业大学 一种基于双重判别的sar图像超分辨率重建方法
CN112861997A (zh) * 2021-03-15 2021-05-28 北京小米移动软件有限公司 信息的处理方法、装置、存储介质和电子设备
WO2022206021A1 (zh) * 2021-03-30 2022-10-06 中国科学院深圳先进技术研究院 图像重建模型生成及图像重建方法、装置、设备和介质
CN112837224A (zh) * 2021-03-30 2021-05-25 哈尔滨理工大学 一种基于卷积神经网络的超分辨率图像重建方法
CN113012049B (zh) * 2021-04-15 2022-08-02 山东新一代信息产业技术研究院有限公司 一种基于gan网络的遥感数据隐私保护方法
CN113012049A (zh) * 2021-04-15 2021-06-22 山东新一代信息产业技术研究院有限公司 一种基于gan网络的遥感数据隐私保护方法
CN113160057A (zh) * 2021-04-27 2021-07-23 沈阳工业大学 基于生成对抗网络的rpgan图像超分辨率重建方法
CN113160057B (zh) * 2021-04-27 2023-09-05 沈阳工业大学 基于生成对抗网络的rpgan图像超分辨率重建方法
CN113379618A (zh) * 2021-05-06 2021-09-10 航天东方红卫星有限公司 一种基于残差密集连接和特征融合的光学遥感图像去云方法
CN113379618B (zh) * 2021-05-06 2024-04-12 航天东方红卫星有限公司 基于残差密集连接和特征融合的光学遥感图像去云方法
WO2023272414A1 (zh) * 2021-06-28 2023-01-05 华为技术有限公司 图像处理方法和图像处理装置
CN113487482A (zh) * 2021-07-01 2021-10-08 国网山东省电力公司威海供电公司 一种基于元迁移学习的自适应超分辨率方法
CN113487482B (zh) * 2021-07-01 2024-03-29 国网山东省电力公司威海供电公司 一种基于元迁移学习的自适应超分辨率方法
CN113538247A (zh) * 2021-08-12 2021-10-22 中国科学院空天信息创新研究院 超分辨率生成与条件对抗网络遥感影像样本生成方法
CN113902650A (zh) * 2021-12-07 2022-01-07 南湖实验室 基于平行深度学习网络架构的遥感影像锐化方法
CN113902650B (zh) * 2021-12-07 2022-04-12 南湖实验室 基于平行深度学习网络架构的遥感影像锐化方法
CN114549328B (zh) * 2022-04-24 2022-07-22 西南财经大学 Jpg图像超分辨率恢复方法、计算机可读存储介质及终端
CN114549328A (zh) * 2022-04-24 2022-05-27 西南财经大学 Jpg图像超分辨率恢复方法、计算机可读存储介质及终端
CN115879516B (zh) * 2023-03-02 2023-05-16 南昌大学 一种数据取证方法
CN115879516A (zh) * 2023-03-02 2023-03-31 南昌大学 一种数据取证方法
CN117455774B (zh) * 2023-11-17 2024-05-14 武汉大学 一种基于差分输出的图像重建方法及系统
CN117314756A (zh) * 2023-11-30 2023-12-29 中国平安财产保险股份有限公司 基于遥感图像的验保方法、装置、计算机设备及存储介质
CN117314756B (zh) * 2023-11-30 2024-04-05 中国平安财产保险股份有限公司 基于遥感图像的验保方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN110599401A (zh) 遥感图像超分辨率重建方法、处理装置及可读存储介质
Mei et al. Pyramid attention network for image restoration
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN109389556B (zh) 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
Wang et al. Ultra-dense GAN for satellite imagery super-resolution
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及系统
CN109272452B (zh) 小波域中基于集团结构子带共同学习超分辨率网络的方法
CN110232653A (zh) 快速轻型超分辨率重建密集残差网络
CN113284051B (zh) 一种基于频率分解多注意力机制的人脸超分辨方法
CN111932461A (zh) 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统
CN113421187B (zh) 一种超分辨率重建方法、系统、存储介质、设备
CN113538246B (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN116797461A (zh) 基于多级强化注意力机制的双目图像超分辨率重建方法
CN116563682A (zh) 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法
CN115526779A (zh) 一种基于动态注意力机制的红外图像超分辨率重建方法
Li Image super-resolution using attention based densenet with residual deconvolution
Yang et al. Image super-resolution reconstruction based on improved Dirac residual network
CN117575915A (zh) 一种图像超分辨率重建方法、终端设备及存储介质
CN114022356A (zh) 基于小波域的河道流量水位遥感图像超分辨率方法与系统
CN113096032A (zh) 一种基于图像区域划分的非均匀一致模糊去除方法
Zhou et al. Deep fractal residual network for fast and accurate single image super resolution
CN116977200A (zh) 视频去噪模型的处理方法、装置、计算机设备和存储介质
CN107133921A (zh) 基于多层次邻域嵌入的图像超分辨率重建方法及系统
CN113362338B (zh) 铁轨分割方法、装置、计算机设备和铁轨分割处理系统
Lu et al. GradDT: Gradient-Guided Despeckling Transformer for Industrial Imaging Sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination