CN112734642A - 多尺度纹理转移残差网络的遥感卫星超分辨率方法及装置 - Google Patents

多尺度纹理转移残差网络的遥感卫星超分辨率方法及装置 Download PDF

Info

Publication number
CN112734642A
CN112734642A CN202110035136.6A CN202110035136A CN112734642A CN 112734642 A CN112734642 A CN 112734642A CN 202110035136 A CN202110035136 A CN 202110035136A CN 112734642 A CN112734642 A CN 112734642A
Authority
CN
China
Prior art keywords
remote sensing
resolution
image
feature map
satellite
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110035136.6A
Other languages
English (en)
Other versions
CN112734642B (zh
Inventor
卢涛
饶宁
王宇
刘威
张彦铎
吴云韬
于宝成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Institute of Technology
Original Assignee
Wuhan Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Institute of Technology filed Critical Wuhan Institute of Technology
Priority to CN202110035136.6A priority Critical patent/CN112734642B/zh
Publication of CN112734642A publication Critical patent/CN112734642A/zh
Application granted granted Critical
Publication of CN112734642B publication Critical patent/CN112734642B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种多尺度纹理转移残差网络的遥感卫星超分辨率方法及装置，属于遥感卫星图像超分辨率领域，该方法包括：将下采样后的目标低分辨率图像通过深度残差网络进行特征提取，对提取出的特征图进行两次上采样操作，使其与原高分辨率卫星图像大小一致；由多尺度残差模块内使用不同卷积的残差块提取特征图特征信息，使用交叉的方式实现特征信息共享，残差模块外使用跳跃连接的方式实现多尺度特征信息融合；通过特征融合来更新目标低分辨率卫星图像的特征图以生成最终的高分辨率卫星图像；利用判别器对生成的高分辨率图像与原始的高分辨率图像进行对比。本发明所提出的网络优于其他最新的遥感卫星图像超分辨率算法，能生成更高质量的卫星图像。

Description

多尺度纹理转移残差网络的遥感卫星超分辨率方法及装置
技术领域
本发明属于遥感卫星图像超分辨率技术领域，更具体地，涉及一种多尺度纹理转移残差网络的遥感卫星超分辨率方法及装置。
背景技术
遥感卫星(Remote Sensing Satellites)是近年来发展迅速的重要地面探测方法。由于它们具有覆盖范围广，实时性强和不受地形等环境限制的独特优势，被用于灾难检测和预警，资源勘探和土地覆盖分类。在环境测试及其他领域具有广阔的应用前景。
由于高质量卫星图像在应用场景中的特殊价值，用于遥感卫星图像的单图像超分辨率(Single Image Super-Resolution，SISR)方法近来引起了越来越多的关注。除了从先进的硬件设备寻求帮助外，图像超分辨(Super-Resolution，SR)方法还提供了一种提高卫星图像质量的有效方法。近年来，随着卷积神经网络的迅速普及，为了获得高质量的图像，通过学习低分辨率(Low Resolution，LR)和高分辨率(High Resolution，HR)图像对之间的映射函数，建立了各种SR模型。
目前常用的卷积神经网络方法有：基于卷积神经网络(Convolutional NeuralNetworks,CNN)的网络框架来学习遥感图像的局部细节和全局先验信息(Super-resolution for remote sensing images via local–global combined network)；通过使用深度存储器将遥感图像的图像细节与环境信息相结合，有效改善了遥感图像的重建性能(High quality remote sensing image super-resolution using deep memoryconnected network)；多尺度残差神经网络方法，该方法提取不同大小的图像块作为多尺度信息，然后融合多尺度高频信息以重建遥感图像(Satellite image super-resolutionvia multi-scale residual deep neural network)；基于边缘增强的生成式对抗网络(Generative Adversarial Networks，GAN)，该网络利用网络提取的边缘细节信息来增强遥感图像的重建(Edge-enhanced gan for remote sensing image super-resolution)；通过使用增强的残差块和残差信道注意模块获得遥感特征的多级信息(Transferredmulti-perception attention networks for remote sensing image super-resolution)。
与SISR方法相比，基于参照的超分辨率RefSR方法通过引入其他相关图像来辅助SR重建过程。通常，参照Ref图像需要具有类似于LR图像的纹理，以有效地帮助SR重建过程。因此，通常，可以从视频中的相邻帧或来自不同角度的图像中选择Ref图像。近来，基于参考图像的超分辨率方法已经在常规图像方法中取得了有效的进展。如：基于深度模型的RefSR方法，并使用光流将输入图像与Ref图像对齐(Crossnet:An end-to-end reference-basedsuper resolution network using cross-scale warping)；基于RefSR的端到端模型，该模型通过Ref图像的纹理迁移来帮助恢复目标图像(Image super-resolution by neuraltexture transfer)；用于RefSR任务的匹配和交换模块，通过将梯度适当地分配给先前的特征编码模块，从Ref图像中获得相似的纹理和高频信息(Feature representationmatters:End-to-end learning for reference-based image super-resolution)；一种新型的纹理转换器网络，该网络通过纹理转换器和关注模块从Ref图像传输HR纹理(Learning texture transformer network for image super-resolution)。但是上述遥感卫星超分辨率重建算法在网络的重建性能及遥感卫星图像的质量上均存在一定的局限性。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提出了一种多尺度纹理转移残差网络的遥感卫星超分辨率方法及装置，由此解决目前遥感卫星超分辨率重建算法在网络的重建性能及遥感卫星图像的质量上均存在一定的局限性的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种多尺度纹理转移残差网络的遥感卫星超分辨率方法，包括：
S1：将高分辨率遥感卫星图像下采样至目标低分辨率遥感卫星图像，将目标低分辨率遥感卫星图像进行分块操作，分出相互重叠的低分辨率遥感卫星图像块；
S2：将各低分辨率遥感卫星图像块输入低分辨率深度残差模块进行特征提取操作，提取出相应的精细遥感图像特征图后，对各精细遥感图像特征图进行上采样操作，使各精细遥感图像特征图与下采样之前的高分辨率遥感卫星图像大小一致；
S3：将精细遥感图像特征图发送到参考图像多尺度残差模块，由参考图像多尺度残差模块内使用不同大小卷积的残差块提取精细遥感图像特征图的特征信息，使用交叉的方式实现特征信息共享，参考图像多尺度残差模块外使用跳跃连接的方式实现多尺度纹理特征信息融合；
S4：通过特征融合来更新目标低分辨率遥感卫星图像的特征图以生成最终高分辨率卫星图像；
S5：利用判别器对生成的最终高分辨率卫星图像与下采样之前的高分辨率遥感卫星图像进行对比分析，以确定是否输出生成的最终高分辨率卫星图像。
在一些可选的实施方案中，所述低分辨率深度残差模块包括以串联方式连接的若干个残差块，在所有残差块之后为若干个对精细遥感图像特征图进行上采样操作的像素重组层。
在一些可选的实施方案中，步骤S2包括：
S2.1：将各低分辨率遥感卫星图像块输入卷积层，以生成第一粗糙遥感图像特征图，将第一粗糙遥感图像特征图发送到低分辨率深度残差模块，通过低分辨率深度残差模块中的各残差块得到精细遥感图像特征图；
S2.2：将各精细遥感图像特征图与各自对应的第一粗糙遥感图像特征图进行特征融合得到第一融合遥感图像特征图，然后通过若干个像素重组层对第一融合遥感图像特征图进行上采样操作，使得第一融合遥感图像特征图放大若干倍至与下采样之前的高分辨率遥感卫星图像一样的尺寸。
在一些可选的实施方案中，所述参考图像多尺度残差模块包括三层子网络，不同的子网络使用不同的卷积内核和不同数量的残差块。
在一些可选的实施方案中，步骤S3包括：
S3.1：将输入对应的遥感卫星参考图像通过卷积核提取遥感卫星参考图像的第二粗糙遥感图像特征图，然后与放大后的第一融合遥感图像特征图一起输入卷积核进行特征融合得到第二融合遥感图像特征图，然后将第二融合遥感图像特征图进行下采样后，再输入若干个残差块，对第二融合遥感图像特征图进行精细提取，得到第二精细遥感图像特征图后对第二精细遥感图像特征图后进行上采样得到上采样后的第三精细遥感图像特征图，其中，参考图像多尺度残差模块外使用跳跃连接的方式进行特征信息融合；
S3.2：将第三精细遥感图像特征图与遥感卫星参考图像的第二粗糙遥感图像特征图进行融合得到第三融合遥感图像特征图，然后将第三融合遥感图像特征图输入至若干个残差块，对第三融合遥感图像特征图再次精细提取后上采样得到上采样后的第四精细遥感图像特征图，其中，第四精细遥感图像特征图与下采样之前的高分辨率遥感卫星图像具有相同尺寸大小；
S3.3：将上采样2倍后融合得到的第三融合遥感图像特征图再次上采样后，与第四精细遥感图像特征图进行融合得到第四融合遥感图像特征图，然后将第四融合遥感图像特征图与遥感卫星参考图像的第二粗糙遥感图像特征图进行融合得到第五融合遥感图像特征图，将得到的第五融合遥感图像特征图输入至若干个残差块，得到更精细的第五精细遥感图像特征图。
在一些可选的实施方案中，步骤S4包括：
将第五精细遥感图像特征图与第四精细遥感图像特征图进行融合得到第六融合遥感图像特征图，然后通过卷积层来更新提取的第六融合遥感图像特征图，并采用另一卷积层降维后输出得到重建遥感卫星的超分辨率大图。
在一些可选的实施方案中，步骤S5包括：
利用判别器对重建遥感卫星的超分辨率大图与下采样之前的高分辨率遥感卫星图像进行对比，若符合下采样之前的高分辨率遥感卫星图像的分布，则输出生成的最终高分辨率卫星图像，反之，则不输出。
按照本发明的另一方面，提供了一种基于多尺度纹理转移残差网络的遥感卫星超分辨率装置，包括：
分块模块，用于将高分辨率遥感卫星图像下采样至目标低分辨率遥感卫星图像，将目标低分辨率遥感卫星图像进行分块操作，分出相互重叠的低分辨率遥感卫星图像块；
低分辨率深度残差模块，用于将各低分辨率遥感卫星图像块输入低分辨率深度残差模块进行特征提取操作，提取出相应的精细遥感图像特征图后，对各精细遥感图像特征图进行上采样操作，使各精细遥感图像特征图与下采样之前的高分辨率遥感卫星图像大小一致；
参考图像多尺度残差模块，用于将精细遥感图像特征图发送到参考图像多尺度残差模块，由参考图像多尺度残差模块内使用不同大小卷积的残差块提取精细遥感图像特征图的特征信息，使用交叉的方式实现特征信息共享，参考图像多尺度残差模块外使用跳跃连接的方式实现多尺度纹理特征信息融合；
融合模块，用于通过特征融合来更新目标低分辨率遥感卫星图像的特征图以生成最终高分辨率卫星图像；
判别模块，用于利用判别器对生成的最终高分辨率卫星图像与下采样之前的高分辨率遥感卫星图像进行对比分析，以确定是否输出生成的最终高分辨率卫星图像。
按照本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述方法的步骤。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
本发明探索了一种新颖的遥感卫星图像SR方法，即基于参考图像(RefSR)的卫星图像SR方法，可以有效解决单图像卫星SR方法中纹理细节不足的问题。针对RefSR问题采用本发明的多尺度纹理转移残差网络的遥感卫星超分辨率方法，实现了端到端深度模型MTTN。该模型通过设计多尺度方法来传输卫星图像的纹理细节，并使用卫星Ref图像的纹理细节进一步恢复LR卫星图像。并对具有挑战性的Kaggle开放数据集进行了广泛的实验，实验结果证明了本发明的MTTN方法的有效性和适应性。
附图说明
图1是本发明实施例提供的一种基于多尺度纹理转移残差网络的遥感卫星超分辨率方法的流程示意图；
图2是本发明实施例提供的一种多尺度纹理转移残差网络的网络框架图；
图3是本发明实施例提供的一种在Kaggle公开数据集上的结果图，其中，(a)为插值(Bicubic)图像；(b)为原始高分辨率图像；(c)为本发明实验结果图；
图4是本发明实施例提供的一种装置结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明实例中，“第一”、“第二”等是用于区别不同的对象，而不是用于描述特定的顺序或先后次序。
实施例一
本发明提出了一种基于多尺度纹理转移残差网络的遥感卫星超分辨率方法，该遥感卫星超分辨率方法使用低分辨率深度残差模块获取精细的低分辨率图像特征。然后使用参考图像多尺度残差模块提取多尺度纹理信息，通过提取的多尺度纹理信息的有效转移，以获得更好的视觉效果。
图1是本发明实施例提供的一种多尺度纹理转移残差网络的遥感卫星超分辨率方法的流程示意图，如图2所示是本发明实施例提出的一种多尺度纹理转移残差网络的遥感卫星超分辨率方法的整体网络结构，通过低分辨率深度残差模块、参考图像多尺度残差模块、融合模块及判别模块实现多尺度纹理转移残差融合网络的遥感卫星超分辨率，该结构具有利用多尺度的纹理信息转移来进行重建遥感卫星图像的能力。该方法主要通过以下五个步骤来实现：
S1：将高分辨率遥感卫星图像下采样至目标低分辨率遥感卫星图像，将目标低分辨率遥感卫星图像进行分块操作，分出相互重叠的低分辨率遥感卫星图像块；
在本发明实施例中，步骤S1可以通过以下方式实现：
将所选取的多张高分辨率遥感卫星图像分别通过下采样得到对应的目标低分辨率遥感卫星图像，并将各目标低分辨率遥感卫星图像进行分块处理，分成若干个指定的像素大小。在分块处理之后的图像中选取若干张作为低分辨率遥感卫星的输入图像块，然后对输入图像块进行水平翻转以及旋转等操作实现数据增强，增强后的图像块作为参考图像，另外，选取若干张图像块作为测试图像块。相对应的输入图像块与参考图像块将各自通过残差模块进行相应的特征提取。
S2：将上述获得的各低分辨率遥感卫星图像块输入低分辨率深度残差模块进行特征提取操作，提取出相应的精细遥感图像特征图后，对各精细遥感图像特征图进行两次上采样操作，使各精细遥感图像特征图与下采样之前的高分辨率遥感卫星图像大小一致；
在本发明实施例中，步骤S2中的低分辨率深度残差模块，主要是从低分辨率遥感卫星图像块中提取精细遥感图像特征图，可以通过以下方式实现：
S2.1：将S1得到的各低分辨率遥感卫星图像块输入3*3卷积层，以生成第一粗糙遥感图像特征图，将第一粗糙遥感图像特征图发送到低分辨率深度残差模块，通过低分辨率深度残差模块中的16个残差块得到精细遥感图像特征图；
S2.2：将上述得到的各精细遥感图像特征图，与各自对应的第一粗糙遥感图像特征图进行特征融合得到第一融合遥感图像特征图，然后通过两次像素重组层对第一融合遥感图像特征图进行上采样操作，使得第一融合遥感图像特征图放大4倍至与下采样之前的高分辨率遥感卫星图像一样的尺寸。
其中，卷积层的卷积核大小、深度残差模块中的残差块数量、上采样放大倍数还可以为其它数字，本发明实施例不做唯一性限定。
其次，在本发明实施例中，特征融合可以采用Elementwise层来实现，即element-wise add方法，该方法是通过将特征图相加而保持通道数不变，以此使图像特征的信息量增多，从而实现特征融合。后续步骤中也有使用concat方法来实现特征融合，即通过增加通道数来实现融合。
S3：将各图像块放大后的第一融合遥感图像特征图发送到参考图像多尺度残差模块，由参考图像多尺度残差模块内使用不同大小卷积的残差块提取精细遥感图像特征图的特征信息，使用交叉的方式实现特征信息共享，参考图像多尺度残差模块外使用跳跃连接的方式实现多尺度纹理特征信息融合，以更有效的提高SR性能；
在本发明实施例中，步骤S3可以通过以下方式实现：
S3.1：将输入对应的遥感卫星参考图像通过3*3卷积核提取遥感卫星参考图像的第二粗糙遥感图像特征图，然后与步骤S2所得的放大后的第一融合遥感图像特征图一起输入5*5卷积核进行特征融合得到第二融合遥感图像特征图，然后将第二融合遥感图像特征图进行下采样至4倍，再输入16个卷积核大小为3*3的残差块，对第二融合遥感图像特征图进行精细提取，得到第二精细遥感图像特征图后对第二精细遥感图像特征图后进行上采样2倍得到上采样后的第三精细遥感图像特征图，其中，参考图像多尺度残差模块外使用跳跃连接的方式进行特征信息融合；
S3.2：将步骤S3.1上采样2倍得到的第三精细遥感图像特征图与遥感卫星参考图像的第二粗糙遥感图像特征图进行融合得到第三融合遥感图像特征图，然后将第三融合遥感图像特征图输入至8个5*5卷积核的残差块，对第三融合遥感图像特征图再次精细提取，然后再上采样2倍得到上采样后的第四精细遥感图像特征图，其中，第四精细遥感图像特征图与下采样之前的高分辨率遥感卫星图像具有相同尺寸大小；
S3.3：将步骤S3.2上采样2倍后融合得到的第三融合遥感图像特征图再次上采样2倍，然后与步骤S3.2得到的第四精细遥感图像特征图进行融合得到第四融合遥感图像特征图，然后将第四融合遥感图像特征图与遥感卫星参考图像的第二粗糙遥感图像特征图进行融合得到第五融合遥感图像特征图，将得到的第五融合遥感图像特征图输入至4个7*7卷积核残差块，得到更精细的第五精细遥感图像特征图。
其中，卷积层的卷积核大小、深度残差模块中的残差块数量、上采样放大倍数还可以为其它数字，本发明实施例不做唯一性限定。
S4：通过特征融合来更新目标低分辨率遥感卫星图像的第五精细遥感图像特征图以生成最终高分辨率卫星图像；
在本发明实施例中，将步骤S3.3得到的第五精细遥感图像特征图与步骤S3.2得到的第四精细遥感图像特征图进行融合得到第六融合遥感图像特征图，然后通过3*3的卷积层来更新提取的第六融合遥感图像特征图，并采用1*1的卷积层降维后输出得到重建遥感卫星的超分辨率大图。
S5：利用判别器对生成的最终高分辨率卫星图像与下采样之前的高分辨率遥感卫星图像进行对比，若符合下采样之前的高分辨率遥感卫星图像的分布，则输出生成的最终高分辨率卫星图像，反之，则不输出。
实施例二，测试实施例：
实验采用Kaggle公开的遥感卫星数据库，此数据库含有大量高分辨率的遥感卫星拍摄图片，将每幅图大小调整为320×320像素，下采样四倍得到对应的低分辨率图像大小为80×80像素，提取低分辨率遥感卫星图像块为16×16像素。
本发明方法与其他的图像超分辨重建算法对比，提供实验数据来表达本发明方法的有效性，对比实验结果的参数比较如下表1所示，表1为25张遥感卫星图像对比实验结果(平均PSNR、SSIM和VIF)，实验结果如图3所示，(a)为Bicubic图像；(b)为原始高分辨率图像；(c)为本发明方法实验结果图。
表1
Algorithm Bicubic SRNTT 本发明
PSNR 24.72 30.21 30.48
SSIM 0.6968 0.8977 0.9031
VIF 0.3253 0.6213 0.6739
从以上表格实验数据可以看出，本发明方法均与对比方法相比获得了高的分数，即优于对比算法。
本发明通过将Ref的最相似纹理融合到LR图像中，使用深度残差模块以不同卷积核大小进行模块操作，并通过提取多尺度纹理信息来交换LR图像的纹理信息，生成与HR图像更加一致的纹理信息，最后将其输出为重建图像。
实施例三
在本发明的另一实施例中，如图4所示提供了一种基于多尺度纹理转移残差网络的遥感卫星超分辨率装置的结构示意图，包括：
分块模块，用于将高分辨率遥感卫星图像下采样至目标低分辨率遥感卫星图像，将目标低分辨率遥感卫星图像进行分块操作，分出相互重叠的低分辨率遥感卫星图像块；
低分辨率深度残差模块，用于将各低分辨率遥感卫星图像块输入低分辨率深度残差模块进行特征提取操作，提取出相应的精细遥感图像特征图后，对各精细遥感图像特征图进行上采样操作，使各精细遥感图像特征图与下采样之前的高分辨率遥感卫星图像大小一致；
参考图像多尺度残差模块，用于将精细遥感图像特征图发送到参考图像多尺度残差模块，由参考图像多尺度残差模块内使用不同大小卷积的残差块提取精细遥感图像特征图的特征信息，使用交叉的方式实现特征信息共享，参考图像多尺度残差模块外使用跳跃连接的方式实现多尺度纹理特征信息融合；
融合模块，用于通过特征融合来更新目标低分辨率遥感卫星图像的特征图以生成最终高分辨率卫星图像；
判别模块，用于利用判别器对生成的最终高分辨率卫星图像与下采样之前的高分辨率遥感卫星图像进行对比分析，以确定是否输出生成的最终高分辨率卫星图像。
其中，各模块的具体实施方式可以参考方法实施例的描述，本发明实施例将不再复述。
实施例四
上述根据本发明的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD-ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的基于多尺度纹理转移残差网络的遥感卫星超分辨率方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。
需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种多尺度纹理转移残差网络的遥感卫星超分辨率方法，其特征在于，包括：
S1：将高分辨率遥感卫星图像下采样至目标低分辨率遥感卫星图像，将目标低分辨率遥感卫星图像进行分块操作，分出相互重叠的低分辨率遥感卫星图像块；
S2：将各低分辨率遥感卫星图像块输入低分辨率深度残差模块进行特征提取操作，提取出相应的精细遥感图像特征图后，对各精细遥感图像特征图进行上采样操作，使各精细遥感图像特征图与下采样之前的高分辨率遥感卫星图像大小一致；
S3：将精细遥感图像特征图发送到参考图像多尺度残差模块，由参考图像多尺度残差模块内使用不同大小卷积的残差块提取精细遥感图像特征图的特征信息，使用交叉的方式实现特征信息共享，参考图像多尺度残差模块外使用跳跃连接的方式实现多尺度纹理特征信息融合；
S4：通过特征融合来更新目标低分辨率遥感卫星图像的特征图以生成最终高分辨率卫星图像；
S5：利用判别器对生成的最终高分辨率卫星图像与下采样之前的高分辨率遥感卫星图像进行对比分析，以确定是否输出生成的最终高分辨率卫星图像。
2.根据权利要求1所述的方法，其特征在于，所述低分辨率深度残差模块包括以串联方式连接的若干个残差块，在所有残差块之后为若干个对精细遥感图像特征图进行上采样操作的像素重组层。
3.根据权利要求1或2所述的方法，其特征在于，步骤S2包括：
S2.1：将各低分辨率遥感卫星图像块输入卷积层，以生成第一粗糙遥感图像特征图，将第一粗糙遥感图像特征图发送到低分辨率深度残差模块，通过低分辨率深度残差模块中的各残差块得到精细遥感图像特征图；
S2.2：将各精细遥感图像特征图与各自对应的第一粗糙遥感图像特征图进行特征融合得到第一融合遥感图像特征图，然后通过若干个像素重组层对第一融合遥感图像特征图进行上采样操作，使得第一融合遥感图像特征图放大若干倍至与下采样之前的高分辨率遥感卫星图像一样的尺寸。
4.根据权利要求3所述的方法，其特征在于，所述参考图像多尺度残差模块包括三层子网络，不同的子网络使用不同的卷积内核和不同数量的残差块。
5.根据权利要求4所述的方法，其特征在于，步骤S3包括：
S3.1：将输入对应的遥感卫星参考图像通过卷积核提取遥感卫星参考图像的第二粗糙遥感图像特征图，然后与放大后的第一融合遥感图像特征图一起输入卷积核进行特征融合得到第二融合遥感图像特征图，然后将第二融合遥感图像特征图进行下采样后，再输入若干个残差块，对第二融合遥感图像特征图进行精细提取，得到第二精细遥感图像特征图后对第二精细遥感图像特征图后进行上采样得到上采样后的第三精细遥感图像特征图，其中，参考图像多尺度残差模块外使用跳跃连接的方式进行特征信息融合；
S3.2：将第三精细遥感图像特征图与遥感卫星参考图像的第二粗糙遥感图像特征图进行融合得到第三融合遥感图像特征图，然后将第三融合遥感图像特征图输入至若干个残差块，对第三融合遥感图像特征图再次精细提取后上采样得到上采样后的第四精细遥感图像特征图，其中，第四精细遥感图像特征图与下采样之前的高分辨率遥感卫星图像具有相同尺寸大小；
S3.3：将上采样2倍后融合得到的第三融合遥感图像特征图再次上采样后，与第四精细遥感图像特征图进行融合得到第四融合遥感图像特征图，然后将第四融合遥感图像特征图与遥感卫星参考图像的第二粗糙遥感图像特征图进行融合得到第五融合遥感图像特征图，将得到的第五融合遥感图像特征图输入至若干个残差块，得到更精细的第五精细遥感图像特征图。
6.根据权利要求5所述的方法，其特征在于，步骤S4包括：
将第五精细遥感图像特征图与第四精细遥感图像特征图进行融合得到第六融合遥感图像特征图，然后通过卷积层来更新提取的第六融合遥感图像特征图，并采用另一卷积层降维后输出得到重建遥感卫星的超分辨率大图。
7.根据权利要求6所述的方法，其特征在于，步骤S5包括：
利用判别器对重建遥感卫星的超分辨率大图与下采样之前的高分辨率遥感卫星图像进行对比，若符合下采样之前的高分辨率遥感卫星图像的分布，则输出生成的最终高分辨率卫星图像，反之，则不输出。
8.一种多尺度纹理转移残差网络的遥感卫星超分辨率装置，其特征在于，包括：
分块模块，用于将高分辨率遥感卫星图像下采样至目标低分辨率遥感卫星图像，将目标低分辨率遥感卫星图像进行分块操作，分出相互重叠的低分辨率遥感卫星图像块；
低分辨率深度残差模块，用于将各低分辨率遥感卫星图像块输入低分辨率深度残差模块进行特征提取操作，提取出相应的精细遥感图像特征图后，对各精细遥感图像特征图进行上采样操作，使各精细遥感图像特征图与下采样之前的高分辨率遥感卫星图像大小一致；
参考图像多尺度残差模块，用于将精细遥感图像特征图发送到参考图像多尺度残差模块，由参考图像多尺度残差模块内使用不同大小卷积的残差块提取精细遥感图像特征图的特征信息，使用交叉的方式实现特征信息共享，参考图像多尺度残差模块外使用跳跃连接的方式实现多尺度纹理特征信息融合；
融合模块，用于通过特征融合来更新目标低分辨率遥感卫星图像的特征图以生成最终高分辨率卫星图像；
判别模块，用于利用判别器对生成的最终高分辨率卫星图像与下采样之前的高分辨率遥感卫星图像进行对比分析，以确定是否输出生成的最终高分辨率卫星图像。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
CN202110035136.6A 2021-01-12 2021-01-12 多尺度纹理转移残差网络的遥感卫星超分辨率方法及装置 Active CN112734642B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110035136.6A CN112734642B (zh) 2021-01-12 2021-01-12 多尺度纹理转移残差网络的遥感卫星超分辨率方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110035136.6A CN112734642B (zh) 2021-01-12 2021-01-12 多尺度纹理转移残差网络的遥感卫星超分辨率方法及装置

Publications (2)

Publication Number Publication Date
CN112734642A true CN112734642A (zh) 2021-04-30
CN112734642B CN112734642B (zh) 2023-03-10

Family

ID=75590350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110035136.6A Active CN112734642B (zh) 2021-01-12 2021-01-12 多尺度纹理转移残差网络的遥感卫星超分辨率方法及装置

Country Status (1)

Country Link
CN (1) CN112734642B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191953A (zh) * 2021-06-04 2021-07-30 山东财经大学 一种基于Transformer的人脸图像超分辨的方法
CN113284046A (zh) * 2021-05-26 2021-08-20 中国电子科技集团公司第五十四研究所 基于无高分辨率参考图的遥感图像增强和复原方法及网络
CN113610032A (zh) * 2021-08-16 2021-11-05 北京市城市规划设计研究院 基于遥感影像的建筑物识别方法和装置
CN113674155A (zh) * 2021-08-25 2021-11-19 中国铁塔股份有限公司湖北省分公司 基于信息聚合网络的图像超分辨率方法、装置和存储介质
CN117474765A (zh) * 2023-12-28 2024-01-30 成都理工大学 基于参考影像纹理转移的dem超分辨率重建系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105550993A (zh) * 2016-01-18 2016-05-04 中国空间技术研究院 基于多重变换域的超分辨率重建方法
US20170316548A1 (en) * 2015-09-06 2017-11-02 Boe Technology Group Co., Ltd. Super-Resolution Method and System, Server, User Device and Method Therefor
CN109598269A (zh) * 2018-11-14 2019-04-09 天津大学 一种基于多分辨率输入与金字塔膨胀卷积的语义分割方法
CN109636769A (zh) * 2018-12-18 2019-04-16 武汉大学 基于双路密集残差网络的高光谱和多光谱图像融合方法
CN109903226A (zh) * 2019-01-30 2019-06-18 天津城建大学 基于对称残差卷积神经网络的图像超分辨率重建方法
CN110033410A (zh) * 2019-03-28 2019-07-19 华中科技大学 图像重建模型训练方法、图像超分辨率重建方法及装置
US20190378242A1 (en) * 2018-06-06 2019-12-12 Adobe Inc. Super-Resolution With Reference Images
CN110930309A (zh) * 2019-11-20 2020-03-27 武汉工程大学 基于多视图纹理学习的人脸超分辨率方法及装置
CN111079683A (zh) * 2019-12-24 2020-04-28 天津大学 基于卷积神经网络的遥感图像云雪检测方法
CN111369440A (zh) * 2020-03-03 2020-07-03 网易（杭州）网络有限公司 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN111915487A (zh) * 2020-08-04 2020-11-10 武汉工程大学 基于分层多尺度残差融合网络的人脸超分辨率方法及装置
CN112070670A (zh) * 2020-09-03 2020-12-11 武汉工程大学 全局-局部分离注意力机制的人脸超分辨率方法及系统
CN113924597A (zh) * 2019-04-30 2022-01-11 巴黎欧莱雅 利用卷积神经网络跟踪多个目标的图像处理

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170316548A1 (en) * 2015-09-06 2017-11-02 Boe Technology Group Co., Ltd. Super-Resolution Method and System, Server, User Device and Method Therefor
CN105550993A (zh) * 2016-01-18 2016-05-04 中国空间技术研究院 基于多重变换域的超分辨率重建方法
US20190378242A1 (en) * 2018-06-06 2019-12-12 Adobe Inc. Super-Resolution With Reference Images
CN109598269A (zh) * 2018-11-14 2019-04-09 天津大学 一种基于多分辨率输入与金字塔膨胀卷积的语义分割方法
CN109636769A (zh) * 2018-12-18 2019-04-16 武汉大学 基于双路密集残差网络的高光谱和多光谱图像融合方法
CN109903226A (zh) * 2019-01-30 2019-06-18 天津城建大学 基于对称残差卷积神经网络的图像超分辨率重建方法
CN110033410A (zh) * 2019-03-28 2019-07-19 华中科技大学 图像重建模型训练方法、图像超分辨率重建方法及装置
CN113924597A (zh) * 2019-04-30 2022-01-11 巴黎欧莱雅 利用卷积神经网络跟踪多个目标的图像处理
CN110930309A (zh) * 2019-11-20 2020-03-27 武汉工程大学 基于多视图纹理学习的人脸超分辨率方法及装置
CN111079683A (zh) * 2019-12-24 2020-04-28 天津大学 基于卷积神经网络的遥感图像云雪检测方法
CN111369440A (zh) * 2020-03-03 2020-07-03 网易（杭州）网络有限公司 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN111915487A (zh) * 2020-08-04 2020-11-10 武汉工程大学 基于分层多尺度残差融合网络的人脸超分辨率方法及装置
CN112070670A (zh) * 2020-09-03 2020-12-11 武汉工程大学 全局-局部分离注意力机制的人脸超分辨率方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨宏业等: "基于纹理转移的露天矿区遥感图像超分辨率重建", 《煤炭学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113284046A (zh) * 2021-05-26 2021-08-20 中国电子科技集团公司第五十四研究所 基于无高分辨率参考图的遥感图像增强和复原方法及网络
CN113191953A (zh) * 2021-06-04 2021-07-30 山东财经大学 一种基于Transformer的人脸图像超分辨的方法
CN113610032A (zh) * 2021-08-16 2021-11-05 北京市城市规划设计研究院 基于遥感影像的建筑物识别方法和装置
CN113674155A (zh) * 2021-08-25 2021-11-19 中国铁塔股份有限公司湖北省分公司 基于信息聚合网络的图像超分辨率方法、装置和存储介质
CN117474765A (zh) * 2023-12-28 2024-01-30 成都理工大学 基于参考影像纹理转移的dem超分辨率重建系统
CN117474765B (zh) * 2023-12-28 2024-03-01 成都理工大学 基于参考影像纹理转移的dem超分辨率重建系统

Also Published As

Publication number Publication date
CN112734642B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN112734642B (zh) 多尺度纹理转移残差网络的遥感卫星超分辨率方法及装置
CN111047516B (zh) 图像处理方法、装置、计算机设备和存储介质
CN111915487B (zh) 基于分层多尺度残差融合网络的人脸超分辨率方法及装置
Zhang et al. One-two-one networks for compression artifacts reduction in remote sensing
US20110242126A1 (en) Capturing image structure detail from a first image and color from a second image
WO2011126774A2 (en) Generation of multi-resolution image pyramids
CN105608667A (zh) 一种全景拼接的方法及装置
CN110580680B (zh) 基于组合学习的人脸超分辨率方法及装置
Shen et al. Convolutional neural pyramid for image processing
US11244426B2 (en) Method for image super resolution imitating optical zoom implemented on a resource-constrained mobile device, and a mobile device implementing the same
Ye et al. Depth super-resolution with deep edge-inference network and edge-guided depth filling
CN111553845B (zh) 一种基于优化的三维重建的快速图像拼接方法
CN110263716B (zh) 一种基于街景图像的遥感影像超分辨率土地覆被制图方法
CN114581347B (zh) 无参考影像的光学遥感空谱融合方法、装置、设备及介质
Xu et al. HA U-Net: Improved model for building extraction from high resolution remote sensing imagery
Shi et al. (SARN) spatial-wise attention residual network for image super-resolution
CN111340080A (zh) 一种基于互补卷积特征的高分辨率遥感影像融合方法及系统
Chen et al. Single depth image super-resolution using convolutional neural networks
Arulkumar et al. Super resolution and demosaicing based self learning adaptive dictionary image denoising framework
Zheng et al. T-net: Deep stacked scale-iteration network for image dehazing
Yu et al. Split-attention multiframe alignment network for image restoration
Xie et al. Non-local nested residual attention network for stereo image super-resolution
Wu et al. Edge curve scaling and smoothing with cubic spline interpolation for image up-scaling
CN115272438A (zh) 一种面向三维场景重建的高精度单目深度估计系统及方法
Zhu et al. Super-resolving commercial satellite imagery using realistic training data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant