CN116917929A - 用于遥感中的超分辨率图像处理的系统和方法 - Google Patents

用于遥感中的超分辨率图像处理的系统和方法 Download PDF

Info

Publication number
CN116917929A
CN116917929A CN202280011996.9A CN202280011996A CN116917929A CN 116917929 A CN116917929 A CN 116917929A CN 202280011996 A CN202280011996 A CN 202280011996A CN 116917929 A CN116917929 A CN 116917929A
Authority
CN
China
Prior art keywords
image
images
resolution
temporal
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280011996.9A
Other languages
English (en)
Inventor
苟毓川
赖瑞欣
韩玫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of CN116917929A publication Critical patent/CN116917929A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

公开了一种用于在遥感中进行超分辨率图像处理的系统和方法。从一个或多个数据源生成具有输入分辨率的一组或多组多时间图像和具有第一输出分辨率的一个或多个第一目标图像。第一输出分辨率高于输入分辨率。对每组多时间图像进行处理，以改善相应组多时间图像中的图像匹配。所述一组或多组多时间图像与所述一个或多个第一目标图像相关联以生成训练数据集。使用训练数据集来训练深度学习模型。深度学习模型被提供用于后续超分辨率图像处理。

Description

用于遥感中的超分辨率图像处理的系统和方法
相关申请的交叉引用
本申请要求2021年6月21日提交的美国专利申请第17/353,792号的优先权，其全部内容在此引入作为参考。
技术领域
本公开涉及图像处理，更具体地，涉及用于遥感中的超分辨率图像处理的系统和方法。
背景技术
最近，在农业应用中对鉴定和分类作物的需求在各种地方显著增加。例如，可以监测农田中作物的生长状态，以便及时对作物提供适当的护理。卫星遥感技术具有再访周期短、覆盖范围广、采集成本低等优点，可用于提供大量的卫星遥感图像进行作物监测、识别和分类。然而，大多数卫星遥感图像具有低分辨率，而高分辨率遥感图像相对昂贵。
发明内容
一方面，公开了一种用于遥感中的超分辨率图像处理的方法。从一个或多个数据源生成具有输入分辨率的一组或多组多时间图像和具有第一输出分辨率的一个或多个第一目标图像。第一输出分辨率高于输入分辨率。对每组多时间图像进行处理，以改善相应组多时间图像中的图像匹配。所述一组或多组多时间图像与所述一个或多个第一目标图像相关联以生成训练数据集。使用训练数据集来训练深度学习模型。深度学习模型被提供用于后续超分辨率图像处理。
在另一方面，公开了一种用于遥感中的超分辨率图像处理的系统。该系统包括存储器和处理器。所述存储器被配置为存储指令。所述处理器联接到所述存储器并且被配置为执行所述指令以执行包括以下的过程：从一个或多个数据源生成具有输入分辨率的一组或多组多时间图像和具有第一输出分辨率的一个或多个第一目标图像；处理每组多时间图像以改善相应组多时间图像中的图像匹配；将所述一组或多组多时间图像与所述一个或多个第一目标图像相关联以生成训练数据集；使用所述训练数据集来训练深度学习模型；以及提供用于后续超分辨率图像处理的深度学习模型。第一输出分辨率高于输入分辨率。
在又一方面，公开了一种非暂时性计算机可读存储介质。所述非暂时性计算机可读存储介质被配置为存储指令，所述指令响应于处理器的执行而使所述处理器执行包括以下的过程：从一个或多个数据源生成具有输入分辨率的一组或多组多时间图像和具有第一输出分辨率的一个或多个第一目标图像；处理每组多时间图像以改善相应组多时间图像中的图像匹配；将所述一组或多组多时间图像与所述一个或多个第一目标图像相关联以生成训练数据集；使用所述训练数据集来训练深度学习模型；以及提供用于后续超分辨率图像处理的深度学习模型。第一输出分辨率高于输入分辨率。
应当理解，前面的一般性描述和下面的详细描述都仅仅是示例性和解释性的，并不限制所要求保护的本发明。
附图说明
并入本文并形成说明书的一部分的附图示出了本公开的实现，并与说明书一起进一步用于解释本公开并使相关领域的技术人员能够制造和使用本公开。
图1示出了根据本公开的实施例的被配置为在遥感中执行超分辨率图像处理的系统的示例性操作环境的框图。
图2示出了根据本公开的实施例的用于超分辨率图像处理的深度学习模型的示例性结构的示意图。
图3A示出了根据本公开的实施例的多时间神经网络模型的示例性结构的示意图。
图3B示出根据本公开的实施例的由多时间神经网络模型中的对准层执行的操作的示例性流程。
图3C示出了根据本公开的实施例的由多时间神经网络模型中的融合层执行的操作的示例性流程。
图4示出了根据本公开的实施例的包括在深度学习模型中的单图像神经网络模型的示例性结构的示意图。
图5是根据本公开的实施例的用于遥感中的超分辨率图像处理的示例性方法的流程图。
图6是根据本公开的实施例的用于生成第一目标图像和一组多时间图像的示例性方法的流程图。
图7是根据本公开的实施例的用于使用训练数据集来训练深度学习模型的示例性方法的流程图。
图8示出了根据本公开的实施例的用于响应于用户查询而提供高分辨率遥感图像的操作的示例性流程。
图9是根据本公开的实施例的用于提供高分辨率遥感图像的示例性方法的流程图。
图10是示出根据本公开的实施例的对一组示例性多时间图像执行的直方图匹配的图形表示。
图11是示出根据本公开的实施例的多时间神经网络模型的示例性性能的图形表示。
图12是示出根据本公开的实施例的单图像神经网络模型的示例性性能的图形表示。
将参考附图描述本公开的实现。
具体实施方式
现在将详细参考示例性实施例，其示例在附图中示出。只要可能，在所有附图中使用相同的附图标记来表示相同或相似的部件。
遥感可以包括通过在一定距离(例如，从卫星或飞机)测量其反射和发射的辐射来检测和监视区域的物理特性的过程。相机可以安装在卫星或飞机上，以收集遥感(remotelysensed)图像(也称为遥感(remote sensing)图像)。在一些应用中，遥感图像可用于跟踪一段时间内农田的变化。例如，可以处理遥感图像以识别和分类农田中的作物。可以使用机器学习技术来提高遥感图像的分辨率，从而可以基于遥感图像实现作物的更好识别和分类。
然而，一般的机器学习模型通常用主要包括大量各种对象的图像数据集来训练，这些对象与卫星或飞机捕获的遥感图像略有不同。结果，一般机器学习模型在处理遥感图像中的直接应用可能导致具有较差性能的模型概括问题。
机器学习模型的训练可能需要大量训练数据，以便使机器学习模型收敛。例如，需要大量的低分辨率遥感图像和相应高分辨率遥感图像来训练机器学习模型。由于获得高分辨率遥感图像是昂贵的，因此难以从可用的卫星遥感图像获得大量的训练数据，导致训练数据获取问题。例如，难以从单个数据源获得在不同时间为地理位置捕获的低分辨率遥感图像和相同地理位置的相应高分辨率遥感图像。
另外，卫星或飞机对遥感图像的采集可以容易地受到天气条件的影响，并且遥感图像可以被诸如云、雾、烟雾等障碍物遮挡。结果，如果机器学习模型仅采用单个图像作为输入，则由机器学习模型生成的输出图像可能是不期望的。例如，如果输入图像被云遮挡，则由于输入图像中云的遮挡，机器学习模型可能无法从单个输入图像生成期望的输出图像。
在本公开中，通过用多时间训练数据有效地训练深度学习模型并应用经训练的深度学习模型来生成高分辨率遥感图像，提供了用于遥感中的超分辨率图像处理的系统和方法。可以从多个数据源生成多时间训练数据和相应目标图像(例如，相应高分辨率图像)，这可以解决上述训练数据采集问题。
根据本公开，多时间训练数据可以包括一组或多组多时间图像，每组多时间图像在不同时间被捕获。可以处理每组多时间图像以改善图像之间的图像匹配。例如，可以执行直方图匹配以匹配该组多时间图像中的颜色。在另一示例中，可以在特征级上对准该组多时间图像，使得可以减少或去除由不同数据源引起的失配或未对准。结果，通过处理或优化多时间图像，可以改善深度学习模型的超分辨率性能。
根据本公开，深度学习模型使用一组多时间图像作为输入，与在模型中使用单个输入图像相比，这可以减小或最小化天气条件对模型的超分辨率性能的影响。例如，即使输入到深度学习模型中的多时间图像之一被云遮挡，深度学习模型也可以通过输入到模型其他图像来学习被云遮挡的风景的信息。因此，使用多时间图像可以改善深度学习模型的超分辨率性能。
根据本公开，用户可以提供用于请求高分辨率遥感图像的一个或多个参数。这里描述的系统和方法可以应用深度学习模型以从一组低分辨率遥感图像生成高分辨率遥感图像。深度学习模型可以减少或消除诸如由云、雾、雾气等引起的遮挡之类的天气条件对高分辨率遥感图像的影响。因此，高分辨率遥感图像可以具有改善的质量，并且可以增强高分辨率遥感图像的用户体验。因此，这里描述的系统和方法可以应用于产生具有改进质量的高分辨率遥感图像，以帮助农业应用。
图1示出了根据本公开的实施例的被配置为在遥感中执行超分辨率图像处理的系统101的示例性操作环境100。操作环境100可以包括系统101、一个或多个数据源108A、…、108N(也被单独地或共同地称为数据源108)、用户设备112和任何其他合适的组件。操作环境100的组件可以通过网络110彼此联接。
在一些实施例中，系统101可以包含在计算设备上。计算设备可以是例如服务器、台式计算机、膝上型计算机、平板计算机或包括处理器和存储器的任何其他合适的电子设备。在一些实施例中，系统101可以包括处理器102、存储器103和存储装置104。应当理解，系统101还可以包括用于执行这里描述的功能的任何其他合适的组件。
在一些实施例中，系统101可在单个设备(例如集成电路(IC)芯片)或具有专用功能的单独设备中具有不同组件。例如，IC可以实现为专用集成电路(ASIC)或现场可编程门阵列(FPGA)。在一些实施例中，系统101的一个或多个组件可位于云计算环境中，或者可另选地位于单个位置或分布式位置中。在一些实施例中，系统101的组件可以在集成设备中或分布在不同位置，但通过网络110彼此通信。
处理器102可以包括任何适当类型的通用或专用微处理器、数字信号处理器、微控制器、图形处理单元(GPU)。处理器102可以包括一个或多个硬件单元(例如，集成电路的部分)，这些硬件单元被设计成与其他组件一起使用或执行程序的一部分。该程序可以存储在计算机可读介质上，并且当由处理器102执行时，其可以执行一个或多个功能。处理器102可以被配置为专用于图像处理的单独的处理器模块。或者，处理器102可被配置为用于执行与图像处理无关的其它功能的共享处理器模块。
处理器102可以包括若干模块，例如训练数据生成器105、训练模块106和查询模块107。尽管图1示出了训练数据生成器105、训练模块106和查询模块107在一个处理器102内，但是它们也可能在彼此靠近或远离的不同处理器上实现。例如，训练数据生成器105和训练模块106可以由专用于离线训练的处理器(例如，GPU)来实现，并且查询模块107可以由用于响应于用户查询而生成高分辨率遥感图像的另一处理器来实现。
训练数据生成器105、训练模块106和查询模块107(以及任何相应子模块或子单元)可以是处理器102的硬件单元(例如，集成电路的部分)，其被设计为与由处理器102通过执行程序的至少一部分而实现的其它组件或软件单元一起使用。程序可以存储在诸如存储器103或存储装置104的计算机可读介质上，并且当由处理器102执行时，它可以执行一个或多个功能。
存储器103和存储装置104可以包括被提供用于存储处理器102可能需要操作的任何类型的信息的任何适当类型的大容量存储装置。例如，存储器103和存储装置104可以是易失性或非易失性的、磁性的、基于半导体的、基于磁带的、光学的、可移动的、不可移动的或其他类型的存储设备或有形的(即，非暂时性的)计算机可读介质，包括但不限于ROM、闪存、动态RAM和静态RAM。存储器103和/或存储装置104可被配置为存储可由处理器102执行以执行本文所公开的功能的一个或多个计算机程序。举例来说，存储器103和/或存储装置104可被配置为存储可由处理器102执行以执行超分辨率图像处理的程序。存储器103和/或存储装置104还可以被配置为存储由处理器102使用的信息和数据。
每个数据源108可以包括被配置为存储遥感图像的一个或多个存储设备。遥感图像可以由安装在卫星，诸如无人飞行器(UAV)、热气球等的有人驾驶或无人驾驶飞行器中的相机捕获。例如，第一数据源108可以是国家农业图像程序(NAIP)数据源，并且可以存储具有第一源分辨率(例如，0.6米)的遥感图像。来自NAIP数据源的遥感图像可以被称为NAIP图像。第二数据源108可以是Sentinel-2数据源，并且可以存储具有第二源分辨率(例如，10米)的遥感图像。来自Sentinel-2数据源的遥感图像可以被称为Sentinel-2图像。Sentinel-2图像和NAIP图像是自由卫星遥感图像。虽然图1示出系统101和数据源108彼此分离，但是在一些实施例中，数据源108和系统101可以集成到单个设备中。
用户设备112可以是包括处理器和存储器的计算设备。例如，用户设备112可以是台式计算机、膝上型计算机、平板计算机、智能电话、游戏控制器、电视机(TV)、音乐播放器、诸如智能手表的可穿戴电子设备、物联网设备、智能车辆，或具有处理器和存储器的任何其他合适的电子设备。虽然图1示出了系统101和用户设备112彼此分离，但是在一些实施例中，用户设备112和系统101可以集成到单个设备中。
在一些实施例中，用户可以在用户设备112上操作，并且可以通过用户设备112输入用户查询。用户设备112可以通过网络110向系统101发送用户查询。用户查询可以包括用于请求高分辨率遥感图像的一个或多个参数。所述一个或多个参数可以包括位置(或感兴趣的地理区域)、指定时间(或指定时间窗口)、分辨率、所请求的高分辨率遥感图像的尺寸等中的一个或多个。所述位置可以是地理位置或地球上的表面位置。例如，该位置可以包括经度和纬度、地址(例如，街道、城市、州、国家等)、感兴趣的地点等。高分辨率遥感图像可以描绘该位置处的场景或风景。
再次参考图1，训练数据生成器105可以被配置为生成用于训练深度学习模型的训练数据集，如下面更详细地描述的。在一些实施例中，训练数据集可以包括具有输入分辨率的一组或多组多时间图像。每组多时间图像可以包括在一个或多个不同时间以输入分辨率捕获位置的场景或风景的一个或多个遥感图像。训练数据集还可以包括具有第一输出分辨率的一个或多个第一目标图像，其中第一输出分辨率高于输入分辨率。所述一个或多个第一目标图像可以包括具有第一输出分辨率的一个或多个遥感图像，并且可以分别对应于所述一组或多组多时间图像。
例如，所述训练数据集可以包括：(1)第一组多时间图像，其以10米的输入分辨率在第一组时间捕获第一位置的场景，以及相应第一目标图像，其以2.5米的第一输出分辨率在不同时间捕获第一位置的场景；以及(2)第二组多时间图像，其以10米的输入分辨率在第二组时间捕获第二位置的场景，以及相应第一目标图像，其以2.5米的第一输出分辨率在不同时间捕获第二位置的场景。
在一些实施例中，训练数据生成器105可以从一个或多个数据源108生成具有输入分辨率的一组或多组多时间图像和具有第一输出分辨率的一个或多个第一目标图像。例如，对于每组多时间图像和与相应组的多时间图像相关联的第一目标图像，训练数据生成器105可以从包括具有第一源分辨率的遥感图像的第一数据源108生成第一目标图像。训练数据生成器105可以从第一数据源108和第二数据源108生成相应组多时间图像，其中第二数据源108包括具有第二源分辨率的遥感图像。
具体地，训练数据生成器105可以从第一数据源108获得具有第一源分辨率的第一源图像。第一源分辨率高于第一输出分辨率。训练数据生成器105还可以从第一数据源108检索与第一源图像相关联的元数据。元数据可以包括与由第一源图像捕获的场景或风景相关联的地理位置数据。训练数据生成器105可以对具有第一源分辨率的第一源图像进行下采样，以生成具有第一输出分辨率的第一目标图像。第一目标图像可以具有T1×T1的尺寸，具有第一输出分辨率R1，其中T1和R1是正整数。
训练数据生成器105可以确定第一目标图像的位置。例如，训练数据生成器105可以基于第一源图像的元数据来确定第一目标图像的地理位置。第一目标图像的位置可以是例如第一目标图像中的参考点(例如，中心点)的地理位置，场景的地理位置或由第一目标图像捕获的感兴趣的地点。
训练数据生成器105还可以以第一输出分辨率对第一目标图像进行下采样，以生成具有输入分辨率的第一遥感图像。第一遥感图像可以具有T0×T0的尺寸，具有输入分辨率R0，其中R1>R0，T1>T0，并且T0和R0是正整数。结果，第一遥感图像和第一目标图像可以同时捕获具有不同分辨率的相同位置的场景。例如，第一遥感图像的参考点的地理位置与第一目标图像的参考点的地理位置相同。
接下来，训练数据生成器105可以基于第一目标图像的位置从第二数据源108获得具有输入分辨率的一个或多个第二遥感图像。例如，训练数据生成器105可以基于第一目标图像的位置从第二数据源108获得具有第二源分辨率的一个或多个第二源图像。一个或多个第二源图像可以包括分别在一个或多个不同时间捕捉与第一目标图像相同位置的场景的一个或多个图像片。训练数据生成器105可以基于一个或多个第二源图像生成一个或多个第二遥感图像。
例如，如果第二源分辨率等于输入分辨率，则训练数据生成器105可以将一个或多个第二源图像分别裁剪为具有T0×T0大小的一个或多个第二遥感图像。一个或多个第二遥感图像可以在一个或多个不同时间捕获与第一目标图像相同位置的场景。每个第二遥感图像的参考点的地理位置可以与第一目标图像的参考点的地理位置相同。在另一示例中，如果第二源分辨率大于输入分辨率，则训练数据生成器105可以对一个或多个第二源图像进行下采样，以生成一个或多个第二遥感图像。在又一示例中，如果第二源分辨率小于输入分辨率，则训练数据生成器105可以对一个或多个第二源图像进行上采样，以生成一个或多个第二遥感图像。
结果，训练数据生成器105可以聚合在第一时间捕获的第一遥感图像和在不同时间捕获的一个或多个第二遥感图像，以生成一组多时间图像。通过执行类似的操作，训练数据生成器105可以相应地生成一组或多组多时间图像和一个或多个第一目标图像。然后，训练数据生成器105可以将所述一组或多组多时间图像与所述一个或多个第一目标图像相关联，以生成训练数据集。例如，在训练数据集中，每组多时间图像与来自一个或多个第一目标图像的相应第一目标图像配对。
在一些实施例中，可以有目的地选择一个或多个感兴趣的地理区域，并且可以基于所述一个或多个感兴趣的地理区域来生成所述一组或多组多时间图像。例如，可以选择具有重雾度的地理区域来产生多组多时间图像，使得可以使用多组多时间图像来训练深度学习模型，以解决与感兴趣的地理区域相关联的雾度问题。在一些其他实施例中，可以随机地选择一个或多个感兴趣的地理区域。
在一些实施例中，可以选择特定类型的源图像来生成一组或多组多时间图像。例如，NAIP图像和具有重云、雾、雾气等的Sentinel-2图像可被选作源图像以生成一组或多组多时间图像。在另一示例中，可以选择具有可忽略的云、雾、雾气等的NAIP图像和Sentinel-2图像作为源图像以生成一组或多组多时间图像。在一些其他实施例中，可以选择随机源图像来生成一组或多组多时间图像。
在一些实施例中，训练数据生成器105可以进一步处理每组多时间图像，以改善相应组多时间图像中的图像匹配。例如，因为每组多时间图像可以包括来自不同数据源108的遥感图像，所以遥感图像的颜色可以不同。通过执行直方图匹配，可以匹配遥感图像的颜色以避免在深度学习模型的训练中的过度拟合问题。
例如，假设一组多时间图像可以包括来自第一数据源108的第一遥感图像和来自第二数据源108的一个或多个第二遥感图像。训练数据生成器105可以执行第一遥感图像和一个或多个第二遥感图像之间的直方图匹配，使得第一遥感图像和每个第二遥感图像之间的颜色差异被修改为在预定范围内。具体地，对于每个通道(例如，每个红、绿或蓝(RGB)通道)，训练数据生成器105操纵来自每个第二遥感图像的相应通道的像素，使得第二遥感图像的直方图与第一遥感图像的直方图匹配。例如，对于每个通道，第二遥感图像的累积直方图被修改为与第一遥感图像的累积直方图相同。
在一些实施例中，训练数据生成器105可以执行其他操作以改善每组多时间图像中的图像匹配。例如，训练数据生成器105可以将每个第二遥感图像的取向调整为与第一遥感图像的取向相同。
在一些实施例中，训练数据集还可以包括具有第二输出分辨率的一个或多个第二目标图像。第二输出分辨率高于第一输出分辨率。一个或多个第二目标图像可以分别对应于一个或多个第一目标图像。例如，对于从来自第一数据源108的第一源图像生成的每个第一目标图像，训练数据生成器105还可以对第一源图像进行下采样，以生成具有第二输出分辨率的第二目标图像。第二目标图像可以具有T2×T2的尺寸，具有第二输出分辨率R2，其中R2>R1>R0，T2>T1>T0，并且T2和R2是正整数。第二目标图像和第一目标图像从相同的第一源图像获得，并且可以以不同的分辨率捕获相同位置的场景或风景。例如，第二目标图像的参考点的地理位置可以与第一目标图像的参考点的地理位置相同。
仍然参考图1，训练模块106可以被配置为从训练数据生成器105接收训练数据集。训练模块106可以使用训练数据集来训练深度学习模型，如下面更详细地描述的。在一些实施例中，深度学习模型可以包括多时间神经网络模型和单图像神经网络模型中的一个或多个。单图像神经网络模型可以级联成多时间神经网络模型。下面参考图3A-3C更详细地描述多时间神经网络模型的结构。下面参考图4更详细地描述单图像神经网络模型的结构。
在一些实施例中，多时间神经网络模型可以被配置为处理每组多时间图像以生成具有第一输出分辨率的相应第一输出图像。训练模块106可以将每组多时间图像馈送到多时间神经网络模型，以生成具有第一输出分辨率的相应第一输出图像。结果，训练模块106可以分别为一组或多组多时间图像生成具有第一输出分辨率的一个或多个第一输出图像。训练模块106可以基于一个或多个第一输出图像与一个或多个第一目标图像之间的比较来评估多时间神经网络模型以产生第一评估结果，并且可以基于第一评估结果来更新多时间神经网络模型。
这里描述了用于多时间神经网络模型的示例性训练过程。例如，多时间神经网络模型可以由预定数量的时期训练。训练数据集可以包括针对预定数量的时期的训练样本(例如，多组多时间图像和相应第一目标图像)。或者，训练数据生成器105可以为每个时期生成不同的训练数据集。对于每个训练迭代(每个时期)，分批评估训练数据集中的训练样本的一部分或全部。例如，可以使用随机梯度下降(SGD)方法来分批评估样本。最初，训练模块106可以初始化多时间神经网络模型中的权重。例如，可以将所有权重设置为等于开始。作为另一示例，可以使用先前训练的多时间神经网络模型的权重来设置权重。
在该示例性训练过程中，训练模块106可以向多时间神经网络模型馈送一组或多组多时间图像以获得一个或多个第一输出图像。训练模块106可以将一个或多个第一输出图像与一个或多个第一目标图像进行比较以评估损失函数。训练模块106可以使用损失函数生成多时间神经网络模型的损失。所述损失测量所述一个或多个第一输出图像与所述一个或多个第一目标图像之间的差异，从而指示在当前迭代中具有权重的多时间神经网络模型的性能。
在该示例性训练过程中，训练模块106可以确定当前迭代的损失是否比上一次迭代有所改善。例如，训练模块106确定损失是否相对于在先前迭代中计算的先前损失减小。如果损失被改善(例如，损失相对于先前损失减少)，则训练模块106可以更新多时间神经网络模型的权重。多时间神经网络模型的结构、权重和其它参数可以存储在存储装置104中。在训练多时间神经网络模型达预定数目的时期之后，训练模块106可停止训练多时间神经网络模型，且可提供经训练的多时间神经网络模型以用于后续超分辨率图像处理。
在一些实施例中，单图像神经网络模型可以被配置为处理具有第一输出分辨率的输入图像以生成具有第二输出分辨率的第二输出图像。训练数据集还可以包括具有第二输出分辨率的一个或多个第二目标图像。训练模块106可以将每个第一目标图像馈送到单图像神经网络模型，以生成具有第二输出分辨率的相应第二输出图像，从而为一个或多个第一目标图像生成具有第二输出分辨率的一个或多个第二输出图像。
然后，训练模块106可以基于一个或多个第二输出图像与一个或多个第二目标图像之间的比较来评估单图像神经网络模型，以产生第二评估结果。训练模块106可以基于第二评估结果更新单图像神经网络模型。单图像神经网络模型的训练过程可以类似于多时间神经网络模型的训练过程，并且这里将不重复类似的描述。
仍然参考图1，查询模块107可以被配置为响应于查询提供高分辨率遥感图像。例如，查询模块107可以从用户设备112接收一个或多个参数。查询模块107可以基于一个或多个参数从一个或多个数据源108确定多时间图像的输入组。多时间图像的输入组可以包括在场景的一组时间捕获的具有输入分辨率的一组遥感图像。查询模块107可以将多时间图像的输入组应用于深度学习模型以生成高分辨率遥感图像。高分辨率遥感图像可以具有高于输入分辨率的分辨率。
在一些实施例中，查询模块107可以将多时间图像的输入组馈送到多时间神经网络模型，以生成具有第一输出分辨率的高分辨率遥感图像。在这种情况下，高分辨率遥感图像可以具有输入分辨率R0的M1倍(×M1)的第一输出分辨率R1(例如，M1＝R1/R0，M1是正整数)。
在一些实施例中，查询模块107可以将多时间图像的输入组馈送到多时间神经网络模型，以生成具有第一输出分辨率的中间输出图像。接下来，查询模块107可以将中间输出图像馈送到单图像神经网络模型，以生成具有第二输出分辨率的高分辨率遥感图像。在这种情况下，高分辨率遥感图像可以具有第二输出分辨率R2。第二输出分辨率R2是第一输出分辨率R1的M2倍(×M2)(例如，M2＝R2/R1)和输入分辨率R0的M3倍(×M3)(例如，M3＝M1×M2＝R2/R0)，其中M2和M3是正整数。下面参考图8-9更详细地描述查询模块107。
与图1一致，这里描述了用于从Sentinel-2数据源和NAIP数据源生成一组多时间图像和相应目标图像(例如，第一和第二目标图像)的数据生成示例。通常，深度学习模型的训练需要训练具有相同地理位置的低分辨率多时间图像(例如，低分辨率遥感图像)和相应目标图像(例如，高分辨率遥感图像)的训练数据。然而，诸如Sentinel-2数据源或NAIP数据源的单个卫星数据源可能不能提供低分辨率遥感图像和相应高分辨率遥感图像。结果，可以从诸如NAIP图像和Sentinel-2图像的两个卫星数据源的组合生成训练数据。
具体地，NAIP图像可以具有0.6米的分辨率，并且可以用于生成第一和第二目标图像。NAIP图像的重访周期相对较长(例如，2-3年)。Sentinel-2图像可以具有10米的分辨率，并且可以用于生成低分辨率多时间图像。Sentinel-2图像的重访周期相对较短(例如，约10天)。然而，如果仅使用Sentinel-2图像来生成低分辨率多时间图像，则深度学习模型的训练性能可能降低。这是因为训练数据集中的第一和第二目标图像是从不同于Sentinel-2数据源的NAIP数据源获得的。为了补偿由不同数据源引起的图像失配或未对准，NAIP图像还可用于生成低分辨率多时间图像的一部分。
在该数据生成示例中，假设：(1)多时间神经网络模型的每个输入图像可以具有256*256的尺寸，输入分辨率为10米；(2)多时间神经网络的输出图像可以具有1024*1024的尺寸，第一输出分辨率为2.5米；(3)单图像神经网络模型的每个输入图像可以具有1024*1024的尺寸，第一输出分辨率为2.5米；和(4)来自单图像神经网络的输出图像可以具有4096*4096的尺寸，第二输出分辨率为0.625米。换句话说，多时间神经网络模型可以将输入分辨率提高4倍(×4)以达到第一输出分辨率。单图像神经网络模型可以将第一输出分辨率提高4倍(×4)，达到第二输出分辨率。因此，深度学习模型可以将输入分辨率提高16倍(×16)(例如，从10米的输入分辨率提高到0.625米的第二输出分辨率)。
在该数据生成示例中，训练数据生成器105可以从NAIP数据源获得NAIP图像。NAIP图像可以是由卫星捕获的图像片，并且可以覆盖大约10,000平方米的区域。训练数据生成器105还可以从NAIP数据源检索与NAIP图像相关联的元数据。元数据可包括描述由NAIP图像覆盖的地理区域的位置数据和拍摄NAIP图像的时间。
训练数据生成器105可以以0.6米的分辨率对NAIP图像进行下采样，以产生具有1024*1024的尺寸和2.5米的第一输出分辨率的第一NAIP目标图像。训练数据生成器105可以基于NAIP图像的元数据来确定第一NAIP目标图像的地理位置。训练数据生成器105还可以对第一NAIP目标图像进行下采样，以产生具有256*256的尺寸和10米的输入分辨率的NAIP输入图像。接下来，训练数据生成器105还可以以0.6米的分辨率对NAIP图像进行下采样，以产生具有4096*4096的尺寸和0.625米的第二输出分辨率的第二NAIP目标图像。NAIP输入图像、第一NAIP目标图像和第二NAIP目标图像可以覆盖相同的地理位置。
另外，训练数据生成器105可以基于第一NAIP目标图像的地理位置从Sentinel-2数据源获得输入分辨率为10米的一个或多个Sentinel-2图像片。例如，一个或多个Sentinel-2图像片中的每一个还覆盖第一NAIP目标图像的地理位置。卫星可以在一个或多个不同时间捕获一个或多个Sentinel-2图像片。训练数据生成器105可以将每个Sentinel-2图像片裁剪成尺寸为256*256且输入分辨率为10米的Sentinel-2输入图像，从而从一个或多个Sentinel-2图像片生成一个或多个Sentinel-2输入图像。一个或多个Sentinel-2输入图像也覆盖与第一NAIP目标图像相同的地理位置。
训练数据生成器105可以聚合NAIP输入图像和一个或多个Sentinel-2输入图像以生成一组多时间图像。然后，训练数据生成器105可以将该组多时间图像与训练数据集中的第一和第二NAIP目标图像相关联。由于NAIP输入图像和一个或多个Sentinel-2输入图像来自不同的数据源，因此训练数据生成器105可以针对每个通道在NAIP输入图像和每个Sentinel-2输入图像之间执行直方图匹配，使得每个Sentinel-2输入图像的颜色与NAIP输入图像的颜色相匹配。
图2示出了根据本公开的实施例的用于超分辨率图像处理的深度学习模型的示例性结构的示意图200。深度学习模型可以包括多时间神经网络模型204。多时间神经网络模型204可以将一组具有输入分辨率的多时间图像作为输入，并且可以产生具有第一输出分辨率的第一输出图像。多时间神经网络模型204的示例可以是增强型可变形视频恢复(EDVR)模型(例如，具有增强型可变形卷积网络的视频恢复)。
在一些实施例中，深度学习模型可以另外包括级联到多时间神经网络模型204的单图像神经网络模型206。单图像神经网络模型206可以将具有第一输出分辨率的图像(例如，第一输出图像)作为输入，并且可以产生具有第二输出分辨率的第二输出图像。单图像神经网络模型206的示例可以是增强型超分辨率生成对手网络(ESRGAN)模型。
与图2一致，通过使用多时间图像作为输入的多时间神经网络204的应用，可以在第一输出图像中减少或消除天气条件的影响，例如云、雾、雾气等的遮挡。然后，单图像神经网络模型206可用于放大第一输出图像以生成具有第二输出分辨率的第二输出图像。第二输出图像可以具有改进的质量，因为在第一输出图像中减少或消除了由云、雾、雾气等引起的遮挡的影响。
图3A示出了根据本公开的实施例的多时间神经网络模型204的示例性结构的示意图300。多时间神经网络模型204可以包括对准层302、融合层304、重构层306和上采样层308中的一个或多个。对准层302、融合层304和重建层306可以串联应用，而上采样层308可以与对准层302和融合层304并联应用。
在一些实施例中，对准层302可以被配置为在特征级对准一组多时间图像以生成一组对准特征映射。下面参考图3B更详细地描述对准层302。融合层304可以被配置为将该组对准特征映射与时间注意和空间注意融合，以生成该组多时间图像的一组时间-空间-注意调制的特征。下面参考图3C更详细地描述融合层304。
重构层306可以被配置为从时间-空间-注意调制特征的组中重构图像残差。例如，重建层306可以包括残差块的级联或在单图像超分辨率技术中的任何其它高级重建模块。该组时间-空间-注意调制特征可以通过重建层306以产生图像残差。
重建层306还可以被配置为基于该组多时间图像中的图像残差和参考图像来生成第一输出图像。例如，上采样层308可以对参考图像进行上采样，以生成具有第一输出分辨率的直接上采样图像。重构层306可以对图像残差进行上采样，以生成具有第一输出分辨率的上采样图像残差，并且可以将上采样图像残差与直接上采样图像相加，以产生第一输出图像。根据本公开，参考图像可以是该组多时间图像中的任何图像。例如，参考图像可以是从NAIP数据源生成的NAIP输入图像或从Sentinel-2数据源生成的Sentinel-2输入图像。
图3B示出了根据本公开的实施例的由多时间神经网络模型中的对准层302执行的操作的示例性流程。在一些实施例中，对准层302可以被配置为将一组多时间图像中的每个图像的特征与该组多时间图像中的参考图像的特征对准。在图3B中，示出了具有级L1、L2和L3的三级金字塔。
在一些实施例中，对于该组多时间图像中的每个图像，对准层302可以通过使用跨距卷积滤波器将图像下采样2倍来生成第一级L1处的特征映射。对于具有2≤S≤3的第S级，对准层302可以通过使用跨卷积滤波器将第(S-1)级的特征映射下采样2倍来生成第S级的特征映射。例如，对于参考图像，可以生成第一级L1的特征映射312、第二级L2的特征映射322和第三级L3的特征映射332。对于要与参考图像对准的图像，可以生成第一级L1的特征映射314、第二级L2的特征映射324和第三级L3的特征映射334。
在第三级L3，对准层302可以基于参考图像的特征映射332和待对准图像的特征映射334的连结来生成偏移336。对准层302可以基于待对准图像的特征映射334的可变形卷积(DConv)和第三级L3的偏移336生成第三级L3处的对准特征映射338。
在具有1≤S≤2的第S级(例如，L1或L2级)处，对准层302可基于以下在第S级处产生偏移：(1)第S层级的参考图像的特征映射和第S层级的待对准图像的特征映射的连结；以及(2)第(S+1)级偏移的2倍(×2)上采样。例如，在第二级L2处的偏移326是基于以下产生：(1)参考图像的特征映射322和待对准图像的特征映射324的连结；以及(2)第三级L3处的偏移336的2倍(×2)上采样。类似地，可以产生第一电平L1处的偏移316。
在具有1≤S≤2的第S级(例如，L1或L2级)处，对准层302可基于以下在第S级处产生对准特征映射：(1)在第S级处待对准的图像的特征映射与在第S级处的偏移的可变形卷积；以及(2)第(S+1)级的对准特征映射的2倍(×2)上采样。例如，在第二级L2处的对准特征映射328基于以下产生：(1)在第二级L2处的待对准图像的特征映射324和偏移326的可变形连结；以及(2)在第三级L3的对准特征映射338的2倍(×2)上采样。类似地，可以生成第一级L1处的对准特征映射318。
可以基于参考图像的特征映射312和第一水平L1处的对准特征映射318的连结来生成第一水平L1之上的偏移340。对准层302输出的待对准图像的对准特征映射342可以基于对准特征映射318和偏移340的可变形卷积来生成。
通过执行类似于上述图3B的操作，对准层302可以为该组多时间图像生成一组对准特征映射。例如，如果该组多时间图像包括NAIP输入图像和一个或多个Sentinel-2输入图像，则对准层302可以将每个Sentinel-2输入图像的特征与NAIP输入图像的特征对准，以生成该组对准特征映射。结果，可以减少或消除每个Sentinel-2输入图像和NAIP输入图像之间的失配或未对准。
与图3B一致，对准层302使用可变形卷积来在特征级将该组多时间图像中的每个图像与参考图像对准。这种对准可以以粗到细的方式进行。具体地，使用金字塔结构，其首先将较低标度中的特征与粗略估计对准，然后将偏移和对准特征映射传播到较高标度。在金字塔形对准操作之后的附加可变形卷积341用于进一步提高对准的鲁棒性。
图3C示出了根据本公开的实施例在多时间神经网络模型中由融合层304执行的操作的示例性流程。在一些实施例中，融合层304从对准层302接收一组多时间图像的一组对准特征映射342A、…、342N。
融合层304可以为该组多时间图像中的每个图像生成时间注意映射。具体地，融合层304可以基于图像的对准特征映射和参考图像的对准特征映射来计算图像和参考图像之间的相似距离。直观地，更类似于参考图像的图像可以被更多地注意。相似距离可用作图像的时间注意映射。例如，可以基于第一图像的对准特征映射342A和参考图像的对准特征映射来计算第一图像的时间注意映射364A。类似地，可以计算第二图像的时间注意映射364N。
融合层304可以通过以像素方式将图像的对准特征映射与图像的时间注意映射相乘来为每个图像生成时间注意调制的特征映射。例如，可以通过以像素方式将第一图像的对准特征映射342A与第一图像的时间注意映射364A相乘来生成第一图像的时间注意调制特征映射366A。类似地，可以为第二图像生成时间注意调制特征映射366N。
接下来，融合层304可以应用融合卷积层368来聚合与该组多时间图像相关联的所有时间注意调制特征映射，以生成融合特征370。融合层304可以从融合特征370计算空间注意掩模372。融合层304可以通过逐元素乘法和加法用空间注意掩模372调制融合特征370，以输出一组时间-空间-注意调制特征374。
与图3C一致，通过融合层304的应用，可以在时间维度以及空间维度上向该组多时间图像中的特征提供不同的权重。因此，通过将多时间图像输入到多时间神经网络模型中，可以解决由云、雾、雾气等的阻碍引起的遮挡问题。例如，可以通过计算图像和参考图像之间的相似距离来获得图像的时间注意映射。然后，图像的时间注意映射可以与图像的对准特征映射相乘，其等效于调整图像的权重以用于遮挡减少和分辨率增强。
图4示出了根据本公开的实施例的包括在深度学习模型中的单图像神经网络模型(例如，单图像神经网络模型206)的示例性结构的示意图400。单图像神经网络模型可以包括卷积402、块系列403、卷积406、上采样操作408以及卷积410和412中的一个或多个。卷积402、块序列403、卷积406、上采样操作408以及卷积410和412被串行应用。块系列403可以包括串行应用的基本块404A、404B、…、404N。每个基本块可以是残差块、密集块或残差中残差密集块。单图像神经网络模型以具有第一输出分辨率的图像作为输入，并产生具有第二输出分辨率的第二输出图像。
图5是根据本公开的实施例的用于遥感中的超分辨率图像处理的示例性方法500的流程图。方法500可以由系统101，特别是训练数据生成器105和训练模块106来实现，并且可以包括如下所述的步骤502-510。一些步骤可以是任选的以执行本文提供的公开内容。此外，一些步骤可以同时执行，或者以与图5所示不同的顺序执行。
在步骤502，训练数据生成器105从一个或多个数据源生成具有输入分辨率的一组或多组多时间图像和具有第一输出分辨率的一个或多个第一目标图像。
在步骤504，训练数据发生器105处理每组多时间图像，以改善相应组多时间图像中的图像匹配。例如，可以在每组多时间图像中执行直方图匹配。
在步骤506，训练数据生成器105将所述一组或多组多时间图像与所述一个或多个第一目标图像相关联，以生成训练数据集。
在步骤508，训练模块106使用训练数据集训练深度学习模型。例如，训练模块106将每组多时间图像馈送到深度学习模型并评估深度学习模型的性能。可以基于深度学习模型的性能来更新深度学习模型的权重。
在步骤510，训练模块106提供用于后续超分辨率图像处理的深度学习模型。例如，训练模块106可以将经过训练的深度学习模型存储在存储装置104中，使得经过训练的深度学习模型可以用于后续超分辨率图像处理。
图6是根据本公开的实施例的用于生成第一目标图像和一组多时间图像的示例性方法600的流程图。方法600可以由系统101，特别是训练数据生成器105来实现，并且可以包括如下所述的步骤602-612。在一些实施例中，可以执行方法600来实现图5中的步骤502。一些步骤可以是任选的以执行本文提供的公开内容。此外，一些步骤可以同时执行，或者以与图6所示不同的顺序执行。
在步骤602，训练数据生成器105从第一数据源获得具有第一源分辨率的源图像。
在步骤604，训练数据生成器105对源图像进行下采样，以生成具有第一输出分辨率的第一目标图像。
在步骤606，训练数据生成器105确定第一目标图像的位置。例如，该位置可以是在第一目标图像中捕获的风景的中心点的地理位置。
在步骤608，训练数据生成器105对第一目标图像进行下采样，以生成具有输入分辨率的第一遥感图像。
在步骤610，训练数据生成器105基于第一目标图像的位置从第二数据源获得具有输入分辨率的一个或多个第二遥感图像。
在步骤612，训练数据生成器105聚合第一遥感图像和一个或多个第二遥感图像以生成一组多时间图像。
图7是根据本公开的实施例的用于使用训练数据集来训练深度学习模型的示例性方法700的流程图。方法700可以由系统101，特别是训练模块106来实现，并且可以包括如下所述的步骤702-712。在一些实施例中，可以执行方法700来实现图5中的步骤508。一些步骤可以是任选的以执行本文提供的公开内容。此外，一些步骤可以同时执行，或者以与图7所示不同的顺序执行。
在步骤702，训练模块106将每组多时间图像馈送到多时间神经网络模型以生成相应第一输出图像。结果，为所述一组或多组多时间图像生成具有第一输出分辨率的一个或多个第一输出图像。
在步骤704，训练模块106基于一个或多个第一输出图像与一个或多个第一目标图像之间的比较来评估多时间神经网络模型，以产生第一评估结果。
在步骤706，训练模块106基于第一评估结果更新多时间神经网络模型。例如，基于第一评估结果更新多时间神经网络模型的一个或多个权重。
在步骤708，训练模块106将每个第一目标图像馈送到单图像神经网络模型，以生成具有第二输出分辨率的相应第二输出图像。结果，为一个或多个第一目标图像生成具有第二输出分辨率的一个或多个第二输出图像。
在步骤710，训练模块106基于一个或多个第二输出图像与一个或多个第二目标图像之间的比较来评估单图像神经网络模型，以产生第二评估结果。
在步骤712，训练模块106基于第二评估结果更新单图像神经网络模型。例如，基于第二评估结果更新单图像神经网络模型的一个或多个权重。
图8示出了根据本公开的实施例的用于响应于用户查询而提供高分辨率遥感图像的操作的示例性流程800。用户可以在用户设备112上操作以向查询模块107提供用户输入。用户输入可以指定一个或多个参数，诸如地理位置的坐标、时间(例如，年的日期)等。
查询模块107可执行片选择操作802以基于用户输入从数据源(例如，Sentinel-2数据源)选择一组图像片。例如，每个图像片可以在用户指定的地理位置捕获场景或风景。该组图像片由相机在接近用户指定时间的时间窗口内拍摄。例如，该组图像片在用户指定日期的±15天内拍摄。
查询模块107可以执行多时间数据生成操作804，以从该组图像片生成多时间图像的输入组。例如，由于每个图像片可以覆盖10,000平方米的区域，查询模块107可以从该组图像片中提取多时间图像的输入组。多时间图像的输入组可以包括来自该组图像片的一组图像部分，并且集中于用户指定的地理位置。
例如，如果用户指定的地理位置被每个单个图像片覆盖，则可以提取聚焦在用户指定的地理位置上的每个图像片的一部分，以在多时间图像的输入组中形成尺寸为P0×P0的图像。P0是正整数。在另一示例中，如果用户指定的地理位置被多个图像片覆盖，则可从多个图像片中提取聚焦在地理位置上的多个图像片的部分，并可将其拼接在一起以形成针对多时间图像的输入组的尺寸为P0×P0的图像。可以将获取多时间图像的输入组的地理位置和时间存储在存储装置104中。
可选地，查询模块107可以执行图像去云或去雾操作806以去除多时间图像的输入组中的云或雾，从而可以提高多时间图像的输入组的清晰度。
在一些实施例中，假设深度学习模型的每个输入图像可以具有T0×T0(例如，256*256)的尺寸，其中T0<P0。查询模块107可以执行图像裁剪操作808，以将多时间图像的输入组划分为具有T0×T0大小的一组或多组多时间图像。查询模块107可以执行馈送操作810，以将每组多时间图像输入到深度学习模型，并从深度学习模型获得尺寸为P1×P1(例如，1024*1024或4096*4096)的相应输出图像，其中P1>T0。结果，可以为所述一组或多组多时间图像生成一个或多个输出图像。取决于如上参考图2所述的深度学习模型的结构，每个输出图像可以是具有第一输出分辨率的图像或具有第二输出分辨率的图像。
查询模块107可以执行图像合并操作812以将一个或多个输出图像合并在一起以形成高分辨率遥感图像。例如，可以将一个或多个输出图像拼接在一起以形成高分辨率遥感图像。高分辨率遥感图像可以具有第一输出分辨率或第二输出分辨率，这取决于深度学习模型的结构。查询模块107然后可以向用户设备112提供高分辨率遥感图像。
图9是根据本公开的实施例的用于提供高分辨率遥感图像的示例性方法900的流程图。方法900可以由系统101，特别是查询模块107来实现，并且可以包括如下所述的步骤902-908。一些步骤可以是任选的以执行本文提供的公开内容。此外，一些步骤可以同时执行，或者以与图9所示不同的顺序执行。
在步骤902，查询模块107接收与场景相关联的一个或多个参数。例如，一个或多个参数可以包括地理位置、年的日期、年的月份等中的一个或多个。
在步骤904，查询模块107基于一个或多个参数确定多时间图像的输入组。例如，查询模块107可以执行上面参考图8描述的操作802和804，以确定多时间图像的输入组。
在步骤906，查询模块107将多时间图像的输入组应用于深度学习模型以生成高分辨率遥感图像。例如，查询模块107可以执行以上参考图8描述的操作806、808、810和812中的一个或多个，以生成高分辨率遥感图像。
在步骤908，查询模块107提供高分辨率遥感图像。例如，查询模块107可以向用户设备112提供高分辨率遥感图像，使得用户设备112可以向用户呈现高分辨率遥感图像。
图10是示出根据本公开的实施例的对一组示例性多时间图像执行的直方图匹配的图形表示1000。图10中的直方图匹配是相对于红色通道来说明的。图1002示出了Sentinel-2输入图像的直方图1004和累积直方图1006。图1012示出NAIP输入图像的直方图1014和累积直方图1016。在执行直方图匹配之后，图1022示出匹配的Sentinel-2输入图像的直方图1024和累积直方图1026。匹配的Sentinel-2输入图像的累积直方图1026与NAIP输入图像的累积直方图1016匹配。
图11是示出根据本公开的实施例的多时间神经网络模型的示例性性能的图形表示1100。图像1102包括在一组分辨率为10米的多时间图像中。该组多时间图像被输入到多时间神经网络模型以产生具有2.5米分辨率的图像1104。图像1104具有比图像1102更高的分辨率。
图12是示出根据本公开的实施例的单图像神经网络模型的示例性性能的图形表示1200。图像1202具有2.5米的分辨率并被输入到单图像神经网络模型。图像1204是来自单图像神经网络模型的分辨率为0.625米的输出图像。图像1204具有比图像1202更高的分辨率。
本公开的另一方面涉及一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使得一个或多个处理器执行如上所述的方法。计算机可读介质可以包括易失性或非易失性、磁性、半导体、磁带、光学、可移动、不可移动或其它类型的计算机可读介质或计算机可读存储设备。例如，如所公开的，计算机可读介质可以是存储有计算机指令的存储设备或存储器模块。在一些实施例中，计算机可读介质可以是其上存储有计算机指令的盘或闪存驱动器。
根据本公开的一个方面，公开了一种用于遥感中的超分辨率图像处理的方法。从一个或多个数据源生成具有输入分辨率的一组或多组多时间图像和具有第一输出分辨率的一个或多个第一目标图像。第一输出分辨率高于输入分辨率。对每组多时间图像进行处理，以改善相应组多时间图像中的图像匹配。所述一组或多组多时间图像与所述一个或多个第一目标图像相关联以生成训练数据集。使用训练数据集来训练深度学习模型。深度学习模型被提供用于后续超分辨率图像处理。
在一些实施例中，每组多时间图像包括在第一时间从第一数据源捕获的具有输入分辨率的第一遥感图像。每组多时间图像还包括在一个或多个第二时间从第二数据源捕获的具有输入分辨率的一个或多个第二遥感图像。
在一些实施例中，处理每组多时间图像以改善相应组多时间图像中的图像匹配包括在第一遥感图像和一个或多个第二遥感图像之间执行直方图匹配，使得第一遥感图像和每个第二遥感图像之间的颜色差异被修改为在预定范围内。
在一些实施例中，从所述一个或多个数据源生成所述一组或多组多时间图像和所述一个或多个第一目标图像包括：对于每组多时间图像和与相应组多时间图像相关联的第一目标图像，从第一数据源生成第一目标图像；以及从所述第一数据源和所述第二数据源生成相应组多时间图像。第一数据源包括具有第一源分辨率的遥感图像。第二数据源包括具有第二源分辨率的遥感图像。
在一些实施例中，从第一数据源生成第一目标图像包括：从第一数据源获得具有第一源分辨率的源图像；以及对所述源图像进行下采样以生成具有所述第一输出分辨率的所述第一目标图像。第一源分辨率高于第一输出分辨率。
在一些实施例中，从第一数据源和第二数据源生成相应组多时间图像包括：确定第一目标图像的位置；对第一目标图像进行下采样以生成具有所述输入分辨率的第一遥感图像；基于第一目标图像的位置从第二数据源获得具有输入分辨率的一个或多个第二遥感图像；以及聚合所述第一遥感图像和所述一个或多个第二遥感图像以生成相应组多时间图像。
在一些实施例中，深度学习模型包括多时间神经网络模型，其被配置为处理每组多时间图像以生成具有第一输出分辨率的相应第一输出图像。
在一些实施例中，使用所述训练数据集来训练所述深度学习模型包括：将每组多时间图像馈送到所述多时间神经网络模型以生成具有所述第一输出分辨率的相应第一输出图像，从而为所述一组或多组多时间图像生成具有所述第一输出分辨率的一个或多个第一输出图像；基于所述一个或多个第一输出图像与所述一个或多个第一目标图像之间的比较来评估所述多时间神经网络模型以产生第一评估结果；以及基于所述第一评估结果更新所述多时间神经网络模型。
在一些实施例中，将每组多时间图像馈送到多时间神经网络模型以生成相应第一输出图像包括：在特征级对准相应组多时间图像以生成一组对准特征映射；将该组对准特征映射与时间注意和空间注意融合，以生成用于相应组多时间图像的一组时间-空间-注意调制特征；从该组时间-空间-注意调制特征中重构图像残差；以及基于所述相应组多时间图像中的所述图像残差和参考图像来生成所述相应第一输出图像。
在一些实施例中，深度学习模型还包括级联到多时间神经网络模型的单图像神经网络模型。单图像神经网络模型被配置为处理具有第一输出分辨率的输入图像以生成具有第二输出分辨率的第二输出图像。第二输出分辨率高于第一输出分辨率。
在一些实施例中，训练数据集还包括具有第二输出分辨率的一个或多个第二目标图像。使用所述训练数据集来训练所述深度学习模型还包括：将每个第一目标图像馈送到所述单图像神经网络模型以生成具有所述第二输出分辨率的相应第二输出图像，从而为所述一个或多个第一目标图像生成具有所述第二输出分辨率的一个或多个第二输出图像；基于所述一个或多个第二输出图像与所述一个或多个第二目标图像之间的比较来评估所述单图像神经网络模型以产生第二评估结果；以及基于所述第二评估结果更新所述单图像神经网络模型。
在一些实施例中，接收与场景相关联的一个或多个参数。基于所述一个或多个参数来确定多时间图像的输入组。多时间图像的输入组包括在场景的一组时间捕获的具有输入分辨率的一组遥感图像。将多时间图像的输入组应用于深度学习模型以生成高分辨率遥感图像。高分辨率遥感图像具有高于输入分辨率的分辨率。
在一些实施例中，深度学习模型包括多时间神经网络模型。将多时间图像的输入组应用于深度学习模型以生成高分辨率遥感图像包括将多时间图像的输入组馈送到多时间神经网络模型以生成具有第一输出分辨率的高分辨率遥感图像。
在一些实施例中，深度学习模型包括多时间神经网络模型和单图像神经网络模型。向所述深度学习模型应用多时间图像的输入组以生成所述高分辨率遥感图像包括：将多时间图像的输入组馈送到多时间神经网络模型以生成具有第一输出分辨率的中间输出图像；以及将所述中间输出图像馈送到所述单图像神经网络模型，以生成具有第二输出分辨率的高分辨率遥感图像。
根据本公开的另一方面，公开了一种用于遥感中的超分辨率图像处理的系统。该系统包括存储器和处理器。所述存储器被配置为存储指令。所述处理器联接到所述存储器并且被配置为执行所述指令以执行包括以下的过程：从一个或多个数据源生成具有输入分辨率的一组或多组多时间图像和具有第一输出分辨率的一个或多个第一目标图像；处理每组多时间图像以改善相应组多时间图像中的图像匹配；将所述一组或多组多时间图像与所述一个或多个第一目标图像相关联以生成训练数据集；使用所述训练数据集来训练深度学习模型；以及提供用于后续超分辨率图像处理的深度学习模型。第一输出分辨率高于输入分辨率。
在一些实施例中，每组多时间图像包括：在第一时间从第一数据源捕获的具有输入分辨率的第一遥感图像；以及在一个或多个第二时间从第二数据源捕获的具有输入分辨率的一个或多个第二遥感图像。
在一些实施例中，为了处理每组多时间图像以改善相应组多时间图像中的图像匹配，处理器被配置为执行指令以执行进一步包括以下步骤的处理：在所述第一遥感图像和所述一个或多个第二遥感图像之间执行直方图匹配，使得所述第一遥感图像和每个第二遥感图像之间的颜色差异被修改为在预定范围内。
在一些实施例中，为了从所述一个或多个数据源生成所述一组或多组多时间图像和所述一个或多个第一目标图像，所述处理器被配置为执行所述指令以执行进一步包括以下的过程：对于每组多时间图像和与相应一组多时间图像相关联的第一目标图像，从第一数据源生成第一目标图像；以及从所述第一数据源和所述第二数据源生成相应组多时间图像。第一数据源包括具有第一源分辨率的遥感图像。第二数据源包括具有第二源分辨率的遥感图像。
在一些实施例中，为了从第一数据源生成第一目标图像，处理器被配置为执行指令以执行该过程还包括：从第一数据源获得具有第一源分辨率的源图像；以及对所述源图像进行下采样以生成具有所述第一输出分辨率的所述第一目标图像。第一源分辨率高于第一输出分辨率。
在一些实施例中，为了从第一数据源和第二数据源生成相应组多时间图像，处理器被配置为执行指令以执行进一步包括以下的过程：确定第一目标图像的位置；对第一目标图像进行下采样以生成具有所述输入分辨率的第一遥感图像；基于第一目标图像的位置从第二数据源获得具有输入分辨率的一个或多个第二遥感图像；以及聚合所述第一遥感图像和所述一个或多个第二遥感图像以生成相应组多时间图像。
在一些实施例中，深度学习模型包括多时间神经网络模型，其被配置为处理每组多时间图像以生成具有第一输出分辨率的相应第一输出图像。
在一些实施例中，为了使用所述训练数据集来训练所述深度学习模型，所述处理器被配置为执行所述指令以执行所述过程还包括：将每组多时间图像馈送到所述多时间神经网络模型以生成具有所述第一输出分辨率的相应第一输出图像，从而为所述一组或多组多时间图像生成具有所述第一输出分辨率的一个或多个第一输出图像；基于所述一个或多个第一输出图像与所述一个或多个第一目标图像之间的比较来评估所述多时间神经网络模型以产生第一评估结果；以及基于所述第一评估结果更新所述多时间神经网络模型。
在一些实施例中，为了将每组多时间图像馈送到第一神经网络模型以生成相应第一输出图像，处理器被配置为执行指令以执行进一步包括以下的过程：在特征级对准相应组多时间图像以生成一组对准特征映射；将该组对准特征映射与时间注意和空间注意融合以生成一组多时间图像的一组时间-空间-注意调制特征；从该组时间-空间-注意调制特征中重构图像残差；以及基于所述相应组多时间图像中的所述图像残差和参考图像来生成所述相应第一输出图像。
在一些实施例中，深度学习模型还包括级联到多时间神经网络模型的单图像神经网络模型。单图像神经网络模型被配置为处理具有第一输出分辨率的输入图像以生成具有第二输出分辨率的第二输出图像。第二输出分辨率高于第一输出分辨率。
在一些实施例中，训练数据集还包括具有第二输出分辨率的一个或多个第二目标图像。为了使用所述训练数据集来训练所述深度学习模型，所述处理器被配置为执行所述指令以执行所述过程还包括：将每个第一目标图像馈送到所述单图像神经网络模型以生成具有所述第二输出分辨率的相应第二输出图像，从而为所述一个或多个第一目标图像生成具有所述第二输出分辨率的一个或多个第二输出图像；基于所述一个或多个第二输出图像与所述一个或多个第二目标图像之间的比较来评估所述单图像神经网络模型以产生第二评估结果；以及基于第二评估结果更新第二神经网络模型。
在一些实施例中，所述处理器被配置为执行所述指令以执行所述过程还包括：接收与场景相关联的一个或多个参数；基于所述一个或多个参数确定多时间图像的输入组，其中所述多时间图像的输入组包括在所述场景的一组时间捕获的具有所述输入分辨率的一组遥感图像；将多时间图像的输入组应用于深度学习模型，生成高分辨率遥感图像。高分辨率遥感图像具有高于输入分辨率的分辨率。
在一些实施例中，深度学习模型包括多时间神经网络模型。为了将多时间图像的输入组应用于深度学习模型以生成高分辨率遥感图像，处理器被配置为执行指令以执行进一步包括以下的过程：将多时间图像的输入组馈送到多时间神经网络模型，以生成具有第一输出分辨率的高分辨率遥感图像。
在一些实施例中，深度学习模型包括多时间神经网络模型和单图像神经网络模型。为了将多时间图像的输入组应用于深度学习模型以生成高分辨率遥感图像，处理器被配置为执行指令以执行进一步包括以下的过程：将多时间图像的输入组馈送到多时间神经网络模型以生成具有第一输出分辨率的中间输出图像；以及将所述中间输出图像馈送到所述单图像神经网络模型，以生成具有第二输出分辨率的高分辨率遥感图像。
根据本公开的又一方面，公开了一种非暂时性计算机可读存储介质。所述非暂时性计算机可读存储介质被配置为存储指令，所述指令响应于处理器的执行而使所述处理器执行包括以下的过程：从一个或多个数据源生成具有输入分辨率的一组或多组多时间图像和具有第一输出分辨率的一个或多个第一目标图像；处理每组多时间图像以改善相应组多时间图像中的图像匹配；将所述一组或多组多时间图像与所述一个或多个第一目标图像相关联以生成训练数据集；使用所述训练数据集来训练深度学习模型；以及提供用于后续超分辨率图像处理的深度学习模型。第一输出分辨率高于输入分辨率。
特定实现的上述描述可以容易地修改和/或适应于各种应用。因此，基于在此呈现的教导和指导，这种适配和修改旨在处于所公开的实现的等效物的含义和范围内。
本公开的广度和范围不应受任何上述示例性实现的限制，而应仅根据所附权利要求及其等同物来定义。

Claims (20)

1.一种用于遥感中超分辨率图像处理的方法，包括：
从一个或多个数据源生成具有输入分辨率的一组或多组多时间图像和具有第一输出分辨率的一个或多个第一目标图像，其中所述第一输出分辨率高于所述输入分辨率；
处理每组多时间图像以改善相应组多时间图像中的图像匹配；
将所述一组或多组多时间图像与所述一个或多个第一目标图像相关联以生成训练数据集；
使用所述训练数据集来训练深度学习模型；以及
提供用于后续超分辨率图像处理的深度学习模型。
2.根据权利要求1所述的方法，其中每组多时间图像包括：
在第一时间从第一数据源捕获的具有输入分辨率的第一遥感图像；以及
在一个或多个第二时间从第二数据源捕获具有输入分辨率的一个或多个第二遥感图像。
3.根据权利要求2所述的方法，其中处理每组多时间图像以改善所述相应组多时间图像中的图像匹配包括：
在所述第一遥感图像和所述一个或多个第二遥感图像之间执行直方图匹配，使得所述第一遥感图像和每个第二遥感图像之间的颜色差异被修改为在预定范围内。
4.根据权利要求2所述的方法，其中从所述一个或多个数据源生成所述一组或多组多时间图像和所述一个或多个第一目标图像包括：
对于每组多时间图像和与相应组多时间图像相关联的第一目标图像，
从所述第一数据源生成所述第一目标图像，其中所述第一数据源包括具有第一源分辨率的遥感图像；以及
从所述第一数据源和所述第二数据源生成相应组多时间图像，其中第二数据源包括具有第二源分辨率的遥感图像。
5.根据权利要求4所述的方法，其中从所述第一数据源生成所述第一目标图像包括：
从第一数据源获取具有第一源分辨率的源图像，其中第一源分辨率高于第一输出分辨率；以及
对所述源图像进行下采样以生成具有所述第一输出分辨率的所述第一目标图像。
6.根据权利要求4所述的方法，其中从所述第一数据源和所述第二数据源生成相应组多时间图像包括：
确定第一目标图像的位置；
对第一目标图像进行下采样以生成具有所述输入分辨率的第一遥感图像；
基于第一目标图像的位置从第二数据源获得具有输入分辨率的一个或多个第二遥感图像；以及
聚合所述第一遥感图像和所述一个或多个第二遥感图像以生成相应组多时间图像。
7.根据权利要求1所述的方法，其中所述深度学习模型包括多时间神经网络模型，所述多时间神经网络模型被配置为处理每组多时间图像以生成具有所述第一输出分辨率的相应第一输出图像。
8.根据权利要求7所述的方法，其中使用所述训练数据集训练所述深度学习模型包括：
将每组多时间图像馈送到所述多时间神经网络模型以生成具有所述第一输出分辨率的相应第一输出图像，从而为所述一组或多组多时间图像生成具有所述第一输出分辨率的一个或多个第一输出图像；
基于所述一个或多个第一输出图像与所述一个或多个第一目标图像之间的比较来评估所述多时间神经网络模型以产生第一评估结果；以及
基于所述第一评估结果更新所述多时间神经网络模型。
9.根据权利要求8所述的方法，其中将每组多时间图像馈送到所述多时间神经网络模型以生成所述相应第一输出图像包括：
在特征级对准相应组多时间图像以生成一组对准特征映射；
将所述组对准特征映射与时间注意和空间注意融合，以生成用于相应组多时间图像的一组时间-空间-注意调制特征；
从所述组时间-空间-注意调制特征中重构图像残差；以及
基于所述相应组多时间图像中的所述图像残差和参考图像来生成所述相应第一输出图像。
10.根据权利要求7所述的方法，其中所述深度学习模型还包括级联到所述多时间神经网络模型的单图像神经网络模型。
其中所述单图像神经网络模型被配置为处理具有所述第一输出分辨率的输入图像以生成具有第二输出分辨率的第二输出图像，以及
其中第二输出分辨率高于第一输出分辨率。
11.根据权利要求10所述的方法，其中所述训练数据集还包括具有所述第二输出分辨率的一个或多个第二目标图像，以及
其中使用所述训练数据集来训练所述深度学习模型进一步包括：
将每个第一目标图像馈送到所述单图像神经网络模型以生成具有所述第二输出分辨率的相应第二输出图像，从而为所述一个或多个第一目标图像生成具有所述第二输出分辨率的一个或多个第二输出图像；
基于所述一个或多个第二输出图像与所述一个或多个第二目标图像之间的比较来评估所述单图像神经网络模型以产生第二评估结果；以及
基于所述第二评估结果更新所述单图像神经网络模型。
12.根据权利要求1所述的方法，进一步包括：
接收与场景相关联的一个或多个参数；
基于所述一个或多个参数确定多时间图像的输入组，其中所述多时间图像的输入组包括在所述场景的一组时间捕获的具有所述输入分辨率的一组遥感图像；以及
将所述多时间图像的输入组应用于所述深度学习模型以生成高分辨率遥感图像，其中所述高分辨率遥感图像具有高于所述输入分辨率的分辨率。
13.根据权利要求12所述的方法，其中所述深度学习模型包括多时间神经网络模型，以及
其中将多时间图像的输入组应用于深度学习模型以生成高分辨率遥感图像包括：
将多时间图像的输入组馈送到多时间神经网络模型，以生成具有第一输出分辨率的高分辨率遥感图像。
14.根据权利要求12所述的方法，其中所述深度学习模型包括多时间神经网络模型和单图像神经网络模型，以及
其中将多时间图像的输入组应用于深度学习模型以生成高分辨率遥感图像包括：
将多时间图像的输入组馈送到多时间神经网络模型以生成具有第一输出分辨率的中间输出图像；以及
将所述中间输出图像馈送到所述单图像神经网络模型，以生成具有第二输出分辨率的高分辨率遥感图像。
15.一种用于遥感中超分辨率图像处理的系统，包括：
存储器，其被配置为存储指令；以及
处理器，其被联接到所述存储器上并且被配置为执行所述指令以执行过程，所述过程包括：
从一个或多个数据源生成具有输入分辨率的一组或多组多时间图像和具有第一输出分辨率的一个或多个第一目标图像，其中所述第一输出分辨率高于所述输入分辨率；
处理每组多时间图像以改善相应组多时间图像中的图像匹配；
将所述一组或多组多时间图像与所述一个或多个第一目标图像相关联以生成训练数据集；
使用所述训练数据集来训练深度学习模型；以及
提供用于后续超分辨率图像处理的深度学习模型。
16.根据权利要求15所述的系统，其中每组多时间图像包括：
在第一时间从第一数据源捕获的具有输入分辨率的第一遥感图像；以及
在一个或多个第二时间从第二数据源捕获具有输入分辨率的一个或多个第二遥感图像。
17.根据权利要求16所述的系统，其中为了处理每组多时间图像以改善所述相应组多时间图像中的图像匹配，所述处理器被配置为执行所述指令以执行所述过程还包括：
在所述第一遥感图像和所述一个或多个第二遥感图像之间执行直方图匹配，使得所述第一遥感图像和每个第二遥感图像之间的颜色差异被修改为在预定范围内。
18.根据权利要求16所述的系统，其中为了从所述一个或多个数据源生成所述一组或多组多时间图像和所述一个或多个第一目标图像，所述处理器被配置为执行所述指令以执行进一步包括以下的过程：
对于每组多时间图像和与相应组多时间图像相关联的第一目标图像，
从所述第一数据源生成所述第一目标图像，其中所述第一数据源包括具有第一源分辨率的遥感图像；以及
从所述第一数据源和所述第二数据源生成相应组多时间图像，其中第二数据源包括具有第二源分辨率的遥感图像。
19.根据权利要求18所述的系统，其中为了从所述第一数据源生成所述第一目标图像，所述处理器被配置为执行所述指令以执行进一步包括以下的过程：
从第一数据源获取具有第一源分辨率的源图像，其中第一源分辨率高于第一输出分辨率；以及
对所述源图像进行下采样以生成具有所述第一输出分辨率的所述第一目标图像。
20.一种被配置为存储指令的非暂时性计算机可读存储介质，所述指令响应于处理器的执行而使所述处理器执行包括以下的过程：
从一个或多个数据源生成具有输入分辨率的一组或多组多时间图像和具有第一输出分辨率的一个或多个第一目标图像，其中所述第一输出分辨率高于所述输入分辨率；
处理每组多时间图像以改善相应组多时间图像中的图像匹配；
将所述一组或多组多时间图像与所述一个或多个第一目标图像相关联以生成训练数据集；
使用所述训练数据集来训练深度学习模型；以及
提供用于后续超分辨率图像处理的深度学习模型。
CN202280011996.9A 2021-06-21 2022-04-29 用于遥感中的超分辨率图像处理的系统和方法 Pending CN116917929A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/353792 2021-06-21
US17/353,792 US11830167B2 (en) 2021-06-21 2021-06-21 System and method for super-resolution image processing in remote sensing
PCT/CN2022/090227 WO2022267693A1 (en) 2021-06-21 2022-04-29 System and method for super-resolution image processing in remote sensing

Publications (1)

Publication Number Publication Date
CN116917929A true CN116917929A (zh) 2023-10-20

Family

ID=84489345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280011996.9A Pending CN116917929A (zh) 2021-06-21 2022-04-29 用于遥感中的超分辨率图像处理的系统和方法

Country Status (3)

Country Link
US (1) US11830167B2 (zh)
CN (1) CN116917929A (zh)
WO (1) WO2022267693A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220067879A1 (en) 2020-09-03 2022-03-03 Nvidia Corporation Image enhancement using one or more neural networks
CN113987255B (zh) * 2021-12-30 2022-04-01 南湖实验室 基于联邦学习与秘密分享的多源密文图像检索方法
CN116258971B (zh) * 2023-05-15 2023-08-08 江西啄木蜂科技有限公司 一种多源融合的林业遥感影像智能解译方法
CN116823664B (zh) * 2023-06-30 2024-03-01 中国地质大学（武汉） 一种遥感图像云去除方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10410322B2 (en) * 2017-04-05 2019-09-10 Here Global B.V. Deep convolutional image up-sampling
CN109117944B (zh) * 2018-08-03 2021-01-15 北京悦图数据科技发展有限公司 一种轮船目标遥感影像的超分辨率重建方法及系统
WO2021068176A1 (zh) * 2019-10-11 2021-04-15 安徽中科智能感知产业技术研究院有限责任公司 一种基于时序遥感数据和卷积神经网络的作物种植分布预测方法
CN112949549B (zh) * 2021-03-19 2023-04-18 中山大学 一种基于超分辨率的多分辨率遥感影像的变化检测方法

Also Published As

Publication number Publication date
US11830167B2 (en) 2023-11-28
WO2022267693A1 (en) 2022-12-29
US20220405883A1 (en) 2022-12-22

Similar Documents

Publication Publication Date Title
US11688036B2 (en) Generation of synthetic high-elevation digital images from temporal sequences of high-elevation digital images
WO2022267693A1 (en) System and method for super-resolution image processing in remote sensing
Clapuyt et al. Reproducibility of UAV-based earth topography reconstructions based on Structure-from-Motion algorithms
US10748247B2 (en) Computing high-resolution depth images using machine learning techniques
US11721067B2 (en) System and method for virtual modeling of indoor scenes from imagery
CA3104652C (en) Detection and replacement of transient obstructions from high elevation digital images
US9798928B2 (en) System for collecting and processing aerial imagery with enhanced 3D and NIR imaging capability
Piermattei et al. Suitability of ground-based SfM–MVS for monitoring glacial and periglacial processes
KR20190094405A (ko) 비디오 기반 위치결정 및 매핑을 위한 방법 및 시스템
CN111436216A (zh) 用于彩色点云生成的方法和系统
US20230026811A1 (en) System and method for removing haze from remote sensing images
TW201122866A (en) Method for assisted road extrapolation from imagery
CN102317973A (zh) 用于场景解释和对准性能估计的2d电光图像和3d点云数据的融合
EP3232155A1 (en) A method and a system for building a three-dimensional model from satellite images
Kedzierski et al. Methodology of improvement of radiometric quality of images acquired from low altitudes
US20230281913A1 (en) Radiance Fields for Three-Dimensional Reconstruction and Novel View Synthesis in Large-Scale Environments
Mancini et al. High-resolution mapping of river and estuary areas by using unmanned aerial and surface platforms
Mendes et al. Photogrammetry with UAV’s: quality assessment of open-source software for generation of ortophotos and digital surface models
CN109034214B (zh) 用于生成标记的方法和装置
CN110717980A (zh) 区域三维重建方法、装置及计算机可读存储介质
Liu et al. High-spatial-resolution nighttime light dataset acquisition based on volunteered passenger aircraft remote sensing
Hinojosa Baliño Processing a detailed digital terrain model using photogrammetry and UAVS at Cerro de La Máscara, Sinaloa, Mexico
Vasile et al. Efficient city-sized 3D reconstruction from ultra-high resolution aerial and ground video imagery
KR102674806B1 (ko) 위성 데이터 결측 보완 방법 및 시스템
Girod Improved measurements of cryospheric processes using advanced photogrammetry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination