CN117115679A - 一种时空融合遥感影像对筛选方法 - Google Patents

一种时空融合遥感影像对筛选方法 Download PDF

Info

Publication number
CN117115679A
CN117115679A CN202311386173.7A CN202311386173A CN117115679A CN 117115679 A CN117115679 A CN 117115679A CN 202311386173 A CN202311386173 A CN 202311386173A CN 117115679 A CN117115679 A CN 117115679A
Authority
CN
China
Prior art keywords
resolution image
correlation
image
low
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311386173.7A
Other languages
English (en)
Other versions
CN117115679B (zh
Inventor
杜腾腾
徐春萌
张弓
顾竹
张文鹏
吴众望
张艳忠
耿琳
李冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiage Tiandi Technology Co ltd
Original Assignee
Beijing Jiage Tiandi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiage Tiandi Technology Co ltd filed Critical Beijing Jiage Tiandi Technology Co ltd
Priority to CN202311386173.7A priority Critical patent/CN117115679B/zh
Publication of CN117115679A publication Critical patent/CN117115679A/zh
Application granted granted Critical
Publication of CN117115679B publication Critical patent/CN117115679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种时空融合遥感影像对筛选方法,涉及遥感技术领域;其通过在获取高分辨率影像和低分辨率影像后,在后端引入图像处理和分析算法来进行所述低分辨率影像和所述高分辨率影像的图像分析,以此来对于两者的相关性进行度量,通过这样的方式,能够评估两者影像之间的一致性,并消除融合误差,提高融合效果,从而在时空融合遥感影像对的筛选过程中量化影像对之间的相似程度,判断它们是否具有足够的一致性进行时空融合,以此来提高时空融合流程的效率和效果。

Description

一种时空融合遥感影像对筛选方法
技术领域
本申请涉及遥感技术领域,且更为具体地,涉及一种时空融合遥感影像对筛选方法。
背景技术
遥感影像的时空融合一个集成了多时刻、多传感器遥感数据的方法,其目的是生成具有高时空分辨率的遥感影像。这一技术的核心目标是为不同的时间和空间分辨率提供一个一致性强、信息丰富的合成影像,满足多种应用需求。为了准确预测目标日期的影像,许多时空融合算法要求输入一对在相同观测日期下、并且在无云或少云条件下的高分辨率和低分辨率影像。这对影像不仅为融合算法提供了基本的空间参考,还为融合过程中的空间和光谱校准提供了重要的信息。
然而,选择合适的影像对并非易事。由于地表的动态性,同一地点在不同时间可能会呈现出不同的光谱响应。同时,云覆盖常常是遥感影像分析的主要干扰因子。为了确保融合的准确性,筛选出无云或云覆盖度极低的影像对变得至关重要。
目前,筛选过程主要依赖于人工的目视筛选,而采用传统的人工筛选手段通常包含了数据查询、下载、目视检查、数据对照等多个步骤,这使得整个过程变得既耗时又费力。并且,尽管选择无云影像对是为了保证融合效果,但完全依赖人工筛选可能忽略某些细微的差别。在影像筛选的过程中存在主观的判断,并不能反映客观的差异。此外,虽然现有的筛选方法主要关注时间差和云量信息,但高分辨率和低分辨率传感器因其观测时间和成像条件的差异,可能在同一地物上呈现出不同的光谱特征。这种光谱差异,如果未被妥善处理,有可能影响融合后的数据质量。
因此,期望一种优化的时空融合遥感影像对筛选方案。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种时空融合遥感影像对筛选方法,其通过在获取低分辨率影像和高分辨率影像后,在后端引入图像处理和分析算法来进行所述低分辨率影像和所述高分辨率影像的图像分析,以此来对于两者的相关性进行度量,通过这样的方式,能够评估两者影像之间的一致性,并消除融合误差,提高融合效果,从而在时空融合遥感影像对的筛选过程中量化影像对之间的相似程度,判断它们是否具有足够的一致性进行时空融合,以此来提高时空融合流程的效率和效果。
根据本申请的一个方面,提供了一种时空融合遥感影像对筛选方法,其包括:
查询目标范围内、目标预测日期t0向前推d天范围内的云量小于100%的高分辨率卫星的数据;
根据所述高分辨率卫星的数据,计算云量占比;
获取所述查询日期范围内的高分辨率影像数据,并进行预处理后生成目标范围的高分辨率影像;
根据高分辨率影像的日期查询获取相应的低分辨率影像数据,并进行预处理后生成目标范围的低分辨率影像;
对所述低分辨率影像和所述高分辨率影像进行相关性分析以得到相关性度量值;
基于影像的观测时间与t0时刻的时间差构建时间权重模型,并计算时间差权重;
根据所述云量占比构建云量权重模型,并计算云量权重;
基于所述时间差权重、所述云量权重和所述相关性度量值构建影像对筛选模型;
将所有数据代入所述筛选模型,求取最大值,其中,所述最大值对应时刻的高分辨率、低分辨率影像对即为筛选出的最优影像对。
与现有技术相比,本申请提供的一种时空融合遥感影像对筛选方法,其通过在获取低分辨率影像和高分辨率影像后,在后端引入图像处理和分析算法来进行所述低分辨率影像和所述高分辨率影像的图像分析,以此来对于两者的相关性进行度量,通过这样的方式,能够评估两者影像之间的一致性,并消除融合误差,提高融合效果,从而在时空融合遥感影像对的筛选过程中量化影像对之间的相似程度,判断它们是否具有足够的一致性进行时空融合,以此来提高时空融合流程的效率和效果。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的时空融合遥感影像对筛选方法的流程图;
图2为根据本申请实施例的时空融合遥感影像对筛选方法的系统架构图;
图3为根据本申请实施例的时空融合遥感影像对筛选方法的训练阶段的流程图;
图4为根据本申请实施例的时空融合遥感影像对筛选方法的子步骤S5的流程图;
图5为根据本申请实施例的时空融合遥感影像对筛选方法的子步骤S52的流程图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用,然而,任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的,并且所述系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,根据需要,可以按照倒序或同时处理各种步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
目前,筛选过程主要依赖于人工的目视筛选,而采用传统的人工筛选手段通常包含了数据查询、下载、目视检查、数据对照等多个步骤,这使得整个过程变得既耗时又费力。并且,尽管选择无云影像对是为了保证融合效果,但完全依赖人工筛选可能忽略某些细微的差别。在影像筛选的过程中存在主观的判断,并不能反映客观的差异。此外,虽然现有的筛选方法主要关注时间差和云量信息,但高分辨率和低分辨率传感器因其观测时间和成像条件的差异,可能在同一地物上呈现出不同的光谱特征。这种光谱差异,如果未被妥善处理,有可能影响融合后的数据质量。因此,期望一种优化的时空融合遥感影像对筛选方案。
在本申请的技术方案中,提出了一种时空融合遥感影像对筛选方法。图1为根据本申请实施例的时空融合遥感影像对筛选方法的流程图。图2为根据本申请实施例的时空融合遥感影像对筛选方法的系统架构图。如图1和图2所示,根据本申请的实施例的时空融合遥感影像对筛选方法,包括步骤:S1,查询目标范围内、目标预测日期t0向前推d天范围内的云量小于100%的高分辨率卫星的数据;S2,根据所述高分辨率卫星的数据,计算云量占比;
S3,获取所述查询日期范围内的高分辨率影像数据,并进行预处理后生成目标范围的高分辨率影像;S4,根据高分辨率影像的日期查询获取相应的低分辨率影像数据,并进行预处理后生成目标范围的低分辨率影像;S5,对所述低分辨率影像和所述高分辨率影像进行相关性分析以得到相关性度量值;S6,基于影像的观测时间与t0时刻的时间差构建时间权重模型,并计算时间差权重;S7,根据所述云量占比构建云量权重模型,并计算云量权重;S8,基于所述时间差权重、所述云量权重和所述相关性度量值构建影像对筛选模型;S9、将所有数据代入所述筛选模型,求取最大值,其中,所述最大值对应时刻的高分辨率、低分辨率影像对即为筛选出的最优影像对。
特别地,所述S1,查询目标范围内、目标预测日期t0向前推d天内的云量小于100%的高分辨率卫星的数据;具体的高分辨率卫星的数据为sentinel2影像数据。其中,Sentinel2影像数据是由欧洲空间局(ESA)的Copernicus计划提供的一系列地球观测卫星所获取的遥感影像数据。Sentinel2卫星系列包括多个卫星,每个卫星都搭载了不同类型的传感器,用于监测地球表面的各种环境和气象变化。
特别地,所述S2,根据所述高分辨率卫星的数据,计算云量占比;具体的,根据所述高分辨率卫星的数据对目标范围对所述sentinel2影像进行裁切,并计算裁切后所述sentinel2影像的云量占比。其中,Sentinel2影像的云量占比是指在一张Sentinel2影像中,云覆盖的区域所占的比例。应可以理解,由于云层的存在会对地表影像数据的分析和应用产生干扰,因此了解云量占比对于遥感数据的有效利用非常重要。
特别地,所述S3,获取所述查询日期范围内的高分辨率影像数据,并进行预处理后生成目标范围的高分辨率影像;具体的,先获取sentinel2分类的B04、B08影像数据。其中,在Sentinel2影像数据中,B04代表蓝色波段(Blue Band),而B08代表近红外波段(Near-Infrared Band)。这两个波段的影像数据可以用于不同的应用。然后根据所述目标范围对所述B04影像数据和所述B08影像数据裁切,并计算生成高分辨率影像;其中所述高分辨率影像可以为高分辨率NDVI影像。其中,高分辨率NDVI影像是指利用高分辨率遥感影像数据计算得到的归一化植被指数影像。
特别地,所述S4,根据高分辨率影像的日期查询获取相应的低分辨率影像数据,并进行预处理后生成目标范围的低分辨率影像;具体的,根据所述sentinel2影像数据的日期查询并获取相应的MODIS 地表反射率数据,并进行预处理后生成目标范围的低分辨率影像;其中所述低分辨率影像可以为低分辨率NDVI影像。其中,MODIS地表反射率是指MODIS传感器获取的地表在不同波段上的反射率信息。MODIS传感器覆盖了多个波段,包括可见光、近红外和短波红外等。通过测量不同波段上的反射率,可以了解地表在不同光谱范围内的反射特性。
特别地,所述S5,对所述低分辨率影像和所述高分辨率影像进行相关性分析以得到相关性度量值。特别的,在本申请的一个具体示例中,如图4所示,所述S5,包括:S51,通过基于深度神经网络模型的图像特征提取器分别对所述低分辨率影像和所述高分辨率影像进行特征提取以得到低分辨率影像多尺度特征图和高分辨率影像多尺度特征图;S52,对所述低分辨率影像多尺度特征图和所述高分辨率影像多尺度特征图进行相关性关联编码以得到低分辨率-高分辨率影像相关性特征;以及,S53,基于所述低分辨率-高分辨率影像相关性特征,确定所述相关性度量值。
具体地,所述S51,通过基于深度神经网络模型的图像特征提取器分别对所述低分辨率影像和所述高分辨率影像进行特征提取以得到低分辨率影像多尺度特征图和高分辨率影像多尺度特征图。考虑到所述在相关性分析中,不仅需要考虑到所述低分辨率影像和所述高分辨率影像的深层语义特征,还应关注与影像表面的浅层特征分布信息,因此,为了在相关性分析中考虑到所述低分辨率影像和所述高分辨率影像的不同尺度上的特征信息,以获取更全面和准确的相关性度量,在本申请的技术方案中,进一步对所述低分辨率影像和所述高分辨率影像分别通过基于金字塔网络的图像特征提取器以得到低分辨率影像多尺度特征图和高分辨率影像多尺度特征图。应可以理解,通过基于金字塔网络的图像特征提取器,可以从所述低分辨率影像和所述高分辨率影像中提取深浅多尺度特征,这些特征可以在不同层次上捕捉到影像中的不同细节和语义信息。具体来说,深层特征通常包含更高级别的语义信息,而浅层特征则更加注重细节和纹理信息。因此,在相关性分析中,通过捕捉这两者影像中的深浅多尺度特征可以更全面地捕捉所述低分辨率影像和所述高分辨率影像之间的相似性和一致性。
值得注意的是,金字塔网络(Pyramid Network)是一种深度学习架构,旨在处理具有不同尺度信息的输入数据。它的设计灵感来自于图像处理中的金字塔概念,其中图像通过多个尺度的平滑和采样操作构建。金字塔网络的主要思想是通过并行处理多个尺度的输入数据,以捕捉不同尺度的特征信息。它通常由多个分支组成,每个分支处理不同尺度的输入数据,并在不同层级上提取特征。具体来说,金字塔网络通常具有以下特点:多尺度输入:金字塔网络接受多个尺度的输入数据,这些输入可以是不同分辨率的图像或特征图。通过处理多个尺度的输入,网络可以捕捉到不同层次的细节和上下文信息;分支结构:金字塔网络通常由多个分支组成,每个分支处理一个特定尺度的输入数据。每个分支可以具有不同的网络结构和参数设置,以适应不同尺度的特征提取需求;特征融合:金字塔网络通过特征融合操作将不同尺度的特征进行整合。常见的特征融合方法包括级联、拼接、加权求和等。这样可以将多个尺度的特征信息结合起来,提供更全面和丰富的特征表示。金字塔网络在计算机视觉任务中广泛应用,如目标检测、语义分割、人体姿态估计等。
相应的,在一种可能的实现方式中,可通过以下步骤对所述低分辨率影像和所述高分辨率影像分别通过基于金字塔网络的图像特征提取器以得到低分辨率影像多尺度特征图和高分辨率影像多尺度特征图,例如:获取低分辨率影像和高分辨率影像的数据;选择适当的金字塔网络架构作为图像特征提取器。金字塔网络通常由多个分支组成,每个分支处理一个特定尺度的输入数据;将低分辨率影像输入到金字塔网络中的每个分支中。每个分支将对应尺度的输入数据进行特征提取,生成低分辨率影像的多尺度特征图;将高分辨率影像输入到金字塔网络中的每个分支中。每个分支将对应尺度的输入数据进行特征提取,生成高分辨率影像的多尺度特征图;对于每个尺度,将低分辨率影像的多尺度特征图和高分辨率影像的多尺度特征图进行特征融合操作。常见的特征融合方法包括级联、拼接、加权求和等。这样可以将不同尺度的特征信息结合起来,得到更丰富和全面的特征表示;经过特征融合后,每个尺度的特征图可以作为金字塔网络的输出。
具体地,所述S52,对所述低分辨率影像多尺度特征图和所述高分辨率影像多尺度特征图进行相关性关联编码以得到低分辨率-高分辨率影像相关性特征。特别地,在本申请的一个具体示例中,如图5所示,所述S52,包括:S521,分别计算所述低分辨率影像多尺度特征图和所述高分辨率影像多尺度特征图的对应通道的特征矩阵之间的余弦相似度以得到由多个余弦相似度组成的逐通道相关性特征向量;以及,S522,将所述逐通道相关性特征向量通过基于全连接层的相关性特征提取器以得到逐通道全连接相关性特征向量作为所述低分辨率-高分辨率影像相关性特征。
更具体地,所述S521,分别计算所述低分辨率影像多尺度特征图和所述高分辨率影像多尺度特征图的对应通道的特征矩阵之间的余弦相似度以得到由多个余弦相似度组成的逐通道相关性特征向量。在本申请的技术方案中,为了获取所述低分辨率影像多尺度特征和所述高分辨率影像多尺度特征之间的相关性特征信息,以更准确地评估影像对之间的相似程度,在本申请的技术方案中,进一步分别计算所述低分辨率影像多尺度特征图和所述高分辨率影像多尺度特征图的对应通道的特征矩阵之间的余弦相似度以得到由多个余弦相似度组成的逐通道相关性特征向量。应可以理解,通过计算所述低分辨率影像和所述高分辨率影像之间的多尺度特征图的逐通道余弦相似度,可以获得由多个余弦相似度组成的相关性特征向量,所述相关性特征向量反映了所述低分辨率影像和所述高分辨率影像在不同通道上的特征相似性程度。这样,通过综合考虑所有通道的相似性,可以更全面地评估影像对之间的相关性。
更具体地,所述S522,将所述逐通道相关性特征向量通过基于全连接层的相关性特征提取器以得到逐通道全连接相关性特征向量作为所述低分辨率-高分辨率影像相关性特征。考虑到由于所述逐通道相关性特征向量中的各个位置的特征值表示了所述低分辨率影像多尺度特征图和所述高分辨率影像多尺度特征图之间在对应通道上的特征相关性程度,较大的特征值表示两个影像在该通道上更相似,相关性更高。具体来说,所述逐通道相关性特征向量是一个向量,其中每个位置的特征值对应于一个通道的相关性。因此,为了能综合所述低分辨率影像多尺度特征图和所述高分辨率影像多尺度特征图之间的所有对应通道的相关性来更准确地进行所述低分辨率影像和所述高分辨率影像的相关性度量,在本申请的技术方案中,进一步将所述逐通道相关性特征向量通过基于全连接层的相关性特征提取器中进行编码,以提取出所述低分辨率影像多尺度特征图和所述高分辨率影像多尺度特征图之间的对应通道相关性基于全局的关联性特征分布信息,从而得到逐通道全连接相关性特征向量。
相应的,在一种可能的实现方式中,可通过以下步骤将所述逐通道相关性特征向量通过基于全连接层的相关性特征提取器以得到逐通道全连接相关性特征向量作为所述低分辨率-高分辨率影像相关性特征,例如:获取逐通道相关性特征向量,这些特征向量表示低分辨率影像与高分辨率影像之间的相关性;对于每个通道的相关性特征向量,将其作为输入;使用基于全连接层的相关性特征提取器,将每个通道的相关性特征向量输入到全连接层中。全连接层可以是一个或多个全连接层,用于提取更高级的相关性特征;经过全连接层处理后,得到逐通道全连接相关性特征向量。这些特征向量可以表示低分辨率-高分辨率影像之间的相关性特征。
值得一提的是,在本申请的其他具体示例中,还可以通过其他方式对所述低分辨率影像多尺度特征图和所述高分辨率影像多尺度特征图进行相关性关联编码以得到低分辨率-高分辨率影像相关性特征,例如:获取低分辨率影像的多尺度特征图和高分辨率影像的多尺度特征图;对于每个尺度的特征图,将其转换为一个特征向量。可以使用拉平操作将特征图转换为一维向量,或者使用其他方法如均值池化、最大池化等;对于每个尺度的特征向量,进行归一化操作,将其值缩放到一个固定的范围内,例如[0, 1]或[-1, 1];对于低分辨率影像的特征向量,进行转置操作,得到其转置矩阵;将低分辨率影像的特征向量转置矩阵与高分辨率影像的特征向量进行矩阵乘法运算,得到一个相关性矩阵。矩阵的每个元素表示低分辨率影像的一个特征与高分辨率影像的一个特征之间的相关性;对于每个尺度的相关性矩阵,可以进行融合操作,将不同尺度的相关性信息结合起来。常见的融合方法包括加权求和、平均值等;经过相关性融合后,得到低分辨率-高分辨率影像的相关性特征。
具体地,所述S53,基于所述低分辨率-高分辨率影像相关性特征,确定所述相关性度量值。在本申请的技术方案中,将所述逐通道全连接相关性特征向量通过解码器以得到解码值,所述解码值用于表示相关性度量值。也就是说,利用所述低分辨率影像和所述高分辨率影像的全局特征相关性关联特征分布信息来进行解码回归,以此来得到这两者影像的相关性度量值。这样,能够评估两者影像之间的一致性,并消除融合误差,提高融合效果,从而在时空融合遥感影像对的筛选过程中量化影像对之间的相似程度,判断它们是否具有足够的一致性进行时空融合,以此来提高时空融合流程的效率和效果。更具体地,使用所述解码器以如下公式将所述逐通道全连接相关性特征向量进行解码回归以获得用于表示所述相关性度量值的解码值;其中,所述公式为:,其中/>表示所述逐通道全连接相关性特征向量,/>是所述解码值,/>是权重矩阵,/>表示矩阵相乘。
值得一提的是,在本申请的其他具体示例中,还可以通过其他方式对所述低分辨率影像和所述高分辨率影像进行相关性分析以得到相关性度量值,例如:获取低分辨率影像和高分辨率影像的数据。确保两个影像具有相同的空间范围和对应的像素分辨率;如果需要,对数据进行预处理以确保其具有相同的尺度和范围。例如,可以进行归一化或标准化操作;由于低分辨率影像和高分辨率影像的像素分辨率不同,需要将它们进行重采样,使它们具有相同的像素分辨率。可以使用插值方法(如双线性插值)将低分辨率影像插值到高分辨率;对重采样后的低分辨率影像和高分辨率影像进行相关性计算。常用的相关性度量方法包括皮尔逊相关系数、斯皮尔曼相关系数等。这些方法可以衡量两个影像之间的线性或非线性相关性;根据选择的相关性计算方法,计算得到相关性度量值。相关性度量值的范围通常在-1到1之间,其中1表示完全正相关,-1表示完全负相关,0表示无相关性。
特别地,所述S6,基于影像的观测时间与t0时刻的时间差构建时间权重模型,并计算时间差权重。应可以理解,基于影像的观测时间与t0时刻的时间差可以用来构建时间权重模型,该模型可以用于对不同时刻的影像数据进行加权处理。时间差权重的作用是根据观测时间的远近,给予不同时间点的影像数据不同的权重值,以反映时间对于地表特征和过程的影响程度。
特别地,所述S7,根据所述云量占比构建云量权重模型,并计算云量权重。应可以理解,根据云量占比构建云量权重模型可以用于对影像数据进行加权处理,以减小云覆盖区域对分析结果的影响。云量权重的作用是根据云量占比的大小,给予不同区域的影像数据不同的权重值,以反映云覆盖区域对分析结果的影响程度。
特别地,所述S8,基于所述时间差权重、所述云量权重和所述相关性度量值构建影像对筛选模型。其中,基于时间差权重、云量权重和相关性度量值构建影像对筛选模型可以用于选择适合特定分析任务的影像对,以提高分析结果的准确性和可靠性。
特别地,所述S9,将所有数据代入所述筛选模型,求取最大值,其中,所述最大值对应时刻的高分辨率、低分辨率影像对即为筛选出的最优影像对。其中,最优影像对中的高分辨率影像提供了更详细和精确的地表信息,可以用于获取更准确的特征和过程描述;最优影像对中的低分辨率影像具有较大的覆盖范围和更长的时间序列,可以提供更广泛的地表信息和长期的变化趋势。
应可以理解,在利用上述神经网络模型进行推断之前,需要对所述基于金字塔网络的图像特征提取器、所述基于全连接层的相关性特征提取器和所述解码器进行训练。也就是说,在本申请的时空融合遥感影像对筛选方法中,还包括训练阶段,用于对所述基于金字塔网络的图像特征提取器、所述基于全连接层的相关性特征提取器和所述解码器进行训练。
图3为根据本申请实施例的时空融合遥感影像对筛选方法的训练阶段的流程图。如图3所示,根据本申请实施例的时空融合遥感影像对筛选方法,包括:训练阶段,包括:S110,获取训练数据,所述训练数据包括训练低分辨率影像和训练高分辨率影像,以及,所述相关性度量值的真实值;S120,对所述训练低分辨率影像和所述训练高分辨率影像分别通过所述基于金字塔网络的图像特征提取器以得到训练低分辨率影像多尺度特征图和训练高分辨率影像多尺度特征图;S130,分别计算所述训练低分辨率影像多尺度特征图和所述训练高分辨率影像多尺度特征图的对应通道的特征矩阵之间的余弦相似度以得到由多个余弦相似度组成的训练逐通道相关性特征向量;S140,将所述训练逐通道相关性特征向量通过所述基于全连接层的相关性特征提取器以得到训练逐通道全连接相关性特征向量;S150,将所述训练逐通道全连接相关性特征向量通过所述解码器以得到解码损失函数值;S160,基于所述解码损失函数值并通过梯度下降的方向传播来对所述基于金字塔网络的图像特征提取器、所述基于全连接层的相关性特征提取器和所述解码器进行训练,其中,在所述训练的每次权重矩阵迭代时,对所述训练逐通道全连接相关性特征向量进行权重空间的资源认知的渐进式上下文集成优化。
特别地,在本申请的技术方案中,低分辨率影像多尺度特征图和高分辨率影像多尺度特征图分别表达所述低分辨率影像和所述高分辨率影像的基于金字塔网络的多尺度表达的不同深度下的图像语义特征,且在通道维度上遵循所述基于金字塔网络的图像特征提取器的跨尺度和跨深度通道分布表示,由此,分别计算所述低分辨率影像多尺度特征图和所述高分辨率影像多尺度特征图的对应通道的特征矩阵之间的余弦相似度以得到由多个余弦相似度组成的逐通道相关性特征向量,再将所述逐通道相关性特征向量通过基于全连接层的相关性特征提取器进行全局相关,得到的所述逐通道全连接相关性特征向量会同时关联跨尺度和跨深度的图像资源型语义特征相似性分布,并且,在所述逐通道全连接相关性特征向量的整体分布维度上,也就具有了基于图像语义资源的跨尺度和深度的分布维度密集的特征表示,这会引起分类器的权重矩阵的训练效率降低。基于此,本申请的申请人在将所述逐通道全连接相关性特征向量通过解码器进行解码回归的训练时,对于所述逐通道全连接相关性特征向量进行权重空间的资源认知的渐进式上下文集成:
和/>分别是上次和本次迭代的权重矩阵,其中在首次迭代时,采用不同的初始化策略设置/>和/>,(例如,/>设置为单位矩阵而/>设置为待解码特征向量的均值对角矩阵),/>是待解码的逐通道全连接相关性特征向量,/>和/>分别表示特征向量/>和/>的全局均值,且/>是偏置矩阵,例如初始设置为单位矩阵,向量以列向量形式。也就是,考虑到在进行基于待解码的逐通道全连接相关性特征向量/>的密集预测任务时,需要将权重矩阵的高分辨率表示与待解码的逐通道全连接相关性特征向量/>的全局上下文进行集成,因此通过在迭代过程中最大化权重空间的分布边界,来基于迭代关联表示资源认知地(resource-aware)实现渐进集成(progressive integrity),从而提高权重矩阵的训练效果,提升模型整体的训练效率。这样,能够自动化地实现对低分辨率影像和高分辨率影像的相关性进行度量,通过这样的方式,能够评估两者影像之间的一致性,并消除融合误差,提高融合效果,从而在时空融合遥感影像对的筛选过程中量化影像对之间的相似程度,判断它们是否具有足够的一致性进行时空融合,以此来提高时空融合流程的效率,同时为高质量的融合结果提供保障。
综上,根据本申请实施例的时空融合遥感影像对筛选方法被阐明,其通过在获取低分辨率影像和高分辨率影像后,在后端引入图像处理和分析算法来进行所述低分辨率影像和所述高分辨率影像的图像分析,以此来对于两者的相关性进行度量,通过这样的方式,能够评估两者影像之间的一致性,并消除融合误差,提高融合效果,从而在时空融合遥感影像对的筛选过程中量化影像对之间的相似程度,判断它们是否具有足够的一致性进行时空融合,以此来提高时空融合流程的效率和效果。
在一个具体示例中,实施流程如下:
查询目标区域内影像预测目标日期向前推至/>天(/>表示由/>日期向前推的时间间隔,以天为单位,例如180天)时间段内整景影像云量小于100%的sentinel 2 影像。获取其分类影像数据 、红波段(B04)影像、近红外波段(B08)影像等文件数据。
根据目标范围对所有分类影像进行裁切。计算出每个裁切后影像的云量占比 。这里的云量占比定义为:影像中被识别为云的像元数量与整个影像的总像元数量的比值。具体地,其计算方法为:
其中i是分类影像中代表云的像元值,表示像元值为p的像元个数,/>表示影像像元总数。云相关的像元值分别是3(代表云阴影)、8(代表中等概率的云)、9(代表高概率云)、10(代表薄云)。
根据目标范围对sentinel2红波段(B04)和近红外波段(B08)反射率影像进行影像裁切,然后按照
计算方法生成高分辨率NDVI影像。其中,/>表示B08反射率,/>表示B04反射率。
根据sentinel2 影像的日期查询并获取目标范围内的MODIS地表反射率数据MOD09GQ 。基于目标范围区域,对MODIS数据进行波段抽取、投影转换、裁切等预处理得到红波段(b01)和近红外波段(b02)地表反射率影像。按照
计算方法生成低分辨率NDVI影像。其中,/>表示b02反射率,/>表示b01反射率。
对高分辨率影像与低分辨率影像/>进行相关分析。通过影像重采样将高分辨率影像/>的分辨率匹配至低分辨率影像/>分辨率,重采样的过程中保证两个影像的行列大小保持一致。计算两者的相关性/>
构建时间权重模型。在时空融合的算法STARFM中,是影响最后融合精度很关键的一个因素。如果/>越大,则这段时间内地表尤其是植被发生变化的几率也就越大。一旦地表信息发生变化则影像的融合精度就会降低。因此/>时刻与/>时刻差距与融合效果是成反比的。我们给出一个时间权重模型如下:
其中 ,表示/>时刻与/>时刻相差的天数。
构建云量权重模型。在遥感影像中云会遮盖掉地表的辐射信息造成地表信息的缺失,这在时空融合算法中会直接导致预测错误,融合精度降低。时空融合算法要求输入的影像是无云条件下的。但现实是遥感影像无法避免云的干扰。因此影像的云量也是时空融合的一个关键因素。我们给出一个云量权重模型。
构建高分辨率和低分辨率筛选评估模型。基于时间差权重、影像云量权重和影像相关性构建筛选模型。
分别计算出每个高分辨率影像对应的筛选评估分,得到筛选评估列表。在评估列表中求取最大值/>,/>所对应的时间的影像对就是/>时间范围内筛选出的最优的高、低分辨率的影像对。
相较于传统的手动筛选方法,本申请提供了一个系统化、自动化的筛选流程,显著减少了筛选所需的时间和努力。通过考虑多个参数和因素,如云量、光谱一致性等,本申请方法能够更精确地筛选出最适合时空融合的影像对。由于采用自动化筛选,人为介入的程度大大减少,从而降低了由于主观判断导致的误差;筛选出的高质量、一致性强的影像对为后续的时空融合过程提供了坚实基础,从而得到更高质量的融合结果。本申请方法考虑了多种影像特性和参数,使其能够适应不同的遥感数据源和多变的地表条件。支持大规模数据处理:由于其自动化特性,本方法有能力处理大规模的遥感数据,满足现代大数据遥感应用的需求。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (8)

1.一种时空融合遥感影像对筛选方法,其特征在于,包括:
查询目标范围内、目标预测日期t0向前推d天范围内的云量小于100%的高分辨率卫星的数据;
根据所述高分辨率卫星的数据,计算云量占比;
获取所述查询日期范围内的高分辨率影像数据,并进行预处理后生成目标范围的高分辨率影像;
根据高分辨率影像的日期查询获取相应的低分辨率影像数据,并进行预处理后生成目标范围的低分辨率影像;
对所述低分辨率影像和所述高分辨率影像进行相关性分析以得到相关性度量值;
基于影像的观测时间与t0时刻的时间差构建时间权重模型,并计算时间差权重;
根据所述云量占比构建云量权重模型,并计算云量权重;
基于所述时间差权重、所述云量权重和所述相关性度量值构建影像对筛选模型;
将所有数据代入所述筛选模型,求取最大值,其中,所述最大值对应时刻的高分辨率、低分辨率影像对即为筛选出的最优影像对。
2.根据权利要求1所述的时空融合遥感影像对筛选方法,其特征在于,对所述低分辨率影像和所述高分辨率影像进行相关性分析,包括:
通过基于深度神经网络模型的图像特征提取器分别对所述低分辨率影像和所述高分辨率影像进行特征提取以得到低分辨率影像多尺度特征图和高分辨率影像多尺度特征图;
对所述低分辨率影像多尺度特征图和所述高分辨率影像多尺度特征图进行相关性关联编码以得到低分辨率-高分辨率影像相关性特征;
以及基于所述低分辨率-高分辨率影像相关性特征,确定所述相关性度量值。
3.根据权利要求2所述的时空融合遥感影像对筛选方法,其特征在于,所述深度神经网络模型为金字塔网络。
4.根据权利要求3所述的时空融合遥感影像对筛选方法,其特征在于,对所述低分辨率影像多尺度特征图和所述高分辨率影像多尺度特征图进行相关性关联编码以得到低分辨率-高分辨率影像相关性特征,包括:
分别计算所述低分辨率影像多尺度特征图和所述高分辨率影像多尺度特征图的对应通道的特征矩阵之间的余弦相似度以得到由多个余弦相似度组成的逐通道相关性特征向量;
以及将所述逐通道相关性特征向量通过基于全连接层的相关性特征提取器以得到逐通道全连接相关性特征向量作为所述低分辨率-高分辨率影像相关性特征。
5.根据权利要求4所述的时空融合遥感影像对筛选方法,其特征在于,基于所述低分辨率-高分辨率影像相关性特征,确定相关性度量值,包括:将所述逐通道全连接相关性特征向量通过解码器以得到解码值,所述解码值用于表示所述相关性度量值。
6.根据权利要求5所述的时空融合遥感影像对筛选方法,其特征在于,还包括训练步骤:用于对基于金字塔网络的图像特征提取器、基于全连接层的相关性特征提取器和所述解码器进行训练。
7.根据权利要求6所述的时空融合遥感影像对筛选方法,其特征在于,所述训练步骤,包括:
获取训练数据,所述训练数据包括训练低分辨率影像和训练高分辨率影像,以及,所述相关性度量值的真实值;
对所述训练低分辨率影像和所述训练高分辨率影像分别通过所述基于金字塔网络的图像特征提取器以得到训练低分辨率影像多尺度特征图和训练高分辨率影像多尺度特征图;
分别计算所述训练低分辨率影像多尺度特征图和所述训练高分辨率影像多尺度特征图的对应通道的特征矩阵之间的余弦相似度以得到由多个余弦相似度组成的训练逐通道相关性特征向量;
将所述训练逐通道相关性特征向量通过所述基于全连接层的相关性特征提取器以得到训练逐通道全连接相关性特征向量;
将所述训练逐通道全连接相关性特征向量通过所述解码器以得到解码损失函数值;
基于所述解码损失函数值并通过梯度下降的方向传播来对所述基于金字塔网络的图像特征提取器、所述基于全连接层的相关性特征提取器和所述解码器进行训练,其中,在所述训练的每次权重矩阵迭代时,对所述训练逐通道全连接相关性特征向量进行权重空间的资源认知的渐进式上下文集成优化。
8.根据权利要求7所述的时空融合遥感影像对筛选方法,其特征在于,将所述训练逐通道全连接相关性特征向量通过所述解码器以得到解码损失函数值,用于:
使用解码器对所述训练逐通道全连接相关性特征向量进行解码回归以得到训练解码值;
以及计算所述训练解码值与所述相关性度量值的真实值之间的均方误差值作为所述解码损失函数值。
CN202311386173.7A 2023-10-25 2023-10-25 一种时空融合遥感影像对筛选方法 Active CN117115679B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311386173.7A CN117115679B (zh) 2023-10-25 2023-10-25 一种时空融合遥感影像对筛选方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311386173.7A CN117115679B (zh) 2023-10-25 2023-10-25 一种时空融合遥感影像对筛选方法

Publications (2)

Publication Number Publication Date
CN117115679A true CN117115679A (zh) 2023-11-24
CN117115679B CN117115679B (zh) 2024-06-25

Family

ID=88807843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311386173.7A Active CN117115679B (zh) 2023-10-25 2023-10-25 一种时空融合遥感影像对筛选方法

Country Status (1)

Country Link
CN (1) CN117115679B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102110227A (zh) * 2010-11-24 2011-06-29 清华大学 基于上下文关系的多分辨率遥感图像复合分类方法
US20160327682A1 (en) * 2013-12-30 2016-11-10 Huazhong University Of Science And Technology Multiband common-optical-path image-spectrum associated remote sensing measurement system and method
CN106157317A (zh) * 2016-07-21 2016-11-23 武汉大学 基于弥散张量引导的高分辨率遥感影像融合评价方法
CN106846285A (zh) * 2016-12-30 2017-06-13 苏州中科天启遥感科技有限公司 高性能遥感影像合成方法及装置
CN111563844A (zh) * 2020-05-13 2020-08-21 中国计量大学 一种遥感图像自适应融合方法
CN111932457A (zh) * 2020-08-06 2020-11-13 北方工业大学 遥感影像高时空融合处理算法及装置
CN112419333A (zh) * 2020-11-17 2021-02-26 武汉大学 一种遥感影像自适应特征选择分割方法及系统
CN112819697A (zh) * 2021-02-04 2021-05-18 北京师范大学 一种遥感影像时空融合方法及系统
CN113012044A (zh) * 2021-02-19 2021-06-22 北京师范大学 一种基于深度学习的遥感影像时空融合方法及系统
CN113327197A (zh) * 2021-05-10 2021-08-31 香港理工大学深圳研究院 遥感影像时空融合方法、智能终端及计算机可读存储介质
CN114926511A (zh) * 2022-05-11 2022-08-19 西安电子科技大学 一种基于自监督学习的高分辨率遥感影像变化检测方法
CN115761525A (zh) * 2022-11-30 2023-03-07 中国地质大学(武汉) 一种遥感影像热带气旋目标检测和可视化方法
KR20230102134A (ko) * 2021-12-30 2023-07-07 인천대학교 산학협력단 딥러닝에 기반한 원격 감지를 위한 실시간 이미지 융합 장치 및 방법

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102110227A (zh) * 2010-11-24 2011-06-29 清华大学 基于上下文关系的多分辨率遥感图像复合分类方法
US20160327682A1 (en) * 2013-12-30 2016-11-10 Huazhong University Of Science And Technology Multiband common-optical-path image-spectrum associated remote sensing measurement system and method
CN106157317A (zh) * 2016-07-21 2016-11-23 武汉大学 基于弥散张量引导的高分辨率遥感影像融合评价方法
CN106846285A (zh) * 2016-12-30 2017-06-13 苏州中科天启遥感科技有限公司 高性能遥感影像合成方法及装置
CN111563844A (zh) * 2020-05-13 2020-08-21 中国计量大学 一种遥感图像自适应融合方法
CN111932457A (zh) * 2020-08-06 2020-11-13 北方工业大学 遥感影像高时空融合处理算法及装置
CN112419333A (zh) * 2020-11-17 2021-02-26 武汉大学 一种遥感影像自适应特征选择分割方法及系统
CN112819697A (zh) * 2021-02-04 2021-05-18 北京师范大学 一种遥感影像时空融合方法及系统
CN113012044A (zh) * 2021-02-19 2021-06-22 北京师范大学 一种基于深度学习的遥感影像时空融合方法及系统
CN113327197A (zh) * 2021-05-10 2021-08-31 香港理工大学深圳研究院 遥感影像时空融合方法、智能终端及计算机可读存储介质
KR20230102134A (ko) * 2021-12-30 2023-07-07 인천대학교 산학협력단 딥러닝에 기반한 원격 감지를 위한 실시간 이미지 융합 장치 및 방법
CN114926511A (zh) * 2022-05-11 2022-08-19 西安电子科技大学 一种基于自监督学习的高分辨率遥感影像变化检测方法
CN115761525A (zh) * 2022-11-30 2023-03-07 中国地质大学(武汉) 一种遥感影像热带气旋目标检测和可视化方法

Also Published As

Publication number Publication date
CN117115679B (zh) 2024-06-25

Similar Documents

Publication Publication Date Title
CN113128134B (zh) 一种矿区生态环境演变驱动因子权重量化分析方法
CN111598156B (zh) 基于多源异构数据融合的pm2.5预测方法
CN115236655A (zh) 基于全极化sar的滑坡识别方法、系统、设备及介质
CN111104850B (zh) 一种基于残差网络的遥感影像建筑物自动提取方法和系统
Mamatov et al. Methods for improving contrast of agricultural images
CN111861880A (zh) 基于区域信息增强与块自注意力的图像超分与融合方法
CN111144250A (zh) 融合雷达和光学遥感数据的土地覆盖分类方法
CN111008664A (zh) 一种基于空谱联合特征的高光谱海冰检测方法
CN108230375A (zh) 基于结构相似性快速鲁棒的可见光图像与sar图像配准方法
CN117036756B (zh) 基于变分自动编码器的遥感图像匹配方法及系统
CN112668615B (zh) 一种基于深度跨尺度外推融合的卫星云图预测方法
Xia et al. Quality assessment for remote sensing images: approaches and applications
CN116740340A (zh) 基于深度学习的计算光谱成像误差矫正方法
CN113256733B (zh) 基于置信度投票卷积神经网络的相机光谱灵敏度重建方法
CN117892059A (zh) 一种基于多模态图像融合与ResNetXt-50的电能质量扰动识别方法
CN117115679B (zh) 一种时空融合遥感影像对筛选方法
CN111091532B (zh) 一种基于多层感知机的遥感影像色彩评价方法和系统
CN115410074A (zh) 遥感影像云检测方法及装置
Qiu et al. Perception-oriented UAV Image Dehazing Based on Super-Pixel Scene Prior
CN114359066A (zh) 一种高分遥感影像辐射基准建立与辐射校正方法
Vats et al. Terrain-Informed Self-Supervised Learning: Enhancing Building Footprint Extraction from LiDAR Data with Limited Annotations
KR20200064377A (ko) 영상의 상대 방사 보정 방법 및 수행 장치
CN118115883B (zh) 输电线路沿线农作物种植区识别方法、装置及设备
CN117726915B (zh) 遥感数据空谱融合方法及装置、存储介质与终端
CN118155082B (zh) 一种基于高光谱空间及光谱信息的双分支变化检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant