CN118469805A - 基于特征融合的多尺度多光谱影像空间降尺度方法及系统 - Google Patents
基于特征融合的多尺度多光谱影像空间降尺度方法及系统 Download PDFInfo
- Publication number
- CN118469805A CN118469805A CN202410917138.1A CN202410917138A CN118469805A CN 118469805 A CN118469805 A CN 118469805A CN 202410917138 A CN202410917138 A CN 202410917138A CN 118469805 A CN118469805 A CN 118469805A
- Authority
- CN
- China
- Prior art keywords
- multispectral image
- sentinel
- spatial resolution
- image
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 145
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000001228 spectrum Methods 0.000 title claims abstract description 9
- 238000012952 Resampling Methods 0.000 claims abstract description 23
- 230000007246 mechanism Effects 0.000 claims description 26
- 238000012937 correction Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 14
- 230000002776 aggregation Effects 0.000 claims description 9
- 238000004220 aggregation Methods 0.000 claims description 9
- 230000005855 radiation Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 25
- 238000002310 reflectometry Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明提供一种基于特征融合的多尺度多光谱影像空间降尺度方法及系统，所述方法包括以下步骤：获取目标区域在相同时间段内的哨兵2A/B多光谱影像和哨兵3A/B多光谱影像；将哨兵3A/B多光谱影像的空间分辨率调整为50m，将哨兵2A/B多光谱影像的空间分辨率调整为10m；将空间分辨率为10m的哨兵2A/B多光谱影像的空间分辨率聚合平均重采样至50m；将空间分辨率为50m的哨兵3A/B多光谱影像与空间分辨率为50m的哨兵2A/B多光谱影像进行影像融合，得到第一融合多光谱影像；将第一融合多光谱影像的空间分辨率调整为10m，并将该第一融合多光谱影像与空间分辨率为10m的哨兵2A/B多光谱影像进行影像融合，获取第二融合多光谱影像。由此，本发明所述的方法，实现了对地表的持续精细化监测。
Description
技术领域
本发明涉及多光谱影像处理领域，特别是涉及一种基于特征融合的多尺度多光谱影像空间降尺度方法及系统。
背景技术
哨兵3A/B卫星是全球海洋和陆地监测卫星，主要用于全球陆地、海洋和大气环境监测，其两颗卫星的重访周期小于1天，空间分辨率300m；而哨兵2A/B卫星是多种高分辨率多光谱成像卫星，携带一枚多光谱成像仪，用于陆地监测，可提供植被、土壤和水覆盖、内陆水路及海岸区域等图像，其两颗卫星在无云条件下重访周期为5天，空间分辨率最高10m。
在需要对地表建立长期的精细监测的情况下，因为哨兵3A/B的空间分辨率相对较低，不能较好地获取地表细节信息，而哨兵2A/B的重访周期长且不足以实现对地表的监测，所以，在现有技术的对地表的监测过程中，存在着的监测准确度不足、监测效率低下以及无法实现持续精细化监测的技术问题。
发明内容
基于此，本发明的目的在于，提供一种基于特征融合的多尺度多光谱影像空间降尺度方法及系统，能够提高对地表的监测准确度和监测效率，实现对地表的持续精细化监测。
本发明的目的可以通过以下技术方案来实现：
一种基于特征融合的多尺度多光谱影像空间降尺度方法，包括以下步骤：获取目标区域在相同时间段内的哨兵2A/B多光谱影像和哨兵3A/B多光谱影像，其中，所述哨兵2A/B多光谱影像的空间分辨率包括20m和60m，所述哨兵3A/B多光谱影像的空间分辨率为300m；根据面到点的克里金插值法，将所述哨兵3A/B多光谱影像的空间分辨率调整为50m，将所述哨兵2A/B多光谱影像的空间分辨率调整为10m；根据聚合平均重采样法，将空间分辨率为10m的所述哨兵2A/B多光谱影像的空间分辨率聚合平均重采样至50m；构建多源信息融合模型，将空间分辨率为50m的所述哨兵3A/B多光谱影像与空间分辨率为50m的所述哨兵2A/B多光谱影像输入至所述多源信息融合模型进行影像融合，得到第一融合多光谱影像，其中，所述第一融合多光谱影像的空间分辨率为50m；根据面到点的克里金插值法，将所述第一融合多光谱影像的空间分辨率调整为10m；将空间分辨率为10m的所述哨兵2A/B多光谱影像以及空间分辨率为10m的所述第一融合多光谱影像输入至所述多源信息融合模型进行影像融合，获取第二融合多光谱影像，其中，所述第二融合多光谱影像的空间分辨率为10m。
一种基于特征融合的多尺度多光谱影像空间降尺度系统，其中，包括：影像获取单元，用于获取目标区域在相同时间段内的哨兵2A/B多光谱影像和哨兵3A/B多光谱影像，其中，所述哨兵2A/B多光谱影像的空间分辨率包括20m和60m，所述哨兵3A/B多光谱影像的空间分辨率为300m；空间分辨率调整单元，用于根据面到点的克里金插值法，将所述哨兵3A/B多光谱影像的空间分辨率调整为50m，将所述哨兵2A/B多光谱影像的空间分辨率调整为10m；聚合平均重采样单元，用于根据聚合平均重采样法，将空间分辨率为10m的所述哨兵2A/B多光谱影像的空间分辨率聚合平均重采样至50m；影像融合单元，用于构建多源信息融合模型，将空间分辨率为50m的所述哨兵3A/B多光谱影像与空间分辨率为50m的所述哨兵2A/B多光谱影像输入至所述多源信息融合模型进行影像融合，得到第一融合多光谱影像，其中，所述第一融合多光谱影像的空间分辨率为50m；融合影像空间分辨率调整单元，用于根据面到点的克里金插值法，将所述第一融合多光谱影像的空间分辨率调整为10m；融合影像融合单元，用于将空间分辨率为10m的所述哨兵2A/B多光谱影像以及空间分辨率为10m的所述第一融合多光谱影像输入至所述多源信息融合模型进行影像融合，获取第二融合多光谱影像，其中，所述第二融合多光谱影像的空间分辨率为10m。
相对于现有技术，本发明所述的方法，首先通过获取目标区域在相同时间段内下的哨兵2A/B多光谱影像和哨兵3A/B多光谱影像，并对其进行空间分辨率的调整，分别获取空间分辨率为50m的哨兵2A/B多光谱影像和哨兵3A/B多光谱影像以及空间分辨率为10m的哨兵2A/B多光谱影像，然后对空间分辨率为50m的哨兵2A/B多光谱影像和哨兵3A/B多光谱影像进行影像融合，获取融合结果，最后对融合结果进行空间分辨率进行调整后与空间分辨率为10m的哨兵2A/B多光谱影像再次进行影像融合。由此，本发明所述的方法结合哨兵2A/B高分辨率多光谱影像，对哨兵3A/B多光谱影像进行了空间降尺度，获取了高空间分辨率且满足地表监测需求的多光谱影像，提高了对地表的监测准确度和监测效率，实现了对地表的持续精细化监测。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1为本发明提供的基于特征融合的多尺度多光谱影像空间降尺度方法的流程图；
图2为本发明提供的基于特征融合的多尺度多光谱影像空间降尺度方法的获取第一融合多光谱影像的步骤流程图；
图3为本发明提供的基于特征融合的多尺度多光谱影像空间降尺度方法的获取第二融合多光谱影像的步骤流程图；
图4为本发明提供的基于特征融合的多尺度多光谱影像空间降尺度系统的结构原理图；
图5为本发明提供的特征融合框架的示意图；
图6为本发明提供的基于特征融合的多尺度多光谱影像空间降尺度方法的技术流程图。
具体实施方式
本发明提供一种基于特征融合的多尺度多光谱影像空间降尺度方法及系统，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
下面结合附图，通过对实施例的描述，对发明内容作进一步说明。
实施例1
请参照图1，请参照图1，图1为本发明提供的一种基于特征融合的多尺度多光谱影像空间降尺度方法的流程图。所述方法包括以下步骤：
S10、获取目标区域在相同时间段内的哨兵2A/B多光谱影像和哨兵3A/B多光谱影像，其中，所述哨兵2A/B多光谱影像的空间分辨率包括20m和60m，所述哨兵3A/B多光谱影像的空间分辨率为300m；
S20、根据面到点的克里金插值法，将所述哨兵3A/B多光谱影像的空间分辨率调整为50m，将所述哨兵2A/B多光谱影像的空间分辨率调整为10m；
S30、根据聚合平均重采样法，将空间分辨率为10m的所述哨兵2A/B多光谱影像的空间分辨率聚合平均重采样至50m；
S40、构建多源信息融合模型，将空间分辨率为50m的所述哨兵3A/B多光谱影像与空间分辨率为50m的所述哨兵2A/B多光谱影像输入至所述多源信息融合模型进行影像融合，得到第一融合多光谱影像，其中，所述第一融合多光谱影像的空间分辨率为50m；
S50、根据面到点的克里金插值法，将所述第一融合多光谱影像的空间分辨率调整为10m；
S60、将空间分辨率为10m的所述哨兵2A/B多光谱影像以及空间分辨率为10m的所述第一融合多光谱影像输入至所述多源信息融合模型进行影像融合，获取第二融合多光谱影像，其中，所述第二融合多光谱影像的空间分辨率为10m。
对于步骤S10、获取目标区域在相同时间段内的哨兵2A/B多光谱影像和哨兵3A/B多光谱影像；
在一个实施例中，由于哨兵系列卫星是随时间而围绕着地球做圆周运动的，通过获取目标区域在相同时间段内的哨兵2A/B多光谱影像和哨兵3A/B多光谱影像，有利于避免后续降尺度过程中产生的数据偏差过大，致使失去参考价值。
其中，所述哨兵2A/B多光谱影像是指由极地轨道卫星哨兵2A（Sentinel-2A）和哨兵2B（Sentinel-2B）所采集的多光谱影像，主要用于农业、林业种植监测、土地覆盖变化观测、自然灾害监测以及环境监测，具有高分辨率、多光谱和双星互补重访周期为5天等特点；所述哨兵3A/B多光谱影像是指由极地轨道卫星哨兵3A（Sentinel-3A）和哨兵3B（Sentinel-3B）所采集的多光谱影像，主要用于对全球陆地、海洋和大气环境监测，双星互补重访周期小于1天，在本实施例中，所述哨兵2A/B多光谱影像是指由哨兵2A和哨兵2B针对目标区域所采集的多光谱影像，所述哨兵3A/B多光谱影像是指由哨兵3A和哨兵3B针对目标区域所采集的多光谱影像；所述哨兵2A/B多光谱影像的空间分辨率包括20m和60m，所述哨兵3A/B多光谱影像的空间分辨率为300m。
在一个实施例中，本领域技术人员通过数字地球开放平台、USGS官方网站和ONDA网站等渠道，均可获取目标区域在相同时间段内的哨兵2A/B多光谱影像和哨兵3A/B多光谱影像，在其他可替代的实施方式中，本领域技术人员也可以通过其他方式获取所述目标区域在相同时间段内的哨兵2A/B多光谱影像和哨兵3A/B多光谱影像来替代本申请所述的方法中的步骤S10以继续实施本发明所述的方法的其他步骤。
在一个实施例中，所述步骤S10具体包括以下步骤：
S101、获取目标区域在相同时间段内的哨兵2A/B多光谱原始影像和哨兵3A/B多光谱原始影像；
S102、对所述哨兵2A/B多光谱原始影像和所述哨兵3A/B多光谱原始影像分别进行辐射校正、大气校正、裁剪和子集提取，获取所述哨兵2A/B多光谱影像和所述哨兵3A/B多光谱影像；
其中，所述辐射校正是指通过考虑大气纠正和计算量子效率校正因素，将影像转换为表面反射率，消除大气干扰，在本实施例中，所述辐射校正是通过读取哨兵2A/B多光谱原始影像和哨兵3A/B多光谱原始影像各自的各个影像像元的DN值，然后将所述DN值转换为表面反射率所实现的，在一些实施例中，常用的辐射校正方法为应用ENVI或SNAP等遥感图像处理软件中的辐射定标工具或模块，通过需要输入相应的参数（如定标类型、辐射率数据单位调整系数等）来完成辐射校正。
所述大气校正是指消除大气散射、吸收和反射对地表反射率的影响，将辐射亮度或表面反射率转换为地表实际反射率，在本实施例中，所述大气校正是通过将上述所述辐射校正后获取的表面反射率转换成地表实际反射率所实现的，在一些实施例中，常用的大气校正方法为应用Sen2Cor插件，并通过在命令行中调用L2A_Process.bat工具来进行，用户可以选择不同的分辨率参数来处理不同分辨率的波段。
所述裁剪是指本领域技术人员对哨兵2A/B多光谱原始影像和哨兵3A/B多光谱原始影像中指定的空间范围进行切割，以获取目标区域的哨兵2A/B多光谱原始影像和哨兵3A/B多光谱原始影像。
所述子集提取是指根据本领域技术人员指定的波段、时间等条件从哨兵2A/B多光谱原始影像和哨兵3A/B多光谱原始影像中获取对应的所需的影像。
对于步骤S20、根据面到点的克里金插值法，将所述哨兵3A/B多光谱影像的空间分辨率调整为50m，将所述哨兵2A/B多光谱影像的空间分辨率调整为10m；
其中，所述面到点的克里金插值法是指一种基于地统计学的空间插值方法，主要用于从已知的空间数据点（面）预测未知位置（点）的数值，该方法通过考虑数据点之间的空间关系和相关性，生成一个预测表面，并据此估计未知点的值，在本实施例中，通过应用克里金插值法，预测并调整所述哨兵3A/B多光谱影像的空间分辨率至50m，预测并调整所述哨兵2A/B多光谱影像的空间分辨率至10m，具体为，首先通过对所述哨兵3A/B多光谱影像和所述哨兵2A/B多光谱影像各自的已知数据进行变异函数分析，确定各自的数据之间的空间相关性和变异范围，构建变异函数，其次根据各自的变异函数分析结果和各自的待预测数据的属性值，计算各自的对应的克里金权重，最后利用所述克里金权重和各自的已知数据的属性值，通过加权平均的方式计算各自的预测数据的属性值，其中，所述变异函数是指用于描述数据之间差异随距离变化的函数关系。
在一个实施例中，所述步骤S20具体包括以下步骤：
S201、将所述哨兵3A/B多光谱影像输入下述面到点的克里金插值法处理公式，将所述哨兵3A/B多光谱影像的空间分辨率调整为50m：
，
其中，为空间分辨率为50m的哨兵3A/B多光谱影像，为面到点的克里金插值法，为初始获取到的空间分辨率为300m的所述哨兵3A/B多光谱影像；
S202、将所述哨兵2A/B多光谱影像输入下述面到点的克里金插值法处理公式，将所述哨兵2A/B多光谱影像的空间分辨率调整为10m：
，
其中，为空间分辨率为10m的哨兵2A/B多光谱影像，为面到点的克里金插值法，为初始获取到的空间分辨率为20m的所述哨兵2A/B多光谱影像以及空间分辨率为60m的所述哨兵2A/B多光谱影像。
对于步骤S30、根据聚合平均重采样法，将空间分辨率为10m的所述哨兵2A/B多光谱影像的空间分辨率聚合平均重采样至50m；
其中，所述聚合平均法是指一种常用的数据处理和统计分析方法，主要用于将一组数值集合起来，并计算其平均值，在本实施例中，通过将若干个空间分辨率为10m的所述哨兵2A/B多光谱影像进行聚合平均，获取聚合平均影像，然后通过对所述聚合平均影像进行重采样，获取空间分辨率为50m的所述哨兵2A/B多光谱影像。
在一个实施例中，考虑到遥感影像空间范围大、纹理丰富、特征明显等特点，通过调整多光谱影像的空间分辨率，减小降尺度过程中所产生的尺度效应。
在一个实施例中，所述步骤S30具体包括以下步骤：
S301、将空间分辨率为10m的所述哨兵2A/B多光谱影像输入下述聚合平均重采样法处理公式，将该哨兵2A/B多光谱影像的空间分辨率聚合平均重采样至50m：
，
其中，为空间分辨率为50m的所述哨兵2A/B多光谱影像，为聚合平均重采样法，为空间分辨率为10m的所述哨兵2A/B多光谱影像。
对于步骤S40、构建多源信息融合模型，将空间分辨率为50m的所述哨兵3A/B多光谱影像与空间分辨率为50m的所述哨兵2A/B多光谱影像输入至所述多源信息融合模型进行影像融合，得到第一融合多光谱影像；
其中，所述第一融合多光谱影像的空间分辨率为50m。
请参考图2，图2为本发明提供的基于特征融合的多尺度多光谱影像空间降尺度方法的获取第一融合多光谱影像的步骤流程图，在一个实施例中，所述步骤S40具体包括以下步骤：
S401、构造深度对比网络：
，
其中，为经过第i层深度对比网络处理；为预设的k*k的卷积运算，为预设的激活函数；
S402、将空间分辨率为50m的所述哨兵3A/B多光谱影像输入至所述深度对比网络，获取该哨兵3A/B多光谱影像的高频率信息和低频率信息：
，
其中，hf为高频信息标志，lf为低频信息标志，I为预设的深度对比网络的总层数，为该哨兵3A/B多光谱影像的高频率信息，为该哨兵3A/B多光谱影像的低频率信息，为空间分辨率为50m的所述哨兵3A/B多光谱影像，为空间分辨率为50m的所述哨兵3A/B多光谱影像经过层数为I的深度对比网络处理所获取的高频率信息；
S403、对空间分辨率为50m的所述哨兵3A/B多光谱影像与空间分辨率为50m的所述哨兵2A/B多光谱影像分别进行特征提取，获取空间分辨率为50m的所述哨兵3A/B多光谱影像与空间分辨率为50m的所述哨兵2A/B多光谱影像之间的特征差异，其中，所述特征差异至少包括纹理信息特征差异与几何信息特征差异：
，
其中，为预设的初始分层特征学习的可学习的特征提取器，i为第i个感受野，Fyi为提取到的空间分辨率为50m的所述哨兵2A/B多光谱影像在不同感受野下的特征，Fdi为提取到的空间分辨率为50m的所述哨兵3A/B多光谱影像在不同感受野下的特征，J为所述特征差异；
S404、引入多注意力机制，将空间分辨率为50m的所述哨兵3A/B多光谱影像的高频率信息与空间分辨率为50m的所述哨兵2A/B多光谱影像进行信息融合，获取第一融合结果，其中，所述多注意力机制至少包括空间注意力机制以及通道注意力机制：
，
其中，S a为多注意力机制；为空间注意力机制，为通道注意力机制，为执行信息融合的融合通式，γ为预设的可学习的参数，为多源信息融合模型的表达式，G1为所述第一融合结果；
其中，所述多注意力机制是指注意力机制的一种变体，其引入了多个并行的“注意力头”，且每个注意力头都能够独立地学习并关注不同的输入部分；所述多注意力机制至少包括空间注意力机制以及通道注意力机制；在本实施例中，采用多注意力机制，通过引入并行的空间注意力头以及通道注意力头，提高了融合结果的表现力和融合过程的计算效率。
S405、引入多注意力机制，将空间分辨率为50m的所述哨兵3A/B多光谱影像的低频率信息和所述第一融合结果进行信息融合，获取第一融合多光谱影像：
，
其中，G1为所述第一融合结果，G2为所述第一融合多光谱影像。
对于步骤S50、根据面到点的克里金插值法，将所述第一融合多光谱影像的空间分辨率调整为10m；
在一个实施例中，所述步骤S50具体包括以下步骤：
S501、将所述第一融合多光谱影像输入下述面到点的克里金插值法处理公式，将所述第一融合多光谱影像的空间分辨率调整为10m：
，
其中，G2为所述第一融合多光谱影像，G3为空间分辨率为10m的所述第一融合多光谱影像，为面到点的克里金插值法。
对于步骤S60、将空间分辨率为10m的所述哨兵2A/B多光谱影像以及空间分辨率为10m的所述第一融合多光谱影像输入至所述多源信息融合模型进行影像融合，获取第二融合多光谱影像；
其中，所述第二融合多光谱影像的空间分辨率为10m。
在一个实施例中，本领域技术人员可以通过对本发明所述的方法的步骤S402-404做适应性修改即可应用于实施步骤S60。
请参考图3，图3为本发明提供的基于特征融合的多尺度多光谱影像空间降尺度方法的获取第二融合多光谱影像的步骤流程图，在一个实施例中，所述步骤S60具体包括以下步骤：
S601、对空间分辨率为10m的所述哨兵2A/B多光谱影像以及空间分辨率为10m的所述第一融合多光谱影像分别进行特征提取，获取空间分辨率为10m的所述哨兵2A/B多光谱影像以及空间分辨率为10m的所述第一融合多光谱影像之间的特征差异；
S602、引入多注意力机制，结合空间分辨率为10m的所述哨兵2A/B多光谱影像以及空间分辨率为10m的所述第一融合多光谱影像之间的特征差异，将空间分辨率为10m的所述哨兵2A/B多光谱影像以及空间分辨率为10m的所述第一融合多光谱影像进行信息融合，获取第二融合多光谱影像。
另外，值得说明的是，本发明所述的方法虽然是基于哨兵系列的多光谱影像所做出的空间降尺度方法，但在做出适应性修改后亦可应用于其他遥感卫星影像的空间降尺度。
实施例2
请参考图4，本发明还提供了一种基于特征融合的多尺度多光谱影像空间降尺度系统，以实现上述实施例所述的基于特征融合的多尺度多光谱影像空间降尺度方法的步骤。所述基于特征融合的多尺度多光谱影像空间降尺度系统包括：影像获取单元1001、空间分辨率调整单元1002、聚合平均重采样单元1003、影像融合单元1004、融合影像空间分辨率调整单元1005以及融合影像融合单元1006。
所述影像获取单元1001，用于获取目标区域在相同时间段内的哨兵2A/B多光谱影像和哨兵3A/B多光谱影像，其中，所述哨兵2A/B多光谱影像的空间分辨率包括20m和60m，所述哨兵3A/B多光谱影像的空间分辨率为300m；
所述空间分辨率调整单元1002，用于根据面到点的克里金插值法，将所述哨兵3A/B多光谱影像的空间分辨率调整为50m，将所述哨兵2A/B多光谱影像的空间分辨率调整为10m；
所述聚合平均重采样单元1003，用于根据聚合平均重采样法，将空间分辨率为10m的所述哨兵2A/B多光谱影像的空间分辨率聚合平均重采样至50m；
所述影像融合单元1004，用于构建多源信息融合模型，将空间分辨率为50m的所述哨兵3A/B多光谱影像与空间分辨率为50m的所述哨兵2A/B多光谱影像输入至所述多源信息融合模型进行影像融合，得到第一融合多光谱影像，其中，所述第一融合多光谱影像的空间分辨率为50m；
所述融合影像空间分辨率调整单元1005，用于根据面到点的克里金插值法，将所述第一融合多光谱影像的空间分辨率调整为10m；
所述融合影像融合单元1006，用于将空间分辨率为10m的所述哨兵2A/B多光谱影像以及空间分辨率为10m的所述第一融合多光谱影像输入至所述多源信息融合模型进行影像融合，获取第二融合多光谱影像，其中，所述第二融合多光谱影像的空间分辨率为10m。
需要说明的是，上述实施例提供的一种基于特征融合的多尺度多光谱影像空间降尺度系统在实施一种基于特征融合的多尺度多光谱影像空间降尺度方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分为不同的功能模块，以完成以上描述的全部或者部分功能。
另外，上述实施例提供的一种基于特征融合的多尺度多光谱影像空间降尺度系统与实施例1的一种基于特征融合的多尺度多光谱影像空间降尺度方法属于同种构思，其体现实现过程详见方法实施例，即实施例1，这里不再赘述。
相较于现有技术，本发明所述的基于特征融合的多尺度多光谱影像空间降尺度方法，结合哨兵2A/B高分辨率多光谱影像，对哨兵3A/B多光谱影像进行了空间降尺度，获取了高空间分辨率且满足地表监测需求的多光谱影像，且减小了降尺度过程中所产生的尺度效应，提高了对地表的监测准确度和监测效率，实现了对地表的持续精细化监测，同时，基于本发明所述的方法，在做出适应性修改的前提下，还能够适应于其他遥感卫星影像的降尺度，具有良好的普适性以及实用性。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，则本发明也意图包含这些改动和变形。
Claims (10)
1.一种基于特征融合的多尺度多光谱影像空间降尺度方法，包括以下步骤：
获取目标区域在相同时间段内的哨兵2A/B多光谱影像和哨兵3A/B多光谱影像，其中，所述哨兵2A/B多光谱影像的空间分辨率包括20m和60m，所述哨兵3A/B多光谱影像的空间分辨率为300m；
根据面到点的克里金插值法，将所述哨兵3A/B多光谱影像的空间分辨率调整为50m，将所述哨兵2A/B多光谱影像的空间分辨率调整为10m；
根据聚合平均重采样法，将空间分辨率为10m的所述哨兵2A/B多光谱影像的空间分辨率聚合平均重采样至50m；
构建多源信息融合模型，将空间分辨率为50m的所述哨兵3A/B多光谱影像与空间分辨率为50m的所述哨兵2A/B多光谱影像输入至所述多源信息融合模型进行影像融合，得到第一融合多光谱影像，其中，所述第一融合多光谱影像的空间分辨率为50m；
根据面到点的克里金插值法，将所述第一融合多光谱影像的空间分辨率调整为10m；
将空间分辨率为10m的所述哨兵2A/B多光谱影像以及空间分辨率为10m的所述第一融合多光谱影像输入至所述多源信息融合模型进行影像融合，获取第二融合多光谱影像，其中，所述第二融合多光谱影像的空间分辨率为10m。
2.根据权利要求1所述的基于特征融合的多尺度多光谱影像空间降尺度方法，其特征在于，获取目标区域在相同时间段内的哨兵2A/B多光谱影像和哨兵3A/B多光谱影像的步骤包括：
获取目标区域在相同时间段内的哨兵2A/B多光谱原始影像和哨兵3A/B多光谱原始影像；
对所述哨兵2A/B多光谱原始影像和所述哨兵3A/B多光谱原始影像分别进行辐射校正、大气校正、裁剪和子集提取，获取所述哨兵2A/B多光谱影像和所述哨兵3A/B多光谱影像。
3.根据权利要求1所述的基于特征融合的多尺度多光谱影像空间降尺度方法，其特征在于，根据面到点的克里金插值法，将所述哨兵3A/B多光谱影像的空间分辨率调整为50m的步骤包括：
将所述哨兵3A/B多光谱影像输入下述面到点的克里金插值法处理公式，将所述哨兵3A/B多光谱影像的空间分辨率调整为50m：
，
其中，为空间分辨率为50m的哨兵3A/B多光谱影像，为面到点的克里金插值法，为初始获取到的空间分辨率为300m的所述哨兵3A/B多光谱影像。
4.根据权利要求1所述的基于特征融合的多尺度多光谱影像空间降尺度方法，其特征在于，根据面到点的克里金插值法，将所述哨兵2A/B多光谱影像的空间分辨率调整为10m的步骤包括：
将所述哨兵2A/B多光谱影像输入下述面到点的克里金插值法处理公式，将所述哨兵2A/B多光谱影像的空间分辨率调整为10m：
，
其中，为空间分辨率为10m的哨兵2A/B多光谱影像，为面到点的克里金插值法，为初始获取到的空间分辨率为20m的所述哨兵2A/B多光谱影像以及空间分辨率为60m的所述哨兵2A/B多光谱影像。
5.根据权利要求1所述的基于特征融合的多尺度多光谱影像空间降尺度方法，其特征在于，根据聚合平均重采样法，将空间分辨率为10m的所述哨兵2A/B多光谱影像的空间分辨率聚合平均重采样至50m的步骤包括：
将空间分辨率为10m的所述哨兵2A/B多光谱影像输入下述聚合平均重采样法处理公式，将该哨兵2A/B多光谱影像的空间分辨率聚合平均重采样至50m：
，
其中，为空间分辨率为50m的所述哨兵2A/B多光谱影像，为聚合平均重采样法，为空间分辨率为10m的所述哨兵2A/B多光谱影像。
6.根据权利要求1所述的基于特征融合的多尺度多光谱影像空间降尺度方法，其特征在于，构建多源信息融合模型，将空间分辨率为50m的所述哨兵3A/B多光谱影像与空间分辨率为50m的所述哨兵2A/B多光谱影像输入至所述多源信息融合模型进行影像融合，得到第一融合多光谱影像的步骤包括：
构造深度对比网络：
，
其中，为经过第i层深度对比网络处理；为预设的k*k的卷积运算，为预设的激活函数；
将空间分辨率为50m的所述哨兵3A/B多光谱影像输入至所述深度对比网络，获取该哨兵3A/B多光谱影像的高频率信息和低频率信息：
，
其中，hf为高频信息标志，lf为低频信息标志，I为预设的深度对比网络的总层数，为该哨兵3A/B多光谱影像的高频率信息，为该哨兵3A/B多光谱影像的低频率信息，为空间分辨率为50m的所述哨兵3A/B多光谱影像，为空间分辨率为50m的所述哨兵3A/B多光谱影像经过层数为I的深度对比网络处理所获取的高频率信息；
对空间分辨率为50m的所述哨兵3A/B多光谱影像与空间分辨率为50m的所述哨兵2A/B多光谱影像分别进行特征提取，获取空间分辨率为50m的所述哨兵3A/B多光谱影像与空间分辨率为50m的所述哨兵2A/B多光谱影像之间的特征差异，其中，所述特征差异至少包括纹理信息特征差异与几何信息特征差异：
，
其中，为预设的初始分层特征学习的可学习的特征提取器，i为第i个感受野，Fyi为提取到的空间分辨率为50m的所述哨兵2A/B多光谱影像在不同感受野下的特征，Fdi为提取到的空间分辨率为50m的所述哨兵3A/B多光谱影像在不同感受野下的特征，J为所述特征差异；
引入多注意力机制，结合所述特征差异，将空间分辨率为50m的所述哨兵3A/B多光谱影像的高频率信息、低频率信息与空间分辨率为50m的所述哨兵2A/B多光谱影像进行影像融合，得到第一融合多光谱影像。
7.根据权利要求6所述的基于特征融合的多尺度多光谱影像空间降尺度方法，其特征在于，引入多注意力机制，结合所述特征差异，将空间分辨率为50m的所述哨兵3A/B多光谱影像的高频率信息、低频率信息与空间分辨率为50m的所述哨兵2A/B多光谱影像进行影像融合，得到第一融合多光谱影像的步骤包括：
引入多注意力机制，将空间分辨率为50m的所述哨兵3A/B多光谱影像的高频率信息与空间分辨率为50m的所述哨兵2A/B多光谱影像进行信息融合，获取第一融合结果，其中，所述多注意力机制至少包括空间注意力机制以及通道注意力机制：
，
其中，S a为多注意力机制；为空间注意力机制，为通道注意力机制，为执行信息融合的融合通式，γ为预设的可学习的参数，为多源信息融合模型的表达式，G1为所述第一融合结果；
引入多注意力机制，将空间分辨率为50m的所述哨兵3A/B多光谱影像的低频率信息和所述第一融合结果进行信息融合，获取第一融合多光谱影像：
，
其中，G1为所述第一融合结果，G2为所述第一融合多光谱影像。
8.根据权利要求1所述的基于特征融合的多尺度多光谱影像空间降尺度方法，其特征在于，根据面到点的克里金插值法，将所述第一融合多光谱影像的空间分辨率调整为10m的步骤包括：
将所述第一融合多光谱影像输入下述面到点的克里金插值法处理公式，将所述第一融合多光谱影像的空间分辨率调整为10m：
，
其中，G2为所述第一融合多光谱影像，G3为空间分辨率为10m的所述第一融合多光谱影像，为面到点的克里金插值法。
9.根据权利要求8所述的基于特征融合的多尺度多光谱影像空间降尺度方法，其特征在于，将空间分辨率为10m的所述哨兵2A/B多光谱影像以及空间分辨率为10m的所述第一融合多光谱影像输入至所述多源信息融合模型进行影像融合，获取第二融合多光谱影像的步骤包括：
对空间分辨率为10m的所述哨兵2A/B多光谱影像以及空间分辨率为10m的所述第一融合多光谱影像分别进行特征提取，获取空间分辨率为10m的所述哨兵2A/B多光谱影像以及空间分辨率为10m的所述第一融合多光谱影像之间的特征差异；
引入多注意力机制，结合空间分辨率为10m的所述哨兵2A/B多光谱影像以及空间分辨率为10m的所述第一融合多光谱影像之间的特征差异，将空间分辨率为10m的所述哨兵2A/B多光谱影像以及空间分辨率为10m的所述第一融合多光谱影像进行信息融合，获取第二融合多光谱影像。
10.一种基于特征融合的多尺度多光谱影像空间降尺度系统，其特征在于，包括：
影像获取单元，用于获取目标区域在相同时间段内的哨兵2A/B多光谱影像和哨兵3A/B多光谱影像，其中，所述哨兵2A/B多光谱影像的空间分辨率包括20m和60m，所述哨兵3A/B多光谱影像的空间分辨率为300m；
空间分辨率调整单元，用于根据面到点的克里金插值法，将所述哨兵3A/B多光谱影像的空间分辨率调整为50m，将所述哨兵2A/B多光谱影像的空间分辨率调整为10m；
聚合平均重采样单元，用于根据聚合平均重采样法，将空间分辨率为10m的所述哨兵2A/B多光谱影像的空间分辨率聚合平均重采样至50m；
影像融合单元，用于构建多源信息融合模型，将空间分辨率为50m的所述哨兵3A/B多光谱影像与空间分辨率为50m的所述哨兵2A/B多光谱影像输入至所述多源信息融合模型进行影像融合，得到第一融合多光谱影像，其中，所述第一融合多光谱影像的空间分辨率为50m；
融合影像空间分辨率调整单元，用于根据面到点的克里金插值法，将所述第一融合多光谱影像的空间分辨率调整为10m；
融合影像融合单元，用于将空间分辨率为10m的所述哨兵2A/B多光谱影像以及空间分辨率为10m的所述第一融合多光谱影像输入至所述多源信息融合模型进行影像融合，获取第二融合多光谱影像，其中，所述第二融合多光谱影像的空间分辨率为10m。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410917138.1A CN118469805B (zh) | 2024-07-10 | 2024-07-10 | 基于特征融合的多尺度多光谱影像空间降尺度方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410917138.1A CN118469805B (zh) | 2024-07-10 | 2024-07-10 | 基于特征融合的多尺度多光谱影像空间降尺度方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118469805A true CN118469805A (zh) | 2024-08-09 |
| CN118469805B CN118469805B (zh) | 2024-10-01 |
Family
ID=92168827
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410917138.1A Active CN118469805B (zh) | 2024-07-10 | 2024-07-10 | 基于特征融合的多尺度多光谱影像空间降尺度方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118469805B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916435A (zh) * | 2010-08-30 | 2010-12-15 | 武汉大学 | 一种多尺度光谱投影遥感影像融合方法 |
| US20190287216A1 (en) * | 2018-03-19 | 2019-09-19 | Mitsubishi Electric Research Laboratories, Inc. | Systems and Methods for Multi-Spectral Image Super-Resolution |
| CN112508082A (zh) * | 2020-12-02 | 2021-03-16 | 武汉大学 | 一种非监督学习的遥感影像空谱融合方法及系统 |
| CN113324923A (zh) * | 2021-06-07 | 2021-08-31 | 郑州大学 | 一种结合时空融合与深度学习的遥感水质反演方法 |
| CN113870110A (zh) * | 2021-09-10 | 2021-12-31 | 深圳市魔方卫星科技有限公司 | 遥感影像的图像融合方法、装置、电子设备和存储介质 |
| US20230206399A1 (en) * | 2021-12-24 | 2023-06-29 | Advanced Micro Devices, Inc. | Low-latency architecture for full frequency noise reduction in image processing |
| WO2023219963A1 (en) * | 2022-05-08 | 2023-11-16 | The Medical College Of Wisconsin, Inc. | Deep learning-based enhancement of multispectral magnetic resonance imaging |
| CN117437123A (zh) * | 2023-09-27 | 2024-01-23 | 宁波大学 | 一种光谱与纹理注意力融合的深度光谱超分辨率方法 |
| LU103119B1 (en) * | 2023-05-09 | 2024-06-11 | Univ Chengdu Technology | Object-oriented method and system for classifying earth surface coverage through high-resolution remote sensing images |
-
2024
- 2024-07-10 CN CN202410917138.1A patent/CN118469805B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916435A (zh) * | 2010-08-30 | 2010-12-15 | 武汉大学 | 一种多尺度光谱投影遥感影像融合方法 |
| US20190287216A1 (en) * | 2018-03-19 | 2019-09-19 | Mitsubishi Electric Research Laboratories, Inc. | Systems and Methods for Multi-Spectral Image Super-Resolution |
| CN112508082A (zh) * | 2020-12-02 | 2021-03-16 | 武汉大学 | 一种非监督学习的遥感影像空谱融合方法及系统 |
| CN113324923A (zh) * | 2021-06-07 | 2021-08-31 | 郑州大学 | 一种结合时空融合与深度学习的遥感水质反演方法 |
| CN113870110A (zh) * | 2021-09-10 | 2021-12-31 | 深圳市魔方卫星科技有限公司 | 遥感影像的图像融合方法、装置、电子设备和存储介质 |
| US20230206399A1 (en) * | 2021-12-24 | 2023-06-29 | Advanced Micro Devices, Inc. | Low-latency architecture for full frequency noise reduction in image processing |
| WO2023219963A1 (en) * | 2022-05-08 | 2023-11-16 | The Medical College Of Wisconsin, Inc. | Deep learning-based enhancement of multispectral magnetic resonance imaging |
| LU103119B1 (en) * | 2023-05-09 | 2024-06-11 | Univ Chengdu Technology | Object-oriented method and system for classifying earth surface coverage through high-resolution remote sensing images |
| CN117437123A (zh) * | 2023-09-27 | 2024-01-23 | 宁波大学 | 一种光谱与纹理注意力融合的深度光谱超分辨率方法 |
Non-Patent Citations (5)
| Title |
|---|
| LIU, WENJIE: "Spectral unmixing based spatiotemporal downscaling fusion approach", 《 INTERNATIONAL JOURNAL OF APPLIED EARTH OBSERVATION AND GEOINFORMATION》, 1 May 2020 (2020-05-01) * |
| MARIA SDRAKA: "Deep Learning for Downscaling Remote Sensing Images: Fusion and super-resolution", 《IEEE GEOSCIENCE AND REMOTE SENSING MAGAZINE》, 2 June 2022 (2022-06-02) * |
| PRIYANKA SAXENA: "Spatio-Spectral Image Fusion Using Local Embeddings", 《2020 IEEE INTERNATIONAL STUDENTS\' CONFERENCE ON ELECTRICAL, ELECTRONICS AND COMPUTER SCIENCE》, 7 May 2020 (2020-05-07) * |
| 杨琳;丁凤;朱伶俐;郑子铖;叶金玉;: "基于同日过空的Sentinel-2和Landsat 8数据的NDISI指数改进与应用", 福建师范大学学报(自然科学版), no. 01, 20 January 2020 (2020-01-20) * |
| 王群明: "融合Sentinel-2数据的高分五号高光谱数据降尺度", 《遥感学报》, vol. 27, no. 8, 31 August 2023 (2023-08-31) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118469805B (zh) | 2024-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12039452B2 (en) | System for producing satellite imagery with high-frequency revisits using deep learning to monitor vegetation | |
| CN102324098B (zh) | 一种结合实验室定标和均匀景统计的相对辐射定标方法 | |
| CN108961199A (zh) | 多源遥感数据时空融合方法及装置 | |
| CN102024260B (zh) | 基于局部Gamma拟合的活动轮廓SAR图像分割方法 | |
| CN113112533B (zh) | 基于多分辨率分析的sar-多光谱-高光谱一体化融合方法 | |
| CN111062267B (zh) | 一种时间序列遥感影像降维方法 | |
| CN117492110B (zh) | 一种基于人工智能增强的数值模式预报方法 | |
| CN112101251B (zh) | 基于可变卷积神经网络的sar自动目标识别方法 | |
| CN116310883B (zh) | 基于遥感图像时空融合的农业灾害预测方法及相关设备 | |
| CN112285808B (zh) | 一种aphrodite降水数据的降尺度方法 | |
| CN104020456A (zh) | 一种基于多特显点线阵成像雷达系统幅相误差校正方法 | |
| CN114120101A (zh) | 一种土壤水分多尺度综合感知方法 | |
| CN116484189A (zh) | 一种基于深度学习的era5降水产品降尺度方法 | |
| CN117876870B (zh) | 一种基于多源遥感数据的农作物估产的方法和系统 | |
| CN118469805B (zh) | 基于特征融合的多尺度多光谱影像空间降尺度方法及系统 | |
| CN114936202B (zh) | 一种极地反照率遥感数据的重构方法、装置及计算机设备 | |
| CN108985154B (zh) | 基于影像聚集度的小尺寸地物亚像元定位方法和系统 | |
| CN109523498B (zh) | 一种面向田块尺度作物生长监测的遥感影像时空融合方法 | |
| Fernandez et al. | Sentinel-3 super-resolution based on dense multireceptive channel attention | |
| CN115358924A (zh) | 一种深度学习星载微波辐射计遥感亮温超分辨率重建方法 | |
| KR102125723B1 (ko) | 영상의 상대 방사 보정 방법 및 수행 장치 | |
| CN113724165B (zh) | 合成孔径雷达镶嵌影像匀色处理方法 | |
| Ding et al. | A spatial downscaling approach for land surface temperature by considering descriptor weight | |
| CN105373694B (zh) | Modis宽波段发射率和glass宽波段发射率的融合计算方法 | |
| CN118190836B (zh) | 一种塔基长光程高光谱辐射校正方法、系统、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |