CN112508832A - 一种面向对象的遥感影像数据时空融合方法、系统及设备 - Google Patents

Abstract

一种面向对象的遥感影像数据时空融合方法、系统及设备，适用于遥感技术领域中使用。首先获取第一时相的高分辨率影像和低分辨率影像，以及第二时相的低分辨率影像；再利用双三次插值模型将两个时相低空间分辨率影像降尺度到与第一时相高分辨率影像相同的分辨率，获得插值影像；利用影像分割对第一时相的高分辨率影像地物的分割；在各个分割块中，将所述插值影像与第一时相的高分辨率影像输入至预先建立的线性插值模型获得初步融合结果；在每一个分割块中，逐像素搜索目标像素的光谱相似像素，取两影像的交集作为最终光谱相似像素；通过反距离加权结合光谱相似像素信息作空间滤波，得到最终融合影像。其步骤简单，获取到的时空数据融合结果更好。

Description

一种面向对象的遥感影像数据时空融合方法、系统及设备

技术领域

本发明涉及一种面向对象的遥感影像数据时空融合方法、系统及设备，尤其适用于遥感技术领域中使用。

背景技术

多平台遥感卫星提供了大量的高空间、高时间分辨率的遥感数据，为准确提取地表覆盖及动态变化等信息提供了重要的数据保障。为满足某些应用需求，需要具有高空间分辨率的密集遥感数据，然而，由于硬件技术限制以及预算限制，遥感影像存在着空间和时间分辨率不可兼得的现象。但不同传感器影像信息之间存在着互补性，可以通过时空融合技术在不改变现有观测条件的情况下生成兼具空间和时间分辨率的遥感影像，从而在更高的时空分辨率下实现对地表的动态监测。

现有主流的时空融合方法大多数基于或运用了加权函数法与解混法的思想与原理，仍然存在一些需要进一步研究的问题：

1)基于加权函数法的原理的时空融合算法往往需要利用移动窗口来选择目标像素的光谱相似像素，但在矩形窗口中选择的相似像素不一定符合地物特征的分布，此外，地物在两时相间的类别变化可能造成选择了错误的相似像素，这些错误将传递到最终的融合结果中。

2)基于解混原理的时空融合算法需要先对高分辨率影像进行分类，但由于两时相间可能出现的地物类别变化，分类结果可能不再适用于预测时相影像，该分类错误将影响解混结果，降低融合精度。

综上所述，现有主流的时空融合技术有待于进一步的改进。

发明内容

鉴于现有技术的不足，本发明目的在于提供一种面向对象的遥感影像数据时空融合方法、系统及设备，提高时空融合算法在复原两时相复杂变化区域的影像的能力，增强融合算法的可靠性和稳定性，以实现准确预测出融合影像。

本发明的技术方案如下：本发明的面向对象的遥感影像数据时空融合方法，其特征在于步骤如下：

步骤S1、首先利用多个摄像设备进行多角度影像采集，获取第一时相遥感影像和第二时相遥感影像，其中第一时相对遥感影像包含高分辨率影像和低分辨率影像，第二时相遥感影像只包含低分辨率影像，利用双三次插值模型获得第一时相低分辨率影像与第二时相低分辨率影像的插值影像；

步骤S2、利用易康软件多尺度分割功能，对所述第一时相的高分辨率影像进行分隔处理，使第一时相的高分辨率影像的均质区域被线条分隔出多个独立分割块；

步骤S3、由于进行分隔处理后的第一时相的高分辨率影像的像素的坐标已知且与第一时相和第二时相的插值影像相比，像素位置基本不变，因此将第一时相的高分辨率影像进行分隔处理后的结果套用在第一时相和第二时相低分辨率影像生成的插值影像中，通过将第一时相和第二时相低分辨率影像的插值影像与分隔处理后的第一时相的高分辨率影像，依照逐分割块输入至预先建立的线性插值模型，获得的初步融合结果影像即第二时相的高分辨率初步融合影像；

步骤S4、利用阈值法搜索第一时相的高分辨率影像和初步融合结果影像中目标像素所在分割块的光谱相似像素，取第一时相的高分辨率影像和初步融合结果影像中光谱相似像素中的交集像素获得最终光谱相似像素集；

步骤S5、在所述初步融合结果影像中，逐像素利用其最终光谱相似像素的光谱信息进行反距离加权作空间滤波，得到最终融合影像。

使用易康软件调整尺度参数，光谱权值和形状权值使其尽可能符合目视判断，之后对第一时相的高分辨率影像完成多尺度分割。

步骤S3中初步融合结果影像的具体步骤为：

步骤S31、首先建立作用于全局与作用于局部的线性插值模型；其中作用于全局的线性插值模型通过输入第一时相高分辨率影像、第一时相低分辨率影像、第二时相低分辨率影像到线性插值模型中直接得到完整的影像作为融合结果，作用于局部为逐分割块输入第一时相高分辨率影像、第一时相低分辨率影像、第二时相低分辨率影像的分割块到线性插值模型中，得到每个分割块的融合结果，在融合完所有分割块后，再拼成一幅图作为融合结果；

具体的，

在时空融合领域中，通过提取第一时相高分辨率影像的空间信息，与第二时相低分辨率影像进行融合，获得的作用于全局的线性插值模型为：

实现增强低分辨率遥感影像的空间细节，式中

表示在波段b的线性插值结果，H₁(b)是第一时相T₁的波段为b的高分辨率影像，L′₁(b)和L′₂(b)分别为第一时相T₁和第二时相T₂的波段为b的低分辨率影像进行双三次插值处理后得到的插值影像，g_b为增益系数；

具体计算如下式：

式中，cov(L′₁(b),L′₂(b))表示L′₁(b)和L′₂(b)的协方差，var(L′₁(b))表示L′₁(b)的方差；

将线性插值模型分别应用到步骤S2中获取的每一个分割块中，实现基于对象的时空融合，获得作用于局部分割块图像的线性插值模型为：

式中

表示波段b下位于分割块图像O_i区域内的线性插值结果，H₁(O_i,b)是在波段b下位于分割块O_i区域内的第一时相T₁的高分辨率影像，L′₁(O_i,b)和L′₂(O_i,b)分别为波段b下位于分割块O_i区域内的第一时相T₁和第二时相T₂的低分辨率影像进行双三次插值处理后得到的插值影像；此时的增益系数c_b利用下式计算：

即完成作用于全局和作用于局部的线性插值模型的建立；

步骤S32、将第一时相和第二时相低分辨率影像的插值影像与第一时相的高分辨率影像，输入至应用于全局的线性插值模型，获得融合结果

步骤S33、根据多尺度分割结果，计算作用于全局的线性插值模型的融合结果

在各个分割块图像内的三倍标准差，将其作为各分割块图像内用于排除噪声造成粗差的阈值；

计算作用于全局的线性插值模型结果的三倍标准差作为阈值的公式如下所示：

式中，thre(O_i,b)为波段b下位于分割块O_i区域内的阈值，

为波段b下位于分割块O_i区域内作用于全局的线性插值模型的结果的标准差；

步骤S34、根据多尺度分割结果将第一时相和第二时相的插值影像与第一时相的高分辨率影像，逐分割块输入至作用于局部的线性插值模型，获得插值模型应用于局部的融合结果

将融合结果小于阈值thre(O_i,b)的像素用作用于全局的插值结果

进行替换，获得初步融合结果。

步骤S4中获得最终光谱相似像素的具体步骤为：

步骤S41、在第一时相的高分辨率影像和初步融合结果中，在目标像素所在分割块图像中，计算目标像素与其他像素的光谱差值；

步骤S42、计算第一时相的高分辨率影像和初步融合结果在目标像素所在分割块的两倍标准差，并将其作为判断光谱相似的阈值，光谱差值的绝对值小于该阈值则定义该像素为目标像素的光谱相似像素；

判断策略如下式所示：

其中

表示目标像素

在波段b下的第一时相T₁的高分辨率影像的亮度值，

表示目标像素

在波段b下的初步融合结果影像的亮度值，在目标像素

所在的分割块O_i中逐像素判断，当光谱差值的绝对值小于阈值时，则定义该像素为目标像素

的光谱相似像素；

步骤S43、对第一时相的高分辨率影像和初步融合结果影像中对应目标像素所筛选的光谱相似像素取交集，作为最终的光谱相似像素集；

步骤S44、在分割块O_i中，逐像素设置为目标像素

完成上述步骤，得到该分割块中所有像素最终的光谱相似像素；

步骤S45、在第一时相的高分辨率影像和初步融合结果影像中逐分割块完成上述步骤，得到所有像素的最终光谱相似像素。

步骤S5的详细步骤为：

步骤S51、在初步融合结果影像中，利用公式：

计算目标像素与其所有光谱相似像素的欧式距离值，式中d_k是目标像素与其所有光谱相似像素的欧式距离值，(x_t,y_t)和(x_k,y_k)分别表示目标像素与其光谱相似像素的坐标；

步骤S52、利用公式：DN_k＝(d_k-d_min)/(d_max-d_min)+1，对所有欧式距离值进行归一化计算，式中DN_k为完成距离归一化后的光谱相似像素(x_k,y_k)的距离度量指数，d_min和d_max分别为目标像素与其所有光谱相似像素的欧式距离值中的最小值和最大值；然后利用公式：

计算空间滤波的权值，式中W_k为光谱相似像素(x_k,y_k)的权值，N表示目标像素的光谱相似像素的数量；

步骤S53、对初步融合结果中目标像素的光谱相似像素的值进行加权，逐像素进行该步骤，实现空间滤波，得到最终的时空融合结果；

在初步融合结果中逐像素中使用公式：

完成全图的空间滤波，得到考虑邻域关系的稳健结果，完成时空融合。

一种面向对象的遥感影像数据时空融合方法的系统，其包括：

空间降尺度模块，用于利用双三次插值模型将两时相低分辨率影像降尺度到与第一时相高分辨率影像相同的分辨率，获得插值影像；

影像分割模块，用于对第一时相高分辨率遥感影像进行分割处理，作为实现后续的对象级融合的前提；

线性插值模块，用于提取第一时相高分辨率影像的空间信息，并将其与第二时相下低分辨率影像进行融合，增强低分辨率遥感影像的空间细节，获得初步的融合结果；

相似像素筛选模块，用于根据阈值法逐像素搜索目标像素所在分割块中的光谱相似像素，取两影像搜索结果交集得到最终光谱相似像素；

空间滤波模块，用于利用所述光谱相似像素的信息进行空间滤波得到最终融合结果；

一种执行面向对象的遥感影像数据时空融合方法的信息处理设备，它包括处理器、显示屏、存储器、总线和通信接口，其中处理器通过总线分别与显示屏、存储器、总线和通信接口连接，显示屏用于显示处理器处理后通过总线发送的信息，存储介质用于存储多条指令并提供给处理器读写并调用指令，通信接口通过总线完成相互间的通信。

一种面向对象的遥感影像数据时空融合方法的计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行。

有益效果：本发明通过获取第一时相遥感影像和第二时相遥感影像，利用双三次插值模型将两时相低分辨率影像降尺度到与第一时相高分辨率影像相同的分辨率，获得插值影像；利用易康软件中多尺度分割算法对所述第一时相的高分辨率影像进行分割处理，基于异质性最小准则将影像分为若干分割块；将所述插值影像与第一时相的高分辨率影像，逐分割块输入至预先建立的线性插值模型，获得初步融合结果；在所述第一时相的高分辨率影像和初步融合结果中，利用阈值法逐像素搜索目标像素所在分割块的光谱相似像素，取两影像的交集获得最终相似像素；在所述初步融合结果影像中，逐像素利用其最终相似像素的光谱信息进行反距离加权作空间滤波，得到最终融合影像。本实施例所述的方法，综合考虑了时空融合算法在不同场景下的适用性，通过利用多尺度分割提供的信息，能够实现对象级的融合，有效的捕捉地物在两时相的变化，获取到更好的时空数据融合结果。

本方法相较于时空融合领域广泛使用的加权函数法，利用分割块而非移动窗口进行划定筛选目标像素的光谱相似像素的边界，更加符合地物的分布特征，此外，通过取目标像素在第一时相高分辨率影像和初步融合影像中相似像素的交集来获得最终相似像素集，能够减少地物类别在两时相的变化造成的相似像素的选择错误，从而得到精度更高的时空融合结果；相较于时空融合领域另一广泛使用的解混法，本发明所述方法无需预先对影像进行分类，避免了分类错误对融合精度的影响，步骤更简单，在地物类别发生变化的区域算法鲁棒性更强。

附图说明

图1是本发明面向对象的遥感影像数据时空融合方法的步骤流程图；

图2是本发明面向对象的遥感影像数据时空融合方法步骤S1中的具体步骤流程图；

图3(a)是本发明面向对象的遥感影像数据时空融合方法步骤S2中的具体步骤流程图；

图3(b)是本发明中第一时相的高分辨率影像的均质区域被线条分隔出多个独立分割块的示意图；

图4是本发明面向对象的遥感影像数据时空融合方法步骤S3中的具体步骤流程图；

图5是本发明面向对象的遥感影像数据时空融合方法步骤S4中的具体步骤流程图；

图6是本发明面向对象的遥感影像数据时空融合方法步骤S5中的具体步骤流程图；

图7是本发明信息处理设备的实结构示意图。

图中：20-处理器，21-显示屏，22-存储器，23-通信接口，24-总线。

具体实施方式

下面结合附图对本申请的实施例做进一步说明：

近年来，越来越多的遥感卫星发射升空，根据不同的应用目的，不同的传感器获得的数据具有不同的时间、空间和光谱分辨率。由于传感器硬件条件的限制，难以直接获取同时具有高时间分辨率、高空间分辨率的遥感影像，每种遥感数据都有一定的适用范围和局限性，然而，这些数据可以互为补充，以拓展其对地观测的能力。因此，如何整合来自多颗卫星的图像以生成高质量的密集时间序列数据成为高频率和高空间分辨率观测研究的紧迫任务。时空融合技术可以在不改变现有观测条件的情况下，对来自不同传感器、不同尺度、不同时相下的遥感影像数据进行时空融合处理，产生同时具有高空间分辨率和高时间分辨率的数据，缓解遥感数据的“时空矛盾”。

现有主流的时空融合方法大多数基于或运用了加权函数法与解混法的思想与原理，仍然存在一些需要进一步研究的问题：1)基于加权函数法的原理的时空融合算法往往需要利用移动窗口来选择目标像素的光谱相似像素，但在矩形窗口中选择的相似像素不一定符合地物特征的分布，此外，地物在两时相间的类别变化可能造成选择了错误的光谱相似像素，这些错误将传递到最终的融合结果中。2)基于解混原理的时空融合算法需要先对高分辨率影像进行分类，但由于两时相间可能出现的地物类别变化，分类结果可能不再适用于预测时相影像，该分类错误将影响解混结果，降低融合精度。因此，现有主流的时空融合技术有待于进一步的改进。

本实施例提供了一种面向对象的遥感影像数据时空融合方法、系统及设备，具体提供了一种结合多尺度分割技术和线性插值模型的面向对象的时空数据融合方法，通过利用多尺度分割提供的信息，能够实现对象级的融合，有效的捕捉地物在两时相的变化，获取到更好的时空数据融合结果。

下面结合附图和具体实施例，对本发明所提供的方法、系统及设备做进一步详细的说明。

示例性方法

如图1所示，本发明公开了一种面向对象的遥感影像数据时空融合方法，步骤如下：

步骤S1、如图2所示，首先利用多个摄像设备进行多角度影像采集，获取第一时相遥感影像和第二时相遥感影像，其中第一时相对遥感影像包含高分辨率影像和低分辨率影像，第二时相遥感影像只包含低分辨率影像，利用双三次插值模型获得第一时相低分辨率影像与第二时相低分辨率影像的插值影像；

步骤S2、如图3(a)和图3(b)所示，利用易康软件多尺度分割功能，对所述第一时相的高分辨率影像进行分隔处理，使第一时相的高分辨率影像的均质区域被线条分隔出多个独立分割块；使用易康软件调整尺度参数，光谱权值和形状权值使其尽可能符合目视判断，之后对第一时相的高分辨率影像完成多尺度分割；

步骤S3、如图4所示，由于进行分隔处理后的第一时相的高分辨率影像的像素的坐标已知且与第一时相和第二时相的插值影像相比，像素位置基本不变，因此将第一时相的高分辨率影像进行分隔处理后的结果套用在第一时相和第二时相低分辨率影像生成的插值影像中，通过将第一时相和第二时相低分辨率影像的插值影像与分隔处理后的第一时相的高分辨率影像，依照逐分割块输入至预先建立的线性插值模型，获得的初步融合结果影像即第二时相的高分辨率初步融合影像；

初步融合结果影像的具体步骤为：

步骤S31、首先建立作用于全局与作用于局部的线性插值模型；其中作用于全局的线性插值模型通过输入第一时相高分辨率影像、第一时相低分辨率影像、第二时相低分辨率影像到线性插值模型中直接得到完整的影像作为融合结果，作用于局部为逐分割块输入第一时相高分辨率影像、第一时相低分辨率影像、第二时相低分辨率影像的分割块到线性插值模型中，得到每个分割块的融合结果，在融合完所有分割块后，再拼成一幅图作为融合结果；

具体的，

在时空融合领域中，通过提取第一时相高分辨率影像的空间信息，与第二时相低分辨率影像进行融合，获得的作用于全局的线性插值模型为：

实现增强低分辨率遥感影像的空间细节，式中

表示在波段b的线性插值结果，H₁(b)是第一时相T₁的波段为b的高分辨率影像，L′₁(b)和L′₂(b)分别为第一时相T₁和第二时相T₂的波段为b的低分辨率影像进行双三次插值处理后得到的插值影像，g_b为增益系数；

具体计算如下式：

式中，cov(L′₁(b),L′₂(b))表示L′₁(b)和L′₂(b)的协方差，var(L′₁(b))表示L′₁(b)的方差；

将线性插值模型分别应用到步骤S2中获取的每一个分割块中，实现基于对象的时空融合，获得作用于局部分割块图像的线性插值模型为：

式中

表示波段b下位于分割块图像O_i区域内的线性插值结果，H₁(Oi,b)是在波段b下位于分割块O_i区域内的第一时相T₁的高分辨率影像，L′₁(Oi,b)和L′₂(Oi,b)分别为波段b下位于分割块O_i区域内的第一时相T₁和第二时相T₂的低分辨率影像进行双三次插值处理后得到的插值影像；此时的增益系数c_b利用下式计算：

即完成作用于全局和作用于局部的线性插值模型的建立；

步骤S32、将第一时相和第二时相低分辨率影像的插值影像与第一时相的高分辨率影像，输入至应用于全局的线性插值模型，获得融合结果

步骤S33、根据多尺度分割结果，计算作用于全局的线性插值模型的融合结果

在各个分割块图像内的三倍标准差，将其作为各分割块图像内用于排除噪声造成粗差的阈值；

计算作用于全局的线性插值模型结果的三倍标准差作为阈值的公式如下所示：

式中，thre(O_i,b)为波段b下位于分割块O_i区域内的阈值，

为波段b下位于分割块O_i区域内作用于全局的线性插值模型的结果的标准差；

步骤S34、根据多尺度分割结果将第一时相和第二时相的插值影像与第一时相的高分辨率影像，逐分割块输入至作用于局部的线性插值模型，获得插值模型应用于局部的融合结果

将融合结果小于阈值thre(O_i,b)的像素用作用于全局的插值结果

进行替换，获得初步融合结果；

步骤S4、如图5所示，利用阈值法搜索第一时相的高分辨率影像和初步融合结果影像中目标像素所在分割块的光谱相似像素，取第一时相的高分辨率影像和初步融合结果影像中光谱相似像素中的交集像素获得最终光谱相似像素集；

获得最终光谱相似像素的具体步骤为：

步骤S41、在第一时相的高分辨率影像和初步融合结果中，在目标像素所在分割块图像中，计算目标像素与其他像素的光谱差值；

步骤S42、计算第一时相的高分辨率影像和初步融合结果在目标像素所在分割块的两倍标准差，并将其作为判断光谱相似的阈值，光谱差值的绝对值小于该阈值则定义该像素为目标像素的光谱相似像素；

判断策略如下式所示：

其中

表示目标像素

在波段b下的第一时相T₁的高分辨率影像的亮度值，

表示目标像素

在波段b下的初步融合结果影像的亮度值，在目标像素

所在的分割块O_i中逐像素判断，当光谱差值的绝对值小于阈值时，则定义该像素为目标像素

的光谱相似像素；

步骤S43、对第一时相的高分辨率影像和初步融合结果影像中对应目标像素所筛选的光谱相似像素取交集，作为最终的光谱相似像素集；

步骤S44、在分割块O_i中，逐像素设置为目标像素

完成上述步骤，得到该分割块中所有像素最终的光谱相似像素；

步骤S45、在第一时相的高分辨率影像和初步融合结果影像中逐分割块完成上述步骤，得到所有像素的最终光谱相似像素；

步骤S5、如图6所示，在所述初步融合结果影像中，逐像素利用其最终光谱相似像素的光谱信息进行反距离加权作空间滤波，得到最终融合影像；详细的：

步骤S51、在初步融合结果影像中，利用公式：

计算目标像素与其所有光谱相似像素的欧式距离值，式中d_k是目标像素与其所有光谱相似像素的欧式距离值，(x_t,y_t)和(x_k,y_k)分别表示目标像素与其光谱相似像素的坐标；

步骤S52、利用公式：DN_k＝(d_k-d_min)/(d_max-d_min)+1，对所有欧式距离值进行归一化计算，式中DN_k为完成距离归一化后的光谱相似像素(x_k,y_k)的距离度量指数，d_min和d_max分别为目标像素与其所有光谱相似像素的欧式距离值中的最小值和最大值；然后利用公式：

计算空间滤波的权值，式中W_k为光谱相似像素(x_k,y_k)的权值，N表示目标像素的光谱相似像素的数量；

步骤S53、对初步融合结果中目标像素的光谱相似像素的值进行加权，逐像素进行该步骤，实现空间滤波，得到最终的时空融合结果；

在初步融合结果中逐像素中使用公式：

完成全图的空间滤波，得到考虑邻域关系的稳健结果，完成时空融合。

为了说明本发明实施例提供的遥感影像时空数据融合方法的融合效果，将本发明提出的时空融合方法与时空自适应反射融合模型，灵活时空数据融合方法进行对比实验。用于实验对比的两期影像产生的变化的包括洪水影响和农田的物候生长变化。

表1给出了上述三种时空融合方法的定量分析指标。其中方法A为时空自适应反射融合模型，方法B为灵活时空数据融合方法，方法C为本发明实施例提供的遥感影像时空融合方法；选用均方根误差(RMSE)、结构相似性(SSIM)，相关系数(r)三个精度指标，分别反映出融合结果与真实影像的光谱差异、结构相似性和相关性，前者越接近0、后两者越接近1则说明融合效果越好。

从表1的对比中可得，本发明实施例提供的时空融合结果明显优于其他三种时空融合结果：与两种经典算法时空自适应反射融合模型(方法A)和灵活时空数据融合方法(方法B)相比，本发明实施例在所有波段拥有最小的均方根误差(RMSE)，最大的结构相似性(SSIM)和相关系数(r)。因此，本发明实施例提供的遥感影像时空融合方法能够取得较优的时空融合结果。

表1

示例性设备

本实施例提供了一种遥感影像数据时空融合的系统，所述系统包括：

空间降尺度模块，用于利用双三次插值模型将两时相低分辨率影像降尺度到与第一时相高分辨率影像相同的分辨率，获得插值影像；其功能如步骤S1所述。

影像分割模块，用于对第一时相高分辨率遥感影像进行分割处理，是实现后续的对象级融合的前提；其功能如步骤S2所述。

线性插值模块，用于提取高分辨率第一时相影像的空间信息，并将其与第二时相下低分辨率影像进行融合，增强低分辨率遥感影像的空间细节，获得初步的融合结果；其功能如步骤S3所述。

相似像素筛选模块，用于根据阈值法逐像素搜索目标像素所在分割块中的光谱相似像素，取两影像搜索结果交集得到最终光谱相似像素；其功能如步骤S4所述。

空间滤波模块，用于利用所述光谱相似像素的信息进行空间滤波得到最终融合结果；其功能如步骤S5所述。

在上述方法的基础上，本实施例还公开了一种信息处理设备，包括处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现所述的漫画生成方法的步骤。其中，所述信息处理设备可以为手机、平板电脑或智能电视。

具体的，如图7所示，所述信息处理设备包括至少一个处理器(processor)20以及存储器(memory)22，还可以包括显示屏21、通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的遥感影像数据时空融合的方法。

此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器30通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。

存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

另一方面，一种计算机可读存储介质，其中，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现所述的一种面向对象的遥感影像数据时空融合方法的步骤。

本发明提出了一种面向对象的遥感影像数据时空融合方法、系统及设备，获取第一时相遥感影像和第二时相遥感影像，并利用双三次插值模型将两时相低分辨率影像降尺度到与第一时相高分辨率影像相同的分辨率，获得插值影像；利用易康软件中多尺度分割算法对所述第一时相的高分辨率影像进行分割处理，基于异质性最小准则将影像分为若干分割块；将所述插值影像与第一时相的高分辨率影像，逐分割块输入至预先建立的线性插值模型，获得初步融合结果；在所述第一时相的高分辨率影像和初步融合结果中，利用阈值法逐像素搜索目标像素所在分割块的光谱相似像素，取两影像的交集获得最终相似像素；在所述初步融合结果影像中，逐像素利用其最终相似像素的光谱信息进行反距离加权作空间滤波，得到最终融合影像。本实施例所述的方法，综合考虑了时空融合算法在不同场景下的适用性，通过利用多尺度分割提供的信息，能够实现对象级的融合，有效的捕捉地物在两时相的变化，获取到更好的时空数据融合结果。

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.一种面向对象的遥感影像数据时空融合方法，其特征在于步骤如下：

步骤S1、首先利用多个摄像设备进行多角度影像采集，获取第一时相遥感影像和第二时相遥感影像，其中第一时相对遥感影像包含高分辨率影像和低分辨率影像，第二时相遥感影像只包含低分辨率影像，利用双三次插值模型获得第一时相低分辨率影像与第二时相低分辨率影像的插值影像；

步骤S2、利用易康软件多尺度分割功能，对所述第一时相的高分辨率影像进行分隔处理，使第一时相的高分辨率影像的均质区域被线条分隔出多个独立分割块；

步骤S3、由于进行分隔处理后的第一时相的高分辨率影像的像素的坐标已知且与第一时相和第二时相的插值影像相比，像素位置基本不变，因此将第一时相的高分辨率影像进行分隔处理后的结果套用在第一时相和第二时相低分辨率影像生成的插值影像中，通过将第一时相和第二时相低分辨率影像的插值影像与分隔处理后的第一时相的高分辨率影像，依照逐分割块输入至预先建立的线性插值模型，获得的初步融合结果影像即第二时相的高分辨率初步融合影像；

步骤S4、利用阈值法搜索第一时相的高分辨率影像和初步融合结果影像中目标像素所在分割块的光谱相似像素，取第一时相的高分辨率影像和初步融合结果影像中光谱相似像素中的交集像素获得最终光谱相似像素集；

步骤S5、在所述初步融合结果影像中，逐像素利用其最终光谱相似像素的光谱信息进行反距离加权作空间滤波，得到最终融合影像。

2.根据权利要求1所述的面向对象的遥感影像数据时空融合方法，其特征在于：使用易康软件调整尺度参数，光谱权值和形状权值使其尽可能符合目视判断，之后对第一时相的高分辨率影像完成多尺度分割。

3.根据权利要求1所述的面向对象的遥感影像数据时空融合方法，其特征在于步骤S3中初步融合结果影像的具体步骤为：

步骤S31、首先建立作用于全局与作用于局部的线性插值模型；其中作用于全局的线性插值模型通过输入第一时相高分辨率影像、第一时相低分辨率影像、第二时相低分辨率影像到线性插值模型中直接得到完整的影像作为融合结果，作用于局部为逐分割块输入第一时相高分辨率影像、第一时相低分辨率影像、第二时相低分辨率影像的分割块到线性插值模型中，得到每个分割块的融合结果，在融合完所有分割块后，再拼成一幅图作为融合结果；

具体的，

在时空融合领域中，通过提取第一时相高分辨率影像的空间信息，与第二时相低分辨率影像进行融合，获得的作用于全局的线性插值模型为：

实现增强低分辨率遥感影像的空间细节，式中

表示在波段b的线性插值结果，H₁(b)是第一时相T₁的波段为b的高分辨率影像，L′₁(b)和L′₂(b)分别为第一时相T₁和第二时相T₂的波段为b的低分辨率影像进行双三次插值处理后得到的插值影像，g_b为增益系数；

具体计算如下式：

式中，cov(L′₁(b)，L′₂(b))表示L′₁(b)和L′₂(b)的协方差，var(L′₁(b))表示L′₁(b)的方差；

将线性插值模型分别应用到步骤S2中获取的每一个分割块中，实现基于对象的时空融合，获得作用于局部分割块图像的线性插值模型为：

式中

表示波段b下位于分割块图像O_i区域内的线性插值结果，H₁(O_i，b)是在波段b下位于分割块O_i区域内的第一时相T₁的高分辨率影像，L′₁(O_i，b)和L′₂(O_i，b)分别为波段b下位于分割块O_i区域内的第一时相T₁和第二时相T₂的低分辨率影像进行双三次插值处理后得到的插值影像；此时的增益系数c_b利用下式计算：

即完成作用于全局和作用于局部的线性插值模型的建立；

步骤S32、将第一时相和第二时相低分辨率影像的插值影像与第一时相的高分辨率影像，输入至应用于全局的线性插值模型，获得融合结果

步骤S33、根据多尺度分割结果，计算作用于全局的线性插值模型的融合结果

在各个分割块图像内的三倍标准差，将其作为各分割块图像内用于排除噪声造成粗差的阈值；

计算作用于全局的线性插值模型结果的三倍标准差作为阈值的公式如下所示：

式中，thre(O_i，b)为波段b下位于分割块O_i区域内的阈值，

为波段b 下位于分割块O_i区域内作用于全局的线性插值模型的结果的标准差；

步骤S34、根据多尺度分割结果将第一时相和第二时相的插值影像与第一时相的高分辨率影像，逐分割块输入至作用于局部的线性插值模型，获得插值模型应用于局部的融合结果

将融合结果小于阈值thre(O_i，b)的像素用作用于全局的插值结果

进行替换，获得初步融合结果。

4.根据权利要求1所述的面向对象的遥感影像数据时空融合方法，其特征在于步骤S4中获得最终光谱相似像素的具体步骤为：

步骤S41、在第一时相的高分辨率影像和初步融合结果中，在目标像素所在分割块图像中，计算目标像素与其他像素的光谱差值；

步骤S42、计算第一时相的高分辨率影像和初步融合结果在目标像素所在分割块的两倍标准差，并将其作为判断光谱相似的阈值，光谱差值的绝对值小于该阈值则定义该像素为目标像素的光谱相似像素；

判断策略如下式所示：

其中

表示目标像素

在波段b下的第一时相T₁的高分辨率影像的亮度值，

表示目标像素

在波段b下的初步融合结果影像的亮度值，在目标像素

所在的分割块O_i中逐像素判断，当光谱差值的绝对值小于阈值时，则定义该像素为目标像素

的光谱相似像素；

步骤S43、对第一时相的高分辨率影像和初步融合结果影像中对应目标像素所筛选的光谱相似像素取交集，作为最终的光谱相似像素集；

步骤S44、在分割块O_i中，逐像素设置为目标像素

完成上述步骤，得到该分割块中所有像素最终的光谱相似像素；

步骤S45、在第一时相的高分辨率影像和初步融合结果影像中逐分割块完成上述步骤，得到所有像素的最终光谱相似像素。

5.根据权利要求1所述的面向对象的遥感影像数据时空融合方法，其特征在于步骤S5的详细步骤为：

步骤S51、在初步融合结果影像中，利用公式：

计算目标像素与其所有光谱相似像素的欧式距离值，式中d_k是目标像素与其所有光谱相似像素的欧式距离值，(x_t，y_t)和(x_k，y_k)分别表示目标像素与其光谱相似像素的坐标；

步骤S52、利用公式：DN_k＝(d_k-d_min)/(d_max-d_min)+1，对所有欧式距离值进行归一化计算，式中DN_k为完成距离归一化后的光谱相似像素(x_k，y_k)的距离度量指数，d_min和d_max分别为目标像素与其所有光谱相似像素的欧式距离值中的最小值和最大值；然后利用公式：

计算空间滤波的权值，式中W_k为光谱相似像素(x_k，y_k)的权值，N表示目标像素的光谱相似像素的数量；

步骤S53、对初步融合结果中目标像素的光谱相似像素的值进行加权，逐像素进行该步骤，实现空间滤波，得到最终的时空融合结果；

在初步融合结果中逐像素中使用公式：

完成全图的空间滤波，得到考虑邻域关系的稳健结果，完成时空融合。

6.一种使用上述任一权利要求所述面向对象的遥感影像数据时空融合方法的系统，其特征在于包括：

空间降尺度模块，用于利用双三次插值模型将两时相低分辨率影像降尺度到与第一时相高分辨率影像相同的分辨率，获得插值影像；

影像分割模块，用于对第一时相高分辨率遥感影像进行分割处理，作为实现后续的对象级融合的前提；

线性插值模块，用于提取第一时相高分辨率影像的空间信息，并将其与第二时相下低分辨率影像进行融合，增强低分辨率遥感影像的空间细节，获得初步的融合结果；

相似像素筛选模块，用于根据阈值法逐像素搜索目标像素所在分割块中的光谱相似像素，取两影像搜索结果交集得到最终光谱相似像素；

空间滤波模块，用于利用所述光谱相似像素的信息进行空间滤波得到最终融合结果。

7.一种执行上述权利要求1-6任意一条所述面向对象的遥感影像数据时空融合方法的信息处理设备，其特征在于：它包括处理器(20)、显示屏(21)、存储器(22)、总线(24)和通信接口(23)，其中处理器(20)通过总线(24)分别与显示屏(21)、存储器(22)、总线(24)和通信接口(23)连接，显示屏(21)用于显示处理器处理后通过总线(24)发送的信息，存储介质(22)用于存储多条指令并提供给处理器(20)读写并调用指令，通信接口(23)通过总线(24)完成相互间的通信。

8.一种实现上述权利要求1-6任意一条所述面向对象的遥感影像数据时空融合方法的计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行。

Images