CN111524079B - 基于分量替换和低通滤波的多光谱遥感图像全色锐化方法 - Google Patents

Abstract

本发明属于遥感图像融合技术领域，公开了一种基于分量替换和低通滤波的多光谱遥感图像全色锐化方法。本发明包括：获取一幅低空间分辨率的原始多光谱图像及一幅高空间分辨率的原始全色图像；通过原始多光谱图像得到上采样多光谱图像；通过上采样多光谱图像得到亮度分量；通过原始全色图像及亮度分量得到残差图像；通过残差图像得到低通分量；通过残差图像及低通分量得到高频细节图像，进而得到具有高空间分辨率的全色锐化多光谱图像。本发明通过对原始全色图像和亮度分量的残差图像进行提纯，去除导致光谱扭曲的低频分量，从而在增强空间细节的同时，减弱了最终融合图像的光谱扭曲，从而获得同时具有较高颜色/光谱保真度和高空间分辨率的多光谱遥感图像。

Description

基于分量替换和低通滤波的多光谱遥感图像全色锐化方法

技术领域

本发明属于遥感图像融合技术领域，具体涉及一种基于分量替换和低通滤波的多光谱遥感图像全色锐化方法。

背景技术

多光谱遥感图像全色锐化是指用信号处理的方法从低空间分辨率多光谱图像和高空间分辨率全色图像重建具有高空间辨率的多光谱图像的技术。多光谱遥感图像全色锐化通过融合全色图像中包含的空间细节和多光谱图像中包含的光谱信息，改善原有多光谱图像空间分辨率较低的不足，突破遥感图像获取手段分辨率的极限，发掘现有遥感图像数据深层信息的潜力。在地物目标识别、地面场景解释、城市分析、植被检测、土地利用等领域有着广泛的应用前景。

现有的多光谱遥感图像全色锐化技术大体可分为四类：基于分量替换的方法、基于多分辨分析的方法、基于变分框架的方法和基于深度卷积网络的方法。

在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：

1)基于分量替换的方法采用(非)线性变换和分量替换的策略；首先将低分辨率多光谱图像上采样至全色图像的尺寸，其次将上采样后多光谱图像的各个谱段分量通过(非)线性变换变换至包含亮度分量的另一个空间，然后用具有高空间分辨率的全色图像替换该亮度分量，最后进行逆变换得到多光谱图像全色锐化结果，即具有高空间分辨率的多光谱图像，如基于IHS的锐化方法，基于PCA的锐化方法；基于分量替换的方法是早期研究的经典方法之一，优点在于简单、快速，且能获得很好的空间锐化效果；其缺点在于锐化后的多光谱图像常常伴随较严重的光谱(颜色)失真；

2)基于多分辨率分析的方法通过多分辨率分析技术(如拉普拉斯金字塔，离散小波变换，打孔小波变换等)提取全色图像中的高频细节信息，然后将其直接叠加至上采样后的多光谱图像，从而获得多光谱图像的锐化结果；与基于分量替换方法相比，基于多分辨率分析的方法能更好地保留多光谱图像中的光谱特征，但是锐化效果较差，即锐化结果图像相对模糊，细节信息不够清晰；

3)基于变分框架的锐化算法一般基于各类假设建立目标函数，并对设立的目标函数进行优化求解，得到近似理想的高分辨率多光谱图像；该类算法与前两类算法相比，综合考虑了空间细节的增强和光谱信息的保真两方面要求，所以获得锐化结果可以取得光谱保真和细节锐化的折中；但是其参数较多，合理的假设不易寻找，相关假设与实际情况不符时会导致性能明显下降，而且计算复杂也明显提高；

4)基于深度卷积网络的锐化方法直接将多光谱图像和全色图像作为输入，将锐化结果作为输出，通过设计搭建深度卷积网络来学习输入到输出之间的深层非线性映射关系，在降分辨率评估方面取得了较好的结果；但深度卷积网络的设计与学习过程是一个黑盒机制，几乎没有考虑全色锐化问题领域的相关知识，导致训练好的深度卷积网络直接运用至满分辨率评估时效果并不占优；另外，基于深度网络学习的方法进行锐化需要先进行网络训练，一方面需要大量训练样本，另一方面训练过程时间较长，而且不同来源多光谱图像需要分别进行训练。

发明内容

本发明旨在于至少在一定程度上解决上述技术问题之一。

为此，本发明目的在于提供一种基于分量替换和低通滤波的多光谱遥感图像全色锐化方法，能够使得在增强高频细节图像的空间细节的同时，大大减弱最终融合图像的光谱扭曲。

本发明所采用的技术方案为：

一种基于分量替换和低通滤波的多光谱遥感图像全色锐化方法，包括以下步骤：

获取一幅低空间分辨率的原始多光谱图像MS及一幅高空间分辨率的原始全色图像Pan，其中，原始全色图像Pan与原始多光谱图像MS属于同场景，原始多光谱图像MS的谱带个数为N，原始全色图像Pan的空间分辨率与原始多光谱图像MS的空间分辨率的比值为r；

对原始多光谱图像MS的各谱带分量进行r倍上采样，得到与原始全色图像Pan的空间尺寸相同的上采样多光谱图像

对上采样多光谱图像

的各谱带分量进行线性组合变换，得到其对应的亮度分量Y；

对原始全色图像Pan及上采样多光谱图像

的亮度分量Y进行处理，得到两者的残差图像D；

对残差图像D进行低通滤波处理，得到其对应的低通分量D_LP；

对残差图像D及残差图像D的低通分量D_LP进行处理，得到高频细节图像

对高频细节图像

及原始多光谱图像MS的各谱带的注射增益G_k进行处理，得到各谱带的注射细节DI_k；

对上采样多光谱图像

及各谱带的注射细节DI_k进行处理，得到高空间分辨率的全色锐化多光谱图像MS^F。

进一步的，对原始多光谱图像MS的各谱带分量进行r倍上采样时，采用近邻法、双线性插值法或三次样条插值法实现。

进一步的，得到上采样多光谱图像

对应的亮度分量Y时，采用公式(1)对上采样多光谱图像/>

的各谱带分量进行线性组合变换：

公式(1)中，w_k(k＝1，2，...，N)为加权系数，k为谱带索引。

进一步的，得到原始全色图像Pan及上采样多光谱图像

的亮度分量Y的残差图像D时，采用公式(2)对原始全色图像Pan及上采样多光谱图像/>

的亮度分量Y进行处理：

D＝Pan-Y (2)。

进一步的，对残差图像D进行低通滤波处理时，采用归一化截止频率为1/r的低通滤波器对残差图像D进行低通滤波处理。

进一步的，原始全色图像Pan与原始多光谱图像MS均来自同一卫星；所述的低通滤波器在截止频率处的频谱响应幅值与该卫星搭载的成像传感器的MTF相匹配。

进一步的，得到高频细节图像

时，采用公式(3)对残差图像D及残差图像D的低通分量D_LP进行处理：

进一步的，得到各谱带的注射细节时，采用公式(4)对高频细节图像

及原始多光谱图像MS中各谱带的注射增益G_k进行处理：

公式(4)中，k为谱带索引，G_k(k＝1，2，...，N)为谱带注射增益矩阵，

为矩阵逐像素相乘运算。

进一步的，得到具有高空间分辨率的全色锐化多光谱图像MS^F时，采用公式(5)对上采样多光谱图像

及各谱带的注射细节DI_k进行处理：

本发明的有益效果为：

与现有基于分量替换的多光谱图像全色锐化技术相比，本发明克服了目前基于分量替换的多光谱图像全色锐化技术的缺点与不足，通过对原始全色图像Pan和亮度分量Y的残差图像D进行提纯，去除导致光谱扭曲的低频分量，从而在增强空间细节的同时，大大减弱了最终融合图像的光谱扭曲，进而获得同时具有较高颜色/光谱保真度和高空间分辨率的多光谱图像MS^F，为多光谱图像全色锐化技术提供了更有力的技术支持。

本发明的其他有益效果将在具体实施方式中进行详细说明。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是实施例1的流程框图。

具体实施方式

下面结合附图及具体实施例来对本发明作进一步阐述。在此需要说明的是，对于这些实施例方式的说明虽然是用于帮助理解本发明，但并不构成对本发明的限定。本发明公开的功能细节仅用于描述本发明的示例实施例。然而，可用很多备选的形式来体现本发明，并且不应当理解为本发明限制在本发明阐述的实施例中。

应当理解，本发明使用的术语仅用于描述特定实施例，并不意在限制本发明的示例实施例。若术语“包括”、“包括了”、“包含”和/或“包含了”在本发明中被使用时，指定所声明的特征、整数、步骤、操作、单元和/或组件的存在性，并且不排除一个或多个其他特征、数量、步骤、操作、单元、组件和/或他们的组合存在性或增加。

应当理解，还应当注意到在一些备选实施例中，所出现的功能/动作可能与附图出现的顺序不同。例如，取决于所涉及的功能/动作，实际上可以实质上并发地执行，或者有时可以以相反的顺序来执行连续示出的两个图。

应当理解，在下面的描述中提供了特定的细节，以便于对示例实施例的完全理解。然而，本领域普通技术人员应当理解可以在没有这些特定细节的情况下实现示例实施例。例如可以在框图中示出系统，以避免用不必要的细节来使得示例不清楚。在其他实例中，可以不以不必要的细节来示出众所周知的过程、结构和技术，以避免使得示例实施例不清楚。

实施例1

如图1所示，本实施例提供一种基于分量替换和低通滤波的多光谱遥感图像全色锐化方法，包括以下步骤：

获取一幅低空间分辨率的原始多光谱图像MS及一幅高空间分辨率的原始全色图像Pan，其中，原始全色图像Pan与原始多光谱图像MS属于同场景，原始多光谱图像MS的谱带个数为N，原始全色图像Pan的空间分辨率与原始多光谱图像MS的空间分辨率的比值为r；

对原始多光谱图像MS的各谱带分量进行r倍上采样，得到与原始全色图像Pan的空间尺寸相同的上采样多光谱图像

对上采样多光谱图像

的各谱带分量进行线性组合变换，得到其对应的亮度分量Y；

对原始全色图像Pan及上采样多光谱图像

的亮度分量Y进行处理，得到两者的残差图像D；

对残差图像D进行低通滤波处理，得到其对应的低通分量D_LP；

对残差图像D及残差图像D的低通分量D_LP进行处理，得到高频细节图像

对高频细节图像

及上采样多光谱图像/>

进行处理，得到具有高空间分辨率的全色锐化多光谱图像MS^F。

本实施例中的基于分量替换和低通滤波的多光谱遥感图像全色锐化方法通过对原始全色图像Pan和亮度分量Y的残差图像D进行提纯，去除导致光谱扭曲的低频分量，从而在增强空间细节的同时，大大减弱了最终融合图像的光谱扭曲，进而获得同时具有较高颜色/光谱保真度和高空间分辨率的多光谱图像MS^F，为多光谱图像全色锐化技术提供了更有力的技术支持。

实施例2

本实施例提供的技术方案是在实施例1的技术方案基础上作出的进一步改进，本实施例与实施例1的区别在于：

本实施例中，对原始多光谱图像MS的各谱带分量进行r倍上采样时，采用近邻法、双线性插值法或三次样条插值法实现。

实施例3

本实施例提供的技术方案是在实施例1或2的技术方案基础上作出的进一步改进，本实施例与实施例1或2的区别在于：

本实施例中，得到上采样多光谱图像

对应的亮度分量Y时，采用公式(1)对上采样多光谱图像/>

的各谱带分量进行线性组合变换：

公式(1)中，w_k(k＝1，2，...，N)为加权系数，k为谱带索引；其中，w_k可采用固定值，如1/N，也可利用主成分分析法或线性回归法进行估值。

实施例4

本实施例提供的技术方案是在实施例1-3任一的技术方案基础上作出的进一步改进，本实施例与实施例1-3任一的区别在于：

本实施例中，得到原始全色图像Pan及上采样多光谱图像

的亮度分量Y的残差图像D时，采用公式(2)对原始全色图像Pan及上采样多光谱图像/>

的亮度分量Y进行处理：

D＝Pan-Y (2)。

实施例5

本实施例提供的技术方案是在实施例4的技术方案基础上作出的进一步改进，本实施例与实施例4的区别在于：

本实施例中，对残差图像D进行低通滤波处理时，采用归一化截止频率为1/r的低通滤波器对残差图像D进行低通滤波处理。

本实施例中，原始全色图像Pan与原始多光谱图像MS均来自同一卫星；所述的低通滤波器在截止频率处的频谱响应幅值与该卫星搭载的成像传感器的MTF相匹配。

实施例6

本实施例提供的技术方案是在实施例1-5任一的技术方案基础上作出的进一步改进，本实施例与实施例1-5任一的区别在于：

本实施例中，得到高频细节图像

时，采用公式(3)对残差图像D及残差图像D的低通分量D_LP进行处理：

本实施例中，通过去除残差图像D中导致颜色/光谱扭曲的低频成分D_LP，获得几乎理想的高频细节图像

在增强空间细节的同时，大大减弱了最终融合图像的光谱扭曲。

实施例7

本实施例提供的技术方案是在实施例1-6任一的技术方案基础上作出的进一步改进，本实施例与实施例1-6任一的区别在于：

本实施例中，得到具有高空间分辨率的全色锐化多光谱图像时，具体步骤如下：

对高频细节图像

及原始多光谱图像MS的各谱带的注射增益G_k进行处理，得到各谱带的注射细节DI_k；

对上采样多光谱图像

及各谱带的注射细节DI_k进行处理，得到高空间分辨率的全色锐化多光谱图像MS^F。

本实施例中，得到各谱带的注射细节时，采用公式(4)对高频细节图像

及原始多光谱图像MS中各谱带的注射增益G_k进行处理：

公式(4)中，k为谱带索引，G_k(k＝1，2，...，N)为谱带注射增益矩阵，

为矩阵逐像素相乘运算；其中，注射增益G_k的确定方法与加权系数w_k的选择方法类似，可采用固定值，如1矩阵，也可根据原始多光谱图像MS中各谱带的能量占比采用全局或局部的方式来确定；需要说明的是，各谱带的能量占比是指每个谱带在全谱带图像中的能量比。

本实施例中，得到具有高空间分辨率的全色锐化多光谱图像MS^F时，采用公式(5)对上采样多光谱图像

及各谱带的注射细节DI_k进行处理：

下面对实施例1-7所述的技术方案举例说明：

获取一幅尺寸为256*256且谱带个数为4的原始多光谱图像MS，以及一幅与原始多光谱图像MS为同场景的且尺寸为1024*1024的原始全色图像Pan；其中，原始全色图像Pan与原始多光谱图像MS均来自Quickbird卫星图像；

对原始多光谱图像MS的4个谱带分量分别进行4倍上采样操作，获得尺寸为1024*1024的上采样多光谱图像

将上采样多光谱图像

的4个谱带分量按照公式(1)进行线性组合，获得其亮度分量Y；

其中，w_k(k＝1，2，...，4)为加权系数，k为谱带索引；

采用公式(2)计算全色图像Pan与亮度分量Y的残差图像D：

D＝Pan-Y (2)；

对残差图像D进行低通滤波处理获得其低通分量D_LP，其中，低通滤波选用截止频率为1/4且截止频率处的频谱响应幅值与Quickbird卫星所搭载的成像传感器的MTF相匹配的低通滤波器。

采用公式(3)计算残差图像D与其低通分量D_LP的差值图像，获得高频细节图像

采用公式(4)计算注射细节DI_k：

其中，k为谱带索引，G_k(k＝1，2，...，N)为谱带注射增益矩阵，

为矩阵逐像素相乘运算；

采用公式(5)叠加上述注射细节DI_k和上述上采样多光谱图像

得到具有高空间分辨率的全色锐化多光谱图像MS^F：

最终获得的全色锐化多光谱图像

为包含有4个光谱分量、空间尺寸为1024*1024，全色锐化多光谱图像/>

为具有较高颜色/光谱保真度和高空间分辨率的多光谱图像。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所描述的实施例仅仅是示意性的，若涉及到作为分离部件说明的单元，其可以是或者也可以不是物理上分开的；若涉及到作为单元显示的部件，其可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。

Claims (6)

1.一种基于分量替换和低通滤波的多光谱遥感图像全色锐化方法，其特征在于：包括以下步骤：

获取一幅低空间分辨率的原始多光谱图像MS及一幅高空间分辨率的原始全色图像Pan，其中，原始全色图像Pan与原始多光谱图像MS属于同场景，原始多光谱图像MS的谱带个数为N，原始全色图像Pan的空间分辨率与原始多光谱图像MS的空间分辨率的比值为r；

对原始多光谱图像MS的各谱带分量进行r倍上采样，得到与原始全色图像Pan的空间尺寸相同的上采样多光谱图像

对上采样多光谱图像

的各谱带分量进行线性组合变换，得到其对应的亮度分量Y；

对原始全色图像Pan及上采样多光谱图像

的亮度分量Y进行处理，得到两者的残差图像D；

对残差图像D进行低通滤波处理，得到其对应的低通分量D_LP；

对残差图像D及残差图像D的低通分量D_LP进行处理，得到高频细节图像

对高频细节图像

及原始多光谱图像MS的各谱带的注射增益G_k进行处理，得到各谱带的注射细节DI_k；

对上采样多光谱图像

及各谱带的注射细节DI_k进行处理，得到高空间分辨率的全色锐化多光谱图像MS^F；

得到高频细节图像

时，采用公式(3)对残差图像D及残差图像D的低通分量D_LP进行处理：

得到各谱带的注射细节时，采用公式(4)对高频细节图像

及原始多光谱图像MS中各谱带的注射增益G_k进行处理：

公式(4)中，k为谱带索引，G_k(k＝1,2,…,N)为谱带注射增益矩阵，

为矩阵逐像素相乘运算；

得到具有高空间分辨率的全色锐化多光谱图像MS^F时，采用公式(5)对上采样多光谱图像

及各谱带的注射细节DI_k进行处理：

2.根据权利要求1所述的基于分量替换和低通滤波的多光谱遥感图像全色锐化方法，其特征在于：对原始多光谱图像MS的各谱带分量进行r倍上采样时，采用近邻法、双线性插值法或三次样条插值法实现。

3.根据权利要求1或2所述的基于分量替换和低通滤波的多光谱遥感图像全色锐化方法，其特征在于：得到上采样多光谱图像

对应的亮度分量Y时，采用公式(1)对上采样多光谱图像/>

的各谱带分量进行线性组合变换：

公式(1)中，w_k(k＝1,2,…,N)为加权系数，k为谱带索引。

4.根据权利要求3所述的基于分量替换和低通滤波的多光谱遥感图像全色锐化方法，其特征在于：得到原始全色图像Pan及上采样多光谱图像

的亮度分量Y的残差图像D时，采用公式(2)对原始全色图像Pan及上采样多光谱图像/>

的亮度分量Y进行处理：

D＝Pan-Y (2)。

5.根据权利要求1所述的基于分量替换和低通滤波的多光谱遥感图像全色锐化方法，其特征在于：对残差图像D进行低通滤波处理时，采用归一化截止频率为1/r的低通滤波器对残差图像D进行低通滤波处理。

6.根据权利要求5所述的基于分量替换和低通滤波的多光谱遥感图像全色锐化方法，其特征在于：原始全色图像Pan与原始多光谱图像MS均来自同一卫星；所述的低通滤波器在截止频率处的频谱响应幅值与该卫星搭载的成像传感器的MTF相匹配。

Images