CN109410165A - 一种基于分类学习的多光谱遥感图像融合方法 - Google Patents

Abstract

本发明属于图像处理领域，提出了一种基于分类学习的遥感图像融合方法，包括以下步骤：S101、将M₁、M₂和L₁转换为地表反射率数据，并进行图像配准；S102、对t₁时刻下高分辨率图像L₁的所有光谱波段进行分类处理，得到总类别为k的高分辨率分类图像K；S103、计算L₁、M₁、M₂分别经数据正则化后的反射率图像；S104、根据高分辨率分类图像K的分类结果，得到反射率图像的所有类别的反射率“原子”矩阵；S105、计算t₂时刻下各个类别下的稀疏系数矩阵和高分辨率过完备字典；S106、分类别计算目标时刻t₂下各个类别j的高分辨率类别反射率，并还原为目标时刻t₂下的高分辨率正则化图像。本发明有效保持了图像的光谱分布特征，可广泛应用于遥感图像处理领域。

Description

一种基于分类学习的多光谱遥感图像融合方法

技术领域

本发明属于图像处理领域，具体涉及一种基于分类学习的遥感图像融合方法。

背景技术

遥感图像融合已从传统的全色与多光谱融合发展到如今的时-空-谱一体化融合，其融合质量与地学物理意义均得到有效提升，融合所采用的技术手段也愈加丰富，如基于主成分变换、小波变换等的融合方法。近年来随着超分辨率重构、压缩感知及稀疏学习理论与技术的日趋成熟，利用机器学习方法来进行图像融合处理尤其是基于遥感反演量的融合方法已初步提出，如基于单数据对和双数据对的稀疏学习融合算法，其主要思想是通过对输入的高、低分辨率遥感图像进行基于字典学习的稀疏编码，分别得到高、低分辨率图像的过完备字典以及目标时相下低分辨率图像的稀疏系数矩阵，在“同一时相下高、低分辨率图像具有相同稀疏系数矩阵”这一前提下，高分辨率图像进而能够通过高分辨率过完备字典与低分辨率图像的稀疏系数矩阵重构得到。这类方法是的优势是对于以物候变化为主的地表覆盖区域其融合精度高于现存其他融合方法，但缺点是对于以类型变化为主的地表覆盖区域其融合精度与稳定性较差，尤其是对于利用单数据对(已知研究区t₁时刻下的高、低分辨率图像和t₂时刻下的低分辨率图像，利用融合方法求取t₂时刻下的高分辨率图像数据)的稀疏学习方法此问题尤为突出。造成这一现象的主要原因是：一幅遥感图像中一般包含多个地物类别，每种地物类别的辐射光谱属性随时间与空间的不同而呈现差异性特征，此时笼统的对整幅图像进行学习与训练使得所得到的“过完备”稀疏字典不具有代表性，且此问题无法通过调整训练参数与训练终止条件得到有效解决。

发明内容

本发明克服现有技术存在的不足，所要解决的技术问题为：提供一种基于分类学习的多光谱遥感图像融合方法，使得经融合处理后的结果图像能更好地保持真实图像的光谱分布特征。

为了解决上述技术问题，本发明采用的技术方案为：一种基于分类学习的多光谱遥感图像融合方法，包括以下步骤：

S101、利用辐射定标和大气校正方法将M₁、M₂和L₁从原始的DN(Digital Value)无量纲值转换为具有地学物理意义的地表反射率数据，并且利用重采样方法将低分辨率图像M₁和M₂的像元尺寸采样到与L₁的像元尺寸相同并进行图像配准；其中，M₁和M₂分别表示t₁、t₂时刻下对应相同地表覆盖区域的低分辨率光学遥感图像，L₁表示t₁时刻下对应相同地表覆盖区域的高分辨率光学遥感图像，L₂表示待求取的t₂时刻下对应相同地表覆盖区域的高分辨率光学遥感图像，所述图像M₁、M₂、L₁、L₂的谱段范围与数量均对应，且其谱段数量总数为b；

S102、利用非监督图像分类方法对t₁时刻下高分辨率图像L₁的所有光谱波段进行分类处理，得到总类别为k的高分辨率分类图像K；

S103、计算L₁、M₁、M₂分别经数据正则化后的反射率图像L′₁、M′₁、M′₂；

S104、根据高分辨率分类图像K的分类结果，将经数据正则化处理得到的反射率图像L′₁、M′₁、M′₂中某波段i(i∈[1，b])上属于类别j(j∈[1，k])的所有像元按顺序进行分类提取、标记，以形成它们的第j个类别反射率“原子”矩阵K(j，L′₁)、K(j，M′₁)、K(j，M′₂)中的一个与波段i相关的“原子”K(j，L′₁，i)、K(j，M′₁，i)和K(j，M′₂，i)，以此类推，对L′₁、M′₁、M′₂图像中的所有波段均进行上述处理，可分别得到发射率图像L′₁、M′₁、M′₂的第j个类别反射率“原子”矩阵K(j，L′₁)、K(j，M′₁)、K(j，M′₂)；然后对反射率图像L′₁、M′₁、M′₂重复以上操作，得到他们的所有类别的反射率“原子”矩阵；

S105、计算各个类别j下的低分辨率过完备字典和t₁时刻下类别j的稀疏系数矩阵并根据和计算得到t₂时刻下各个类别j下的稀疏系数矩阵和各个类别j的高分辨率过完备字典计算时限定不同时相下的同一传感器图像可用相同的过完备字典表示，同一时相下的高、低分辨率图像具有相同的稀疏系数矩阵；

S106、分类别计算目标时刻t₂下各个类别j的高分辨率类别反射率K(j，L′₂)，计算公式为：

最后，按照波段、类别顺序以及像元标记规则将高分辨率类别反射率K(j，L′₂)还原为目标时刻t₂下的高分辨率正则化图像L′₂，即为最终的融合图像L₂。

所述步骤S102中，所述非监督图像分类方法为K-Means聚类。

所述步骤S103的具体步骤为：计算t₂时刻下待求的高分辨率图像L₂的反射率均值与标准差计算公式为：

其中，分别表示t₁时刻下的高、低分辨率图像L₁、M₁和t₂时刻下的低分辨率图像M₂的反射率均值，分别表示t₁时刻下的高、低分辨率图像L₁、M₁和t₂时刻下的低分辨率图像M₂的反射率的标准差；

计算L₁、M₁、M₂分别经数据正则化后的反射率图像L′₁、M′₁、M′₂，计算公式为：

所述步骤S104中，若图像L′₁、M′₁、M′₂的尺寸较大，则先对图像进行分块处理，进而分别以K(j，L′₁)、K(j，M′₁)、K(j，M′₂)图像的一个子块作为处理单元参与后续处理，并在完成后续处理步骤后进行子块的镶嵌合成整幅图像。

所述步骤S105中，第j个类别的低分辨率过完备字典和t₁时刻下类别j的稀疏系数矩阵为通过对进行字典训练得到，其计算公式为：

其中，K₀为预设约束项，F表示特征提取操作；

第j个类别的高分辨率过完备字典的计算公式为：

t₂时刻下类别j的稀疏系数矩阵的计算是通过对利用匹配追踪算法得到，

所述步骤S105中，对进行字典训练时采用的算法为K-SVD算法，对利用OMP匹配追踪算法得到t₂时刻下类别j的稀疏系数矩阵

本发明与现有技术相比具有以下有益效果：

(1)本发明继承了现有基于稀疏学习的融合方法对于地物尤其是变化地物的反射率重建优势，并且与当前基于单数据对的稀疏学习融合方法相比，本发明由于以逐类别为处理对象，所得到的基于类别的过完备字典具有更好的适应性，进而利用字典训练过程推导计算出的类别反射率更加准确。

(2)由于本发明提升了字典训练过程的精度，因而不需要对不同尺度差异的高、低分辨率融合图像采用尺度分级与相应的分层融合框架，在采用更高效的字典学习方法(如在线字典学习算法)下本发明能够极大提高基于稀疏学习融合方法的整体处理效率。

(3)本发明在进行逐类别处理前，对已知时刻(t₁)下的高、低分辨率图像与目标时刻(t₂)下的低分辨率图像进行了同步的数据正则化处理，与现有数据正则化处理策略不同的是：本发明利用多时相地表反射率统计信息(均值、标准差)在不同尺度(空间分辨率)下的关系模型，得到了目标时刻(t₂)下高分辨率反射率图像的统计信息，并以其为数据正则化变换的目标参数，进而使得经融合处理后的结果图像与真实图像在基于反射率的统计特征上具有很高的相似性，有效保持了图像的光谱分布特征。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种基于分类学习的多光谱遥感图像融合方法，包括以下步骤：

S101、融合输入图像的数据预处理。

利用辐射定标和大气校正方法将M₁、M₂和L₁从原始的DN(Digital Value)无量纲值转换为具有地学物理意义的地表反射率数据，并且利用重采样方法(如双线性插值算法)将低分辨率图像M₁和M₂的像元尺寸采样到与L₁的像元尺寸相同并进行图像配准；其中，M₁和M₂分别表示t₁、t₂时刻下对应相同地表覆盖区域的低分辨率光学遥感图像，L₁表示t₁时刻下对应相同地表覆盖区域的高分辨率光学遥感图像，L₂表示待求取的t₂时刻下对应相同地表覆盖区域的高分辨率光学遥感图像，所述图像M₁、M₂、L₁、L₂的谱段范围与数量均对应，且其谱段数量总数为b；

S102、高分辨率多光谱图像的分类处理。

利用非监督图像分类方法对t₁时刻下高分辨率图像L₁的所有光谱波段进行分类处理，得到总类别为k的高分辨率分类图像K；其中，所述非监督图像分类方法可以为K-Means聚类。

S103、融合输入数据的数据正则化变换。

具体是指计算L₁、M₁、M₂分别经数据正则化后的反射率图像L′₁、M′₁、M′₂；计算所有融合输入图像的反射率均值与标准差，将t₁时刻下的高、低分辨率图像L₁、M₁和t₂时刻下的低分辨率图像M₂的反射率均值分别用表示，反射率的标准差分别用表示。根据Roy David P(2008)文献(Roy D P，Ju J，Lewis P，et al.Multi-temporal MODIS-Landsat data fusion for relative radiometric normalization，gapfilling，and prediction of Landsat data[J].Remote Sensing of Environment，2008，112(6)：3112-3130)中关于“两个时刻下不同空间尺度反射率数据的统计特征(均值与标准差)可用相同乘性调制项来表示”的论述，这里令t₁、t₂时刻间高分辨率图像反射率均值(或标准差)的比值(乘性调制项)与低分辨率图像反射率均值(或标准差)的比值(乘性调制项)基本相等，则t₂时刻下待求的高分辨率图像L₂的反射率均值与标准差可通过下式计算得到：

利用数据正则化方法将L₁、M₁、M₂的反射率均值和标准差都归化为和分别得到L₁、M₁、M₂经数据正则化后的反射率图像L′₁、M′₁、M′₂，它们的数据正则化计算公式分别为：

S104、类别反射率“原子”矩阵的生成。

根据高分辨率分类图像K的分类结果，将经数据正则化处理得到的反射率图像L′₁、M′₁、M′₂中某波段i(i∈[1，b])上属于类别j(j∈[1，k])的所有像元按顺序进行分类提取、标记，以形成它们的第j个类别反射率“原子”矩阵K(j，L′₁)、K(j，M′₁)、K(j，M′₂)中的一个与波段i相关的“原子”K(j，L′₁，i)、K(j，M′₁，i)和K(j，M′₂，i)，以此类推，对L′₁、M′₁、M′₂图像中的所有波段均进行上述处理，可分别得到发射率图像L′₁、M′₁、M′₂的第j个类别反射率“原子”矩阵K(j，L′₁)、K(j，M′₁)、K(j，M′₂)；然后对反射率图像L′₁、M′₁、M′₂重复以上操作，得到他们的所有类别的反射率“原子”矩阵。

其中，在上述处理过程中，若图像L′₁、M′₁、M′₂的尺寸较大，则可先对图像进行分块处理，进而分别以K(j，L′₁)、K(j，M′₁)、K(j，M′₂)图像的一个子块作为处理单元参与后续处理，并在完成后续处理步骤后进行子块的镶嵌合成整幅图像。

S105、高、低分辨率类别反射率图像的稀疏学习。

计算各个类别j下的低分辨率过完备字典和t₁时刻下类别j的稀疏系数矩阵并根据和计算得到t₂时刻下各个类别j下的稀疏系数矩阵和各个类别j的高分辨率过完备字典计算时限定不同时相下的同一传感器图像可用相同的过完备字典表示，同一时相下的高、低分辨率图像具有相同的稀疏系数矩阵。

其中，以第j个类别为例，第j个类别的低分辨率过完备字典和t₁时刻下类别j的稀疏系数矩阵为通过对进行字典训练得到，令其中F为特征提取操作。其计算公式为：

其中，K₀为预设约束项，F表示特征提取操作；

第j个类别的高分辨率过完备字典的计算公式为：

在求得的情况下，t₂时刻下类别j的稀疏系数矩阵的计算可以通过对利用匹配追踪算法得到。

具体地，对进行字典训练时采用的算法为K-SVD算法，对利用OMP匹配追踪算法得到t₂时刻下类别j的稀疏系数矩阵

S106、目标时刻t₂下高分辨率反射率图像L₂的计算。

令则在和已知的情况下，可表示为：

进而，t₂时刻下类别j的高分辨率类别反射率K(j，L′₂)，计算公式为：

在利用该式计算出t₂时刻下所有类别j(j∈[1，k])的高分辨率类别反射率后，再按照波段、类别顺序以及像元标记规则将它们还原为目标时刻t₂下的高分辨率正则化图像L′₂。考虑到L′₂的反射率均值与标准差与t₂时刻高分辨率图像L₂相同，因而L′₂即为最终的融合结果图像L₂。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种基于分类学习的多光谱遥感图像融合方法，其特征在于，包括以下步骤：

S101、利用辐射定标和大气校正方法将M₁、M₂和L₁从原始的DN(Digital Value)无量纲值转换为具有地学物理意义的地表反射率数据，并且利用重采样方法将低分辨率图像M₁和M₂的像元尺寸采样到与L₁的像元尺寸相同并进行图像配准；其中，M₁和M₂分别表示t₁、t₂时刻下对应相同地表覆盖区域的低分辨率光学遥感图像，L₁表示t₁时刻下对应相同地表覆盖区域的高分辨率光学遥感图像，L₂表示待求取的t₂时刻下对应相同地表覆盖区域的高分辨率光学遥感图像，所述图像M₁、M₂、L₁、L₂的谱段范围与数量均对应，且其谱段数量总数为b；

S102、利用非监督图像分类方法对t₁时刻下高分辨率图像L₁的所有光谱波段进行分类处理，得到总类别为k的高分辨率分类图像K；

S103、计算L₁、M₁、M₂分别经数据正则化后的反射率图像L′₁、M′₁、M′₂；

S104、根据高分辨率分类图像K的分类结果，将经数据正则化处理得到的反射率图像L′₁、M′₁、M′₂中某波段i(i∈[1，b])上属于类别j(j∈[1，k])的所有像元按顺序进行分类提取、标记，以形成它们的第j个类别反射率“原子”矩阵K(j，L′₁)、K(j，M′₁)、K(j，M′₂)中的一个与波段i相关的“原子”K(j，L′₁，i)、K(j，M′₁，i)和K(j，M′₂，i)，以此类推，对L′₁、M′₁、M′₂图像中的所有波段均进行上述处理，可分别得到发射率图像L′₁、M′₁、M′₂的第j个类别反射率“原子”矩阵K(j，L′₁)、K(j，M′₁)、K(j，M′₂)；然后对反射率图像L′₁、M′₁、M′₂重复以上操作，得到他们的所有类别的反射率“原子”矩阵；

S105、计算各个类别j下的低分辨率过完备字典和t₁时刻下类别j的稀疏系数矩阵并根据和计算得到t₂时刻下各个类别j下的稀疏系数矩阵和各个类别j的高分辨率过完备字典计算时限定不同时相下的同一传感器图像可用相同的过完备字典表示，同一时相下的高、低分辨率图像具有相同的稀疏系数矩阵；

S106、分类别计算目标时刻t₂下各个类别j的高分辨率类别反射率K(j，L′₂)，计算公式为：

最后，按照波段、类别顺序以及像元标记规则将高分辨率类别反射率K(j，L′₂)还原为目标时刻t₂下的高分辨率正则化图像L′₂，即为最终的融合图像L₂。

2.根据权利要求1所述的一种基于分类学习的多光谱遥感图像融合方法，其特征在于，所述步骤S102中，所述非监督图像分类方法为K-Means聚类。

3.根据权利要求1所述的一种基于分类学习的多光谱遥感图像融合方法，其特征在于，所述步骤S103的具体步骤为：计算t₂时刻下待求的高分辨率图像L₂的反射率均值与标准差计算公式为：

其中，分别表示t₁时刻下的高、低分辨率图像L₁、M₁和t₂时刻下的低分辨率图像M₂的反射率均值，分别表示t₁时刻下的高、低分辨率图像L₁、M₁和t₂时刻下的低分辨率图像M₂的反射率的标准差；

计算L₁、M₁、M₂分别经数据正则化后的反射率图像L′₁、M′₁、M′₂，计算公式为：

4.根据权利要求1所述的一种基于分类学习的多光谱遥感图像融合方法，其特征在于，所述步骤S104中，若图像L′₁、M′₁、M′₂的尺寸较大，则先对图像进行分块处理，进而分别以K(j，L′₁)、K(j，M′₁)、K(j，M′₂)图像的一个子块作为处理单元参与后续处理，并在完成后续处理步骤后进行子块的镶嵌合成整幅图像。

5.根据权利要求1所述的一种基于分类学习的多光谱遥感图像融合方法，其特征在于，所述步骤S105中，第j个类别的低分辨率过完备字典和t₁时刻下类别j的稀疏系数矩阵为通过对进行字典训练得到，其计算公式为：

其中，K₀为预设约束项，F表示特征提取操作；

第j个类别的高分辨率过完备字典的计算公式为：

t₂时刻下类别j的稀疏系数矩阵的计算是通过对利用匹配追踪算法得到，

6.根据权利要求1所述的一种基于分类学习的多光谱遥感图像融合方法，其特征在于，所述步骤S105中，对进行字典训练时采用的算法为K-SVD算法，对利用OMP匹配追踪算法得到t₂时刻下类别j的稀疏系数矩阵