CN108765359B - 一种基于jskf模型和nsct技术的高光谱遥感影像与全色图像的融合方法 - Google Patents

Abstract

本发明涉及一种基于JSKF模型和NSCT技术的高光谱遥感影像与全色图像的融合方法，与现有技术相比解决了难以针对高光谱遥感图像进行融合处理的缺陷。本发明包括以下步骤：遥感影像数据的获取；假彩色遥感影像的提取；HIS变换；高低频系数的获得；低频系数的计算；高频系数融合规则的选取；融合影像的获得。本发明能够针对高光谱遥感影像数据和全色遥感影像进行有效融合。

Description

一种基于JSKF模型和NSCT技术的高光谱遥感影像与全色图像 的融合方法

技术领域

本发明涉及遥感图像处理技术领域，具体来说是一种基于JSKF模型和NSCT技术的高光谱遥感影像与全色图像的融合方法。

背景技术

遥感图像融合是采用一定的算法把具有不同成像机理的遥感图像传感器对同一个场景的多个成像信息合成一幅满足特定需要的新遥感图像，从而使融合的遥感图像可信度更高、模糊较少、可理解性更好，更适合人的视觉及计算机检测、分类、识别和理解等处理。

而随着遥感技术的发展，高光谱遥感已经广泛应用于农业遥感，矿物勘探等领域。高光谱数据是利用成像光谱仪获取的同一场景下的数十到数百个连续波段的图像。它可以提供传统遥感数据所不能比拟的丰富地物信息。但由于其波段数目太多，波段之间的相关性很大，使得其数据的处理和分析存在一定的困难。

因此，如何针对高光谱遥感图像进行融合处理已经成为急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中难以针对高光谱遥感图像进行融合处理的缺陷，提供一种基于JSKF模型和NSCT技术的高光谱遥感影像与全色图像的融合方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种基于JSKF模型和NSCT技术的高光谱遥感影像与全色图像的融合方法，包括以下步骤：

11)遥感影像数据的获取，获取高光谱遥感影像A和高空间分辨率全色遥感影像B，进行同名像元之间的精准匹配；

12)假彩色遥感影像的提取，基于联合偏度－峰度指数模型对高光谱遥感影像A进行敏感波段提取，提取出高光谱遥感影像A的假彩色遥感影像；

13)HIS变换，针对JSKF模型提取出的假彩色遥感影像进行HIS变换，其公式如下：

其中，色相和饱和度可以通过计算得出：

14)高低频系数的获得，分别对HIS变换后的亮度分量I和高空间分辨率全色遥感影像B进行非下采样轮廓波变换，获取其高低频系数；

15)低频系数的计算；

16)高频系数融合规则的选取；

17)融合影像的获得，对融合后的高、低频系数进行NSCT重构，通过NSCT逆变换得到拟融合影像的I分量，结合步骤13)得到的H分量和S分量进行HIS逆变换，得到融合后的高分辨率遥感影像。

所述的进行同名像元之间的精准匹配包括以下步骤：

21)基于高空间分辨率全色遥感影像B，选取地面控制点，最少控制点数量与多项式次数(n)的关系为(n+1)(n+2)/2，并在高光谱遥感影像A上进行同名像元选择，计算每个地面控制点的均方根值(RMS)，计算出累积的总体均方差误差，保证校正精度小于0.5个像元，即RMS<0.5时停止控制点的选取；

其中，x、y表示无几何畸变点图像控制点坐标，x′、y′为变换后图像控制点坐标；

22)选取二次多项式作为几何校正模型，通过控制点回归计算求出多项式系数。

所述的假彩色遥感影像的提取包括以下步骤：

31)计算高光谱影像A所有波段的JSKF值，公式如下：

JSKF＝S·K，

其中，S表示图像的偏度，K表示图像的峰度系数；

32)按照值的正负将所有波段进行自适应子空间的划分，将原始影像数据空间按分布的差异划分为两个大的子空间；

33)设置阈值以自动选择波段，将JSKF值按其绝对值大小排序，选择排序靠前的3个波段RGB波段构成假彩色影像。

所述的对HIS变换后的亮度分量I和高空间分辨率全色遥感影像B进行非下采样轮廓波变换包括以下步骤：

41)使用原高光谱遥感影像A在HIS变换后的亮度分量I和非采样双通道滤波器组进行卷积以获得图像分解层；

42)利用高空间分辨率全色遥感影像B对插值滤波器进行卷积，获得图像的多重分辨率；

43)图像经过N层分解之后，在金字塔中获得n+1个子带，包括N个细节子带和一个低分辨率近似子带，细节子带为高频系数，低分辨率近似子带为低频系数。

所述的低频系数的计算包括以下步骤：

51)采用基于区域能量的权值选取法则，根据区域能量的大小，自动确定权值；

52)将高空间分辨率全色遥感影像B的低频部分表示为I_B，将高光谱遥感影像A的低频分量表示为I_A。则低频分量I_L计算公式如下：

I_L(x,y)＝ω_AI_A(x,y)+ω_BI_B(x,y)，

式中，ω_A和ω_B分布表示相应的像素权重系数。

所述的高频系数融合规则的选取包括以下步骤：

61)将高频系数的八个方向的梯度及其域系数用作像素选择的阈值；

62)将各层的高频系数和融合后的影像方向表示为I，公式为：

其中，

有益效果

本发明的一种基于JSKF模型和NSCT技术的高光谱遥感影像与全色图像的融合方法，与现有技术相比能够针对高光谱遥感影像数据和全色遥感影像进行有效融合。

本发明对高光谱遥感图像进行基于JSKF模型的敏感波段提取以构成假彩色影像，再将提取出的三个敏感波段(假彩色影像)进行HIS变换，获取其亮度分量；再对高光谱影像的亮度分量和全色遥感影像进行非下采样轮廓波变换，获取其高低频系数；采用脉冲耦合神经网络算法和加权融合对高低频系数进行选取；最后利用HIS逆变换和逆非下采样轮廓波变换得到最终的融合图像。

附图说明

图1为本发明的方法顺序图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的一种基于JSKF模型和NSCT技术的高光谱遥感影像融合方法，包括以下步骤：

第一步，遥感影像数据的获取。获取高光谱遥感影像A和高空间分辨率全色遥感影像B，进行同名像元之间的精准匹配。其中，进行同名像元之间的精准匹配可以利用传统方法，其包括以下步骤：

(1)基于高空间分辨率全色遥感影像B，选取地面控制点，最少控制点数量与多项式次数(n)的关系为(n+1)(n+2)/2，并在高光谱遥感影像A上进行同名像元选择，计算每个地面控制点的均方根值(RMS)，计算出累积的总体均方差误差，保证校正精度小于0.5个像元，即RMS<0.5时停止控制点的选取；

其中，x、y表示无几何畸变点图像控制点坐标，x′、y′为变换后图像控制点坐标；

(2)选取二次多项式作为几何校正模型，通过控制点回归计算求出多项式系数。

第二步，假彩色遥感影像的提取。基于联合偏度－峰度指数模型(JSFK模型)对高光谱遥感影像A进行敏感波段提取，提取出高光谱遥感影像A的假彩色遥感影像。

对于高光谱图像来说，由中心极限定理可以认为占图像绝大多数信息的背景样本近似服从高斯分布，而目标等特征可以视作图像中除背景以外的异常点，那么寻找目标等非背景特征可以简化为寻找最偏离高斯分布的那些特征。因此，可以利用偏度和峰度系数来衡量包含目标等特征信息量的大小以及包含特征在图像中反映差异的大小。为了更加全面有效的度量数据偏离正态分布的程度，我们采用偏度和峰度系数的乘积来作为度量偏离正态分布信息量大小的指标，即JFSK。

同时，因为高光谱图像内涵着大量数据，所以很难传输和存储，解决这个问题需要一种技术来减少高光谱图像的尺寸。由于高光谱带的高度关联性和冗余性，应用尺寸缩小方法可以压缩数据量。所选波段的数量取决于实际需要。因此，高光谱图像和全色图像被用来融合高质量的假彩色图像。彩色图像由三部分组成：红色(R)，绿色(G)和蓝色(B)，因此选择三个高光谱带与全色图像融合。

其具体步骤如下：

(1)计算高光谱影像A所有波段的JSKF值，公式如下：

JSKF＝S·K，

其中，S表示图像的偏度，K表示图像的峰度系数。

(2)按照值的正负将所有波段进行自适应子空间的划分，将原始影像数据空间按分布的差异划分为两个大的子空间。

(3)设置阈值以自动选择波段，将JSKF值按其绝对值大小排序，选择排序靠前的3个波段RGB波段构成假彩色影像。

目前的一种频段选择技术有两个方面：标准函数和搜索方法。高光谱图像降维的主要挑战是减少数据量，同时保留足够的信息用于图像的以下信息分析。到目前为止，已经提出了许多类型的方法来减少高光谱数据的数量，例如基于波段选择的方法，基于子空间分解的方法和基于特征检测的方法。传统的基于信息量的频段选择方法是利用图像的熵，联合熵和方差作为信息量的测量指标，选择信息量最大的频段。但仅仅从信息论的角度来看，图像的质量总体上并不考虑图像的空间特征以及对象或主题的统计或分布特征。

在此，将偏态和峰度系数的乘积作为波段选择的指标系数。根据系数的符号，首先对自适应空间进行划分，然后根据绝对值选择最优波段。

通过JSKF的定义，我们发现JSKF值和数据与正态分布偏差值成正比。这些数据包含了我们感兴趣的更多信息。正负系数反映数据分布内的差异。因此，我们可以计算高光谱图像数据的JSKF。首先，作为JSKF的符号的函数，所有频带被分成自适应空间。原始图像数据空间根据分布的不同分为两个子空间。这两个子空间中的图像在它们各自的子空间中具有很大的相似性，但是两个子空间之间的相似性较低并且差异较大。根据每个子空间中JSKF的绝对值进一步对高光谱图像带进行分类，最终在分割的子空间中选择最佳的频带。

第三步，HIS变换。针对JSKF模型提取出的假彩色遥感影像进行HIS变换，其公式如下：

其中，色相和饱和度可以通过计算得出：

第四步，高低频系数的获得，分别对HIS变换后的亮度分量I和高空间分辨率全色遥感影像B进行非下采样轮廓波变换(NSCT)，获取其高低频系数。

非下采样轮廓波变换(NSCT)是一种不但具有多尺度和时频局部性，还具有高度的方向性和各向异性的图像稀疏表达技术。它的基本思想是先对图像进行非下采样的金字塔式多尺度分解，然后再利用非下采样方向滤波器组对得到的各子带图像进行方向分解。这样就得到了不同尺度、不同方向的子带。而且它允许每个尺度上有不同数目的方向子带。这种算法类似于平移不变小波变换中的多孔算法。由于在分解的过程中不进行下采样，所有分解的子带都和原始图像大小相同，使得NSCT具有平移不变性。

类似于拉普拉斯金字塔算法，NSCT首先使用原始高光谱图像和非采样双通道滤波器组进行卷积以获得图像分解层。然而，除了非子采样双通道滤波器的插值之外，还有不采样分解的低频图像，然后利用低频图像对插值滤波器进行卷积，进而会获得图像的多重分辨率。这种非抽样分解使得每个子带的频谱不再混叠，这对图像融合非常有价值。在图像经过N层分解之后，在金字塔中获得n+1个子带，包括N细节子带和一个低分辨率近似子带。

NSCT的无方向性滤波器组是一种扇区方向滤波器组，它在插值处理方向上不取代对应于滤波器组的上下采样。因此，获得了具有平移不变性的非方向滤波器组，并将二维频域平面分成方向楔块，每个方向代表该方向上的图像细节特征。

对HIS变换后的亮度分量I和高空间分辨率全色遥感影像B进行非下采样轮廓波变换，具体步骤如下：

(1)使用原高光谱遥感影像A经HIS变换后的亮度分量I和非采样双通道滤波器组进行卷积以获得图像分解层；

(2)利用高空间分辨率全色遥感影像B对插值滤波器进行卷积，进而会获得图像的多重分辨率；

(3)图像经过N层分解之后，在金字塔中获得n+1个子带，包括N个细节子带和一个低分辨率近似子带。

第五步，低频系数的计算。非下采样轮廓波变换分解后所得到的低频子带反映的是图像的近似和平均特性，构造的是图像的基本轮廓信息。低频系数计算的具体步骤如下：

(1)采用基于区域能量的权值选取法则，根据区域能量的大小，自动确定权值；

(2)将高空间分辨率全色遥感影像B的低频部分表示为I_B，将高光谱遥感影像A的低频分量表示为I_A。则低频分量I_L计算公式如下：

I_L(x,y)＝ω_AI_A(x,y)+ω_BI_B(x,y)，

式中，ω_A和ω_B分布表示相应的像素权重系数。

第六步，高频系数融合规则的选取。高频系数构造的是图像的细节信息，如边缘信息和纹理信息等，这些信息正是人眼视觉系统所关注的。采用脉冲耦合神经网络算法进行选取出了参与融合的高频系数。高频系数融合的目的是从源图像中提取最大细节信息。在原有的高光谱图像中，那些明显的图像特征，如线条，曲线，边缘等常常表现为灰度值及其变化。在多尺度变换域中，它通常表现为具有较高模数的高频子带变换系数。然而，生理学研究表明，人眼对图像的局部对比度敏感，但对单点的亮度却不敏感。因此，高频融合应该旨在更好地突出图像的局部对比度并考虑中心像素与其周围像素之间的相关性。

高频系数融合规则的选取包括以下步骤：

(1)将高频系数的八个方向的梯度及其域系数用作像素选择的阈值；

(2)将各层的高频系数和融合后的影像方向表示为I，公式为：

其中，

第七步，融合影像的获得。对融合后的高、低频系数进行NSCT重构，通过NSCT逆变换得到拟融合影像的I分量，结合第三步得到的H分量和S分量进行HIS逆变换，得到融合后的高分辨率遥感影像。

针对于选择敏感带的比较实验，即利用JSKF模型、主成分分析(PCA)和协方差矩阵特征值法(CME方法)选择相同地面的高光谱图像的波段进行对比分析如下：

将这三种波段选择方法用于在实际使用的UHD-185相机获得的128波段高光谱图像的波段选择实验。表1给出了小麦灌浆期三种方法选择的前10个波段的数量，并显示了三种方法选择的前三个波段的图像。

表1：通过三种不同方法选择的波段索引表2

从表1可以看出，PCA方法选择的波段集中在波段范围的后三分之一。所选频段相对集中。UHD-185相机的成像光谱范围集中在相同的特征光谱中。物体在图像中的反射基本上是均匀的，图像的灰度分布非常相似，并且存在大量的冗余信息。CME方法相对较好，可以选择不同光谱波段的范围。但是，这种方法会选择接近光谱末端的频带太多。这些频段的图像质量通常较差，因此它们并不是最佳频段。JSKF方法选择的谱带分布广泛，远离成像光谱仪的工作点。该算法收集的数据具有高度的可用性。

从表1可以看出，由PCA方法选取的前三个波段的图像灰度分布相似，物体反射基本相同，信息冗余度很大。这主要是因为PCA方法实际上是一种基于信息的频段选择方法。由于成像光谱仪的工作特性，在特定光谱范围内具有相似范围的条带图像具有大量信息，而在另一光谱范围内的光谱数据包含较少信息，虽然它们包含该条带的不同信息并反映不同的纹理和目标特征。因此，PCA方法不会挑出这些频段，因此不利于进一步的整合。CME方法可以从不同光谱带中挑选出条带，这导致了图像之间的巨大差异。但是，因为有噪声和其他干扰，这些图像的质量也不高。这主要是因为CME方法基本上根据方差投影再现原始图像空间，并且噪声和其他干扰的存在强烈影响方差。因此，由CME方法选择的频带不能排除噪声频带。JSKF方法弥补了这些方法的不足。这里选择的频段不仅覆盖了不同的特征片段，而且丰富了互补信息，通过JSFK触发本身的定义，它也可以成为排除噪声污染的良好频带。因此，所选图像的波段包含有关纹理和对象的丰富信息。

在此，选择了小麦灌浆期的高光谱图像。JSKF模型选择高光谱图像中的三个波段。使用表示R、G、B三个通道分量的三个波段，可以获得伪彩色图像。然后使用信息熵、标准差和图像清晰度来评估三个方面的频带选择后的图像质量。这样，可以更好地评估不同的波段选择方法如何影响图像。比较结果列于表2。

表2波段选择结果的客观评估表

通过以上测试，可以得出结论：JSKF模型可以克服由基于变换的降维方法引起的缺点，并且防止原始光谱信息丢失。所提出的方法的性能已通过多次实验验证。实验结果表明，该算法通过自适应地选择带域图像，可以减少信息损失较小的高光谱图像的维数。图像轮廓更加突出，目标的空间信息清晰。用这种方法提取的敏感波段在整个波段更具代表性，有助于分析下一次图像融合实验的结果。

高光谱和全色图像融合的实验结果，采用基于NSCT的融合算法，基于以上JSKF波段选择规则和全色图像融合了三组高光谱图像。这些图像数据包括遥感高光谱图像和对应于两个生长阶段的同一块小麦的高清数字图像，采用本发明提出的融合算法进行融合。在每个生长阶段，分别选取两个不同植被覆盖度的地块作为对照试验，其融合效果对比如表3所示。

表3融合效果对比表

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (6)

1.一种基于JSKF模型和NSCT技术的高光谱遥感影像与全色图像的融合方法，其特征在于，包括以下步骤：

11)遥感影像数据的获取，获取高光谱遥感影像A和高空间分辨率全色遥感影像B，进行同名像元之间的精准匹配；

12)假彩色遥感影像的提取，基于联合偏度－峰度指数模型对高光谱遥感影像A进行敏感波段提取，提取出高光谱遥感影像A的假彩色遥感影像；

13)HIS变换，针对JSKF模型提取出的假彩色遥感影像进行HIS变换，其公式如下：

其中，色相和饱和度可以通过计算得出：

14)高低频系数的获得，分别对HIS变换后的亮度分量I和高空间分辨率全色遥感影像B进行非下采样轮廓波变换，获取其高低频系数；

15)低频系数的计算；

16)高频系数融合规则的选取；

17)融合影像的获得，对融合后的高、低频系数进行NSCT重构，通过NSCT逆变换得到拟融合影像的I分量，结合步骤13)得到的H分量和S分量进行HIS逆变换，得到融合后的高分辨率遥感影像。

2.根据权利要求1所述的一种基于JSKF模型和NSCT技术的高光谱遥感影像与全色图像的融合方法，其特征在于，所述的进行同名像元之间的精准匹配包括以下步骤：

21)基于高空间分辨率全色遥感影像B，选取地面控制点，最少控制点数量与多项式次数n的关系为(n+1)(n+2)/2，并在高光谱遥感影像A上进行同名像元选择，计算每个地面控制点的均方根值RMS，计算出累积的总体均方差误差，保证校正精度小于0.5个像元，即RMS<0.5时停止控制点的选取；

其中，x、y表示无几何畸变点图像控制点坐标，x′、y′为变换后图像控制点坐标；

22)选取二次多项式作为几何校正模型，通过控制点回归计算求出多项式系数。

3.根据权利要求1所述的一种基于JSKF模型和NSCT技术的高光谱遥感影像与全色图像的融合方法，其特征在于，所述的假彩色遥感影像的提取包括以下步骤：

31)计算高光谱影像A所有波段的JSKF值，公式如下：

JSKF＝S·K，

其中，S表示图像的偏度，K表示图像的峰度系数；

32)按照值的正负将所有波段进行自适应子空间的划分，将原始影像数据空间按分布的差异划分为两个大的子空间；

33)设置阈值以自动选择波段，将JSKF值按其绝对值大小排序，选择排序靠前的3个波段RGB波段构成假彩色影像。

4.根据权利要求1所述的一种基于JSKF模型和NSCT技术的高光谱遥感影像与全色图像的融合方法，其特征在于，所述的对HIS变换后的亮度分量I和高空间分辨率全色遥感影像B进行非下采样轮廓波变换包括以下步骤：

41)使用原高光谱遥感影像A在HIS变换后的亮度分量I和非采样双通道滤波器组进行卷积以获得图像分解层；

42)利用高空间分辨率全色遥感影像B对插值滤波器进行卷积，获得图像的多重分辨率；

43)图像经过N层分解之后，在金字塔中获得n+1个子带，包括N个细节子带和一个低分辨率近似子带，细节子带为高频系数，低分辨率近似子带为低频系数。

5.根据权利要求1所述的一种基于JSKF模型和NSCT技术的高光谱遥感影像与全色图像的融合方法，其特征在于，所述的低频系数的计算包括以下步骤：

51)采用基于区域能量的权值选取法则，根据区域能量的大小，自动确定权值；

52)将高空间分辨率全色遥感影像B的低频部分表示为I_B，将高光谱遥感影像A的低频分量表示为I_A，则低频分量I_L计算公式如下：

I_L(x,y)＝ω_AI_A(x,y)+ω_BI_B(x,y)，

式中，ω_A和ω_B分布表示相应的像素权重系数。

6.根据权利要求1所述的一种基于JSKF模型和NSCT技术的高光谱遥感影像与全色图像的融合方法，其特征在于，所述的高频系数融合规则的选取包括以下步骤：

61)将高频系数的八个方向的梯度及其域系数用作像素选择的阈值；

62)将各层的高频系数和融合后的影像方向表示为I，公式为：

其中，

Images