CN110111276A - 基于空-谱信息深度利用的高光谱遥感影像超分辨率方法 - Google Patents

Abstract

本发明公开了一种基于空‑谱信息深度利用的高光谱遥感影像超分辨率方法，首先按照设定的采样间隔从输入的高光谱遥感影像中选取波段，对选取的波段进行超分辨率处理；然后利用光谱间的相关性对未被选择的波段进行插值，得到一幅完整的高光谱影像；最后对经插值得到的高光谱遥感影像与最初输入的低分辨率高光谱遥感影像进行内部的自融合，进一步利用未被选择的波段的空‑谱信息，实现输入影像中所包含的全部空谱信息的深度利用，从而得到最终的高分辨率影像。本发明解决了现有技术中存在的高光谱遥感影像空间分辨率低难以实现高精度分类及属性分析的问题。

Description

基于空-谱信息深度利用的高光谱遥感影像超分辨率方法

技术领域

本发明属于遥感影像技术领域，具体涉及一种基于空-谱信息深度利用的高光谱遥感影像超分辨率方法。

背景技术

高光谱成像仪作为当前深空探测中的核心载荷之一，能同时获得地物的光谱信息和空间信息。其中光谱信息可以用于反演地物的物质成分，而空间信息则反映的是地物的形状、纹理、布局等信息。通过两者结合，可以实现对地物的精确检测、识别以及定量化属性分析等应用。

然而，受到技术以及成本的限制，现有的高光谱遥感影像空间分辨率低，目标和背景对比度低，往往导致地物目标的区分度和辨识性差，难以实现高精度分类及属性分析。同时，高光谱遥感影像往往包含数百乃至上千个波段，给算法的时效性带来严峻的挑战。如何高效的实现高光谱遥感数据超分辨率，是高光谱遥感影像超分辨率方法要解决的问题。深度学习作为一种工具是2006年由Hinton等人提出的，能通过组合低层特征形成更加抽象的高层特征，以发现传统算法中难以解决的图像深层次特征表征问题，实现图像特征的充分利用。在高光谱遥感影像的超分辨率过程中，通过深度学习能够有效的学习影像中所携带的空谱信息，同时通过分析和利用谱间信息的相关性，实现影像的高空间分辨率描述。

发明内容

本发明的目的是提供一种基于空-谱信息深度利用的高光谱遥感影像超分辨率方法，解决了现有技术中存在的高光谱遥感影像空间分辨率低难以实现高精度分类及属性分析的问题。

本发明所采用的技术方案是，基于空-谱信息深度利用的高光谱遥感影像超分辨率方法，具体按照以下步骤实施：

步骤1、按照设定的采样间隔从输入的高光谱遥感影像中选取波段，对选取的波段进行超分辨率处理；

步骤2、利用光谱间的相关性对未被步骤1选择的波段进行插值，得到一幅完整的高光谱影像；

步骤3、对经步骤2插值得到的高光谱遥感影像与最初输入的低分辨率高光谱遥感影像进行内部的自融合，进一步利用步骤1中未被选择的波段的空-谱信息，实现输入影像中所包含的全部空谱信息的深度利用，从而得到最终的高分辨率影像。

本发明的特点还在于，

步骤1具体按照以下步骤实施：

步骤1.1设置采样间隔d＝1，临时变量d_tem＝1；

步骤1.2、逐一计算输入的低分辨率高光谱遥感影像L中当前波段L_i与相邻波段L_i+1的相关系数CCS，其中L∈R^w×h×n，i表示当前波段的序号，取值为1至n-1；

步骤1.3、统计所有的CCS，如果90％以上的CCS值大于等于0.9，则进行步骤1.4；反之，则进行步骤1.7；

步骤1.4、令临时变量d_tem＝d，增大采样间隔，令d＝d+1；

步骤1.5、再次逐一计算输入的低分辨率高光谱遥感影像L中当前波段L_i与相邻波段L_i+d的相关系数CCS，i表示当前波段的序号，取值为1至n-d；

步骤1.6、返回步骤1.3；

步骤1.7、设置最终的采样间隔dis＝d_tem；

步骤1.8、从低分辨率的高光谱影像L所有n个波段中，选取波段L₁,L_1+dis,L_1+2dis,...构成集合K，集合K共包含个波段；

步骤1.9、对集合K中所有个波段进行超分辨率处理，获得高空间分辨率的波段集合HK。

步骤1.9具体如下：

步骤1.9.1、对于集合K中的所有元素，利用特征提取模块Fblock首先从低分辨的波段中逐一提取特征；

步骤1.9.2、多个信息蒸馏模型DBlocks堆叠提取残差信息；

步骤1.9.3、利用重建模型RBlock聚集所获得的高分辨残差，高分辨残差与输入波段的上采样图像进行元素间求和，获得高空间分辨率的波段集合HK；HK中的元素表示为：

步骤2具体按照以下步骤实施：

步骤2.1、设未被步骤1选择的波段构成集合为集合N：

N＝[L₂,...,L_dis,L_dis+2,...,L_2dis,L_2dis+2,...]，

集合N中共个波段；

步骤2.2、利用公式对集合N中的所有元素进行插值处理，从而得到完整的高光谱遥感影像中各个元素表示为：

步骤3具体按照以下步骤实施：

步骤3.1、对经步骤2插值得到的完整高光谱遥感影像进行转置操作：得到转置后的高光谱影像

步骤3.2、对输入的低分辨高光谱遥感影像L进行转置操作：L∈R^w×h×n→L_α∈R^n×wh，得到转置后的低分辨高光谱影像L_α；

步骤3.3、利用定点成分分析方法计算输入的L_α中的端元个数D；随机初始化端元矩阵W∈R^n×D、光谱降质矩阵W_T∈R^n×D、丰度矩阵和空间降质丰度矩阵C_T∈R^D×wh为4个非负矩阵；计算代价，如果大于ε，则进行步骤3.4；反之，则进行步骤3.6，本发明中ε设置为1e-8；

步骤3.4、固定C，按如下公式更新W_T：

步骤3.5、固定W_T，按照公式更新C，重复步骤3.3；

步骤3.6、记录最终的W_T和C，计算||L_α-WC_T||₂代价，如果大于ε，则进行步骤3.7；反之，则进行步骤3.9；

步骤3.7、固定C_T，按照如下公式更新W：W＝W.*(L_αC_T ^T)./(WC_TC_T ^T)；

步骤3.8、固定W，按照公式C_T＝C_T.*(W_TL_α)./(W^TWC_T)更新C_T，重复步骤3.6；

步骤3.9、通过步骤2得到的高光谱影像和输入的低分辨高光谱影像L_α分别取得端元矩阵W和丰度矩阵C，按照公式重建出高分辨率高光谱影像进行和L_α的内部自融合，按照逆转置，从而得到最终的高分辨率影像

本发明的有益效果是，基于空-谱信息深度利用的高光谱遥感影像超分辨率方法，被选取波段的超分辨率处理过程充分利用了大量训练样本的映射关系以及自身所携带的空间信息，插值操作则利用了光谱相关性，而内部的自融合则进一步充分利用了输入影像所携带的信息，以较快的速度提供较好的超分辨率效果。

附图说明

图1是本发明一种基于空谱信息深度利用的高光谱遥感影像超分辨率方法流程图；

图2是基于空谱信息深度利用的高光谱遥感影像超分辨率方法中原始帕维亚影像在不同采样间隔下相邻波段的相关性；

图3是本发明基于空谱信息深度利用的高光谱遥感影像超分辨率方法中2倍下采样后的帕维亚影像在不同采样间隔下相邻波段的相关性；

图4是本发明基于空谱信息深度利用的高光谱遥感影像超分辨率方法中4倍下采样的帕维亚影像在不同采样间隔下相关系数与2倍下采样的帕维亚影像在不同采样间隔下相关系数的差值；

图5是本发明基于空谱信息深度利用的高光谱遥感影像超分辨率方法中对低分辨率帕维亚影像采用不同方法4倍上采样后的重建图像的视觉效果对比图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明是一种基于空-谱信息深度利用的高光谱影像超分辨率方法，具体流程如图1所示，具体按照以下步骤实施：

步骤1、按照设定的采样间隔从输入的高光谱遥感影像中选取波段，对选取的波段进行超分辨率处理，具体按照以下步骤实施：

步骤1.1设置采样间隔d＝1，临时变量d_tem＝1；

步骤1.2、逐一计算输入的低分辨率高光谱遥感影像L中当前波段L_i与相邻波段L_i+1的相关系数CCS，其中L∈R^w×h×n，i表示当前波段的序号，取值为1至n-1；

步骤1.3、统计所有的CCS，如果90％以上的CCS值大于等于0.9，则进行步骤1.4；反之，则进行步骤1.7；

步骤1.4、令临时变量d_tem＝d，增大采样间隔，令d＝d+1；

步骤1.5、再次逐一计算输入的低分辨率高光谱遥感影像L中当前波段L_i与相邻波段L_i+d的相关系数CCS，i表示当前波段的序号，取值为1至n-d；

步骤1.6、返回步骤1.3；

步骤1.7、设置最终的采样间隔dis＝d_tem；

步骤1.8、从低分辨率的高光谱影像L所有n个波段中，选取波段L₁,L_1+dis,L_1+2dis,...构成集合K，集合K共包含个波段；

步骤1.9、对集合K中所有个波段进行超分辨率处理，获得高空间分辨率的波段集合HK。

其中，步骤1.9具体如下：

步骤1.9.1、对于集合K中的所有元素，利用特征提取模块Fblock首先从低分辨的波段中逐一提取特征；

步骤1.9.2、多个信息蒸馏模型DBlocks堆叠提取残差信息；

步骤1.9.3、利用重建模型RBlock聚集所获得的高分辨残差，高分辨残差与输入波段的上采样图像进行元素间求和，获得高空间分辨率的波段集合HK；HK中的元素表示为：

步骤2、利用光谱间的相关性对未被步骤1选择的波段进行插值，得到一幅完整的高光谱影像，具体按照以下步骤实施：

步骤2.1、设未被步骤1选择的波段构成集合为集合N：

N＝[L₂,...,L_dis,L_dis+2,...,L_2dis,L_2dis+2,...]，

集合N中共个波段；

步骤2.2、利用公式对集合N中的所有元素进行插值处理，从而得到完整的高光谱遥感影像中各个元素表示为：

步骤3、对经步骤2插值得到的高光谱遥感影像与最初输入的低分辨率高光谱遥感影像进行内部的自融合，进一步利用步骤1中未被选择的波段的空-谱信息，实现输入影像中所包含的全部空谱信息的深度利用，从而得到最终的高分辨率影像，具体按照以下步骤实施：

步骤3.1、对经步骤2插值得到的完整高光谱遥感影像进行转置操作：得到转置后的高光谱影像

步骤3.2、对输入的低分辨高光谱遥感影像L进行转置操作：L∈R^w×h×n→L_α∈R^n×wh，得到转置后的低分辨高光谱影像L_α；

步骤3.3、利用定点成分分析方法计算输入的L_α中的端元个数D；随机初始化端元矩阵W∈R^n×D、光谱降质矩阵W_T∈R^n×D、丰度矩阵和空间降质丰度矩阵C_T∈R^D×wh为4个非负矩阵；计算代价，如果大于ε，则进行步骤3.4；反之，则进行步骤3.6，本发明中ε设置为1e-8；

步骤3.4、固定C，按如下公式更新W_T：

步骤3.5、固定W_T，按照公式更新C，重复步骤3.3；

步骤3.6、记录最终的W_T和C，计算||L_α-WC_T||₂代价，如果大于ε，则进行步骤3.7；反之，则进行步骤3.9；

步骤3.7、固定C_T，按照如下公式更新W：W＝W.*(L_αC_T ^T)./(WC_TC_T ^T)；

步骤3.8、固定W，按照公式C_T＝C_T.*(W_TL_α)./(W^TWC_T)更新C_T，重复步骤3.6；

步骤3.9、通过步骤2得到的高光谱影像和输入的低分辨高光谱影像L_α分别取得端元矩阵W和丰度矩阵C，按照公式重建出高分辨率高光谱影像进行和L_α的内部自融合，按照逆转置，从而得到最终的高分辨率影像

为了验证本发明对于高光谱遥感影像进行超分辨率处理的有效性，通过仿真实验给出的对比实验。实验平台是处理器为Intel core i5@2.8GHZ、内存为16.0GB的Windows上的MATLAB(R2015b)。具体采用的对比算法有经典的双三次插值方法，以及最新的深度学习方法SRCNN,VDSR,LapSRN和IDN。

实验所选择的数据为帕维亚大学的一幅高光谱遥感影像，影像原始大小为610×340×103。本发明从整个空间域截取了一小块细节丰富的区域用作算法性能验证，大小为200×200，如图5中参考图像。

实验工作是通过对比不同算法超分辨率重建后影像的主观视觉效果和各项客观评价指标来验证本发明的可行性。

所采用的客观评级指标有：相关系数(CC)、均方差(RMSE)、峰值信噪比(PSNR)、结构相似度(SSIM)、光谱角(SAM)。其中CC、PSNR、SSIM越大，均表示重建后影像与原始影像的相似度越高，说明算法的性能越好，CC和SSIM的最优值均为1，PSNR的最优值为无限大。SAM表示的是超分辨率处理后的影像与原始影像的光谱保扭曲程度，SAM越小，表示引入的光谱扭曲越小，说明算法的性能越好。

设I，I'分别表示参考影像和超分辨率重建得到的高光谱影像，大小均为R^sw×sh×n，s表示超分辨率处理的倍数，n表示的是影像中的总波段数，sw和sh分别表示超分辨率处理后影像的宽和高。其中第k个波段I'_k的RMSE的计算公式为：i和j分别表示空间上横纵坐标的位置。m和n分别表示影像在空间上的行数和列数，最终对所有波段的RMSE值取平均以得到当前影像的RMSE值。在影像的初始化过程中，所有高光谱影像的元素值均归一化到了[0,1]区间，因此PSNR的计算公式可以表示为：SSIM表示结构相似度，其计算公式可以表示为：其中μ_I是I的平均值，μ_I'是I'的平均值，σ_I和σ_I'分别是I和I'的均方差。σ_II'则是I和I'的协方差。c₁和c₂是用来维持稳定的常数。SAM的计算公式为：其中u(i)和u'(i)分别表示I和I'中第i个像素点所对应的光谱曲线。相关系数CC的计算公式为：

其中，表示单个波段间的相关性。

(1)帕维亚大学高光谱影像波段间相关性实验如下：

波段间相关性采用CCS来评估。CCS的结果越大表示两个波段间的相关性越强，说明本发明中采用插值方法对未被选中的波段进行上采样处理的可行性。CCS值为1，表示两个波段的相关性最强。图2刻画的是帕维亚大学这一影像中当前波段和间隔波段的CCS系数。其中x轴表示的是当前波段I_k的序号k，y轴则表示的是当前波段和间隔波段I_k+d之间的CCS系数。图例中的int_1、int_2和int_3分别表示的是间隔d为1、2和3。由图2可以看出，随着采样间隔变大，相邻波段间的相关性虽然逐渐减小，但始终呈现出极强的相关性，大部分的CCS系数均大于0.95。另外，随着图像质量的下降，更多的低频细节信息被损失，相邻波段将表现出更强的相关性。图3描述的是2倍下采样后的帕维亚大学这一高光谱影像在不同采样间隔下的相邻波段间相关性。图4是在相同间隔下，4倍下采样的帕维亚大学高光谱影像相邻波段间CCS系数减去2倍下采样的这一影像相邻波段间的CCS系数，其中图例中的baseline则表示一条恒为0的线段。从图4可以看出，在采样间隔分别为1和2情况下，4倍下采样的影像中相邻波段相关性强于2倍下采样的影像中相邻波段的相关性。因此，在具体的波段选择间隔的设置上，针对较大的下采样因子，需要设置更大的采样间隔，以使在不影响发明性能的前提下尽可能的减小计算复杂度。

(2)高光谱遥感影像超分辨率实验：

图5是针对帕维亚大学这幅影像，通过采用不同方法进行4倍超分辨率后得到的高分辨率影像视觉效果对比图。表1是对帕维亚大学这幅影像分别进行2倍和4倍超分辨率后所得到的高分辨高光谱影像的各项客观评价指标。

由图5和表1中的实验结果可知，本发明显著的提高了高光谱遥感影像的空间信息；本发明较一般的超分辨率算法，在放大倍数较大时，所获得的性能提升越大。由于放大倍数较大时，输入的低分辨影像由原始影像下采样得到，它所携带的信息越少，相邻波段间差异也就越小，本发明中的间隔采样操作所损失的信息也就越少，因而相较其他的算法，本发明的性能也就越好。

表1不同方法2倍和4倍超分辨率后的帕维亚大学高光谱影像客观指标

本发明基于空-谱信息深度利用的高光谱遥感影像超分辨率方法，可以有效提高高光谱遥感影像的空间分辨率。相较其他算法，本发明尤其适用于处理空间细节较差的输入影像。

Claims (5)

1.基于空-谱信息深度利用的高光谱遥感影像超分辨率方法，其特征在于，具体按照以下步骤实施：

步骤1、按照设定的采样间隔从输入的高光谱遥感影像中选取波段，对选取的波段进行超分辨率处理；

步骤2、利用光谱间的相关性对未被步骤1选择的波段进行插值，得到一幅完整的高光谱影像；

步骤3、对经步骤2插值得到的高光谱遥感影像与最初输入的低分辨率高光谱遥感影像进行内部的自融合，进一步利用步骤1中未被选择的波段的空-谱信息，实现输入影像中所包含的全部空谱信息的深度利用，从而得到最终的高分辨率影像。

2.根据权利要求1所述的基于空-谱信息深度利用的高光谱遥感影像超分辨率方法，其特征在于，所述步骤1具体按照以下步骤实施：

步骤1.1设置采样间隔d＝1，临时变量d_tem＝1；

步骤1.2、逐一计算输入的低分辨率高光谱遥感影像L中当前波段L_i与相邻波段L_i+1的相关系数CCS，其中L∈R^w×h×n，i表示当前波段的序号，取值为1至n-1；

步骤1.3、统计所有的CCS，如果90％以上的CCS值大于等于0.9，则进行步骤1.4；反之，则进行步骤1.7；

步骤1.4、令临时变量d_tem＝d，增大采样间隔，令d＝d+1；

步骤1.5、再次逐一计算输入的低分辨率高光谱遥感影像L中当前波段L_i与相邻波段L_i+d的相关系数CCS，i表示当前波段的序号，取值为1至n-d；

步骤1.6、返回步骤1.3；

步骤1.7、设置最终的采样间隔dis＝d_tem；

步骤1.8、从低分辨率的高光谱影像L所有n个波段中，选取波段L₁,L_1+dis,L_1+2dis,...构成集合K，集合K共包含个波段；

步骤1.9、对集合K中所有个波段进行超分辨率处理，获得高空间分辨率的波段集合HK。

3.根据权利要求2所述的基于空-谱信息深度利用的高光谱遥感影像超分辨率方法，其特征在于，所述步骤1.9具体如下：

步骤1.9.1、对于集合K中的所有元素，利用特征提取模块Fblock首先从低分辨的波段中逐一提取特征；

步骤1.9.2、多个信息蒸馏模型DBlocks堆叠提取残差信息；

步骤1.9.3、利用重建模型RBlock聚集所获得的高分辨残差，高分辨残差与输入波段的上采样图像进行元素间求和，获得高空间分辨率的波段集合HK；HK中的元素表示为：

4.根据权利要求2所述的基于空-谱信息深度利用的高光谱遥感影像超分辨率方法，其特征在于，所述步骤2具体按照以下步骤实施：

步骤2.1、设未被步骤1选择的波段构成集合为集合N：

N＝[L₂,...,L_dis,L_dis+2,...,L_2dis,L_2dis+2,...]，

集合N中共个波段；

步骤2.2、利用公式对集合N中的所有元素进行插值处理，从而得到完整的高光谱遥感影像中各个元素表示为：

5.根据权利要求4所述的基于空-谱信息深度利用的高光谱遥感影像超分辨率方法，其特征在于，所述步骤3具体按照以下步骤实施：

步骤3.1、对经步骤2插值得到的完整高光谱遥感影像进行转置操作：得到转置后的高光谱影像

步骤3.2、对输入的低分辨高光谱遥感影像L进行转置操作：L∈R^w×h×n→L_α∈R^n×wh，得到转置后的低分辨高光谱影像L_α；

步骤3.3、利用定点成分分析方法计算输入的L_α中的端元个数D；随机初始化端元矩阵W∈R^n×D、光谱降质矩阵W_T∈R^n×D、丰度矩阵和空间降质丰度矩阵C_T∈R^D×wh为4个非负矩阵；计算代价，如果大于ε，则进行步骤3.4；反之，则进行步骤3.6，本发明中ε设置为1e-8；

步骤3.4、固定C，按如下公式更新W_T：

步骤3.5、固定W_T，按照公式更新C，重复步骤3.3；

步骤3.6、记录最终的W_T和C，计算||L_α-WC_T||₂代价，如果大于ε，则进行步骤3.7；反之，则进行步骤3.9；

步骤3.7、固定C_T，按照如下公式更新W：W＝W.*(L_αC_T ^T)./(WC_TC_T ^T)；

步骤3.8、固定W，按照公式C_T＝C_T.*(W_TL_α)./(W^TWC_T)更新C_T，重复步骤3.6；

步骤3.9、通过步骤2得到的高光谱影像和输入的低分辨高光谱影像L_α分别取得端元矩阵W和丰度矩阵C，按照公式重建出高分辨率高光谱影像进行和L_α的内部自融合，按照逆转置，从而得到最终的高分辨率影像