CN109727207A - 基于光谱预测残差卷积神经网络的高光谱图像锐化方法 - Google Patents

Abstract

本发明公开了一种基于光谱预测残差卷积神经网络的高光谱图像锐化方法，包括读取原始高光谱图像；利用高光谱图像的可见光波段合成相应的全色图像；对图像数据进行预处理，获取训练样本对；构造光谱预测残差卷积神经网络结构；将训练样本对输入光谱预测残差卷积神经网络，利用自适应矩估计算法，使训练误差降低至最小值，从而得到最优的网络结构参数；将经过相同预处理的测试样本对输入至最优光谱预测残差卷积神经网络结构中，输出高分辨率的高光谱图像。本发明能有效地缓解光谱失真的现象，增强其锐化效果。

Description

基于光谱预测残差卷积神经网络的高光谱图像锐化方法

技术领域

本发明涉及遥感图像领域，具体涉及一种基于光谱预测残差卷积神经网络的高光谱图像锐化方法。

背景技术

随着成像光谱技术日益成熟，遥感图像处理领域从多光谱图像时代逐渐过渡至高光谱图像时代。与多光谱图像相比，高光谱图像不仅包含更加丰富的地物信息，而且能对更加细致的光谱分析提供数据支持。虽然高光谱图像在诸多遥感应用领域拥有不可或缺的地位，但是其较低的空间分辨率一直为人所诟病。为了提高其空间分辨率，其中一种策略是将高光谱图像和与其配准的高空间分辨率的全色图像进行融合，利用全色图像中的丰富的空间细节信息锐化高光谱图像，从而得到高空间分辨率的高光谱图像。常用的高光谱图像锐化算法包括有主成分分析、导向滤波法、矩阵分解和贝叶斯法等。从它们的处理结果上来看，均存在或多或少的不足。例如，主成分分析虽然能较好地修复高光谱图像所丢失地空间细节信息，但是处理结果存在明显的光谱失真现象；另外，贝叶斯法在空间细节修复和光谱维护上处理得相对较好，但它的运算量大，而且需要依靠极强的先验信息才能达到最佳效果，故在实际应用中存在一定的限制。

近年来，卷积神经网络在各种图像处理领域中展示出优越的性能，受到日益广泛关注。

发明内容

为了克服现有技术存在的缺点与不足，本发明提供基于光谱预测残差卷积神经网络的高光谱图像锐化方法，增强卷积神经网络应用于高光谱图像锐化时的空间信息修复能力和光谱信息保护能力。

本发明采用如下技术方案：

一种基于光谱预测残差卷积神经网络的高光谱图像锐化方法，包括如下步骤：

S1获取训练样本集：获取高光谱图像合成全色图像全色图像进行预处理，得到训练样本对；

S2搭建光谱预测残差卷积神经网络模型：模型包括光谱预测和空间细节修复两部分，两部分均由卷积层构成，网络的激活函数采用线性整流函数；

S3训练光谱预测残差卷积神经网络模型：利用零均值的高斯分布初始化网络各层的卷积核的权重和偏置，采用自适应矩估计算法对网络模型进行迭代优化得到最优光谱预测残卷积神经网络模型；

S4利用训练好的光谱预测残差卷积神经网络模型，锐化处理低分辨率的高光谱图像。

进一步地，所述全色图像进行预处理，得到训练样本对，具体包括：

预处理步骤：选取高光谱图像的部分区域先用与相应传感器的调制传递函数相匹配的高斯滤波器进行平滑处理，再进行s倍的下采样，得到低分辨率的高光谱图像训练样本其中满足表达式：L＝sl，W＝Sw，接着对进行s倍的线性插值，得到与部分区域对应的全色图像具有相同空间大小的高光谱图像训练样本其中L，W表示高光谱图像的长和宽，b表示波段数；

分块采样步骤：以一定的间隔对训练对训练样本和同时进行采样，即可将它们分别分割为多个具有较少像素点的样本块和

进一步地，所述搭建光谱预测残差卷积神经网络模型，具体为：

S2.1光谱预测卷积层Conv1，输入训练数据与64个空间大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出得到64个特征图Y₁ ⁽ⁱ⁾，可表示为：其中Y₁ ⁽ⁱ⁾表示第一层光谱预测卷积层输出的特征图，W₁，B₁分别表示第一层光谱预测卷积核的权重矩阵和偏置矩阵，表示线性整流函数；

S2.2光谱预测卷积层Conv2，输入上一层的输出，与64个空间大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出得到64个特征图Y₂ ⁽ⁱ⁾，本层与Conv1协同作用，用于对高光谱图像的有效光谱波段进行预测处理；

S2.3拼接层Concat，输入上一层的输出，并将其与相应的全色图像训练数据在光谱维度进行拼接，输出具有65个波段的数据；

S2.4空间细节修复卷积层Conv3，输入上一层的输出，与64个空间大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图Y₃ ⁽ⁱ⁾；

S2.5空间细节修复卷积层Conv4，输入上一层的输出，与32个空间大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出32个特征图Y₄ ⁽ⁱ⁾；

S2.6空间细节修复卷积层Conv5，输入上一层的输出，与64个空间大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图Y₅ ⁽ⁱ⁾；

S2.7求和层Sum，输入上一层的输出和光谱预测层Conv2输出Y₂ ⁽ⁱ⁾，即经过光谱预测后的高光谱图像的有效波段，两个输入数据进行逐元素相加，输出64个特征图Y_Sum ⁽ⁱ⁾；

S2.8光谱预测卷积层Conv6，输入上一层的输出，与64个空间大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图Y₆ ⁽ⁱ⁾；

S2.9光谱预测卷积层Conv7，输入上一层的输出，与b个空间大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出网络处理得到的高分辨高光谱图像O⁽ⁱ⁾，本层与Conv6协同作用，用于预测高光谱图像完整的所有波段。

进一步地，S3中光谱预测残差卷积神经网络训练时选用欧式距离损失函数作为输出层，得到网络输出高光谱图像与理想高光谱图像之间的欧氏距离，即训练误差，其表达式为：

其中θ表示神经网络需要优化的参数集合，N_p表示自适应矩估计算法中的批尺寸，||·||_F表示矩阵的F-范数。

当训练误差降低至最小值时，权重和偏置为最优解，即得到最优光谱预测残差卷积神经网络模型。

进一步地，所述S4中，测试样本经过预处理后，输入最优光谱预测残卷积神经网络模型，得到高分辨率的高光谱图像。

本发明的有益效果：

(1)本发明是高光谱图像锐化传统方法的延伸，利用卷积神经网络强大的优化能力，构建相应的锐化模型，直接学习退化的高光谱图像与原始高光谱图像的映射关系，使得模型的鲁棒性得到极大的提升，进而增强高光谱图像的锐化效果；

(2)本发明将整个锐化过程分为三部分，第一部分利用1×1卷积核对高光谱图像进行光谱预测，提取高光谱图像有效的光谱波段，第二部分利用3×3卷积核对预测后的高光谱图像提取有效特征，进行空间细节修复，最后一部分再次利用光谱预测操作，恢复原始高光谱图像的光谱信息，与普通的卷积神经网络相比，本发明所设计的模型能准确预测高光谱图像的有效光谱成分，增强全色图像光谱覆盖范围以外的波段锐化效果。

附图说明

图1是本发明的流程图；

图2是本发明光谱预测残差卷积神经网络的结构图；

图3(a)为HYDICE高光谱参照图；

图3(b)为采用双三次插值处理后的图像；

图3(c)为采用矩阵分解算法处理后的图像；

图3(d)为采用贝叶斯算法处理后的图像；

图3(e)为采用本方法处理后的图像。

具体实施方式

下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例

如图1及图2所示，一种基于光谱预测残差卷积神经网络的高光谱图像锐化方法，主要是包括如下步骤：

S1获取训练样本集：获取高光谱图像并利用其可见光波段合成相应的全色图像其中L，W表示高光谱图像的长和宽，b表示波段数；

对获取的高光谱图像的前n个连续波段进行加权求和，得到相应的全色图像，此n个波段所覆盖的光谱范围对应可见光谱。

选取高光谱图像的部分区域及其对应的全色图像区域作为训练样本对，将样本对预处理后，进行分块采样，得到多个训练样本块，具体步骤为；

S1.1对训练样本的预处理：对选取的高光谱图像训练样本先用与相应传感器的调制传递函数相匹配的高斯滤波器进行平滑处理，再进行s倍的下采样，得到低分辨率的高光谱图像训练样本其中满足表达式：L＝sl，W＝sw，接着对进行s倍的线性插值，得到与具有相同空间大小的高光谱训练样本

S1.2对训练样本进行分块采样：以一定的间隔对训练样本对和同时进行采样，即可将它们分别分割为多个具有较少像素点的样本块和

S2搭建光谱预测残差卷积神经网络模型：模型包括光谱预测和空间细节修复两部分，两部分均由卷积层构成，网络的激活函数采用线性整流函数，具体包括如下步骤：

S2.1光谱预测卷积层Conv1，输入训练数据与64个空间大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出得到64个特征图Y₁ ⁽ⁱ⁾。可表示为：其中Y₁ ⁽ⁱ⁾表示第一层光谱预测卷积层输出特征图，W₁，B₁分别表示第一层光谱维压缩卷积核的权重矩阵和偏置矩阵，表示线性整流函数；

S2.2光谱预测卷积层Conv2，输入上一层的输出，与64个空间大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出得到64个特征图Y₂ ⁽ⁱ⁾，本层与Conv1协同作用，用于对高光谱图像的有效光谱波段进行预测处理；

S2.3拼接层Concat，输入上一层的输出，并将其与相应的全色图像训练数据在光谱维度进行拼接，输出具有65个波段的数据；

S2.4空间细节修复卷积层Conv3，输入上一层的输出，与64个空间大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图Y₃ ⁽ⁱ⁾；

S2.5空间细节修复卷积层Conv4，输入上一层的输出，与32个空间大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出32个特征图Y₄ ⁽ⁱ⁾；

S2.6空间细节修复卷积层Conv5，输入上一层的输出，与64个空间大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图Y₅ ⁽ⁱ⁾；

S2.7求和层Sum，输入上一层的输出和光谱预测层Conv2输出Y₂(ⁱ⁾，即经过光谱预测后的高光谱图像的有效波段，两个输入数据进行逐元素相加，输出64个特征图Y_Sum ⁽ⁱ⁾

S2.8光谱预测卷积层Conv6，输入上一层的输出，与64个空间大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图Y₆ ⁽ⁱ⁾；

S2.9光谱预测卷积层Conv7，输入上一层的输出，与b个空间大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出网络处理得到的高分辨高光谱图像O⁽ⁱ⁾，本层与Conv6协同作用，用于预测高光谱图像完整的所有波段。

S3训练光谱预测残差卷积神经网络模型：利用零均值的高斯分布初始化网络各层的卷积核的权重W和偏置B，选用欧氏距离损失函数作为输出层，得到网络输出高光谱图像与理想高光谱图像之间的欧氏距离，即训练误差；

具体为：光谱预测残差卷积神经网络训练时所选用的欧式距离损失函数表达式为：其中θ表示神经网络需要优化的参数集合，N_p表示自适应矩估计算法中的批尺寸，||·||_F表示矩阵的F-范数。

采用自适应矩估计算法对网络模型进行迭代优化，即当训练误差降低至最小值时，权重和偏置为最优解，得到最优光谱预测残卷积神经网络模型；

S4利用训练好的光谱预测残差卷积神经网络模型，锐化处理低分辨率的高光谱图像，具体为：

选取原始高光谱图像另外一部分区域，及与其相应的全色图像区域作为测试样本，对该样本对进行与S2相同的预处理；

将处理后的侧视样本直接输入训练好的光谱预测残差卷积神经网络模型，即可得到高分辨率的高光谱图像。

本实施例采用来自HYDICE卫星的高光谱图像数据。这幅图像最初由210个波段组成，这些波段在去除水汽吸收带之后选取了其中的191个波段。全色图像和高光谱图像空间分辨率之比为5∶1，全色图像的尺寸为1280*300，高光谱图像的尺寸为256*60。

图3(a)为HYDICE高光谱参照图，图3(b)为采用双三次插值处理后的图像，图3(c)为采用矩阵分解算法处理后的图像，图3(d)为采用贝叶斯算法处理后的图像，图3(e)为采用本实施例所述方法处理后的图像。从图中可以看出：利用双三次插值得到的锐化结果与参考图相比较，空间细节修复程度较差，存在明显的模糊现象；基于矩阵分解和贝叶斯算法所得到的锐化结果相对较好，但仍存在光谱失真现象，即灰度值的不同；而本实施例所提出的算法得到的结果更加接近于参考图，空间细节修复程度较好，说明本实施例具有相较于现有算法，具有更佳的锐化效果。

本发明利用卷积神经网络完善现有的高光谱图像锐化的不足。考虑到高光谱图像的光谱波段覆盖范围广，且相邻波段间相似度高，使得全色图像难以精确地修复每个波段的空间细节信息，因此本发明提出一种基于光谱预测残差卷积神经网络的高光谱图像锐化方法，在空间细节修复前，先对高光谱图像进行光谱预测处理，提取真正有效的光谱波段，在空间成分修复完成后，再次利用光谱预测处理，还原原始高光谱图像的所有波段信息。在整个过程中，难免会出现光谱信息的重复利用，因此加入了跳跃连接，将底层的光谱信息直接传递到顶层，缓解神经网络的学习压力，也能进一步有效地保护高光谱图像的光谱信息不受破坏。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种基于光谱预测残差卷积神经网络的高光谱图像锐化方法，其特征在于，包括如下步骤：

S1获取训练样本集：获取高光谱图像合成全色图像全色图像进行预处理，得到训练样本对；

S2搭建光谱预测残差卷积神经网络模型：模型包括光谱预测和空间细节修复两部分，两部分均由卷积层构成，网络的激活函数采用线性整流函数；

S3训练光谱预测残差卷积神经网络模型：利用零均值的高斯分布初始化网络各层的卷积核的权重和偏置，采用自适应矩估计算法对网络模型进行迭代优化得到最优光谱预测残卷积神经网络模型；

S4利用训练好的光谱预测残差卷积神经网络模型，锐化处理低分辨率的高光谱图像。

2.根据权利要求1所述的高光谱图像锐化方法，其特征在于，所述获取高光谱图像，合成全色图像，具体为：

对获取的高光谱图像的前n个连续波段进行加权求和，得到相应的全色图像，此n个波段所覆盖的光谱范围对应可见光谱。

3.根据权利要求1所述的高光谱图像锐化方法，其特征在于，所述全色图像进行预处理，得到训练样本对，具体包括：

预处理步骤：选取高光谱图像的部分区域先用与相应传感器的调制传递函数相匹配的高斯滤波器进行平滑处理，再进行s倍的下采样，得到低分辨率的高光谱图像训练样本其中满足表达式：L＝sl，W＝sw，接着对进行s倍的线性插值，得到与部分区域对应的全色图像具有相同空间大小的高光谱图像训练样本其中L，W表示高光谱图像的长和宽，b表示波段数；

分块采样步骤：以一定的间隔对训练对训练样本和同时进行采样，即可将它们分别分割为多个具有较少像素点的样本块和

4.根据权利要求1所述的高光谱图像锐化方法，其特征在于，所述搭建光谱预测残差卷积神经网络模型，具体为：

S2.1光谱预测卷积层Conv1，输入训练数据与64个空间大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出得到64个特征图Y₁ ⁽ⁱ⁾，可表示为：其中Y₁ ⁽ⁱ⁾表示第一层光谱预测卷积层输出的特征图，W₁，B₁分别表示第一层光谱预测卷积核的权重矩阵和偏置矩阵，表示线性整流函数；

S2.2光谱预测卷积层Conv2，输入上一层的输出，与64个空间大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出得到64个特征图Y₂ ⁽ⁱ⁾，本层与Conv1协同作用，用于对高光谱图像的有效光谱波段进行预测处理；

S2.3拼接层Concat，输入上一层的输出，并将其与相应的全色图像训练数据在光谱维度进行拼接，输出具有65个波段的数据；

S2.4空间细节修复卷积层Conv3，输入上一层的输出，与64个空间大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图Y₃ ⁽ⁱ⁾；

S2.5空间细节修复卷积层Conv4，输入上一层的输出，与32个空间大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出32个特征图Y₄ ⁽ⁱ⁾；

S2.6空间细节修复卷积层Conv5，输入上一层的输出，与64个空间大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图Y₅ ⁽ⁱ⁾；

S2.7求和层Sum，输入上一层的输出和光谱预测层Conv2输出Y₂ ⁽ⁱ⁾，即经过光谱预测后的高光谱图像的有效波段，两个输入数据进行逐元素相加，输出64个特征图Y_Sum ⁽ⁱ⁾；

S2.8光谱预测卷积层Conv6，输入上一层的输出，与64个空间大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图Y₆ ⁽ⁱ⁾；

S2.9光谱预测卷积层Conv7，输入上一层的输出，与b个空间大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出网络处理得到的高分辨高光谱图像O⁽ⁱ⁾，本层与Conv6协同作用，用于预测高光谱图像完整的所有波段。

5.根据权利要求1所述的高光谱图像锐化方法，其特征在于，S3中，光谱预测残差卷积神经网络训练时选用欧式距离损失函数作为输出层，得到网络输出高光谱图像与理想高光谱图像之间的欧氏距离，即训练误差，其表达式为：

其中θ表示神经网络需要优化的参数集合，N_p表示自适应矩估计算法中的批尺寸，||·||_F表示矩阵的F-范数。

6.根据权利要求1所述的高光谱图像锐化方法，其特征在于，当训练误差降低至最小值时，权重和偏置为最优解，即得到最优光谱预测残差卷积神经网络模型。

7.根据权利要求1所述的高光谱图像锐化方法，其特征在于，所述S4中，测试样本经过预处理后，输入最优光谱预测残卷积神经网络模型，得到高分辨率的高光谱图像。