CN109859110A - 基于光谱维控制卷积神经网络的高光谱图像全色锐化方法 - Google Patents

Abstract

本发明提供了基于光谱维控制卷积神经网络的高光谱图像全色锐化方法，包括步骤：读取原始高光谱图像数据；利用高光谱图像合成相应的全色图像数据；对图像数据进行预处理，获取训练样本；构造光谱维控制卷积神经网络结构；将训练样本输入光谱维控制卷积神经网络，利用自适应矩估计算法，使得损失函数稳定在最小值，从而得到最优的网络结构参数；将经过相同预处理的测试样本输入至最优光谱维控制卷积神经网络结构中，输出处理得到高分辨率的高光谱图像；本发明结合高光谱图像的特性，通过对高光谱图像光谱维的控制，能更好地修复高光谱图像所缺失的细节信息，并减少锐化结果的光谱失真现象。

Description

基于光谱维控制卷积神经网络的高光谱图像全色锐化方法

技术领域

本发明涉及遥感图像领域，具体涉及一种基于光谱维控制卷积神经网络的高光谱图像全色锐化方法。

背景技术

高光谱图像处理技术是当前遥感领域和图像处理领域的研究热点。与多光谱图像和全色图像相比，高光谱图像除空间信息外，还包含了非常丰富的光谱信息，其在很多方面都具有重大的应用价值。但是，高光谱图像的一个明显不足之处在于其较低的空间分辨率。为了克服这一缺点，可采取的一个基本策略是将高光谱图像和与其配准的高空间分辨率的全色图像进行融合，从而得到高空间分辨率的高光谱图像，这个融合的过程通常被称为高光谱图像全色锐化。传统的高光谱图像全色锐化方法可分为以下几类：主成分替代法、多尺度分析法、贝叶斯法和其他算法，其中效果较为突出的是贝叶斯法。该方法用贝叶斯推断框架把高光谱图像全色锐化的过程公式化，进而将其演变成一个清晰的概率问题。通常，锐化问题是不适定的，而贝叶斯方法则通过定义一个合适的先验分布来缓解这个问题。虽然贝叶斯方法锐化效果比较好，但仍存在光谱失真和空间细节修复不足的现象，而且它的运算量大，依靠极强的先验信息才能产生最佳的效果，故在实际应用中存在一定的限制。

近年来，卷积神经网络在图像分类和图像超分辨率重建等应用中取得了较为出色的效果，从优化的角度来看，卷积神经网络与贝叶斯方法具有类似之处，都是通过观测数据对模型参数进行估计。然而，由于高光谱图像具有较多的光谱波段，光谱分辨率高及谱覆盖范围广等特点，其与全色图像的光谱覆盖范围相差较大，导致光谱覆盖范围以外的波段锐化效果较差。

发明内容

有鉴于此，为解决上述现有技术中的问题，本发明提供了基于光谱维控制卷积神经网络的高光谱图像全色锐化方法，结合高光谱图像的特性，通过对高光谱图像光谱维的控制，能更好地修复高光谱图像所缺失的细节信息，并减少锐化结果的光谱失真现象。

为实现上述目的，本发明的技术方案如下。

一种基于光谱维控制卷积神经网络的高光谱图像全色锐化方法，包括以下步骤：

步骤1、读取读取原始高光谱图像数据并用以合成相应的全色图像数据其中L,W表示高光谱图像的长和宽，b表示波段数；

步骤2、选取高光谱图像数据部分区域，及其对应的全色图像数据区域作为训练样本，对该样本进行预处理后，进行分块采样，得到多个训练样本块；

步骤3、构建光谱维控制卷积神经网络模型，包括光谱维的压缩、扩张以及空间细节修复三部分，均由卷积层构成，网络的激活函数采用线性整流函数；

步骤4、利用零均值的高斯分布随机初始化各卷积核的权重W和偏置B；

步骤5、选用欧氏距离损失函数作为输出层，得到网络预测图像与参照图像之间的欧氏距离，即损失值；

步骤6、采用自适应矩估计算法对权重和偏置进行迭代更新，当损失函数稳定在最小值时，权重和偏置寻得最优解，即得到最优光谱维控制卷积神经网络模型；

步骤7、选取原始高光谱图像数据另外一部分区域，及与其配准的全色图像数据区域作为测试样本，对该样本进行与步骤2相同的预处理；

步骤8、将测试样本直接输入到步骤6得到的最优光谱维控制卷积神经网络模型中，即可得到高分辨率的高光谱图像。

进一步地，所述步骤1中，对获取的高光谱图像数据的前n个连续波段进行加权求和，得到相应的全色图像数据；所述n个波段所覆盖的光谱范围对应可见光谱。

进一步地，所述步骤2中包括：

步骤21、预处理：对选取的高光谱图像训练样本先用与相应传感器的调制传递函数相匹配的高斯滤波器进行平滑处理，再进行s倍的下采样，得到低分辨率的训练样本其中满足表达式：L＝sl,W＝sw，接着对进行s倍的上采样，得到与相同大小的高光谱训练样本

步骤22、分块采样：同时以一定的间隔对训练样本和进行采样，即可将它们分别分解为多个像素点较少的样本块和

进一步地，所述步骤3中包括：

步骤31、光谱维压缩卷积层Conv1，输入训练数据与64个大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图Y₁ ⁽ⁱ⁾；表示为：

其中Y₁ ⁽ⁱ⁾表示第一层光谱维压缩卷积层对应的输出特征图，W₁,B₁分别表示第一层光谱维压缩卷积核的权重矩阵和偏置矩阵，表示线性整流函数；

步骤32、光谱维压缩卷积层Conv2，输入上一层的输出，与64个大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图Y₂ ⁽ⁱ⁾，本层与Conv1共同作用，用于压缩数据的光谱维数；

步骤33、拼接层Concat，输入上一层的输出，并将其与全色图像训练数据在光谱维度进行拼接，输出具有65个波段的数据；

步骤34、卷积层Conv3，输入上一层的输出，与64个大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图Y₃ ⁽ⁱ⁾；

步骤35、卷积层Conv4，输入上一层的输出，与32个大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出32个特征图Y₄ ⁽ⁱ⁾；

步骤36、卷积层Conv5，输入上一层的输出，与64个大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图Y₅ ⁽ⁱ⁾；

步骤37、光谱维扩张卷积层Conv6，输入上一层的输出，与64个大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图Y₆ ⁽ⁱ⁾；

步骤38、光谱维扩张卷积层Conv7，输入上一层的输出，与b个大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出网络预测高分辨高光谱图像O⁽ⁱ⁾，本层与Conv6共同作用，用于扩张数据的光谱维数。

进一步地，所述步骤5中，所述光谱维控制卷积神经网络训练时所选用的欧式距离损失函数表达式为：

其中θ表示卷积神经网络需要优化的参数集合，N_p表示自适应矩估计算法中的批尺寸，||·||_F表示矩阵的F-范数。

与现有技术比较，本发明的一种基于光谱维控制卷积神经网络的高光谱图像全色锐化方法具有以下优点和有益效果：

(1)本发明是高光谱图像全色锐化传统方法的延伸，摒弃了传统的分开学习全色图像的细节信息和细节信息插入系数，现直接学习退化的高光谱图像与原高光谱图像的映射关系，构建全色锐化模型，使得模型的鲁棒性得到极大的提升，进而增强高光谱图像的锐化效果；

(2)本发明将整个全色锐化过程分为三部分，第一部分利用1×1卷积核对高光谱图像进行光谱维压缩，第二部分利用3×3卷积核对压缩图像提取有效特征，进行空间细节修复，最后一部分用于光谱维扩张，与普通的卷积神经网络相比，本发明所设计的模型能对高光谱图像光谱维进行控制，有效地增强全色图像光谱覆盖范围以外的波段锐化效果。

附图说明

图1为本发明的实施例基于光谱维控制卷积神经网络的高光谱图像全色锐化方法的流程图。

图2为本发明实施例光谱维控制卷积神经网络的结构图。

图3(a)为AVIRIS高光谱参照图。

图3(b)为采用双三次插值处理后的图像。

图3(c)为采用矩阵分解算法处理后的图像。

图3(d)为采用贝叶斯算法处理后的图像。

图3(e)为采用本实施例所述方法处理后的图像。

具体实施方式

下面将结合附图和具体的实施例对本发明的具体实施作进一步说明。需要指出的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本实验采用的高光谱图像来自AVIRIS卫星数据，这幅图像最初由224个波段组成，这些波段在去除水汽吸收带之后选取了其中的176个波段。全色图像和高光谱图像空间分辨率之比为5:1，全色图像的尺寸为395*185，高光谱图像的尺寸为79*37。

如图1，一种基于光谱维控制卷积神经网络的高光谱图像全色锐化方法，包括以下步骤：

步骤1、读取读取原始高光谱图像数据并用以合成相应的全色图像数据其中L,W表示高光谱图像的长和宽，b表示波段数；

步骤2、选取高光谱图像数据部分区域，及其对应的全色图像数据区域作为训练样本，对该样本进行预处理后，进行分块采样，得到多个训练样本块；

步骤3、构建光谱维控制卷积神经网络模型，包括光谱维的压缩、扩张以及空间细节修复三部分，均由卷积层构成，网络的激活函数采用线性整流函数；

步骤4、利用零均值的高斯分布随机初始化各卷积核的权重W和偏置B；

步骤5、选用欧氏距离损失函数作为输出层，得到网络预测图像与参照图像之间的欧氏距离，即损失值；

步骤6、采用自适应矩估计算法对权重和偏置进行迭代更新，当损失函数稳定在最小值时，权重和偏置寻得最优解，即得到最优光谱维控制卷积神经网络模型；

步骤7、选取原始高光谱图像数据另外一部分区域，及与其配准的全色图像数据区域作为测试样本，对该样本进行与步骤2相同的预处理；

步骤8、将测试样本直接输入到步骤6得到的最优光谱维控制卷积神经网络模型中，即可得到高分辨率的高光谱图像。

优选的，所述步骤1中，对获取的高光谱图像数据的前n个连续波段进行加权求和，得到相应的全色图像数据；所述n个波段所覆盖的光谱范围对应可见光谱。

优选的，所述步骤2中包括：

步骤21、预处理：对选取的高光谱图像训练样本先用与相应传感器的调制传递函数相匹配的高斯滤波器进行平滑处理，再进行s倍的下采样，得到低分辨率的训练样本其中满足表达式：L＝sl,W＝sw，接着对进行s倍的上采样，得到与相同大小的高光谱训练样本

步骤22、分块采样：同时以以5个像素点为采样间隔对训练样本和进行采样，即可将它们分别分解为多个像素点较少的样本块和

优选的，本发明实施例光谱维控制卷积神经网络的结构图如图2所示，所述步骤3中包括：

步骤31、光谱维压缩卷积层Conv1，输入训练数据与64个大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图Y₁ ⁽ⁱ⁾；表示为：

其中Y₁ ⁽ⁱ⁾表示第一层光谱维压缩卷积层对应的输出特征图，W₁,B₁分别表示第一层光谱维压缩卷积核的权重矩阵和偏置矩阵，表示线性整流函数；

步骤32、光谱维压缩卷积层Conv2，输入上一层的输出，与64个大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图Y₂ ⁽ⁱ⁾，本层与Conv1共同作用，用于压缩数据的光谱维数；

步骤33、拼接层Concat，输入上一层的输出，并将其与全色图像训练数据在光谱维度进行拼接，输出具有65个波段的数据；

步骤34、卷积层Conv3，输入上一层的输出，与64个大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图Y₃ ⁽ⁱ⁾；

步骤35、卷积层Conv4，输入上一层的输出，与32个大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出32个特征图Y₄ ⁽ⁱ⁾；

步骤36、卷积层Conv5，输入上一层的输出，与64个大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图Y₅ ⁽ⁱ⁾；

步骤37、光谱维扩张卷积层Conv6，输入上一层的输出，与64个大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图Y₆ ⁽ⁱ⁾；

步骤38、光谱维扩张卷积层Conv7，输入上一层的输出，与b个大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出网络预测高分辨高光谱图像O⁽ⁱ⁾，本层与Conv6共同作用，用于扩张数据的光谱维数。

优选的，所述步骤5中，所述光谱维控制卷积神经网络训练时所选用的欧式距离损失函数表达式为：

其中θ表示卷积神经网络需要优化的参数集合，N_p表示自适应矩估计算法中的批尺寸，||·||_F表示矩阵的F-范数。图3(a)为AVIRIS高光谱参照图，图3(b)为采用双三次插值处理后的图像，图3(c)为采用矩阵分解算法处理后的图像，图3(d)为采用贝叶斯算法处理后的图像，图3(e)为采用本实施例所述方法处理后的图像。本发明利用双三次插值得到的锐化结果与参考图相比较，空间细节修复程度较差，存在明显的模糊现象；基于矩阵分解和贝叶斯算法所得到的锐化结果相对较好，但部分区域仍存在模糊，如中间区域中河道的拐弯处；而本实施例所提出的算法得到的结果更加接近于参考图，空间细节修复程度较好，说明本实施例具有相较于现有算法，具有更佳的锐化效果。

综上所述，本发明的一种基于光谱维控制卷积神经网络的高光谱图像全色锐化方法，结合高光谱图像的特性，通过对高光谱图像光谱维的控制，能更好地修复高光谱图像所缺失的细节信息，并减少锐化结果的光谱失真现象。

Claims (5)

1.一种基于光谱维控制卷积神经网络的高光谱图像全色锐化方法，其特征在于，包括以下步骤：

步骤1、读取读取原始高光谱图像数据并用以合成相应的全色图像数据其中L,W表示高光谱图像的长和宽，b表示波段数，表示全体实数集合；

步骤2、选取高光谱图像数据部分区域，及其对应的全色图像数据区域作为训练样本，对该样本进行预处理后，进行分块采样，得到多个训练样本块；

步骤3、构建光谱维控制卷积神经网络模型，包括光谱维的压缩、扩张以及空间细节修复三部分，均由卷积层构成，网络的激活函数采用线性整流函数；

步骤4、利用零均值的高斯分布随机初始化各卷积核的权重W和偏置B；

步骤5、选用欧氏距离损失函数作为输出层，得到网络预测图像与参照图像之间的欧氏距离，即损失值；

步骤6、采用自适应矩估计算法对权重和偏置进行迭代更新，当损失函数稳定在最小值时，权重和偏置寻得最优解，即得到最优光谱维控制卷积神经网络模型；

步骤7、选取原始高光谱图像数据另外一部分区域，及与其配准的全色图像数据区域作为测试样本，对该样本进行与步骤2相同的预处理；

步骤8、将测试样本直接输入到步骤6得到的最优光谱维控制卷积神经网络模型中，即可得到高分辨率的高光谱图像。

2.根据权利要求1所述的一种基于光谱维控制卷积神经网络的高光谱图像全色锐化方法，其特征在于：所述步骤1中，对获取的高光谱图像数据的前n个连续波段进行加权求和，得到相应的全色图像数据；所述n个波段所覆盖的光谱范围对应可见光谱。

3.根据权利要求1所述的一种基于光谱维控制卷积神经网络的高光谱图像全色锐化方法，其特征在于，所述步骤2中包括：

步骤21、预处理：对选取的高光谱图像训练样本先用与相应传感器的调制传递函数相匹配的高斯滤波器进行平滑处理，再进行s倍的下采样，得到低分辨率的训练样本其中满足表达式：L＝sl,W＝sw，接着对进行s倍的上采样，得到与相同大小的高光谱训练样本

步骤22、分块采样：同时以设定时间间隔对训练样本和进行采样，即可将它们分别分解为多个像素点较少的样本块和

4.根据权利要求1所述的一种基于光谱维控制卷积神经网络的高光谱图像全色锐化方法，其特征在于，所述步骤3中包括：

步骤31、光谱维压缩卷积层Conv1，输入训练数据与64个大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图Y₁ ⁽ⁱ⁾；表示为：

其中Y₁ ⁽ⁱ⁾表示第一层光谱维压缩卷积层对应的输出特征图，W₁,B₁分别表示第一层光谱维压缩卷积核的权重矩阵和偏置矩阵，表示线性整流函数；

步骤32、光谱维压缩卷积层Conv2，输入上一层的输出，与64个大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图Y₂ ⁽ⁱ⁾，本层与Conv1共同作用，用于压缩数据的光谱维数；

步骤33、拼接层Concat，输入上一层的输出，并将其与全色图像训练数据在光谱维度进行拼接，输出具有65个波段的数据；

步骤34、卷积层Conv3，输入上一层的输出，与64个大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图Y₃ ⁽ⁱ⁾；

步骤35、卷积层Conv4，输入上一层的输出，与32个大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出32个特征图Y₄ ⁽ⁱ⁾；

步骤36、卷积层Conv5，输入上一层的输出，与64个大小为3×3的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图Y₅ ⁽ⁱ⁾；

步骤37、光谱维扩张卷积层Conv6，输入上一层的输出，与64个大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出64个特征图Y₆ ⁽ⁱ⁾；

步骤38、光谱维扩张卷积层Conv7，输入上一层的输出，与b个大小为1×1的卷积核进行卷积运算，并经过线性整流函数激活处理，输出网络预测高分辨高光谱图像O⁽ⁱ⁾，本层与Conv6共同作用，用于扩张数据的光谱维数。

5.根据权利要求1所述的一种基于光谱维控制卷积神经网络的高光谱图像全色锐化方法，其特征在于：所述步骤5中，所述光谱维控制卷积神经网络训练时所选用的欧式距离损失函数表达式为：

其中θ表示卷积神经网络需要优化的参数集合，N_p表示自适应矩估计算法中的批尺寸，||·||_F表示矩阵的F-范数。