CN109903255A - 一种基于3d卷积神经网络的高光谱图像超分辨率复原方法 - Google Patents

Abstract

本发明公开了一种基于3D卷积神经网络的高光谱图像超分辨率复原方法，本发明采用如下的技术方案：3D残差密集网络，该网络创新点包括3D卷积核对高光谱图像光谱维进行卷积部分和3D亚像素重组对图像进行放大并重建高分辨率图像部分，将这两部分统一在深度卷积神经网络框架3D‑RDN中，通过残差密集块等结构充分利用卷积层的分层特征，实现对高光谱图像的超分辨率复原。当前现有的基于深度学习的方法应用于高光谱图像时，未充分考虑高光谱图像自身的特征，因而难以有效利用高光谱图像丰富的光谱维信息重建高分辨率的图像。本发明充分利用高光谱图像的所有空谱信息，实现高效超分辨率复原，在PSNR值上优于现有方法。

Description

一种基于3D卷积神经网络的高光谱图像超分辨率复原方法

技术领域

本发明属于计算机视觉中的图像复原领域，尤其涉及高光谱图像的超分辨率复原，进一步涉及一种利用卷积神经网络进行高光谱图像超分辨率复原的方法，充分利用3D卷积核、3D亚像素重组技术与残差密集网络的特点。本方法在公开数据集上得到良好的识别性能验证。

背景技术

高光谱图像是一种能够实现地物空间信息和光谱信息同步获取的图像，其在深空探测、地质勘探、农作物遥感乃至人脸识别等领域都具有非常重要的应用价值。然而受成像原理的制约，高光谱图像的空间分辨率往往低于普通可见光图像，因此采用超分辨率复原技术，通过信号处理的方法突破成像设备的极限，成为提高高光谱图像空间分辨率的重要途径。近年来，深度学习技术的发展为超分辨率复原技术的研究带来了新的思路，已成为相关领域的主流技术，取得了显著优于传统技术的效果。然而现有的该类方法主要面向普通二维图像展开，尚未充分考虑高光谱图像自身的特征，因而难以有效利用高光谱图像的空间和光谱维信息，重建高分辨率的图像，并且传统的深层卷积神经网络未能充分利用每一层卷积提取的特征。为此，本发明针对高光谱图像的空谱相关性特点，参考人体行为识别领域时空域3D卷积核，设计了面向高光谱图像超分辨率复原的3D卷积核及3D亚像素重组技术，在对空间维进行特征提取的同时加入光谱维，对空间维及光谱维同时进行卷积操作，充分利用高光谱图像的所有空谱信息，在深度残差网络RDN框架下，实现了高光谱图像的超分辨率复原。

发明内容

当前现有的基于深度学习的方法在普通二维图像超分辨率复原上都取得了很好的效果，但将其应用于高光谱图像时，未充分考虑高光谱图像自身的特征，因而难以有效利用高光谱图像丰富的光谱维信息重建高分辨率的图像。本发明提供一种基于3D卷积神经网络的高光谱图像超分辨率复原方法，充分利用高光谱图像的所有空谱信息，实现高效超分辨率复原，在PSNR值上优于现有方法。

本发明采用如下的技术方案：3D残差密集网络(3D Residual-Dense-Net)，该网络创新点包括3D卷积核对高光谱图像光谱维进行卷积部分和3D亚像素重组对图像进行放大并重建高分辨率图像部分，将这两部分统一在深度卷积神经网络框架3D-RDN中，通过残差密集块等结构充分利用卷积层的分层特征，实现对高光谱图像的超分辨率复原。

如图1所示，方法包括3个步骤：获取低分辨率高光谱图像数据集；构建3D残差密集网络，将低分辨率图像输入网络中进行迭代监督训练，保存模型；将模型应用于新数据中，进行超分辨率复原。

步骤1：首先对高分辨率图像进行预处理，对图像进行高斯模糊以及降采样操作，获得用于网络训练的低分辨率高光谱图像数据集。

步骤2：构建3D残差密集网络，网络构成的重点位3D卷积核及3D亚像素重组技术。传统二维卷积神经网络在空间维度上采用的是全局感受野，但缺乏光谱维度的局部感受野。为了弥补传统二维神经网络对高光谱图像进行处理时没有充分利用图像谱间相关性的数据特点，本发明将2D卷积拓展到3D卷积。3D卷积能够在高光谱图像空间维及光谱维上同时进行卷积操作，捕捉其谱间信息及空间信息，进行特征提取。

输入数据为由多个波段图像组成的高光谱图像三维立方体，如图2所示，3D卷积核在空间维及光谱维上同时进行卷积操作，并以1为步长使得卷积核在输入立方体中滑动遍历，多个连续波段依次通过卷积，卷积层中每个特征图都与上一层的多个相邻连续波段相连，从而获取一定的光谱维信息。在第一层卷积中，感受野与卷积核大小相同，为3×3×3，第二层卷积层中一个特征图的某一位置的值是通过卷积第一层的三个连续波段图像的同一位置的局部感受野得到的。随着卷积层熟的加深，局部感受野变大，最终覆盖所有波段，充分利用整个高光谱图像的光谱维信息。

3D亚像素重组图像也是本发明的重要步骤之一，本发明将二维亚像素重组技术拓展到光谱维度，针对复原过程中图像尺寸放大及重建的过程，其插值函数被隐含地包含在前面网络的卷积层中自动学习到。由于卷积运算都是在低分辨率图像尺寸大小上进行，因此效率会较高。在低分辨率空间中提取局部和全局特征之后，在高分辨率空间中将图像放大到输出尺寸，得到输出的高分辨率图像。如图5所示，当输入大小为H×W×C的原始低分辨率图像通过三个三维残差密集块之后，其中H，W，，C分别为输入图像的高、宽和光谱维高度，得到与输入的图像大小相同的r³个特征图像数据块，r为放大倍数。再将特征图像块每个像素r³个通道重新排列成一个r×r×r的区域，对应高分辨率图像中一个r×r×r大小的子块，从而大小为H×W×C×r³的特征图像被重新排列成rH×rW×rC×1的高分辨率图像。最后一层卷积层输出的特征个数需要设置成固定值，即放大倍数r的平方，这样总的像素个数就与要得到的高分辨率图像一致，将像素进行重新排列得到高分辨率图。

将3D卷积核与3D亚像素重组技术融合入残差密集网络中。本发明的3D-RDN网络结构如图3所示，具体主要由四部分组成：三维浅层特征提取(3D-SFE)、三维残差密集块(3D-RDBs)、三维特征融合层(3D-DFF)和三维亚像素重组(3D-SPS)。

三维浅层特征提取(3D-SFE)，首先使用两层三维卷积层来提取图像的浅层特征，减少网络的参数，降低计算复杂度。同时将提取的浅层特征F₀作为RDBs的输入以及用于全局残差学习。

三维残差密集块(3D-RDBs)，即3D-RDN网络的基本网络单元，进一步来提取图像的分层特征，内部结构如图4所示。本发明级联了三个3D-RDB，每个RDB中又包含3层三维卷积层，整个网络共9层三维卷积进一步提取图像深度特征。为了充分利用每层卷积提取的特征，分别在3D-RDB之间以及RDB内部不同卷积层之间添加了不同机制。在不同的3D-RDB之间，本发明添加了连续记忆机制(Contiguous Memory)从前一个RDB读取状态，将前面RDB的特征传递给当前RDB的每一层来。在每个3D-RDB内部，本发明引入密集连通层和带有局部残差学习(LRL)的局部特征融合(LFF)在不同卷积层之间加入密集连接，构成密集连通层，从空间维和光谱维两个维度，同时对高光谱图像执行卷积操作，进行特征提取。在三层卷积层之间通过加入局部密集连接(Local Dense Connections)每个卷积层都可以访问所有的后续层，传递需要保留的信息，充分利用分层信息。由于获得了之前RDB的输入和当前RDB中所有卷积层的输入，减少特征数量是必不可少的操作，因此在RDB内部最后添加一层卷积自适应地进行局部特征融合(Local Feature Fusion)保存累积的特征，以解决由于将前一个RDB中的信息全部输入到当前RDB的每一个卷积层造成的特征数累计过多的问题。

其中，表示第2个3D-RDB中的局部特征融合函数；F_2，LF表示第二个RDB中局部特征融合后的输出；F₁为第一个RDB的最终输出；F_2，1，F_2，2，F_2，3分别为第二个RDB中第1、2、3层卷积层的输出。

本发明的三维残差密集块中还进一步改进了特征传递的方式，通过局部残差学习的方式，将上一个RDB的输出直接传递到局部特征融合操作中，使得图像特征得到充分的利用。因此，图3中3D-RDB的最终输出F₂为

F₂＝F₁+F_2，LF

三维特征融合层(3D-DFF)，在使用一组3D-RDBs提取局部密集特征之后，进一步提出密集特征融合(DFF)以全局方式利用分层特征，共两部分如下所述：

全局特征融合GFF(Global feature fusion)自适应地融合LR空间中所有RDBs的层次特征；全局残差学习两部分GRL(Global residual learning)利用全局残差学习，将浅层特征和深层特征结合起来，得到原始LR图像的全局密集特征F_GF。然后利用全局残差学习在进行放大之前获得特征图。

F_DF＝F₀+F_GF

其中F₀表示提取的浅层特征，F_GF为全局特征融合后的输出特征；F_DF为网络密集特征融合操作的最终输出。

步骤3：为了验证基于3D卷积的的高光谱图像超分辨率复原算法的性能，设计了一组对比验证实验，使用的两个高光谱遥感图像数据集分别是由实用型模块成像光谱仪系统(OMIS)所获取的OMIS数据集以及香港理工大学高光谱人脸数据库(PolyU-HSFD)开发的数据集。对复原后的图像在SRCNN、VDSR、RDN网络上进行对比实验，本发明结果PSNR值对比如图6所示，OMIS数据集与PolyU数据集约为33.95dB与44.34dB，提升明显。

附图说明

图1为本发明提出的高光谱图像超分辨率复原方法的流程图；

图2为本发明提出的3D卷积核卷积过程；

图3为本发明提出的3D残差密集网络结构图；

图4为本发明提出的三维残差密集块内部结构图；

图5为本发明提出的三维亚像素重组示例图；

图6为本发明提出的不同算法间PSNR(dB)、MSE评价指标平均值对比分析结果图。

具体实施方式

以下结合说明书附图，对本发明的实施实例加以详细说明：

如图1所示，本发明是一种基于3D卷积神经网络的高光谱图像超分辨率复原方法。该方法主要3D卷积核对高光谱图像光谱维进行卷积部分和3D亚像素重组对高光谱图像进行放大并重建高分辨率图像部分，将这两部分统一在深度卷积神经网络框架3D-RDN中，通过残差密集块等结构充分利用卷积层的分层特征，实现对高光谱图像的超分辨率复原。

超分辨率复原具体步骤如下：

步骤1)输入数据处理

对高光谱图像OMIS数据集和PolyU-HSFD数据集经过高斯核滤波、下采样和上采样子图像，得到低分辨率的高光谱图像数据集，作为整个网络的输入。OMIS数据集中，每幅图像均由128个波段组成，本文将截取其中子图像用于测试，选取其中的river1，river2，river3作为实验数据，本方法将标准单元图像切分为64*64*1*128的小块，共192个高光谱数据立方体，使用166张图像作为训练数据，26张测试。香港理工大学人脸数据集，共产生33个波段。包括来自25名志愿者左侧、正面、右侧三个类型的300个高光谱数据立方体。本文选择151张大小为240*180*1*33的正面类型图像进行算法验证，使用131张图像作为训练数据，20张测试。将数据集进行高斯模糊以及降采样获取待处理的低分辨率图像,高斯模糊核的尺寸为5×5,行和列的降采样因子均为2。

步骤2)搭建3D-RDN网络

除了在局部和全局特征融合以及浅层特征提取层中，其卷积核大小为1×1×1，其他均使用尺寸大小为3×3×3的卷积核。网络首先包含两个卷积核大小为1×1×1的浅层特征提取网络，将浅层网络提取的特征每侧填充0保持大小固定做为RDBs的输入，使用3个网络基本单元RDB对高光谱图像进行进一步的训练，每个RDB中包含3个卷积层，每层卷积包含16个3×3×3大小的卷积核，使用ReLU激活函数，局部和全局特征融合层具有48个1×1×1卷积核。以适当的padding＝true(卷积核类型，以便处理图像边缘)及步长stride＝1(卷积滑动窗口)运算，使得各卷积层中输入与输出大小无变化，最后使用sub-pixelconvolution,将图像从低分辨率放大到高分辨率中，只在最后一层对图像大小做变换，将图像放大到高分辨率，前面的卷积运算由于在低分辨率图像上进行，因此效率会较高，得到最终的高分辨率图像。学习率初始化为0.003。

步骤3)训练模型，应用于高光谱图像超分辨率复原

使用训练样本对网络进行训练，将网络的最终输出值与样本的实际值进行比较，计算出两者之间的误差。采用梯度下降算法更新各层的参数，不断优化整个网络。

以上描述了本发明的基本原理和主要的特征，说明书的描述只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (2)

1.一种基于3D卷积神经网络的高光谱图像超分辨率复原方法，3D残差密集网络，该网络创新点包括3D卷积核对高光谱图像光谱维进行卷积部分和3D亚像素重组对图像进行放大并重建高分辨率图像部分，将这两部分统一在深度卷积神经网络框架3D-RDN中，通过残差密集块等结构充分利用卷积层的分层特征，实现对高光谱图像的超分辨率复原；

其特征在于：

该方法包括3个步骤：获取低分辨率高光谱图像数据集；构建3D残差密集网络，将低分辨率图像输入网络中进行迭代监督训练，保存模型；将模型应用于新数据中，进行超分辨率复原；

步骤1：首先对高分辨率图像进行预处理，对图像进行高斯模糊以及降采样操作，获得用于网络训练的低分辨率高光谱图像数据集；

步骤2：构建3D残差密集网络，网络构成的重点位3D卷积核及3D亚像素重组技术；传统二维卷积神经网络在空间维度上采用的是全局感受野，但缺乏光谱维度的局部感受野；为弥补传统二维神经网络对高光谱图像进行处理时没有充分利用图像谱间相关性的数据特点，将2D卷积拓展到3D卷积；3D卷积能够在高光谱图像空间维及光谱维上同时进行卷积操作，捕捉其谱间信息及空间信息，进行特征提取；

输入数据为由多个波段图像组成的高光谱图像三维立方体，3D卷积核在空间维及光谱维上同时进行卷积操作，并以1为步长使得卷积核在输入立方体中滑动遍历，多个连续波段依次通过卷积，卷积层中每个特征图都与上一层的多个相邻连续波段相连，从而获取一定的光谱维信息；在第一层卷积中，感受野与卷积核大小相同，为3×3×3，第二层卷积层中一个特征图的某一位置的值是通过卷积第一层的三个连续波段图像的同一位置的局部感受野得到的；随着卷积层熟的加深，局部感受野变大，最终覆盖所有波段，充分利用整个高光谱图像的光谱维信息；

3D亚像素重组图像也是的重要步骤之一，将二维亚像素重组技术拓展到光谱维度，针对复原过程中图像尺寸放大及重建的过程，其插值函数被隐含地包含在前面网络的卷积层中自动学习到；由于卷积运算都是在低分辨率图像尺寸大小上进行，因此效率会较高；在低分辨率空间中提取局部和全局特征之后，在高分辨率空间中将图像放大到输出尺寸，得到输出的高分辨率图像；当输入大小为H×W×C的原始低分辨率图像通过三个三维残差密集块之后，其中H,W,C分别为输入图像的高、宽和光谱维高度，得到与输入的图像大小相同的r³个特征图像数据块，r为放大倍数；再将特征图像块每个像素r³个通道重新排列成一个r×r×r的区域，对应高分辨率图像中一个r×r×r大小的子块，从而大小为H×W×C×r³的特征图像被重新排列成rH×rW×rC×1的高分辨率图像；最后一层卷积层输出的特征个数需要设置成固定值，即放大倍数r的平方，这样总的像素个数就与要得到的高分辨率图像一致，将像素进行重新排列得到高分辨率图；

将3D卷积核与3D亚像素重组技术融合入残差密集网络中；本发明的3D-RDN网络结构由四部分组成：三维浅层特征提取3D-SFE、三维残差密集块3D-RDBs、三维特征融合层3D-DFF和三维亚像素重组3D-SPS；

三维浅层特征提取3D-SFE，首先使用两层三维卷积层来提取图像的浅层特征，减少网络的参数，降低计算复杂度；同时将提取的浅层特征F₀作为RDBs的输入以及用于全局残差学习；

步骤3：为了验证基于3D卷积的的高光谱图像超分辨率复原算法的性能，设计了一组对比验证实验，使用的两个高光谱遥感图像数据集分别是由实用型模块成像光谱仪系统OMIS所获取的OMIS数据集以及香港理工大学高光谱人脸数据库PolyU-HSFD开发的数据集。

2.根据权利要求1所述的一种基于3D卷积神经网络的高光谱图像超分辨率复原方法，其特征在于：三维残差密集块3D-RDBs，即3D-RDN网络的基本网络单元，进一步来提取图像的分层特征；本方法级联了三个3D-RDB，每个RDB中又包含3层三维卷积层，整个网络共9层三维卷积进一步提取图像深度特征；为了充分利用每层卷积提取的特征，分别在3D-RDB之间以及RDB内部不同卷积层之间添加了不同机制；在不同的3D-RDB之间，本方法添加了连续记忆机制从前一个RDB读取状态，将前面RDB的特征传递给当前RDB的每一层来；在每个3D-RDB内部，引入密集连通层和带有局部残差学习LRL的局部特征融合LFF在不同卷积层之间加入密集连接，构成密集连通层，从空间维和光谱维两个维度，同时对高光谱图像执行卷积操作，进行特征提取；在三层卷积层之间通过加入局部密集连接每个卷积层都可以访问所有的后续层，传递需要保留的信息，充分利用分层信息；由于获得了之前RDB的输入和当前RDB中所有卷积层的输入，减少特征数量是必不可少的操作，因此在RDB内部最后添加一层卷积自适应地进行局部特征融合保存累积的特征，以解决由于将前一个RDB中的信息全部输入到当前RDB的每一个卷积层造成的特征数累计过多的问题；

其中，表示第2个3D-RDB中的局部特征融合函数；F_2，LF表示第二个RDB中局部特征融合后的输出；F₁为第一个RDB的最终输出；F_2,1，F_2，2，F_2，3分别为第二个RDB中第1、2、3层卷积层的输出；

三维残差密集块中还进一步改进了特征传递的方式，通过局部残差学习的方式，将上一个RDB的输出直接传递到局部特征融合操作中，使得图像特征得到充分的利用；因此，3D-RDB的最终输出F₂为

F₂＝F₁+F_2，LF

三维特征融合层3D-DFF，在使用一组3D-RDBs提取局部密集特征之后，进一步提出密集特征融合以全局方式利用分层特征，共两部分如下所述：

全局特征融合GFF自适应地融合LR空间中所有RDBs的层次特征；全局残差学习两部分GRL利用全局残差学习，将浅层特征和深层特征结合起来，得到原始LR图像的全局密集特征F_GF；然后利用全局残差学习在进行放大之前获得特征图；

F_DF＝F₀+F_GF

其中F₀表示提取的浅层特征，F_GF为全局特征融合后的输出特征；F_DF为网络密集特征融合操作的最终输出。