CN111696043A - 一种三维fsrcnn的高光谱图像超分辨率重建算法 - Google Patents

一种三维fsrcnn的高光谱图像超分辨率重建算法 Download PDF

Info

Publication number
CN111696043A
CN111696043A CN202010524538.8A CN202010524538A CN111696043A CN 111696043 A CN111696043 A CN 111696043A CN 202010524538 A CN202010524538 A CN 202010524538A CN 111696043 A CN111696043 A CN 111696043A
Authority
CN
China
Prior art keywords
hyperspectral
resolution
data
image
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010524538.8A
Other languages
English (en)
Inventor
王文举
唐丽晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202010524538.8A priority Critical patent/CN111696043A/zh
Publication of CN111696043A publication Critical patent/CN111696043A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种三维FSRCNN的高光谱图像超分辨率重建算法，包括：步骤1，获取高光谱图像，采集高光谱数据，得到高光谱数据集；步骤2，将高光谱数据集按设定比例分割成第一训练集和第二测试集，再分别对第一训练集和第一测试集作行预处理，得到为低分辨率图像数据集的第二训练集和第二测试集；步骤3，将第二训练集导入训练框架进行训练调整优化参数，并在第二训练集中划出一小部分作为验证集，在训练过程中验证模型的性能，最终得到训练好的高光谱图像超分辨率重建算法框架模型；步骤4，用第二测试集在训练好的高光谱图像超分辨率重建算法框架模型上进行测试，得到测试结果，并提取某一频段作为视觉输出。

Description

一种三维FSRCNN的高光谱图像超分辨率重建算法
技术领域
本发明涉及一种算法，具体涉及一种三维FSRCNN的高光谱图 像超分辨率重建算法。
背景技术
由于成像传感器技术、信噪比和时间的限制，在空间分辨率和光 谱分辨率之间存在一定的权衡，因此高光谱图像往往具有较低的空间 分辨率，这极大的限制了其在实际应用中的效果。因此，如何提高高 光谱图像的空间分辨率是具有重要的研究意义。
基于卷积神经网络(Convolutional Neural Network,CNN)在普通 彩色图像处理中的良好表现，许多研究也逐渐开始将其应用到高光谱 图像中来。2017年，Galliani等人尝试在频谱维数中对高光谱图像进 行超分辨率，证明了卷积对频谱维数的可行性和优越性[1]，也为解决 光谱失真的问题提供了新思路，将现有的基于CNN的超分辨率算法 扩展到高光谱图像中，有效地利用空间上下文和光谱分辨，这种空间 文脉与光谱识别的结合的方法在许多高光谱应用中被证明具有极大 的优越性，如去噪[2-3]、分类[4-5]、超分辨率[6]等。在基于CNN的高光 谱应用中，Makantasis等人使用随机主成分分析(RPCA)[7]将空间光 谱信息集成到CNN中，但会造成信息丢失，因此RPCA提供给CNN 的空间光谱特征不能直接扩展到超分辨率中。
为了探索高光谱图像空间超分辨率的空间上下文和光谱识别， Mei等人提出了一种三维全卷积神经网络(3D-FCNN)框架[8]，利用 三维卷积运算来研究相邻像素之间的空间环境和相邻波段图像的光 谱相关性，从而减轻了光谱失真，但是该方法在计算效率上仍然有所 欠缺。2016年Dong Chao等在SRCNN的基础上提出了FSRCNN (Fast-Super-ResolutionConvolutional Neural Networks)模型[9]， FSRCNN用更小的参数量获得了相同的感受野，提高了运算效率，克 服了SRCNN的部分缺点，但在重建效果上，还是次于卷积层数更多 的其他模型，并且目前只被用于二维图像。二维卷积层主要考虑空间 信息，当这些网络直接以带对带的形式运用于高光谱图像中时，就会 忽略高光谱图像的强光谱相关性，因此很容易导致光谱失真[2]。故在 对高光谱图像应用卷积神经网络处理的时候，要考虑到其图像特性， 即既要考虑相邻像素的空间背景，又要考虑相邻波段之间的光谱相关 性，以保持输出图像的光谱保真度。故我们以二维FSRCNN作为研 究基础，提出了一种3D FSRCNN框架并应用到高光谱图像超分辨率 重建中。
[1]Galliani,S.；Lanaras,C.；Marmanis,D.；Baltsavias,E.；Schindler,K.Learned Spectral Super-Resolution.arXiv,2017.
[2]Liu,S.；Jiao,L.；Yang,S.Hierarchical sparse learning with spectral-spatial information for hyperspectral imagery denoising.Sensors 2016,16,1718.[CrossRef][PubMed].
[3]Li,J.；Yuan,Q.；Shen,H.；Zhang,L.Noise Removal from HyperspectralImage with Joint Spectral-Spatial Distributed Sparse Representation.IEEETrans.Geosci.Remote Sens.2016,54,5425–5439. [CrossRef].
[4]Fauvel,M.；Tarabalka,Y.；Benediktsson,J.A.；Chanussot,J.；Tilton,J.C.Advances in Spectral-Spatial Classification ofHyperspectral Images.Proc.IEEE 2013,101,652–675.[CrossRef].
[5]Wang,Q.；Meng,Z.；Li,X.Locality Adaptive Discriminant Analysis forSpectral-Spatial Classification ofHyperspectral Images.IEEE Geosci. RemoteSens.Lett.2017,11,2077–2081.[CrossRef].
[6]Li,J.；Yuan,Q.；Shen,H.；Meng,X.；Zhang,L.Hyperspectral Image Super-Resolution by Spectral Mixture Analysis and Spatial-Spectral GroupSparsity.IEEE Geosci.Remote Sens.Lett.2016,13,1250–1254. [CrossRef].
[7]Makantasis,K.；Karantzalos,K.；Doulamis,A.；Doulamis,N.Deepsupervised learning for hyperspectral data classification throughconvolutional neural networks.In Proceedings of the 2015 IEEE InternationalGeoscience and Remote Sensing Symposium(IGARSS), Milan,Italy,26–31 July 2015；pp.4959–4962.
[8]Shaohui Mei,Xin Yuan,Jingyu Ji,Yifan Zhang,Shuai Wan and QianDu.Hyperspectral image spatial super-resolution via 3D full convolutionalneural network.MDPI AG.
[9]Chao Dong,Chen Change Loy,Xiaoou Tang.Accelerating the Super-Resolution Convolutional Neural Network[J].Computer Vision- 14th EuropeanConference,ECCV 2016,Proceedings.
发明内容
本发明是为了解决上述问题而进行的，目的在于提供一种三维 FSRCNN的高光谱图像超分辨率重建算法。
本发明提供了一种三维FSRCNN的高光谱图像超分辨率重建算 法，具有这样的特征，包括如下步骤：步骤1，获取高光谱图像，采 集高光谱数据，得到高光谱数据集；步骤2，将高光谱数据集按设定 比例分割成第一训练集和第二测试集，再分别对第一训练集和第一测 试集作行预处理，得到为低分辨率图像数据集的第二训练集和第二测 试集；将第二训练集导入训练框架进行训练调整优化参数，并在第二 训练集中划出一小部分作为验证集，在训练过程中验证模型的性能， 最终得到训练好的高光谱图像超分辨率重建算法框架模型；步骤4， 用第二测试集在训练好的高光谱图像超分辨率重建算法框架模型上 进行测试，得到测试结果，并提取某一频段作为视觉输出，其中，步 骤3中，设置参数对第二训练集进行训练得到训练好的高光谱图像超 分辨率重建算法框架模型，具体包括如下子步骤：步骤3-1，对低分 辨率图像训练集进行碎片化特征提取，将大小为s1×s1×s1的滤波器所 提取的特征作为下一层输入；步骤3-2，采用大小为s2×s2×s2卷积核将 数据降维，得到降维数据；步骤3-3，用两个大小为s3×s3×s3的滤波器 串联，对降维后的特征进行非线性化映射，得到参数略有变化的图像 数据；步骤3-4，通过大小为s2×s2×s2的滤波器将降维数据扩张到降维 前的维度，相当于步骤3-2的逆操作，最终得到扩维后的图像数据； 步骤3-5，采用大小为s4×s4×s4的滤波器使输出图像与原图像尺寸大小 一致，此层的输出即为整个卷积网络的输出，该输出为卷积后的分辨 率有所改善的图像数据。
在本发明提供的三维FSRCNN的高光谱图像超分辨率重建算法 中，还可以具有这样的特征：其中，步骤2中的预处理具体包括如下 子步骤：对训练集以及测试集中的高光谱图像进行标准化，而后进行 高斯下采样，再通过双立方插值将其放大到原本的尺寸，得到低分辨 率图像数据集，并将第二训练集保存为h5文件，第二测试集保存为 mat文件。
在本发明提供的三维FSRCNN的高光谱图像超分辨率重建算法 中，还可以具有这样的特征：其中，步骤2中的数据集的标准化采用 min-max标准化即离差标准化对原始数据的序列x1，x2，……，xn进行线性变换，使结果落到[0,1]区间，且转换函数的公式如下：
Figure BDA0002533226720000051
式(1)中，max为样本数据的最大值，min为样本数据的最小 值，新的序列y1，y2，……，yn∈[0,1]且无量纲。
在本发明提供的三维FSRCNN的高光谱图像超分辨率重建算法 中，还可以具有这样的特征：其中，步骤2中的设定比例根据数据集 的大小灵活变换。
在本发明提供的三维FSRCNN的高光谱图像超分辨率重建算法 中，还可以具有这样的特征：其中，步骤3在三维卷积网络中进行， 该三维卷积网络包括6层，分别为：1个输入层、4个卷积层和1个 反卷积层，且4个卷积层与反卷积层依次与输入层连接。
发明的作用与效果
根据本实施例所涉及的三维FSRCNN的高光谱图像超分辨率重 建算法，在已有的二维卷积模型的基础上提出了一种新的 3D-FSRCNN的三维卷积模型，用于学习低分辨率与高分辨率高光谱 图像之间的端到端全波段映射，其与传统的基于CNN的普通彩色图 像的超分辨率重建算法相比，在高光谱图像的问题上，三维卷积能够 通过探索相邻区域的空间背景和相邻波段的光谱相关性重构出高空 间分辨率的目标图像，可有效地减轻光谱失真现象。
进一步地，本实施例的三维FSRCNN的高光谱图像超分辨率重 建算法既考虑了相邻像素的空间背景，又考虑了相邻波段之间的光谱 相关性，以保持输出图像的光谱保真度，并且能够以更少的计算量而 重构出高空间分辨率的目标图像，并能够有效地减轻光谱放入失真现 象。
附图说明
图1是本发明的实施例中三维FSRCNN的高光谱图像超分辨率重建 算法的算法流程图；
图2是本发明的实施例中三维FSRCNN的高光谱图像超分辨率重建 算法的3D-FSRCNN框架示意图；
图3是本发明的实施例中三维FSRCNN的高光谱图像超分辨率重建 算法的3D-FSRCNN的网络运行结构图；
图4是本发明的实施例中三维FSRCNN的高光谱图像超分辨率重建 算法的高光谱图像超分辨率不同方法对应的视觉效果示意图。
具体实施方式
为了使本发明实现的技术手段与功效易于明白了解，以下结合实 施例及附图对本发明作具体阐述。
实施例：
如图1所示，本实施例的一种三维FSRCNN的高光谱图像超分 辨率重建算法，包括如下步骤：
步骤1，获取高光谱图像，采集高光谱数据，得到高光谱数据集。
步骤2，将高光谱数据集按设定比例分割成第一训练集和第二测 试集，再分别对第一训练集和第一测试集作行预处理，得到为低分辨 率图像数据集的第二训练集和第二测试集。
本实施例中，预处理具体包括如下子步骤：
对所述训练集以及所述测试集中的所述高光谱图像进行标准化， 而后进行高斯下采样，再通过双立方插值将其放大到原本的尺寸，得 到低分辨率图像数据集，并将所述第二训练集保存为h5文件，所述 第二测试集保存为mat文件。
高光谱图像的标准化normalization是将数据按比例缩放，使之落 入一个小的特定区间，本实施例采用的是min-max标准化 Min-maxnormalization，也叫离差标准化，是对原始数据的线性变换。
本实施例中，数据集的标准化采用min-max标准化即离差标准化 对原始数据的序列x1，x2，……，xn进行线性变换，使结果落到[0,1] 区间，且转换函数的公式如下：
Figure BDA0002533226720000081
式(1)中，max为样本数据的最大值，min为样本数据的最小 值，新的序列y1，y2，……，yn∈[0,1]且无量纲，但当有新数据加入 时，可能导致max和min的变化，需要重新定义。
步骤3，将第二训练集导入如图2所示的训练框架进行训练调整 优化参数，并在第二训练集中划出一小部分作为验证集，在训练过程 中验证模型的性能，最终得到训练好的高光谱图像超分辨率重建算法 框架模型即为图1中的训练模型training model，其中，设置参数对所 述第二训练集进行训练得到训练好的所述高光谱图像超分辨率重建 算法框架模型，具体包括如下子步骤：
步骤3-1，特征提取：对所述低分辨率图像训练集进行碎片化特 征提取，将大小为s1×s1×s1的滤波器所提取的特征作为下一层输入；
步骤3-2，降维：为减少计算量，降低模型复杂度，采用大小为 s2×s2×s2卷积核将数据降维，得到降维数据；
步骤3-3，非线性映射：用两个大小为s3×s3×s3的滤波器串联，对 降维后的特征进行非线性化映射，得到参数略有变化的图像数据，其 中，两个较小滤波器的串联相对于一个大滤波器来说，减少了参数计 算量的同时保证了感受野不变；
步骤3-4，扩维：由于低维度的重建效果不太好，从而通过大小 为s2×s2×s2的所述滤波器将所述降维数据扩张到降维前的维度，相当 于步骤3-2的逆操作，最终得到扩维后的图像数据；
步骤3-5，反卷积：采用大小为s4×s4×s4的滤波器使输出图像与原 图像尺寸大小一致，此层的输出即为整个卷积网络的输出，该输出为 卷积后的分辨率有所改善的图像数据。
步骤3-5中涉及到的Zero Padding是指在原始数据周边补上0的 圈数，为防止边界效应发生在训练过程中，所提出的3D-FSRCNN采 用的是valid卷积，即不填0，图像会随着卷积层的加深而尺寸减小。
以上整个训练过程中，会根据迭代次数自动保存生成的模型文件 如图所示的训练模型training model，即为训练好的高光谱图像超分辨 率重建算法框架模型。
本实施例中，步骤3在三维卷积网络中进行，该三维卷积网络包 括6层，分别为：1个输入层、4个卷积层和1个反卷积层，且4个 卷积层与反卷积层依次与输入层连接，且设定比例根据数据集的大小 灵活变换。
步骤4，用第二测试集在训练好的高光谱图像超分辨率重建算法 框架模型上进行测试，得到测试结果，并提取某一频段作为视觉输出 如图4所示。
具体地，本实施例的三维FSRCNN的高光谱图像超分辨率重建 算法的框架以及结果如下：
1、3D-FSRCNN算法框架
1.1三维卷积
虽然卷积神经网络在二维图像处理方面已经表现出了极大的优越 性，但是二维卷积只适合在二维空间下捕获空间特征。在三维高光谱 图像处理中，最直接的方法是对每个高光谱图像波段进行二维卷积处 理，但由于不能探测到相邻波段编码的光谱信息，这种方法容易导致 光谱失真。因此，在卷积核中提取光谱特征时要考虑谱维数。本文采 用三维卷积代替二维卷积，同时在空间维数和频谱维数上进行卷积， 捕捉空间频谱特征。三维卷积是通过将一个三维核与多个相邻光谱信 息叠加在一起形成的立方体进行卷积来实现的。通过式(1)中的二 维卷积，将三维卷积计算为三维数据立方体中像素的加权和，可列得式(2)：
Figure BDA0002533226720000101
其中，cxyz为位置(x,y,z)的输出特征，a(x+i)(y+j)(z+k)表示位置(x+i,y+j, z+k)的输入，其中(i,j,k)表示其偏移量为(x,y,z)，wijk为输入 a(x+i)(y+j)(z+k)的权值，偏移量为(i,j,k)。与二维卷积相似，特征立 方体的尺寸更小。
1.2高光谱图像3D FSRCNN的框架
二维FSRCNN相比于最早提出的SRCNN有其可取之处，对于 处理普通彩色图像也有其明显的优越性，但是在三维图像中的应用尚 未得到良好的运用。在本实施例中，我们以二维FSRCNN为原型[9]， 以高光谱图像为对象，提出了一个3D FSRCNN框架用以处理高光谱图像的超分辨率问题，模型框架如图2所示。
为同时考虑到空间信息和频谱信息，我们所采用的卷积核均是三 维的。如图3所示，3D-FSRCNN的卷积框架可分为六个部分：预 处理、特征提取、降维、非线性映射、扩维以及反卷积。
与二维FSRCNN相比，所提出的3D-FSRCNN模型需要对数据 集进行预处理，双立方插值只考虑空间信息，而采用三维卷积可以减 小频谱畸变以提高实验结果的准确性。在卷积层参数设置上，也作出 了一些不同于二维FSRCNN的改进。步长(Stride)指的是窗口从当前位置到下一个位置，跳过的中间数据个数，在二维FSRCNN中， 不同层之间的Stride数值并不相同，而在本文提出的3D-FSRCNN中 则采用Stride全为1，同时也因为步长的变化，当s3＝3时，在二维 FSRCNN中使用了4个3×3大小的滤波器，而基于改进的3D-FSRCNN 只使用了两个3×3×3的滤波器，其余卷积核具体参数设置已在前提 及。本实施例的算法中最终采用的激活函数是PReLU函数，且使用 的损失函数是均方误差MSE，数学表达式如下式(3)所示：
Figure BDA0002533226720000111
其中，m为训练样本的个数，h和w分别表示网络F(X)输出的 长度和宽度，c为训练样本的频带，Y是高分辨率图像的中心像素， X是网络输出。
1.3模型参数设置
模型结构如图3所示，我们所提出的模型中整个卷积网络包括6 层，一个输入层、四个卷积层和一个反卷积层，后五层卷积依次连接 到输入层。对于前五层卷积，使用PReLU作为激活函数，有效防止 了神经坏死现象，在不增加计算成本和过拟合风险的情况下，改进了 模型拟合。对于反卷积层，该层的输出即是整个网络的输出，不受激 活函数影响。一般情况下，CNN中需要优化的参数数量与神经元的 数量成正比。在图像的超分辨率问题中，输入的规模对网络的规模影 响很大，输入的规模越大，参数计算量越大，对硬件性能的要求也大 得多。因此在我们的实验中，将整个训练集图像分成以一个个 33*33*102的子图像，馈送到卷积层中，参数设置为s1＝5，s2＝1，s3＝3， s4＝9。
卷积层变化如表1所示，输入限制为33×33×c×1像素的子图像立 方体，其中33×33为空间尺寸，c为根据传感器特性而定的特殊尺寸， 高光谱图像颜色通道设置为1。实验设计了连续卷积层中的所有滤光 片，用于从c相邻谱带中学习光谱信息。需要注意的是，较大的子图 像也可以作为输入来设计模型，其结构与本文类似。但正如上文所提 到的，输入规模会对网络产生影响，故为了更容易、更快速的训练， 我们网络的规模限制在相对较小的范围内。
表1 3D-FSRCNN的卷积层详情
Figure BDA0002533226720000121
Figure BDA0002533226720000131
2、实验及结果
选择高光谱图像数据集——Pavia Centre作为实验数据，中心像 素为1096*1096像素，谱带数为102条。为保证实验更具说服力，在 实验过程中使用的帕维亚中心场景数据丢弃了不包含任何信息的样 本，只使用了1096*715个有效像素。将这组数据集作为高空间分辨 率的高光谱图像的地面真值，对提出的基于3D-FSRCNN的高光谱图 像超分辨率模型的性能进行训练和评价。用于训练的图像大小设置为 33*33*102*1，由原始数据重叠得到。整个实验基于matlab和Keras 的环境下完成设计、训练和测试，基本学习率为0.0005。
为了评价空间重建质量，采用平均峰值信噪比MPSNR和平均结 构相似度MSSIM指标，其中，MPSNR被定义为式(4)，如下所示：
Figure BDA0002533226720000141
其中，MAXi为第i波段图像的最大像素值，MSEi为第i波段图像 的MSE。
重构图像F(X)与地面真值Y之间的MSSIM定义为式(5)，如下 所示：
Figure BDA0002533226720000142
其中，F(X)i和Yi表示F(X)和Y的第i个波段图像，
Figure RE-GDA0002577150960000143
和
Figure RE-GDA0002577150960000144
分别 是F(x)i和Yi的均值，
Figure RE-GDA0002577150960000145
和
Figure RE-GDA0002577150960000146
是F(x)i和Yi的方差，
Figure RE-GDA0002577150960000147
是F(x)i和 Yi的协方差，c1和c2分别设置为0.0001和0.0009。一般来说，较高的 MPSNR和MSSIM值意味着更好的视觉质量。
3、实验结果与分析
在高光谱图像数据集——PaviaCentre上，对所提出的 3D-FSRCNN的性能进行评估。对于每个数据集，我们从中划出大小 为132×132的区域作为测试集，余下部分取0.05％作为验证集，最后剩 余即为真实的训练集。验证集包含于训练集但并不参与梯度下降的过 程，我们通过对验证集结果的观察，适当更改超参数如学习率和迭代 数等，使结果在验证集上最优，这样能较为有效地提高实验的效率。 为了模拟低空间分辨率的高光谱图像，我们先对图像进行因子为2的 降采样。
将我们的模型与双立方插值、3D-FCNN模型做对比，从PSNR、SSIM两个数据指标定性比较模型性能，比较结果如表2所示，其对 应视觉效果如图4所示，其中图4(a)是原始图像示意图，图4(b) 是Bicubic后的图像示意图，图4(c)是3D-FCNN后的图像示意图， 图4(d)是3D-FSRCNN后的图像示意图。红框选中的为对比区域， 左上角显示的是重建效果。
表2高光谱图像超分辨率不同方法的指标对比
Figure BDA0002533226720000151
结果显示，总的来说，我们所提出的模型3D-FSRCNN的PSNR 值是最高的。与双三次插值相比，无论从两个指标还是视觉效果上看， 3D-FSRCNN重建的图像质量显然更为优化，平均PSNR值高出了 4.58，平均SSIM值高出了0.019；与3D-FCNN相比，我们提出的模 型能够输出与输入图片大小相同的图像，而3D-FCNN则会随着卷积 的进行损失边界，输入与输出不一致。
表3列出了实验提出的模型与原有的超分辨率算法的计算时间 比对，所有的算法实验过程均在一台GPU为GeForce RTX 2080的计 算机上进行。由表3中数据可见，在使用相同大小的数据集的情况下， 我们提出的基于改进的3D-FSRCNN虽然在参数量上更多，但是训练 时间却减少了近一倍，而测试时间相差则并不明显。
表3在Pavia Centre数据集上两种模型对比
Figure BDA0002533226720000152
Figure BDA0002533226720000161
实施例的作用与效果
根据本实施例所涉及的三维FSRCNN的高光谱图像超分辨率重 建算法，在已有的二维卷积模型的基础上提出了一种新的 3D-FSRCNN的三维卷积模型，用于学习低分辨率与高分辨率高光谱 图像之间的端到端全波段映射，其与传统的基于CNN的普通彩色图 像的超分辨率重建算法相比，在高光谱图像的问题上，三维卷积能够 通过探索相邻区域的空间背景和相邻波段的光谱相关性重构出高空 间分辨率的目标图像，可有效地减轻光谱失真现象。此外，深度学习 是目前计算机视觉领域的研究热门，不同方法不同模型日益优化，如何利用更先进的知识解决目前卷积神经网络模型的局限性是未来研 究的热点。
进一步地，本实施例的三维FSRCNN的高光谱图像超分辨率重 建算法既考虑了相邻像素的空间背景，又考虑了相邻波段之间的光谱 相关性，以保持输出图像的光谱保真度，并且能够以更少的计算量而 重构出高空间分辨率的目标图像，并能够有效地减轻光谱放入失真现 象。
上述实施方式为本发明的优选案例，并不用来限制本发明的保护 范围。

Claims (5)

1.一种三维FSRCNN的高光谱图像超分辨率重建算法，其特征在于，包括如下步骤：
步骤1，获取高光谱图像，采集高光谱数据，得到高光谱数据集；
步骤2，将所述高光谱数据集按设定比例分割成第一训练集和第二测试集，再分别对所述第一训练集和所述第一测试集作行预处理，得到为低分辨率图像数据集的第二训练集和第二测试集；
步骤3，将所述第二训练集导入训练框架进行训练调整优化参数，并在所述第二训练集中划出一小部分作为验证集，在训练过程中验证所述模型的性能，最终得到训练好的高光谱图像超分辨率重建算法框架模型；
步骤4，用所述第二测试集在训练好的所述高光谱图像超分辨率重建算法框架模型上进行测试，得到测试结果，并提取某一频段作为视觉输出，
其中，所述步骤3中，设置参数对所述第二训练集进行训练得到训练好的所述高光谱图像超分辨率重建算法框架模型，具体包括如下子步骤：
步骤3-1，对所述低分辨率图像训练集进行碎片化特征提取，将大小为s1×s1×s1的滤波器所提取的特征作为下一层输入；
步骤3-2，采用大小为s2×s2×s2卷积核将数据降维，得到降维数据；
步骤3-3，用两个大小为s3×s3×s3的滤波器串联，对降维后的特征进行非线性化映射，得到参数略有变化的图像数据；
步骤3-4，通过大小为s2×s2×s2的所述滤波器将所述降维数据扩张到降维前的维度，相当于步骤3-2的逆操作，最终得到扩维后的图像数据；
步骤3-5，采用大小为s4×s4×s4的滤波器使输出图像与原图像尺寸大小一致，此层的输出即为整个卷积网络的输出，该输出为卷积后的分辨率有所改善的图像数据。
2.根据权利要求1所述的三维FSRCNN的高光谱图像超分辨率重建算法，其特征在于：
其中，所述步骤2中的预处理具体包括如下子步骤：
对所述训练集以及所述测试集中的所述高光谱图像进行标准化，而后进行高斯下采样，再通过双立方插值将其放大到原本的尺寸，得到低分辨率图像数据集，并将所述第二训练集保存为h5文件，所述第二测试集保存为mat文件。
3.根据权利要求2所述的三维FSRCNN的高光谱图像超分辨率重建算法，其特征在于：
其中，所述高光谱图像的标准化采用min-max标准化即离差标准化对原始数据的序列x1，x2，……，xn进行线性变换，使结果落到[0,1]区间，且转换函数的公式如下：
Figure FDA0002533226710000021
式(1)中，max为样本数据的最大值，min为样本数据的最小值，新的序列y1，y2，……，yn∈[0,1]且无量纲。
4.根据权利要求1所述的三维FSRCNN的高光谱图像超分辨率重建算法，其特征在于：
其中，所述步骤2中的所述设定比例根据所述数据集的大小灵活变换。
5.根据权利要求1所述的三维FSRCNN的高光谱图像超分辨率重建算法，其特征在于：
其中，所述步骤3在三维卷积网络中进行，该三维卷积网络包括6层，分别为：1个输入层、4个卷积层和1个反卷积层，且4个所述卷积层与所述反卷积层依次与所述输入层连接。
CN202010524538.8A 2020-06-10 2020-06-10 一种三维fsrcnn的高光谱图像超分辨率重建算法 Pending CN111696043A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010524538.8A CN111696043A (zh) 2020-06-10 2020-06-10 一种三维fsrcnn的高光谱图像超分辨率重建算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010524538.8A CN111696043A (zh) 2020-06-10 2020-06-10 一种三维fsrcnn的高光谱图像超分辨率重建算法

Publications (1)

Publication Number Publication Date
CN111696043A true CN111696043A (zh) 2020-09-22

Family

ID=72480160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010524538.8A Pending CN111696043A (zh) 2020-06-10 2020-06-10 一种三维fsrcnn的高光谱图像超分辨率重建算法

Country Status (1)

Country Link
CN (1) CN111696043A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819910A (zh) * 2021-01-08 2021-05-18 上海理工大学 基于双鬼注意力机制网络的高光谱图像重建方法
CN112884654A (zh) * 2021-03-03 2021-06-01 鄂尔多斯应用技术学院 一种基于cnn的wdsr图像超分辨率重建优化方法
CN113222822A (zh) * 2021-06-02 2021-08-06 西安电子科技大学 基于多尺度变换的高光谱图像超分辨率重建方法
CN113781306A (zh) * 2021-09-09 2021-12-10 西北工业大学 基于双阶段策略的高光谱图像超分辨率重建方法
CN114266957A (zh) * 2021-11-12 2022-04-01 北京工业大学 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法
CN118261799A (zh) * 2024-05-31 2024-06-28 山东威高集团医用高分子制品股份有限公司 一种超分辨率方法、装置、设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657285A (zh) * 2017-10-13 2018-02-02 哈尔滨工业大学 基于三维卷积神经网络的高光谱图像分类方法
US20180268284A1 (en) * 2017-03-15 2018-09-20 Samsung Electronics Co., Ltd. System and method for designing efficient super resolution deep convolutional neural networks by cascade network training, cascade network trimming, and dilated convolutions
CN109360152A (zh) * 2018-10-15 2019-02-19 天津大学 基于稠密卷积神经网络的三维医学图像超分辨率重建方法
CN109903255A (zh) * 2019-03-04 2019-06-18 北京工业大学 一种基于3d卷积神经网络的高光谱图像超分辨率复原方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180268284A1 (en) * 2017-03-15 2018-09-20 Samsung Electronics Co., Ltd. System and method for designing efficient super resolution deep convolutional neural networks by cascade network training, cascade network trimming, and dilated convolutions
CN107657285A (zh) * 2017-10-13 2018-02-02 哈尔滨工业大学 基于三维卷积神经网络的高光谱图像分类方法
CN109360152A (zh) * 2018-10-15 2019-02-19 天津大学 基于稠密卷积神经网络的三维医学图像超分辨率重建方法
CN109903255A (zh) * 2019-03-04 2019-06-18 北京工业大学 一种基于3d卷积神经网络的高光谱图像超分辨率复原方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LARISSA HEINRICH ET AL.: "Deep Learning for Isotropic Super-Resolution from Non-Isotropic 3D Electron Microscopy", 《ARXIV》 *
LIGUO WANG ET AL.: "A frequency-separated 3D-CNN for hyperspectral image super-resolution", 《IEEE ACCESS》 *
彭亚丽等: "基于深度反卷积神经网络的图像超分辨率算法", 《软件学报》 *
王一宁等: "基于残差神经网络的图像超分辨率改进算法", 《计算机应用》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819910A (zh) * 2021-01-08 2021-05-18 上海理工大学 基于双鬼注意力机制网络的高光谱图像重建方法
CN112884654A (zh) * 2021-03-03 2021-06-01 鄂尔多斯应用技术学院 一种基于cnn的wdsr图像超分辨率重建优化方法
CN112884654B (zh) * 2021-03-03 2024-02-20 鄂尔多斯应用技术学院 一种基于cnn的wdsr图像超分辨率重建优化方法
CN113222822A (zh) * 2021-06-02 2021-08-06 西安电子科技大学 基于多尺度变换的高光谱图像超分辨率重建方法
CN113222822B (zh) * 2021-06-02 2023-01-24 西安电子科技大学 基于多尺度变换的高光谱图像超分辨率重建方法
CN113781306A (zh) * 2021-09-09 2021-12-10 西北工业大学 基于双阶段策略的高光谱图像超分辨率重建方法
CN113781306B (zh) * 2021-09-09 2024-03-08 西北工业大学 基于双阶段策略的高光谱图像超分辨率重建方法
CN114266957A (zh) * 2021-11-12 2022-04-01 北京工业大学 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法
CN114266957B (zh) * 2021-11-12 2024-05-07 北京工业大学 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法
CN118261799A (zh) * 2024-05-31 2024-06-28 山东威高集团医用高分子制品股份有限公司 一种超分辨率方法、装置、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN111696043A (zh) 一种三维fsrcnn的高光谱图像超分辨率重建算法
CN110533620B (zh) 基于aae提取空间特征的高光谱和全色图像融合方法
WO2021184891A1 (zh) 遥感影像地物分类方法及系统
Ma et al. Achieving super-resolution remote sensing images via the wavelet transform combined with the recursive res-net
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
CN107292343B (zh) 一种基于六层卷积神经网络和光谱-空间信息联合的高光谱遥感图像分类方法
CN111127374B (zh) 一种基于多尺度密集网络的Pan-sharpening方法
CN104112263B (zh) 基于深度神经网络的全色图像与多光谱图像融合的方法
CN109102469B (zh) 一种基于卷积神经网络的遥感图像全色锐化方法
CN110415199B (zh) 基于残差学习的多光谱遥感图像融合方法及装置
CN114119444B (zh) 一种基于深度神经网络的多源遥感图像融合方法
CN113673590B (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN106920214B (zh) 空间目标图像超分辨率重建方法
CN109509160A (zh) 一种利用逐层迭代超分辨率的分层次遥感图像融合方法
CN111914909B (zh) 基于空谱联合三方向卷积网络的高光谱变化检测方法
CN114511470B (zh) 一种基于注意力机制的双分支全色锐化方法
CN115100075B (zh) 基于光谱约束和残差注意力网络的高光谱全色锐化方法
CN111160392A (zh) 一种基于小波宽度学习系统的高光谱分类方法
CN114266957A (zh) 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法
Qu et al. Fusion of hyperspectral and panchromatic images using an average filter and a guided filter
Gebremeskel A critical analysis of the multi-focus image fusion using discrete wavelet transform and computer vision
CN116403046A (zh) 一种高光谱影像分类装置及方法
Zhong et al. Attention_FPNet: Two-branch remote sensing image pansharpening network based on attention feature fusion
CN115131258A (zh) 一种基于稀疏张量先验的高光谱、多光谱和全色图像融合方法
Fuchs et al. Hyspecnet-11k: A large-scale hyperspectral dataset for benchmarking learning-based hyperspectral image compression methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200922