CN113222822A - 基于多尺度变换的高光谱图像超分辨率重建方法 - Google Patents

基于多尺度变换的高光谱图像超分辨率重建方法 Download PDF

Info

Publication number
CN113222822A
CN113222822A CN202110613160.3A CN202110613160A CN113222822A CN 113222822 A CN113222822 A CN 113222822A CN 202110613160 A CN202110613160 A CN 202110613160A CN 113222822 A CN113222822 A CN 113222822A
Authority
CN
China
Prior art keywords
convolution
layer
resolution
hyperspectral image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110613160.3A
Other languages
English (en)
Other versions
CN113222822B (zh
Inventor
张静
万泽康
邵旻昊
李云松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110613160.3A priority Critical patent/CN113222822B/zh
Publication of CN113222822A publication Critical patent/CN113222822A/zh
Application granted granted Critical
Publication of CN113222822B publication Critical patent/CN113222822B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Complex Calculations (AREA)

Abstract

本发明提出了一种基于多尺度变换的高光谱图像超分辨率重建方法。实现步骤为：构建生成器网络；构建多尺度特征提取模块；构建基于自适应亚像素卷积的重建模块；构建多尺度变换网络；生成训练集；训练多尺度变换网络；对高光谱图像进行超分辨率重建。本发明利用多尺度变换网络，克服了现有技术在特征提取阶段提取特征单一和难以对输入的抽象先验信息进行充分表达重建的问题，使得本发明提高了对高光谱图像不同波段特征间的非线性学习能力，使重建得到高分辨率高光谱图像更加清晰，以及提升了对于高光谱图像纹理细节和边缘特征重建的能力。

Description

基于多尺度变换的高光谱图像超分辨率重建方法
技术领域
本发明属于图像处理技术领域，更进一步涉及图像重建技术领域中的一种基于多尺度变换的高光谱图像超分辨率重建方法。本发明可用于高光谱图像的提高空间分辨率。
背景技术
由于卫星轨道距离遥远且成像系统受限于整个成像系统的体积及存在系统稳定性、时间分辨率的需求，在高光谱图像进行采集、保存和链路回传之后，得到高光谱图像空间分辨率往往较低，所以对高光谱图像的空间分辨率的进行提升具有非常重要的科学意义和研究价值。因此，重构出细节信息更为丰富的高空间分辨率高光谱图像尤为重要。
南昌工程学院在其申请的专利文献“基于深度残差网络的高光谱图像超分辨率重建方法及装置”(专利申请号：201811094851.1，申请公开号：109345476A)中提出了一种高光谱图像超分辨率重建方法。该方法采用三维卷积神经网络来构建深度残差网络，并且每个残差块都具有一个从该残差块输入到该残差块输出的跳跃连接，除此以外，在所述深度残差网络的前向传播过程中还分别以2、4个残差块为一组进行分组，并为每一组残差块引入一个跳跃连接。该方法虽然考虑到了用深度残差网络提高了高光谱图像超分辨重建的效果，但是，该方法仍然存在的不足之处是，该方法的网络深度过深，有可能导致网络难以训练甚至梯度消失的问题，并且残差网络的级联形式抑制了模型对于先验知识的非线性学习能力，使得重建得到的高分辨率高光谱图像失真严重。
上海理工大学在其申请的专利文献“一种三维FSRCNN的高光谱图像超分辨率重建算法”(专利申请号：202010524538.8，申请公开号：111696043A)中提出了一种高光谱图像超分辨率重建方法。该方法提供了一种三维FSRCNN的高光谱图像超分辨率重建算法，在已有的二维卷积模型的基础上提出了一种新的3D-FSRCNN的三维卷积模型。该方法采用三维卷积能够通过探索相邻区域的空间背景和相邻波段的光谱相关性重构出高空间分辨率的目标图像，可有效地减轻光谱失真现象。该方法虽然考虑到了使用三维卷积利用了相邻区域的空间背景和相邻波段的光谱相关性，但是，该方法仍然存在的不足之处是，该方法在提取特征时仅使用了一个三维卷积，不能从低分辨率高光谱图像中获取更多具有相似性的图像特征信息，使得重建得到的高分辨率高光谱图像的高频细节信息会发生丢失。
发明内容
本发明的目的在于针对上述现有技术存在的不足，提出了一种基于多尺度变换的高光谱图像超分辨率重建方法，用于解决高光谱图像重建失真严重和高频细节信息丢失的问题。
为实现上述目的，本发明的思路是，构建多尺度特征提取模块，在网络所包含的上下采样模块中引入3D卷积层和基于小波变换的空间注意力机制用于不同尺度的特征生成，使得网络更有利于提取高光谱图像的特征，从而可以解决高光谱图像重建失真严重的问题。其次，在最终的图像重建阶段，通过针对高光谱图像多通道特性设计的自适应亚像素卷积模块进行图像上采样重建，优化了图像纹理细节和边缘特征的重建，有效解决重建图像高频细节信息丢失的问题。
本发明的具体步骤包括如下：
(1)构建多尺度特征提取模块：
搭建一个由三个卷积层依次串联组成的多尺度特征提取模块；其中，第一卷积层由两个结构相同的3D卷积层串联组成；两个3D卷积层的卷积核尺寸分别设置为3×3×3和1×1×1，步长都设置为1；第二卷积层由三个分支并联实现级联操作，第一分支的结构依次为：上采样模块，下采样模块；第二分支的结构依次为：下采样模块，上采样模块；第三卷积层由两个3D卷积层串联组成；两个3D卷积层的卷积核尺寸分别设置为3×3×3和1×1×1，步长都设置为1；
所述上采样模块由两个卷积层串联组成；其中，第一卷积层由3D反卷积层和3D卷积层串联组成；将3D反卷积层的卷积核尺寸设置为3×3×3，步长设置为2，；将3D卷积层的卷积核尺寸设置为1×1×1，步长设置为1；第二卷积层由两个分支并联实现级联操作，第一分支的结构依次为：第一3D卷积层，第二3D卷积层，池化层，激活函数层；将第一3D卷积层的卷积核设置为Gabor小波；将第二3D卷积层的卷积核尺寸设置为1×1×1，步长设置为1；所述池化层由全局平均池化层和全局最大池化层并列组成；激活函数层采用Sigmoid激活函数实现；
所述下采样模块由两个卷积层串联组成；其中，第一卷积层由两个3D卷积层串联组成；将两个3D卷积层的卷积核尺寸分别设置为3×3×3和1×1×1，步长设置为2和1；第二卷积层由两个分支并联实现级联操作，第一分支的结构依次为：第一3D卷积层，第二3D卷积层，池化层，激活函数层；将第一3D卷积层的卷积核设置为Gabor小波；将第二3D卷积层的卷积核尺寸设置为1×1×1，步长设置为1；所述池化层由全局平均池化层和全局最大池化层并列组成；激活函数层采用Sigmoid激活函数实现；
(2)构建基于自适应亚像素卷积的重建模块：
搭建一个由输入层和重建层组成的基于自适应亚像素卷积的重建模块，其中，输入层是由两个3D卷积层串联组成；两个3D卷积层的卷积核尺寸分别设置为3×3×3和1×1×1，步长都设置为1；重建层为亚像素卷积，参数为放大倍数；
(3)构建多尺度变换网络：
搭建一个由输入层，多尺度特征提取模块组，基于自适应亚像素卷积的重建模块组成的多尺度变换网络；
所述输入层为3D卷积，卷积的卷积核尺寸为3×3×3，步长为1；
所述多尺度特征提取模块组由三个结构相同的多尺度特征提取模块串联组成；
(4)生成训练集：
(4a)选取至少30张高光谱图像，每张高光谱图像分辨率的长度H、宽度W、光谱波段数C至少为32、32、10；
(4b)对每张高光谱图像进行预处理后得到该张图像的图像对，将所有的图像对t组成训练集；
(5)训练多尺度变换网络：
将训练集输入到多尺度变换网络中，采用Adam优化算法迭代更新网络参数，直到损失函数收敛为止，得到训练好的多尺度变换网络；
(6)对高光谱图像进行超分辨率重建：
将待重建的低空间分辨率高光谱图像输入到训练好的网络中，进行超分辨率重建，得到高分辨率的高光谱图像。
本发明与现有技术相比较，具有以下优点：
第一，本发明构建的多尺度特征提取模块，可以用于不同尺寸感受野特征的融合表达，克服了现有技术在特征提取阶段提取特征单一导致的网络重建效果下降的缺陷，使得本发明提高了对高光谱图像不同波段特征间的非线性学习能力，从而使重建得到高分辨率高光谱图像更加清晰。
第二，本发明构建的基于自适应亚像素卷积的重建模块，克服了现有技术使用转置卷积进行特征融合导致的难以对输入的抽象先验信息进行充分的表达重建的问题，使得本发明提升了对于高光谱图像纹理细节和边缘特征重建的能力。
附图说明
图1是本发明的流程图；
图2是本发明的多尺度特征提取模块结构图；
图3是本发明的多尺度特征提取模块的上采样模块结构图；
图4是本发明的多尺度特征提取模块的下采样模块结构图。
具体实施方式
下面结合附图对本发明作进一步的描述。
参照图1，对本发明的实现步骤作进一步的描述。
步骤1.构建多尺度特征提取模块。
参照图2，对本发明构建的多尺度特征提取模块作进一步的描述。
搭建一个由三个卷积层依次串联组成的多尺度特征提取模块。其中，
第一卷积层由两个结构相同的3D卷积层串联组成；两个3D卷积层的卷积核尺寸分别设置为3×3×3和1×1×1，步长都设置为1。
第二卷积层由三个分支并联实现级联操作，第一分支的结构依次为：上采样模块，下采样模块；第二分支的结构依次为：下采样模块，上采样模块。
第三卷积层由两个3D卷积层串联组成；两个3D卷积层的卷积核尺寸分别设置为3×3×3和1×1×1，步长都设置为1。
参照图3，对本发明构建的多尺度特征提取模块的上采样模块的结构作进一步的描述。
上采样模块由两个卷积层串联组成；其中，第一卷积层由3D反卷积层和3D卷积层串联组成；将3D反卷积层的卷积核尺寸设置为3×3×3，步长设置为2，；将3D卷积层的卷积核尺寸设置为1×1×1，步长设置为1；第二卷积层由两个分支并联实现级联操作，第一分支的结构依次为：第一3D卷积层，第二3D卷积层，池化层，激活函数层；将第一3D卷积层的卷积核设置为Gabor小波；将第二3D卷积层的卷积核尺寸设置为1×1×1，步长设置为1；所述池化层由全局平均池化层和全局最大池化层并列组成；激活函数层采用Sigmoid激活函数实现。
参照图4，对本发明构建的多尺度特征提取模块的下采样模块的结构作进一步的描述。
下采样模块由两个卷积层串联组成；其中，第一卷积层由两个3D卷积层串联组成；将两个3D卷积层的卷积核尺寸分别设置为3×3×3和1×1×1，步长设置为2和1；第二卷积层由两个分支并联实现级联操作，第一分支的结构依次为：第一3D卷积层，第二3D卷积层，池化层，激活函数层；将第一3D卷积层的卷积核设置为Gabor小波；将第二3D卷积层的卷积核尺寸设置为1×1×1，步长设置为1；所述池化层由全局平均池化层和全局最大池化层并列组成；激活函数层采用Sigmoid激活函数实现。
步骤2.构建基于自适应亚像素卷积的重建模块。
搭建一个由输入层和重建层组成的基于自适应亚像素卷积的重建模块，其中，输入层是由两个3D卷积层串联组成；两个3D卷积层的卷积核尺寸分别设置为3×3×3和1×1×1，步长都设置为1；重建层为亚像素卷积，参数为放大倍数。
步骤3.构建多尺度变换网络。
搭建一个由输入层，多尺度特征提取模块组，基于自适应亚像素卷积的重建模块组成的多尺度变换网络。
所述输入层为3D卷积，卷积的卷积核尺寸为3×3×3，步长为1。
所述多尺度特征提取模块组由三个结构相同的多尺度特征提取模块串联组成。
步骤4.生成训练集。
选取至少30张高光谱图像，每张高光谱图像分辨率的长度H、宽度W、光谱波段数C至少为32、32、10。
对每张高光谱图像进行预处理后得到该张图像的图像对，将所有的图像对组成训练集。
所述预处理的步骤如下：
第1步，对每张高分辨率高光谱图像分别进行降采样系数为1，0.75，0.5倍的降采样，得到每张图像对应的三张低分辨率高光谱图像，每个低分辨率高光谱图像的分辨率为
Figure BDA0003096838270000051
r表示降采样系数；
第2步，将预处理后的每张低分辨率高光谱图像进行归一化处理；再将归一化处理后的图像分别进行与90°，180°，270°和镜像翻转，得到与该低分辨率高光谱图像对应的四张翻转后的低分辨率图像；
第3步，对每张翻转后的低分辨率图像进行降采样，将每张降采样的低分辨率图像与高分辨率图像组成图像对。
步骤5.训练多尺度变换网络。
将训练集输入到多尺度变换网络中，采用Adam优化算法迭代更新网络参数，直到损失函数收敛为止，得到训练好的多尺度变换网络。
所述Adam优化算法的参数设置如下：将指数衰减率分别设置为0.9和0.999，eps设定为1e-8，步长被设定为0.001。
所述的损失函数如下：
Figure BDA0003096838270000061
其中，L(·)表示损失函数，
Figure BDA0003096838270000062
表示输入到多尺度变换网络中的第i个高分辨率高光谱图像，
Figure BDA0003096838270000063
表示多尺度变换网络中训练输出的第k个高分辨率高光谱图像，i与k取值相等，N表示一次训练中图像的批量大小，∑表示求和操作，|·|表示取绝对值操作。
步骤6.对高光谱图像进行超分辨率重建：
将待重建的低空间分辨率高光谱图像输入到训练好的网络中，进行超分辨率重建，得到高分辨率的高光谱图像。
下面结合仿真实验对本发明的效果做进一步的说明：
1.仿真实验条件：
本发明的仿真实验的硬件平台：处理器为Intel(R)Core(TM)CPU i9-10900X@3.70GHz、内存为32GB、显卡为NVIDIA RTX2080Ti。
本发明的仿真实验的软件平台：在Anaconda的Python 3.6.12虚拟环境中搭建了包含Torch-1.3.1+cu100、Pytorch-Wavelets-1.2.4、Matplotlib-3.3.3等重要环境库的代码运行环境。
2.仿真内容及其结果分析：
本发明的仿真实验采用的数据是在日本索尼公司创建的高光谱图像CAVE数据集的32张大小为512×512×31高光谱图像中任选25张，对所选的每张高光谱图像进行裁剪，得到大小为64×64×31的高光谱图像，对裁剪后的每张高光谱图像再依次进行旋转、降采样和归一化操作后组成训练集。将CAVE数据集中剩余的7张高光谱图像组成测试集。
本发明的仿真实验是采用本发明的方法构建多尺度变换网络并利用训练集训练该网络，再将测试集中所有经过处理的高光谱图像输入到训练好的多尺度变换网络中进行超分辨率重建，得到7张高光谱图像重建后的超分辨率图像。
为了验证本发明的仿真实验效果，将上采样系数设置为2，利用下述的平均峰值信噪比PSNR(Peak Signal to Noise Ratio)公式，计算7张高光谱超分辨率重建图像的平均峰值信噪比，其结果为46.015dB。
Figure BDA0003096838270000071
其中，PSNR(IHR,ISR)表示对输入到公式的两张高光谱图像IHR和ISR计算得到的峰值信噪比PSNR值，lg表示以10为底的对数操作，
Figure BDA0003096838270000072
表示对图像按照宽度W和长度H分别求和。
利用下述的平均光谱角相似度SAM(Spectral Angle Mapper)公式，计算7张高光谱超分辨率重建图像的平均光谱角相似度，其结果为2.497。
Figure BDA0003096838270000073
其中，SAM(IHR,ISR)表示对输入到公式的两张高光谱图像IHR和ISR计算得到的SAM值，
Figure BDA0003096838270000074
表示对图像的每个像素进行求和，||·||2表示求2-范数。
以上仿真实验表明：本发明通过对网络添加多尺度特征提取模块，可以有效提升高光谱图像空间分辨率，破除了网络中不同级特征之间对于网络深度和感受野的限制，提高了网络整体的特征复用率，促进了各级图像特征的信息融合。除此之外，针对图像重建部分双层卷积在特征利用方面的局限性，引入了亚像素卷积并基于此进行算法优化，在降低网络整体参数的同时，优化了图像纹理细节和边缘特征的重建，提高了算法整体的效能，是一种非常实用的高光谱图像超分辨率方法。

Claims (4)

1.一种基于多尺度变换的高光谱图像超分辨率重建方法，其特征在于，构建由多尺度特征提取模块和基于自适应亚像素卷积的重建模块组成的多尺度变换网络；生成高光谱图像训练集对多尺度变换网络进行训练；该方法具体步骤包括如下：
(1)构建多尺度特征提取模块：
搭建一个由三个卷积层依次串联组成的多尺度特征提取模块；其中，第一卷积层由两个结构相同的3D卷积层串联组成；两个3D卷积层的卷积核尺寸分别设置为3×3×3和1×1×1，步长都设置为1；第二卷积层由三个分支并联实现级联操作，第一分支的结构依次为：上采样模块，下采样模块；第二分支的结构依次为：下采样模块，上采样模块；第三卷积层由两个3D卷积层串联组成；两个3D卷积层的卷积核尺寸分别设置为3×3×3和1×1×1，步长都设置为1；
所述上采样模块由两个卷积层串联组成；其中，第一卷积层由3D反卷积层和3D卷积层串联组成；将3D反卷积层的卷积核尺寸设置为3×3×3，步长设置为2，；将3D卷积层的卷积核尺寸设置为1×1×1，步长设置为1；第二卷积层由两个分支并联实现级联操作，第一分支的结构依次为：第一3D卷积层，第二3D卷积层，池化层，激活函数层；将第一3D卷积层的卷积核设置为Gabor小波；将第二3D卷积层的卷积核尺寸设置为1×1×1，步长设置为1；所述池化层由全局平均池化层和全局最大池化层并列组成；激活函数层采用Sigmoid激活函数实现；
所述下采样模块由两个卷积层串联组成；其中，第一卷积层由两个3D卷积层串联组成；将两个3D卷积层的卷积核尺寸分别设置为3×3×3和1×1×1，步长设置为2和1；第二卷积层由两个分支并联实现级联操作，第一分支的结构依次为：第一3D卷积层，第二3D卷积层，池化层，激活函数层；将第一3D卷积层的卷积核设置为Gabor小波；将第二3D卷积层的卷积核尺寸设置为1×1×1，步长设置为1；所述池化层由全局平均池化层和全局最大池化层并列组成；激活函数层采用Sigmoid激活函数实现；
(2)构建基于自适应亚像素卷积的重建模块：
搭建一个由输入层和重建层组成的基于自适应亚像素卷积的重建模块，其中，输入层是由两个3D卷积层串联组成；两个3D卷积层的卷积核尺寸分别设置为3×3×3和1×1×1，步长都设置为1；重建层为亚像素卷积，参数为放大倍数；
(3)构建多尺度变换网络：
搭建一个由输入层，多尺度特征提取模块组，基于自适应亚像素卷积的重建模块组成的多尺度变换网络；
所述输入层为3D卷积，卷积的卷积核尺寸为3×3×3，步长为1；
所述多尺度特征提取模块组由三个结构相同的多尺度特征提取模块串联组成；
(4)生成训练集：
(4a)选取至少30张高光谱图像，每张高光谱图像分辨率的长度H、宽度W、光谱波段数C至少为32、32、10；
(4b)对每张高光谱图像进行预处理后得到该张图像的图像对，将所有的图像对组成训练集；
(5)训练多尺度变换网络：
将训练集输入到多尺度变换网络中，采用Adam优化算法迭代更新网络参数，直到损失函数收敛为止，得到训练好的多尺度变换网络；
(6)对高光谱图像进行超分辨率重建：
将待重建的低空间分辨率高光谱图像输入到训练好的网络中，进行超分辨率重建，得到高分辨率的高光谱图像。
2.根据权利要求1所述的基于多尺度变换的高光谱图像超分辨率重建方法，其特征在于，步骤(4b)中所述预处理的步骤如下：
第一步，对每张高分辨率高光谱图像分别进行降采样系数为1，0.75，0.5倍的降采样，得到每张图像对应的三张低分辨率高光谱图像，每个低分辨率高光谱图像的分辨率为
Figure FDA0003096838260000021
r表示降采样系数；
第二步，将预处理后的每张低分辨率高光谱图像进行归一化处理；再将归一化处理后的图像分别进行与90°，180°，270°和镜像翻转，得到与该低分辨率高光谱图像对应的四张翻转后的低分辨率图像；
第三步，对每张翻转后的低分辨率图像进行降采样，将每张降采样的低分辨率图像与高分辨率图像组成图像对。
3.根据权利要求1所述的基于多尺度变换的高光谱图像超分辨率重建方法，其特征在于，步骤(5)中所述Adam优化算法的参数设置如下：将指数衰减率分别设置为0.9和0.999，eps设定为1e-8，步长被设定为0.001。
4.根据权利要求1所述的基于多尺度变换的高光谱图像超分辨率重建方法，其特征在于，步骤(5)中所述的损失函数如下：
Figure FDA0003096838260000031
其中，L(·)表示损失函数，
Figure FDA0003096838260000032
表示输入到多尺度变换网络中的第i个高分辨率高光谱图像，
Figure FDA0003096838260000033
表示多尺度变换网络中训练输出的第k个高分辨率高光谱图像，i与k取值相等，N表示一次训练中图像的批量大小，∑表示求和操作，|·|表示取绝对值操作。
CN202110613160.3A 2021-06-02 2021-06-02 基于多尺度变换的高光谱图像超分辨率重建方法 Active CN113222822B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110613160.3A CN113222822B (zh) 2021-06-02 2021-06-02 基于多尺度变换的高光谱图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110613160.3A CN113222822B (zh) 2021-06-02 2021-06-02 基于多尺度变换的高光谱图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN113222822A true CN113222822A (zh) 2021-08-06
CN113222822B CN113222822B (zh) 2023-01-24

Family

ID=77082257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110613160.3A Active CN113222822B (zh) 2021-06-02 2021-06-02 基于多尺度变换的高光谱图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN113222822B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113888491A (zh) * 2021-09-27 2022-01-04 长沙理工大学 基于非局部特征的多级高光谱图像递进超分方法及系统
CN113888412A (zh) * 2021-11-23 2022-01-04 钟家兴 一种用于糖尿病视网膜病变分类的图像超分辨率重建方法
CN113902658A (zh) * 2021-09-01 2022-01-07 西安电子科技大学 基于密集多尺度网络的rgb图像到高光谱图像重建方法
CN114049254A (zh) * 2021-10-29 2022-02-15 华南农业大学 低像素牛头图像重建识别方法、系统、设备及存储介质
CN114757830A (zh) * 2022-05-06 2022-07-15 西安电子科技大学 基于通道-扩散双分支网络的图像超分辨率重建方法
CN116704241A (zh) * 2023-05-22 2023-09-05 齐鲁工业大学(山东省科学院) 一种全通道3d卷积神经网络高光谱遥感图像分类方法
CN117036952A (zh) * 2023-08-15 2023-11-10 石河子大学 基于rgb图像重建高光谱图像的红枣水分含量等级检测方法
CN117132473A (zh) * 2023-10-20 2023-11-28 中国海洋大学 水下稀土光谱检测方法及其光谱超分辨重建模型搭建方法
CN117522687A (zh) * 2023-11-03 2024-02-06 西安电子科技大学 基于粒子动力学的高光谱图像超分辨重建方法
CN117952833A (zh) * 2023-10-30 2024-04-30 中国科学院长春光学精密机械与物理研究所 基于三分支网络的高光谱图像超分辨率重构系统及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018120329A1 (zh) * 2016-12-28 2018-07-05 深圳市华星光电技术有限公司 基于稀疏域重构的单帧图像超分辨重建方法及装置
CN108734659A (zh) * 2018-05-17 2018-11-02 华中科技大学 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法
CN109345476A (zh) * 2018-09-19 2019-02-15 南昌工程学院 基于深度残差网络的高光谱图像超分辨率重建方法及装置
CN110415170A (zh) * 2019-06-24 2019-11-05 武汉大学 一种基于多尺度注意力卷积神经网络的图像超分辨率方法
CN111161150A (zh) * 2019-12-30 2020-05-15 北京工业大学 一种基于多尺度注意级联网络的图像超分辨率重建方法
CN111429349A (zh) * 2020-03-23 2020-07-17 西安电子科技大学 基于光谱约束对抗网络的高光谱图像超分辨率方法
CN111696043A (zh) * 2020-06-10 2020-09-22 上海理工大学 一种三维fsrcnn的高光谱图像超分辨率重建算法
CN112102163A (zh) * 2020-08-07 2020-12-18 南京航空航天大学 基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法
CN112634137A (zh) * 2020-12-28 2021-04-09 西安电子科技大学 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018120329A1 (zh) * 2016-12-28 2018-07-05 深圳市华星光电技术有限公司 基于稀疏域重构的单帧图像超分辨重建方法及装置
CN108734659A (zh) * 2018-05-17 2018-11-02 华中科技大学 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法
CN109345476A (zh) * 2018-09-19 2019-02-15 南昌工程学院 基于深度残差网络的高光谱图像超分辨率重建方法及装置
CN110415170A (zh) * 2019-06-24 2019-11-05 武汉大学 一种基于多尺度注意力卷积神经网络的图像超分辨率方法
CN111161150A (zh) * 2019-12-30 2020-05-15 北京工业大学 一种基于多尺度注意级联网络的图像超分辨率重建方法
CN111429349A (zh) * 2020-03-23 2020-07-17 西安电子科技大学 基于光谱约束对抗网络的高光谱图像超分辨率方法
CN111696043A (zh) * 2020-06-10 2020-09-22 上海理工大学 一种三维fsrcnn的高光谱图像超分辨率重建算法
CN112102163A (zh) * 2020-08-07 2020-12-18 南京航空航天大学 基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法
CN112634137A (zh) * 2020-12-28 2021-04-09 西安电子科技大学 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HU, J.等: "Hyperspectral Image Super-Resolution via Intrafusion Network", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE 》 *
JING ZHANG 等: "Deep Convolutional Neural Network Based on Multi-Scale Feature Extraction for Image Denoising", 《2020 IEEE INTERNATIONAL CONFERENCE ON VISUAL COMMUNICATIONS AND IMAGE PROCESSING (VCIP)》 *
李岚等: "基于改进残差亚像素卷积神经网络的超分辨率图像重建方法研究", 《长春师范大学学报》 *
邓梦迪等: "基于深度学习的地震剖面图像超分辨率重建", 《计算机工程与设计》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113902658A (zh) * 2021-09-01 2022-01-07 西安电子科技大学 基于密集多尺度网络的rgb图像到高光谱图像重建方法
CN113902658B (zh) * 2021-09-01 2023-02-10 西安电子科技大学 基于密集多尺度网络的rgb图像到高光谱图像重建方法
CN113888491A (zh) * 2021-09-27 2022-01-04 长沙理工大学 基于非局部特征的多级高光谱图像递进超分方法及系统
CN114049254A (zh) * 2021-10-29 2022-02-15 华南农业大学 低像素牛头图像重建识别方法、系统、设备及存储介质
CN113888412A (zh) * 2021-11-23 2022-01-04 钟家兴 一种用于糖尿病视网膜病变分类的图像超分辨率重建方法
CN114757830A (zh) * 2022-05-06 2022-07-15 西安电子科技大学 基于通道-扩散双分支网络的图像超分辨率重建方法
CN114757830B (zh) * 2022-05-06 2023-09-08 西安电子科技大学 基于通道-扩散双分支网络的图像超分辨率重建方法
CN116704241A (zh) * 2023-05-22 2023-09-05 齐鲁工业大学(山东省科学院) 一种全通道3d卷积神经网络高光谱遥感图像分类方法
CN117036952A (zh) * 2023-08-15 2023-11-10 石河子大学 基于rgb图像重建高光谱图像的红枣水分含量等级检测方法
CN117036952B (zh) * 2023-08-15 2024-04-12 石河子大学 基于rgb图像重建高光谱图像的红枣水分含量等级检测方法
CN117132473A (zh) * 2023-10-20 2023-11-28 中国海洋大学 水下稀土光谱检测方法及其光谱超分辨重建模型搭建方法
CN117132473B (zh) * 2023-10-20 2024-01-23 中国海洋大学 水下稀土光谱检测方法及其光谱超分辨重建模型搭建方法
CN117952833A (zh) * 2023-10-30 2024-04-30 中国科学院长春光学精密机械与物理研究所 基于三分支网络的高光谱图像超分辨率重构系统及方法
CN117952833B (zh) * 2023-10-30 2024-09-03 中国科学院长春光学精密机械与物理研究所 基于三分支网络的高光谱图像超分辨率重构系统及方法
CN117522687A (zh) * 2023-11-03 2024-02-06 西安电子科技大学 基于粒子动力学的高光谱图像超分辨重建方法
CN117522687B (zh) * 2023-11-03 2024-05-14 西安电子科技大学 基于粒子动力学的高光谱图像超分辨重建方法

Also Published As

Publication number Publication date
CN113222822B (zh) 2023-01-24

Similar Documents

Publication Publication Date Title
CN113222822B (zh) 基于多尺度变换的高光谱图像超分辨率重建方法
CN111429349B (zh) 基于光谱约束对抗网络的高光谱图像超分辨率方法
CN113592718A (zh) 基于多尺度残差网络的矿井图像超分辨率重建方法及系统
CN114254715B (zh) 一种gf-1 wfv卫星影像超分辨率方法、系统及应用
CN113284051B (zh) 一种基于频率分解多注意力机制的人脸超分辨方法
CN113538246B (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN111932461A (zh) 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统
CN115953303B (zh) 结合通道注意力的多尺度图像压缩感知重构方法及系统
CN111986092B (zh) 一种基于双重网络的图像超分辨率重建方法及系统
CN111815516A (zh) 一种弱监督红外遥感图像超分辨率重建方法
CN110533591B (zh) 基于编解码器结构的超分辨图像重建方法
Yang et al. Image super-resolution based on deep neural network of multiple attention mechanism
CN116612010A (zh) 基于光谱相关信息和空间高低频信息的超分辨率图像重建方法
CN111784581A (zh) 基于自归一化生成对抗网络的sar图像超分辨率重建方法
CN115829834A (zh) 基于半耦合深度卷积字典学习的图像超分辨率重建方法
CN117726540A (zh) 一种增强门控Transformer的图像去噪方法
Sahito et al. Transpose convolution based model for super-resolution image reconstruction
CN113379606B (zh) 一种基于预训练生成模型的人脸超分辨方法
CN113096015A (zh) 基于渐进式感知和超轻量级网络的图像超分辨率重建方法
Liu et al. LG-DBNet: Local and Global Dual-Branch Network for SAR Image Denoising
CN117173022A (zh) 基于多路径融合和注意力的遥感图像超分辨率重建方法
CN116563111A (zh) 基于深度递归残差通道注意力的图像放大方法
CN114757830B (zh) 基于通道-扩散双分支网络的图像超分辨率重建方法
Huang et al. Deep quantification down-plain-upsampling residual learning for single image super-resolution
CN118052711A (zh) 一种基于坐标注意力与残差网络机制技术的单贴图像超分辨率重拾算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant