CN111429349B - 基于光谱约束对抗网络的高光谱图像超分辨率方法 - Google Patents

基于光谱约束对抗网络的高光谱图像超分辨率方法 Download PDF

Info

Publication number
CN111429349B
CN111429349B CN202010208387.5A CN202010208387A CN111429349B CN 111429349 B CN111429349 B CN 111429349B CN 202010208387 A CN202010208387 A CN 202010208387A CN 111429349 B CN111429349 B CN 111429349B
Authority
CN
China
Prior art keywords
layer
network
convolution
resolution
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010208387.5A
Other languages
English (en)
Other versions
CN111429349A (zh
Inventor
雷杰
李雪朋
谢卫莹
李云松
崔宇航
钟佳平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010208387.5A priority Critical patent/CN111429349B/zh
Publication of CN111429349A publication Critical patent/CN111429349A/zh
Application granted granted Critical
Publication of CN111429349B publication Critical patent/CN111429349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于光谱约束对抗网络的高光谱图像超分辨率方法，解决了现有技术生成的高光谱图像光谱失真严重、依赖先验信息且运算复杂度高的问题。实现步骤为：构建生成器网络；构建判决器网络；构建光谱约束对抗网络；初始化光谱约束对抗网络；生成训练集；训练光谱约束对抗网络；对高光谱图像进行超分辨率。本发明利用光谱约束对抗网络，不需要借助同一场景下的高分辨率多光谱图像作为先验信息进行图像融合，能够有效提升高光谱图像空间分辨率，同时降低超分辨率后高光谱图像的光谱失真。

Description

基于光谱约束对抗网络的高光谱图像超分辨率方法
技术领域
本发明属于图像处理技术领域，更进一步涉及图像超分辨率技术领域中的一种基于光谱约束对抗网络的高光谱图像超分辨率方法。本发明可用于提高空间分辨率较低的高光谱图像的空间分辨率。
背景技术
由于高光谱图像同时包含了被拍摄场景的空间信息和光谱信息，相较于自然图像只能在空间维进行处理的单一方式，可以从空间维和光谱维同时处理高光谱图像。在目标检测、图像分类，语义分割等自然图像处理领域，更高的空间分辨率往往意味着能够获取更好地效果，对于高光谱图像同样如此。然而，现有的高光谱图像超分辨率方法超分后的高光谱图像不是空间信息细节过于模糊，就是光谱失真严重，不能同时做到既能提升高光谱图像的空间分辨率又能有效抑制光谱失真。
西北工业大学在其申请的专利文献“基于生成对抗网络的高光谱图像超分辨重建方法”(专利申请号：201910389210.7，申请公开号：110119780A)中提出了一种高光谱图像超分辨率方法。该方法在生成对抗网络中设计了一种包含双残差块的生成器网络，其中一个残差块用于提取空间特征，另一个残差块用于提取光谱特征。该方法利用较为单一的像素损失和生成对抗网络固有的对抗损失函数对构建的生成对抗网络进行交替训练，通过使用pixelshuffle层提高输入的低分辨率高光谱图像的空间分辨率，实现了端到端条件下对高光谱图像进行超分辨率的操作。该方法虽然考虑到了使用生成对抗网络进行高光谱图像超分辨，解决了现有技术高光谱图像空间分辨率不足，清晰度低，目视效果差的问题。但是，该方法仍然存在的不足之处是，该方法提取高光谱图像光谱信息的网络结构和设置的损失函数光谱约束不足，使得该方法重建得到的高分辨率高光谱图像光谱失真严重。
中国科学院微小卫星研究院在其申请的专利文献“基于稀疏表示和图像融合的高光谱图像超分辨率重建方法”(专利申请号：201911085070.0，申请公开号：110852950A)中提出了一种基于融合的高光谱图像超分辨率方法。该方法利用基于近似赫维赛得函数稀疏表示方法，将原始低分辨率高光谱图像转换为增强高光谱图像。该方法采用局部混合图像融合方法，将增强的高光谱图像与高分辨率多光谱图像进行融合，得到高分辨率高光谱图像。该方法虽然考虑到了使用融合方法解决近似赫维赛得函数稀疏表示方法产生的增强高光谱图像空间分辨率较低的问题，但是，该方法仍然存在的不足之处是，该方法使用的近似赫维赛得函数稀疏表示方法非线性运算较多，使得该方法运算复杂度高。该方法将增强的高光谱图像与高分辨率多光谱图像进行融合，使得该方法必须在满足同时得到同一场景下的高光谱图像与高分辨率多光谱图像的条件下才能开展超分辨率工作。
发明内容
本发明的目的在于针对上述现有技术存在的不足，提出了一种基于光谱约束对抗网络的高光谱图像超分辨率方法，用于提高空间分辨率较低的高光谱图像的空间分辨率。
为实现上述目的，本发明的思路是，首先构建基于光谱约束的对抗网络，为了该网络能够有效提取高光谱图像的空谱信息，在对抗网络所包含的生成器网络中引入3D卷积层，残差块，注意力模块，在对抗网络所包含的判决器网络中使用多层3D卷积层。其次，在损失函数中添加光谱约束，以达到有效抑制光谱失真的效果。最后，使用带有光谱约束的损失函数对生成器网络和判决器网络进行交替训练。
1.该方法具体步骤包括如下：
(1)构建生成器网络：
(1a)搭建一个生成器网络，其结构依次为：输入层→第1卷积层→第1归一化层→第1激活函数层→残差块组合→上采样模块→注意力模块→第8卷积层→输出层；
所述残差块组合由3个相同的残差块采用交叉连接方式组成，每个残差块的结构依次为：第2卷积层→第2归一化层→第2激活函数层→第3卷积层→第3归一化层→第1特征融合层；
所述上采样模块由k个反卷积层串联组成，k的取值是logr；其中：r表示上采样系数，r取值是2，4，8中的任意值，log表示以2为底的对数操作；
所述注意力模块由全局平均池化层和全局最大池化层两层并列的网络组成；
所述输入层采用InputLayer函数实现，每个归一化层均采用BatchNormalization函数实现，每个激活函数层均采用Leaky ReLU函数实现，特征融合层采用Elementwise SUM函数实现，全局平均池化层采用GlobalMeanPool3d函数实现，全局最大池化层采用GlobalMaxPool3d函数实现；
(1b)设置生成器网络的每层参数：
将第1卷积层和第8卷积层的每个3D卷积核大小均设置为3×3×3，卷积核的个数分别设置为32和1，卷积步长均设置为1；
将第1激活函数层和第2激活函数层的每个Leaky ReLU函数的斜率均设置为0.3；
将第1残差块中第1卷积层和第2卷积层的每个卷积核大小分别设置为1×1×9和3×3×3，卷积核的个数均设置为32，卷积步长均设置为1；
将第2残差块中第1卷积层和第2卷积层的每个卷积核大小分别设置为2×2×8和3×3×3，卷积核的个数均设置为32，卷积步长均设置为1；
将第3残差块中第1卷积层和第2卷积层的每个卷积核大小分别设置为3×3×7和3×3×3，卷积核的个数均设置为32，卷积步长均设置为1；
将上采样模块中反卷积层的3D卷积核大小设置为6×6×6，卷积核的个数均设置为64，卷积步长设置为2×2×1；
(2)构建判决器网络：
(2a)搭建一个判决器网络，其结构依次为：输入层→第1卷积层→第1激活函数层→特征提取块组合→第1全连接层→第9激活函数层→第2全连接层→输出层；
所述特征提取块组合由7个相同的特征提取块级联组成，每个特征提取块的结构依次为：第2卷积层→第1归一化层→第2激活函数层；
所述输入层采用InputLayer函数实现，每个激活函数层均采用Leaky ReLU函数实现，每个归一化层均采用Batch Normalization函数实现，第1全连接层和第2全连接层采用Dense函数实现，输出层采用Sigmoid函数实现；
(2b)设置判决器网络的每层参数：
将第1卷积层至第8卷积层的每个3D卷积核大小均设置为3×3×3，卷积核的个数依次设置为32、32、64、64、128、128、256、256，卷积步长依次设置为1、2、1、2、1、2、1、2；
将第1激活函数层至第9激活函数层的每个Leaky ReLU函数的斜率均设置为0.3；
将两个Dense全连接层的输出节点个数分别设置为1024和1；
(3)构建光谱约束对抗网络：
将生成器网络和判决器网络级联组成光谱约束对抗网络；
(4)初始化光谱约束对抗网络：
使用random_normal_initializer函数将光谱约束对抗网络中所有的卷积层、反卷积层、归一化层以及全连接层的权重初始化为满足正态分布的随机值；其中：所述正态分布的标准差为0.02；
(5)生成训练集：
(5a)从高光谱图像数据集随机选取不少于总图像张数60％的图像组成初始训练集，初始训练集中每张高光谱图像分辨率均为H×W×C，初始训练集中总的图像张数与高光谱图像数据集总的图像张数的比值越大越好；其中，初始训练集中的高光谱图像的高度H、宽度W、光谱波段数C的值依次不小于32、32、10；
(5b)对初始训练集中的每张高分辨率高光谱图像进行预处理，得到各自对应的分辨率为
Figure BDA0002421972520000041
的低分辨率高光谱图像；将预处理后的低分辨率高光谱图像和初始训练集中的高分辨率高光谱图像组成训练集；
(6)训练光谱约束对抗网络：
(6a)将训练集中的低分辨率高光谱图像输入到生成器网络中，生成器网络输出超分后的高分辨率高光谱图像，利用生成器网络损失函数计算生成器网络损失值；
利用生成器网络的损失值和梯度下降法，计算生成器网络每个卷积层和反卷积层的每个卷积核的所有梯度、归一化层的所有梯度、注意力模块的所有梯度；
利用生成器网络每个卷积层和反卷积层的每个卷积核的所有梯度、归一化层的所有梯度、注意力模块的所有梯度，使用Adam优化器迭代更新生成器网络每个卷积层和反卷积层的每个卷积核的所有权重、归一化层的所有权重、注意力模块的所有权重；所述Adam优化器的初始学习率为0.0001；
(6b)将训练集中的高分辨率高光谱图像和与其对应的超分后的高分辨率高光谱图像依次输入到判决器网络中，判决器网络对依次输入的图像判决后分别输出对应的真伪概率，利用判决器网络损失函数计算判决器网络的损失值；
利用判决器网络的损失值和梯度下降法，计算判决器网络每个卷积层的每个卷积核的所有梯度、归一化层的所有梯度和全连接层的每个节点的所有梯度；
利用判决器网络每个卷积层的每个卷积核的所有梯度、归一化层的所有梯度和全连接层的每个节点的所有梯度，使用Adam优化器迭代更新判决器网络每个卷积层的每个卷积核的所有权重、归一化层的所有权重和全连接层的每个节点的所有权重；所述Adam优化器的初始学习率为0.0001；
(6c)依次重复步骤(6a)和(6b)，对生成器网络和判决器网络交替训练，直到生成器网络的损失值均小于80，判决器网络的损失值均接近于0时，完成光谱约束对抗网络的训练，得到训练好的生成器网络权重，保存训练好的光谱约束对抗网络中生成器网络每个卷积层和反卷积层的每个卷积核的所有权重、归一化层的所有权重、注意力模块的所有权重；
(7)对高光谱图像进行超分辨率：
训练好的生成器网络利用步骤(6c)保存的训练好的生成器网络权重，对输入的待超分辨率的低空间分辨率高光谱图像进行超分辨率。
本发明与现有技术相比较，具有以下优点：
第一，本发明构建由生成器网络和判决器网络组成的光谱约束对抗网络；生成高光谱图像训练集对光谱约束对抗网络的生成器和判决器进行交替训练，采用这种交替训练的方式，生成器网络和判决器网络的模型准确度更高，使用训练好的生成器网络对低空间分辨率的高光谱图像进行超分辨率得到的高分辨率高光谱图像更加真实。
第二，本发明提出的基于光谱约束对抗网络的高光谱图像超分辨率方法，在构建网络结构和损失函数时充分考虑光谱约束项，克服了现有技术重建得到的高分辨率高光谱图像光谱失真严重、必须在满足同时得到同一场景下的高光谱图像与高分辨率多光谱图像的条件下才能开展超分辨率工作且运算复杂度高的问题，使得本发明提出的技术可以在不需要辅助高分辨率多光谱图像进行图像融合的条件下，对低空间分辨率的高光谱图像进行超分辨率，并有效抑制超分辨率得到的高分辨率高光谱图像光谱失真严重的问题。
附图说明
图1是本发明的流程图；
图2(a)是本发明的生成器网络结构图，图2(b)是生成器网络的残差块图，图2(c)是生成器网络的上采样模块图，2(d)是生成器网络的注意力模块图；
图3是本发明的判决器网络结构图。
具体实施方式
下面结合附图对本发明做进一步的描述。
参照附图1，对本发明的具体步骤做进一步的描述。
步骤1.构建生成器网络。
搭建一个生成器网络，其结构依次为：输入层→第1卷积层→第1归一化层→第1激活函数层→残差块组合→上采样模块→注意力模块→第8卷积层→输出层。生成器网络的具体结构参照附图2(a)。
所述残差块组合由3个相同的残差块采用交叉连接方式组成，每个残差块的结构依次为：第2卷积层→第2归一化层→第2激活函数层→第3卷积层→第3归一化层→第1特征融合层。残差块的具体结构参照附图2(b)。
所述的残差块组合由3个相同的残差块采用交叉连接方式如下：
第1残差块中的第2卷积层和第1特征融合层的两个输入与生成器网络中第1激活函数层的输出连接，第1残差块的输出与第2残差块中的第3卷积层和第2特征融合层连接；
第2残差块中第3卷积层和第2特征融合层的两个输入均与生成器网络中第1残差块的输出连接，第2残差块输出与第3残差块中的第3卷积层连接；
第3残差块中第4卷积层和第3特征融合层的两个输入分别与第1残差块输出和生成器网络中第1激活函数层的输出连接，第3残差块输出与上采样模块连接。
所述上采样模块由k个反卷积层串联组成，k的取值是logr；其中：r表示上采样系数，r取值是2，4，8中的任意值，log表示以2为底的对数操作。上采样模块的具体结构参照附图2(c)。
所述注意力模块由全局平均池化层和全局最大池化层两层并列的网络组成。注意力模块的具体结构参照附图2(d)，其中
Figure BDA0002421972520000061
代表点乘符号，/>
Figure BDA0002421972520000062
代表加法符号。
注意力模块实现的功能是对输入到本模块的特征图赋予权重，用于增加生成器网络的特征提取能力，在训练阶段加速生成器网络收敛，注意力模块的输入和输出关系如下列公式所示：
m＝(f*m1+f*m2)/2
其中，f表示输入到注意力模块的特征图，n表示输入特征图的个数，m1表示经过全局平均池化层产生的维度为1×1×n的权重张量，m2表示经过全局最大池化层产生的维度为1×1×n的权重张量，m表示注意力模块的输出。
所述输入层采用InputLayer函数实现，每个归一化层均采用BatchNormalization函数实现，每个激活函数层均采用Leaky ReLU函数实现，特征融合层采用Elementwise SUM函数实现，全局平均池化层采用GlobalMeanPool3d函数实现，全局最大池化层采用GlobalMaxPool3d函数实现。
设置生成器网络的每层参数。
将第1卷积层和第8卷积层的每个3D卷积核大小均设置为3×3×3，卷积核的个数分别设置为32和1，卷积步长均设置为1。
将第1激活函数层和第2激活函数层的每个Leaky ReLU函数的斜率均设置为0.3；
将第1残差块中第1卷积层和第2卷积层的每个卷积核大小分别设置为1×1×9和3×3×3，卷积核的个数均设置为32，卷积步长均设置为1。
将第2残差块中第1卷积层和第2卷积层的每个卷积核大小分别设置为2×2×8和3×3×3，卷积核的个数均设置为32，卷积步长均设置为1。
将第3残差块中第1卷积层和第2卷积层的每个卷积核大小分别设置为3×3×7和3×3×3，卷积核的个数均设置为32，卷积步长均设置为1。
将上采样模块中反卷积层的3D卷积核大小设置为6×6×6，卷积核的个数均设置为64，卷积步长设置为2×2×1。
步骤2.构建判决器网络。
参照附图3，搭建一个判决器网络，其结构依次为：输入层→第1卷积层→第1激活函数层→特征提取块组合→第1全连接层→第9激活函数层→第2全连接层→输出层。
所述特征提取块组合由7个相同的特征提取块级联组成，每个特征提取块的结构依次为：第2卷积层→第1归一化层→第2激活函数层。
所述输入层采用InputLayer函数实现，每个激活函数层均采用Leaky ReLU函数实现，每个归一化层均采用Batch Normalization函数实现，第1全连接层和第2全连接层采用Dense函数实现，输出层采用Sigmoid函数实现。
设置判决器网络的每层参数。
将第1卷积层至第8卷积层的每个3D卷积核大小均设置为3×3×3，卷积核的个数依次设置为32、32、64、64、128、128、256、256，卷积步长依次设置为1、2、1、2、1、2、1、2。
将第1激活函数层至第9激活函数层的每个Leaky ReLU函数的斜率均设置为0.3。
将两个Dense全连接层的输出节点个数分别设置为1024和1。
步骤3.构建光谱约束对抗网络。
将生成器网络和判决器网络级联组成光谱约束对抗网络。
步骤4.初始化光谱约束对抗网络。
使用random_normal_initializer函数将光谱约束对抗网络中所有的卷积层、反卷积层、归一化层以及全连接层的权重初始化为满足正态分布的随机值；其中：所述正态分布的标准差为0.02。
步骤5.生成训练集。
从高光谱图像数据集随机选取不少于总图像张数60％的图像组成初始训练集，初始训练集中每张高光谱图像分辨率均为H×W×C，初始训练集中总的图像张数与高光谱图像数据集总的图像张数的比值越大越好；其中，初始训练集中的高光谱图像的高度H、宽度W、光谱波段数C的值依次不小于32、32、10。
对初始训练集中的每张高分辨率高光谱图像进行预处理，得到各自对应的分辨率为
Figure BDA0002421972520000081
的低分辨率高光谱图像；将预处理后的低分辨率高光谱图像和初始训练集中的高分辨率高光谱图像组成训练集。
所述的预处理是指对每张高分辨率高光谱图像依次进行高斯滤波和下采样操作；所述高斯滤波采用gaussian_filter函数实现，gaussian_filter函数的标准差设置为1；所述下采样采用zoom函数实现，zoom函数的上采样系数设置为
Figure BDA0002421972520000082
步骤6.训练光谱约束对抗网络。
第1步，将训练集中的低分辨率高光谱图像输入到生成器网络中，生成器网络输出超分后的高分辨率高光谱图像，利用生成器网络损失函数计算生成器网络损失值。
所述的生成器网络损失函数如下：
Figure BDA0002421972520000083
其中，lG表示生成器网络损失函数，α表示生成器网络的对抗损失函数的系数，取值为0.1，*表示乘法运算符号，
Figure BDA0002421972520000084
表示生成器网络的对抗损失，/>
Figure BDA0002421972520000085
表示生成器网络的最小均放误差损失，/>
Figure BDA0002421972520000086
表示生成器网络的光谱角距离损失，/>
Figure BDA0002421972520000087
表示生成器网络的谱间梯度损失，分别由下列公式得到：
Figure BDA0002421972520000088
Figure BDA0002421972520000089
/>
Figure BDA00024219725200000810
Figure BDA00024219725200000811
其中，D(·)表示光谱约束对抗网络中的判决器网络的输出，G(·)表示光谱约束对抗网络中的生成器网络的输出，ILR表示待输入到生成器网络中的训练集中单张低分辨率高光谱图像，∑表示求和操作，IHR表示训练集中的单张高分辨率高光谱图像，
Figure BDA0002421972520000091
表示IHR的高光谱图像中单个像素在空间高度维x、空间宽度维y、光谱维z的坐标，ISR表示生成器网络对输入的ILR进行超分辨率后输出的单张高分辨率高光谱图像，/>
Figure BDA0002421972520000092
表示ISR中的高光谱图像中单个像素在空间高度维x、空间宽度维y、光谱维z的坐标，cos-1表示反余弦函数，/>
Figure BDA0002421972520000093
表示IHR中的高光谱图像在空间维上按照从上到下、从左到右顺序的第i个像素，T表示转置操作符号，/>
Figure BDA0002421972520000094
表示ISR中的高光谱图像在空间维上按照从上到下、从左到右顺序的第i个像素，||·||2表示2范数运算符号。
利用生成器网络的损失值和梯度下降法，计算生成器网络每个卷积层和反卷积层的每个卷积核的所有梯度、归一化层的所有梯度、注意力模块的所有梯度。
利用生成器网络每个卷积层和反卷积层的每个卷积核的所有梯度、归一化层的所有梯度、注意力模块的所有梯度，使用Adam优化器迭代更新生成器网络每个卷积层和反卷积层的每个卷积核的所有权重、归一化层的所有权重、注意力模块的所有权重；所述Adam优化器的初始学习率为0.0001。
第2步，将训练集中的高分辨率高光谱图像和与其对应的超分后的高分辨率高光谱图像依次输入到判决器网络中，判决器网络对依次输入的图像判决后分别输出对应的真伪概率，利用判决器网络损失函数计算判决器网络的损失值。
所述的判决器网络损失函数如下：
Figure BDA0002421972520000095
其中，
Figure BDA0002421972520000096
表示判决器网络损失函数。
利用判决器网络的损失值和梯度下降法，计算判决器网络每个卷积层的每个卷积核的所有梯度、归一化层的所有梯度和全连接层的每个节点的所有梯度。
利用判决器网络每个卷积层的每个卷积核的所有梯度、归一化层的所有梯度和全连接层的每个节点的所有梯度，使用Adam优化器迭代更新判决器网络每个卷积层的每个卷积核的所有权重、归一化层的所有权重和全连接层的每个节点的所有权重；所述Adam优化器的初始学习率为0.0001。
第3步，依次重复第1步和第2步，对生成器网络和判决器网络交替训练，直到生成器网络的损失值均小于80，判决器网络的损失值均接近于0时，完成光谱约束对抗网络的训练，得到训练好的生成器网络权重，保存训练好的光谱约束对抗网络中生成器网络每个卷积层和反卷积层的每个卷积核的所有权重、归一化层的所有权重、注意力模块的所有权重。
步骤7.对高光谱图像进行超分辨率。
训练好的生成器网络利用步骤6第3步保存的训练好的生成器网络权重，对输入的待超分辨率的低空间分辨率高光谱图像进行超分辨率。
下面结合仿真实验对本发明的效果做进一步的说明：
1.仿真实验条件：
本发明的仿真实验的硬件平台：处理器为Intel(R)Core i5-7300HQ CPU、主频为2.50GHz、内存为8GB、显卡为GeForce GTX 1050Ti。
本发明的仿真实验的软件平台：Python3.6，Tensorlayer1.11.1和Tensorflow1.13.1。
2.仿真内容及其结果分析：
本发明的仿真实验是采用本发明的方法，将日本索尼公司创建的高光谱图像CAVE数据集的32张大小为512×512×31高光谱图像，从图像中心区域进行裁剪，得到32张大小为128×128×31的高光谱图像，从裁剪后的32张高光谱图像中任选20张组成训练集，将剩余的12张高光谱图像组成测试集。
为了验证本发明的仿真实验效果，将测试集中所有高光谱图像经过预处理后输入到训练好的生成器网络中进行超分辨率，得到测试集中所有高光谱图像的超分辨率结果。
在上采样系数为2时，本发明在测试集中的12张高光谱图像平均峰值信噪比PSNR(Peak Signal to Noise Ratio)为40.85dB，平均光谱角相似度SAM(Spectral AngleMapper)为3.35，证明本发明可以有效提升低分辨率高光谱图像的空间分辨率，同时能够抑制光谱失真，其中，PSNR和SAM计算方法由下式得到：
Figure BDA0002421972520000101
Figure BDA0002421972520000102
其中，SAM(IHR,ISR)表示对输入到公式的两张高光谱图像IHR和ISR计算得到的SAM值，PSNR(IHR,ISR)表示对输入到公式的两张高光谱图像IHR和ISR计算得到的峰值信噪比PSNR值，lg表示以10为底的对数运算符号。
以上仿真实验表明：本发明通过对生成器网络添加注意力模块，对生成器网络的损失函数添加深度光谱约束项，有效提升了高光谱图像空间分辨率同时显著降低了光谱失真，解决了现有技术生成的高光谱图像光谱失真严重的问题，通过构建一种端到端的深度光谱约束对抗网络，不需要借助同一场景下的高分辨率多光谱图像作为先验信息进行图像融合，解决了现有技术依赖先验信息，运算复杂度高的问题，是一种非常实用的高光谱图像超分辨率方法。

Claims (5)

1.一种基于光谱约束对抗网络的高光谱图像超分辨率方法，其特征在于，构建由生成器网络和判决器网络组成的光谱约束对抗网络；生成高光谱图像训练集对光谱约束对抗网络的生成器和判决器进行交替训练；该方法具体步骤包括如下：
(1)构建生成器网络：
(1a)搭建一个生成器网络，其结构依次为：输入层→第1卷积层→第1归一化层→第1激活函数层→残差块组合→上采样模块→注意力模块→第8卷积层→输出层；
所述残差块组合由3个相同的残差块采用交叉连接方式组成，每个残差块的结构依次为：第2卷积层→第2归一化层→第2激活函数层→第3卷积层→第3归一化层→第1特征融合层；
所述上采样模块由k个反卷积层串联组成，k的取值是logr；其中：r表示上采样系数，r取值是2，4，8中的任意值，log表示以2为底的对数操作；
所述注意力模块由全局平均池化层和全局最大池化层两层并列的网络组成；
所述输入层采用InputLayer函数实现，每个归一化层均采用Batch Normalization函数实现，每个激活函数层均采用Leaky ReLU函数实现，特征融合层采用Elementwise SUM函数实现，全局平均池化层采用GlobalMeanPool3d函数实现，全局最大池化层采用GlobalMaxPool3d函数实现；
(1b)设置生成器网络的每层参数：
将第1卷积层和第8卷积层的每个3D卷积核大小均设置为3×3×3，卷积核的个数分别设置为32和1，卷积步长均设置为1；
将第1激活函数层和第2激活函数层的每个Leaky ReLU函数的斜率均设置为0.3；
将第1残差块中第1卷积层和第2卷积层的每个卷积核大小分别设置为1×1×9和3×3×3，卷积核的个数均设置为32，卷积步长均设置为1；
将第2残差块中第1卷积层和第2卷积层的每个卷积核大小分别设置为2×2×8和3×3×3，卷积核的个数均设置为32，卷积步长均设置为1；
将第3残差块中第1卷积层和第2卷积层的每个卷积核大小分别设置为3×3×7和3×3×3，卷积核的个数均设置为32，卷积步长均设置为1；
将上采样模块中反卷积层的3D卷积核大小设置为6×6×6，卷积核的个数均设置为64，卷积步长设置为2×2×1；
(2)构建判决器网络：
(2a)搭建一个判决器网络，其结构依次为：输入层→第1卷积层→第1激活函数层→特征提取块组合→第1全连接层→第9激活函数层→第2全连接层→输出层；
所述特征提取块组合由7个相同的特征提取块级联组成，每个特征提取块的结构依次为：第2卷积层→第1归一化层→第2激活函数层；
所述输入层采用InputLayer函数实现，每个激活函数层均采用Leaky ReLU函数实现，每个归一化层均采用Batch Normalization函数实现，第1全连接层和第2全连接层采用Dense函数实现，输出层采用Sigmoid函数实现；
(2b)设置判决器网络的每层参数：
将第1卷积层至第8卷积层的每个3D卷积核大小均设置为3×3×3，卷积核的个数依次设置为32、32、64、64、128、128、256、256，卷积步长依次设置为1、2、1、2、1、2、1、2；
将第1激活函数层至第9激活函数层的每个Leaky ReLU函数的斜率均设置为0.3；
将两个Dense全连接层的输出节点个数分别设置为1024和1；
(3)构建光谱约束对抗网络：
将生成器网络和判决器网络级联组成光谱约束对抗网络；
(4)初始化光谱约束对抗网络：
使用random_normal_initializer函数将光谱约束对抗网络中所有的卷积层、反卷积层、归一化层以及全连接层的权重初始化为满足正态分布的随机值；其中：所述正态分布的标准差为0.02；
(5)生成训练集：
(5a)从高光谱图像数据集随机选取不少于总图像张数60％的图像组成初始训练集，初始训练集中每张高光谱图像分辨率均为H×W×C，初始训练集中总的图像张数与高光谱图像数据集总的图像张数的比值越大越好；其中，初始训练集中的高光谱图像的高度H、宽度W、光谱波段数C的值依次不小于32、32、10；
(5b)对初始训练集中的每张高分辨率高光谱图像进行预处理，得到各自对应的分辨率为
Figure FDA0002421972510000021
的低分辨率高光谱图像；将预处理后的低分辨率高光谱图像和初始训练集中的高分辨率高光谱图像组成训练集；
(6)训练光谱约束对抗网络：
(6a)将训练集中的低分辨率高光谱图像输入到生成器网络中，生成器网络输出超分后的高分辨率高光谱图像，利用生成器网络损失函数计算生成器网络损失值；
利用生成器网络的损失值和梯度下降法，计算生成器网络每个卷积层和反卷积层的每个卷积核的所有梯度、归一化层的所有梯度、注意力模块的所有梯度；
利用生成器网络每个卷积层和反卷积层的每个卷积核的所有梯度、归一化层的所有梯度、注意力模块的所有梯度，使用Adam优化器迭代更新生成器网络每个卷积层和反卷积层的每个卷积核的所有权重、归一化层的所有权重、注意力模块的所有权重；所述Adam优化器的初始学习率为0.0001；
(6b)将训练集中的高分辨率高光谱图像和与其对应的超分后的高分辨率高光谱图像依次输入到判决器网络中，判决器网络对依次输入的图像判决后分别输出对应的真伪概率，利用判决器网络损失函数计算判决器网络的损失值；
利用判决器网络的损失值和梯度下降法，计算判决器网络每个卷积层的每个卷积核的所有梯度、归一化层的所有梯度和全连接层的每个节点的所有梯度；
利用判决器网络每个卷积层的每个卷积核的所有梯度、归一化层的所有梯度和全连接层的每个节点的所有梯度，使用Adam优化器迭代更新判决器网络每个卷积层的每个卷积核的所有权重、归一化层的所有权重和全连接层的每个节点的所有权重；所述Adam优化器的初始学习率为0.0001；
(6c)依次重复步骤(6a)和(6b)，对生成器网络和判决器网络交替训练，直到生成器网络的损失值均小于80，判决器网络的损失值均接近于0时，完成光谱约束对抗网络的训练，得到训练好的生成器网络权重，保存训练好的光谱约束对抗网络中生成器网络每个卷积层和反卷积层的每个卷积核的所有权重、归一化层的所有权重、注意力模块的所有权重；
(7)对高光谱图像进行超分辨率：
训练好的生成器网络利用步骤(6c)保存的训练好的生成器网络权重，对输入的待超分辨率的低空间分辨率高光谱图像进行超分辨率。
2.根据权利要求1所述的基于光谱约束对抗网络的高光谱图像超分辨率方法，其特征在于，步骤(1a)中所述残差块组合由3个相同的残差块采用交叉连接方式如下：
第1残差块中的第2卷积层和第1特征融合层的两个输入与生成器网络中第1激活函数层的输出连接，第1残差块的输出与第2残差块中的第3卷积层和第2特征融合层连接；
第2残差块中第3卷积层和第2特征融合层的两个输入均与生成器网络中第1残差块的输出连接，第2残差块输出与第3残差块中的第3卷积层连接；
第3残差块中第4卷积层和第3特征融合层的两个输入分别与第1残差块输出和生成器网络中第1激活函数层的输出连接，第3残差块输出与上采样模块连接。
3.根据权利要求1所述的基于光谱约束对抗网络的高光谱图像超分辨率方法，其特征在于，步骤(5b)中所述的预处理是指对每张高分辨率高光谱图像依次进行高斯滤波和下采样操作；所述高斯滤波采用gaussian_filter函数实现，gaussian_filter函数的标准差设置为1；所述下采样采用zoom函数实现，zoom函数的上采样系数设置为
Figure FDA0002421972510000041
4.根据权利要求1所述的基于光谱约束对抗网络的高光谱图像超分辨率方法，其特征在于，步骤(6a)中所述的生成器网络损失函数如下：
Figure FDA0002421972510000042
其中，lG表示生成器网络损失函数，α表示生成器网络的对抗损失函数的系数，取值为0.1，*表示乘法运算符号，
Figure FDA0002421972510000043
表示生成器网络的对抗损失，
Figure FDA0002421972510000044
表示生成器网络的最小均放误差损失，
Figure FDA0002421972510000045
表示生成器网络的光谱角距离损失，
Figure FDA0002421972510000046
表示生成器网络的谱间梯度损失，分别由下列公式得到：
Figure FDA0002421972510000047
Figure FDA0002421972510000048
Figure FDA0002421972510000049
Figure FDA00024219725100000410
其中，D(·)表示光谱约束对抗网络中的判决器网络的输出，G(·)表示光谱约束对抗网络中的生成器网络的输出，ILR表示待输入到生成器网络中的训练集中单张低分辨率高光谱图像，∑表示求和操作，IHR表示训练集中的单张高分辨率高光谱图像，
Figure FDA0002421972510000051
表示IHR的高光谱图像中单个像素在空间高度维x、空间宽度维y、光谱维z的坐标，ISR表示生成器网络对输入的ILR进行超分辨率后输出的单张高分辨率高光谱图像，
Figure FDA0002421972510000052
表示ISR中的高光谱图像中单个像素在空间高度维x、空间宽度维y、光谱维z的坐标，cos-1表示反余弦函数，
Figure FDA0002421972510000053
表示IHR中的高光谱图像在空间维上按照从上到下、从左到右顺序的第i个像素，T表示转置操作符号，
Figure FDA0002421972510000054
表示ISR中的高光谱图像在空间维上按照从上到下、从左到右顺序的第i个像素，||·||2表示2范数运算符号。
5.根据权利要求4所述的基于光谱约束对抗网络的高光谱图像超分辨率方法，其特征在于，步骤(6a)中所述的判决器网络损失函数如下：
Figure FDA0002421972510000055
其中，
Figure FDA0002421972510000056
表示判决器网络损失函数。
CN202010208387.5A 2020-03-23 2020-03-23 基于光谱约束对抗网络的高光谱图像超分辨率方法 Active CN111429349B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010208387.5A CN111429349B (zh) 2020-03-23 2020-03-23 基于光谱约束对抗网络的高光谱图像超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010208387.5A CN111429349B (zh) 2020-03-23 2020-03-23 基于光谱约束对抗网络的高光谱图像超分辨率方法

Publications (2)

Publication Number Publication Date
CN111429349A CN111429349A (zh) 2020-07-17
CN111429349B true CN111429349B (zh) 2023-03-24

Family

ID=71549103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010208387.5A Active CN111429349B (zh) 2020-03-23 2020-03-23 基于光谱约束对抗网络的高光谱图像超分辨率方法

Country Status (1)

Country Link
CN (1) CN111429349B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113066037B (zh) * 2021-03-31 2022-08-02 山东师范大学 基于图注意力机制的多光谱与全色图像融合方法及系统
CN112949592B (zh) * 2021-03-31 2022-07-22 云南大学 高光谱图像的分类方法、装置和电子设备
CN113222822B (zh) * 2021-06-02 2023-01-24 西安电子科技大学 基于多尺度变换的高光谱图像超分辨率重建方法
CN113888491A (zh) * 2021-09-27 2022-01-04 长沙理工大学 基于非局部特征的多级高光谱图像递进超分方法及系统
CN113902622B (zh) * 2021-11-08 2024-02-27 西北工业大学 基于深度先验联合注意力的光谱超分辨率方法
CN114266957B (zh) * 2021-11-12 2024-05-07 北京工业大学 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法
CN113888413B (zh) * 2021-12-03 2022-02-22 湖南大学 异时异源多光谱图像盲光谱超分辨方法及系统
CN115700727A (zh) * 2023-01-03 2023-02-07 湖南大学 基于自注意力机制的光谱超分辨率重建方法及系统
CN116468645B (zh) * 2023-06-20 2023-09-15 吉林大学 一种对抗性高光谱多光谱遥感融合方法
CN117522687B (zh) * 2023-11-03 2024-05-14 西安电子科技大学 基于粒子动力学的高光谱图像超分辨重建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN110119780A (zh) * 2019-05-10 2019-08-13 西北工业大学 基于生成对抗网络的高光谱图像超分辨重建方法
CN110533620A (zh) * 2019-07-19 2019-12-03 西安电子科技大学 基于aae提取空间特征的高光谱和全色图像融合方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN110119780A (zh) * 2019-05-10 2019-08-13 西北工业大学 基于生成对抗网络的高光谱图像超分辨重建方法
CN110533620A (zh) * 2019-07-19 2019-12-03 西安电子科技大学 基于aae提取空间特征的高光谱和全色图像融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
图像超分辨重建算法综述;史振威等;《数据采集与处理》;20200115(第01期);全文 *
基于向量总变差约束局部光谱解混的高光谱图像超分辨;张少磊等;《光学精密工程》;20191215(第12期);全文 *

Also Published As

Publication number Publication date
CN111429349A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN111429349B (zh) 基于光谱约束对抗网络的高光谱图像超分辨率方法
CN111476717B (zh) 基于自注意力生成对抗网络的人脸图像超分辨重建方法
CN110782462B (zh) 一种基于双流特征融合的语义分割方法
WO2021056969A1 (zh) 超分辨率图像重构方法和装置
CN113222822B (zh) 基于多尺度变换的高光谱图像超分辨率重建方法
CN111080567A (zh) 基于多尺度动态卷积神经网络的遥感图像融合方法及系统
CN111476249B (zh) 多尺度大感受野卷积神经网络的构建方法
CN112184554A (zh) 一种基于残差混合膨胀卷积的遥感图像融合方法
Zhang et al. LR-Net: Low-rank spatial-spectral network for hyperspectral image denoising
CN110929736A (zh) 多特征级联rgb-d显著性目标检测方法
CN112862690B (zh) 一种基于Transformers的低分辨率图像超分辨方法及系统
CN113436076B (zh) 逐步融合特征的图像超分辨率重建方法及电子设备
CN112465801B (zh) 一种分尺度提取掩码特征的实例分割方法
CN114266957B (zh) 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法
CN109993702B (zh) 基于生成对抗网络的满文图像超分辨率重建方法
CN112784779A (zh) 一种基于特征金字塔多级特征融合的遥感影像场景分类方法
CN110533591B (zh) 基于编解码器结构的超分辨图像重建方法
CN113538246B (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN109447897B (zh) 一种真实场景图像合成方法及系统
CN112801904A (zh) 一种基于卷积神经网络的混合退化图像增强方法
CN115713462A (zh) 超分辨模型训练方法、图像识别方法、装置及设备
CN113902622A (zh) 基于深度先验联合注意力的光谱超分辨率方法
CN116612010A (zh) 基于光谱相关信息和空间高低频信息的超分辨率图像重建方法
CN114943646A (zh) 基于纹理导向的梯度权重损失和注意力机制超分辨方法
CN114626984A (zh) 中文文本图像的超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant