CN117522687B - 基于粒子动力学的高光谱图像超分辨重建方法 - Google Patents

基于粒子动力学的高光谱图像超分辨重建方法 Download PDF

Info

Publication number
CN117522687B
CN117522687B CN202311457039.1A CN202311457039A CN117522687B CN 117522687 B CN117522687 B CN 117522687B CN 202311457039 A CN202311457039 A CN 202311457039A CN 117522687 B CN117522687 B CN 117522687B
Authority
CN
China
Prior art keywords
particle
convolution layer
image
hyperspectral image
reconstructed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311457039.1A
Other languages
English (en)
Other versions
CN117522687A (zh
Inventor
张铭津
郑玲萍
朱迎峰
郭杰
李云松
高新波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202311457039.1A priority Critical patent/CN117522687B/zh
Publication of CN117522687A publication Critical patent/CN117522687A/zh
Application granted granted Critical
Publication of CN117522687B publication Critical patent/CN117522687B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种基于粒子动力学的高光谱图像超分辨重建方法，实现步骤为：(1)获取训练样本集和测试样本集；(2)构建基于粒子动力学的重建网络模型O；(3)初始化参数；(4)获取训练样本的重建图像；(5)对重建网络模型的参数进行更新；(6)获取训练好的重建网络模型；(7)获取高光谱图像重建结果。本发明所构建的基于粒子动力学的高光谱图像超分辨重建网络包括并行排布的多个粒子动力学子网络；相邻的粒子动力学子网络用光谱相关性来增强光谱域中的网络表示，粒子动力学子网络中的光滑粒子模块利用多尺度的超高斯光滑粒子卷积层聚合图像内跨空间位置的上下文信息，提高了对光谱谱带的利用，能够更好地恢复超分辨图像中的光谱信息，进而有效提高了高光谱图像重建的准确性。

Description

基于粒子动力学的高光谱图像超分辨重建方法
技术领域
本发明属于图像处理技术领域，涉及一种图像超分辨率重建方法，具体涉及一种基于粒子动力学的高光谱图像超分辨重建方法，可用于遥感和航空航天等技术领域。
背景技术
传统的全光谱成像技术利用多个窄带图像数据，结合成像和光谱方法来获取连续的高光谱图像数据。其中高光谱图像数据立方体来自高光谱器件包含空间和光谱信息，能够在二维空间和一维光谱空间中检测和分析目标。此外，高分辨率的高光谱图像产生更多的数据，增强了光谱检测和识别能力。然而，通过高光谱成像系统直接获得高分辨率的高光谱图像可能是成本高昂的。因此，开发一种高光谱图像超分辨率重建技术来提高低分辨率高光谱图像的分辨率具有重要的现实意义。高光谱图像超分辨率重建是指通过利用现有的低分辨率高光谱图像和其他相关信息，推测出高分辨率高光谱图像的过程。不同于传统图像(如灰度图像、RGB图像等)专注于保存目标场景的空间信息，高光谱图像蕴含丰富的空间-光谱信息，不仅可以保存目标的空间信息，还可以保存具有高可辨性的光谱信息。因此高光谱图像广泛应用于多种计算机视觉和遥感图像任务中，如目标检测、场景分类和目标追踪等；近年来，卷积神经网络在高光谱图像超分辨率重建任务中取得了显著的成功，但很少从图像动态演化的角度来研究高光谱图像超分辨率问题，因此对高光谱图像超分辨率的网络模型缺乏可解释性，同时也提供了一个潜在的研究方向。
西安电子科技大学其申请的专利文献“基于多尺度变换的高光谱图像超分辨率重建方法”(专利申请号：202110613160.3，申请公布号为CN 113222822 A)中提出了一种基于多尺度变换的高光谱图像超分辨率重建方法。该方法实现步骤为：构建生成器网络；构建多尺度特征提取模块；构建基于自适应亚像素卷积的重建模块；构建多尺度变换网络；生成训练集；训练多尺度变换网络；对高光谱图像进行超分辨率重建。该方法利用多尺度变换网络使重建得到高分辨率高光谱图像更加清晰，但是随着网络层数的增加，重建网络的驱动力不足，限制了神经网络重建高光谱图像分辨率的进一步提升。
发明内容
本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于粒子动力学的高光谱图像超分辨重建方法，旨在通过提高基于粒子动力学的重建网络的驱动力，提高了高光谱图像重建的准确性。
为实现上述目的，本发明采取的技术方案包括以下步骤：
(1)获取训练样本集和测试样本集：
获取K种场景且每种场景包含多幅高光谱图像的共M幅高光谱图像，并对每幅高光谱图像进行预处理后进行降采样，再将每幅预处理高光谱图像作为其降采样后的图像块的标签，然后将M幅预处理高光谱图像分为相邻谱带数之间保持强相关性的D组，最后将每组中半数以上的图像块及其标签组成训练样本集R1，将剩余的图像块及其标签组成测试样本集E1，其中，K≥32；M≥800，D≥6；
(2)构建基于粒子动力学的重建网络模型O：
构建包括并行排布的D个粒子动力学子网络及与其输出端连接的第一融合模块的重建网络模型O，其中，D≥6，粒子动力学子网络用于对输入的样本进行图像重建；融合模块用于对D个粒子动力学子网络输出的重建图像进行融合；
(3)初始化参数：
初始化迭代次数为s，最大迭代次数为S，S≥10000，第s次迭代的基于粒子动力学的重建网络模型Os中可学习参数的权值、偏置参数分别为ws、bs，并令s＝1；
(4)获取训练样本的重建图像：
将训练样本集R1作为重建网络模型O的输入，第d个粒子动力学子网络对第d组训练样本进行特征提取并重建；第一融合模块对D幅重建的光谱特征图逐元素融合，得到与R1中训练样本的幅数相等的重建的高光谱图像；
(5)对重建网络模型的参数进行更新：
采用L1范数并通过每幅重建的高光谱图像和其对应的训练样本标签计算Os的损失值Ls，并通过空间-光谱全变分正则化计算每幅训练样本标签的垂直、水平和光谱方向的梯度和LSSTV；采用链式法则，分别计算 对ωs、bs进行更新，得到本次迭代的重建网络模型Os；
(6)获取训练好的重建网络模型：
判断s≥S是否成立，若是，得到训练好的重建网络模型O*，否则，令s＝s+1，Os＝O，并执行步骤(4)；
(7)获取高光谱图像重建结果：
将测试样本集E1作为训练好的重建网络模型O*的输入进行前向传播，得到所有测试样本对应的重建图像。
本发明与现有技术相比，具有以下优点：
本发明所构建的基于粒子动力学的高光谱图像超分辨重建网络包括并行排布的多个粒子动力学子网络；相邻的粒子动力学子网络用光谱相关性来增强光谱域中的网络表示，粒子动力学子网络中的光滑粒子模块利用多尺度的超高斯光滑粒子卷积层聚合图像内跨空间位置的上下文信息；实验结果表明，本发明提高了对光谱谱带的利用，能够更好地恢复超分辨图像中的光谱信息，进而有效提高了高光谱图像重建的准确性。
附图说明
图1为本发明的实现流程图；
图2为本发明的基于粒子动力学的重建网络模型的结构示意图；
图3为本发明实施例的混合空间光谱残差块结构示意图；
图4为本发明实施例的光滑粒子模块结构示意图。
具体实施方式
以下结合附图和具体实施例，对本发明作进一步详细描述。
参照图1，本发明包括如下步骤：
步骤1)获取训练样本集R1和测试样本集E1：
步骤1a)本发明从Cave数据集中获取K种场景的高光谱图像，每个场景包含31个波段，从400纳米到700纳米，像素大小为512×512；
步骤1b)获取K种场景且每种场景包含多幅高光谱图像的共M幅高光谱图像，并对每幅高光谱图像进行预处理后进行降采样，再将每幅预处理高光谱图像作为其降采样后的图像块的标签，然后将M幅预处理高光谱图像分为相邻谱带数之间保持强相关性的D组，最后将每组中半数以上的图像块及其标签组成训练样本集R1，将剩余的图像块及其标签组成测试样本集E1，其中，K≥32；M≥800，D≥6；
预处理的实现步骤为：对每幅高光谱图像进行随机水平翻转后进行90度旋转，实现对高光谱图像的数据增强，并对每幅数据增强后的高光谱图像进行1/4降采样后进行裁剪，得到M幅预处理后的大小为H×H的高光谱图像。
降采样的实现步骤为：对每幅预处理后的高光谱图像进行1/4降采样，得到大小为的图像块。
步骤2)构建基于粒子动力学的重建网络模型O，其结构如图2所示；
构建并行排布的D个粒子动力学子网络及与其输出端连接的第一融合模块的重建网络模型O，D≥6，在本实施例中，D＝8；每个粒子动力学子网络包括顺次连接的第一卷积层、T个顺次连接的混合空间光谱残差块、第一上采样模块、第二卷积层；其中，T＝3；每个混合空间光谱残差块包括顺次连接的第三卷积层、ReLU激活层、第四卷积层、光滑粒子残差块、通道注意力模块；光滑粒子残差块包括顺次连接的光滑粒子模块、第二融合模块；光滑粒子模块包括并行排布的上分支、中间分支、下分支；上分支包括顺次连接的第五卷积层、ReLU激活层、超高斯光滑粒子卷积层；中间分支包括顺次连接的第六卷积层、ReLU激活层、超高斯光滑粒子卷积层；下分支包括顺次级联的第七卷积层、ReLU激活层、最大池化层、超高斯光滑粒子卷积层、第二上采样模块；
第一、第二融合模块包括顺次级联的第八卷积层、ReLU激活层；
网络参数设置为：第一卷积层、第二卷积层、第三、第四、第八卷积层卷积核大小3*3，其通道数设置为64，第五、第六、第七卷积层卷积核大小1×1，其通道数设置为64；
超高斯光滑粒子卷积层：受光滑粒子流体动力学相关理论的启发，通过研究超分辨率重建过程中高光谱图像像素运动与光滑粒子流体动力学场中粒子运动的相似性。这种相似性体现在，从低分辨率的高光谱图像重建到高分辨率高光谱图像的过程中，可以被定义为图像内像素与像素交互，导致像素结构的重新排列，并导致像素值的重新排列。在光滑粒子流体动力学领域中，连续流体系统可以比作离散光滑粒子之间的相互作用，从而影响这些粒子的光滑函数值，并引导流体向前流动。
在光滑粒子流体动力学领域中，该系统用一系列相互作用的粒子来描述连续流体的状态。每个粒子携带不同的物理量，包括质量、速度等。为了研究整个系统的力学行为，通常采用场函数核近似来构造一个光滑粒子集的动力学方程，以跟踪每个光滑粒子的轨迹。具体地说，在基于场函数核近似方法构造的光滑核函数中，光滑粒子x的函数f可以描述为：
式中，f(x)是光滑粒子流体动力学系统中一个向量粒子x的三维函数，Ω是系统中包含所有光滑粒子x的积分体积。x′是围绕着原始粒子x的其他粒子。表示随距离衰减的光滑核函数，反映了周围粒子与原始粒子之间的相互作用力。随着两个相互作用粒子之间的距离的增加，它们的相互作用力逐渐减小。/>可以看作是周围粒子影响原始粒子的能力。
在离散的光滑粒子流体动力学系统中，假设离散光滑粒子x与N个最近的粒子xp相互作用，那么函数的积分表示可以近似为最近的粒子值的累积和。在离散系统中无穷小的体积元dx'可以看作是光滑粒子x处的无穷小体积ΔVp。
对于一个给定的光滑粒子，在它和它周围的粒子之间有成对的力。这些力的作用影响了这个光滑粒子的活动，同时，它对周围的光滑粒子产生反应，从而依次影响它们的运动轨迹。在光滑粒子流体动力学中，如果用粒子的体积ΔVp来代替等式中的无穷小元素dx'，则粒子的质量mp可以表示为：
mp＝ΔVpρp (3)
将等式(3)带入等式(2)，光滑粒子流体动力学中离散粒子在粒子q处的近似可以进一步得到为：
在光滑粒子流体动力学领域中，一个连续的流体可以看作是一系列相互作用的离散粒子。当前粒子的密度函数是通过将局部区域中的相邻粒子的对应值及其光滑粒子函数的和叠加得到的。这被称为粒子近似法。在等式中(4)中、f(xq)和f(xp)分别为离散粒子q和p处的光滑核函数值，ρp表示粒子p处的流体密度函数。根据粒子近似法，根据粒子近似方法，粒子p处的光滑核函数的值可以近似为粒子p处的流体密度函数,即f(xq)＝ρq和f(xp)＝ρp。我们可以进一步推导出如下方程：
光滑粒子流体动力学中近似的基本思想是通过找到附近的光滑粒子来测量任何给定位置上的任何物理量。它是通过加权平均值来完成的，其中权重是质量乘以核函数除以相邻粒子的密度。因此，上述方程可以解释为粒子q处的密度函数ρq的值，它可以通过将光滑核函数应用于其直接分支域中所有N个粒子对应的函数值mp的加权平均值来近似。
在神经网络的训练过程中，超分辨率网络从浅层特征图向深层特征图演变作为时间轴。每个特征图的像素值ρq i+1在(i+1)th层的更新是基于第ith层卷积权重通过加权和的方式将其N个相邻像素值ρi＝ρ1 i,···ρN i聚合到特征图中进行更新。具体如下所示：
方程(6)是一个连续的卷积公式，其中i指时间，ρi指特征图在i时刻的像素值函数，ρi+1指特征图在i+1时刻的像素值函数。方程(7)为方程(6)的离散形式。也就是说，特征图在i+1时刻的离散像素函数值近似为特征图在i时刻所有离散像素值对应的函数值/>与光滑核函数/>的加权平均值。
受到方程(5)中高斯型光滑核函数的启发，基于光滑粒子流体动力学中的光滑粒子的密度函数与高光谱图像超分辨率重建中的卷积函数之间的相似性，利用在光滑粒子流体动力学中构造高斯型光滑的思想，对标准卷积核函数进行了改进。我们用超高斯形式的空间变化核来修改卷积权值/>以增加边缘和细节的可见性。
其中，和/>分别为相邻像素的中间像素的坐标，∑为协方差矩阵。
∑＝UΛUT (9)
α＝[0° 30° 60° 90° 120° 150°]是旋转参数。σ1和σ2为伸长率参数。σ2/σ1＝[0.20.4 0.6 0.8 1.0]。σ1和σ2的巨大差异被认为可以很好地保持结构。
然后，本发明开发了多尺度的带有的光滑粒子残差块，以提高光谱相关性的利用率，如图4所示，输入ρIN进入三个分支，上、中间分支包含1×1的卷积层、Relu激活层和带有/>的超高斯光滑粒子卷积层，下分支中增加了一个池化层和一个上采样模块。光滑粒子残差块的输出特征ρSC为:
ρSC＝Ffuse(ρm·ρl+ρu) (12)
其中，Ffuse表示融合模块。ρu、ρm、ρl分别表示上、中、下三个分支的输出特征图。
步骤3)初始化参数：
初始化迭代次数为s，最大迭代次数为S，S≥10000，第s次迭代的基于粒子动力学的重建网络模型Os中可学习参数的权值、偏置参数分别为ws、bs，并令s＝1；
步骤4)获取训练样本的重建图像：
将训练样本集R1作为重建网络模型O的输入，第一个粒子动力学子网络中的第一卷积层对分组为的输入的高光谱图像进行卷积，得到训练样本的特征图Y1，将特征图Y1送入T个顺次连接的混合空间光谱残差块，t个混合空间光谱残差块的第三卷积层、ReLU激活层、第四卷积层分别对特征图Y1进行特征优化和增强，得到富含丰富细节的特征图Y2，将特征图Y2送入光滑粒子残差块，光滑粒子模块上分支中的第五卷积层、ReLU激活层对特征图Y2进行特征提取，得到丰富上下文相互依赖信息的的深度特征图Y3，超高斯光滑粒子卷积层对得到的深度特征图Y3充分利用光谱相关性以增加边缘和细节的可见性，得到特征图Y4。同时光滑粒子模块中间分支的第六卷积层、ReLU激活层对特征图Y2进行特征提取，得到丰富依赖信息的的深度特征图Y5，超高斯光滑粒子卷积层对得到的深度特征图Y5进行优化得到特征图Y6。同时光滑粒子模块下分支的第七卷积层、ReLU激活层、最大池化层对特征图Y2提取更多细节信息得到特征图Y7，特征图Y7送入超高斯光滑粒子卷积层得到的深度特征图Y8，第二上采样模块对特征图Y7上采样得到特征图Y8；用第二融合模块对得到的特征图Y4、特征图Y6、特征图Y8进行融合得到特征图Y9；重复T次，得到特征图Y10；第一上采样模块对特征图Y10重建，得到重建的特征图Y11，特征图Y11送入第二卷积层得到第一个粒子动力学子网络的输出特征图Y12；
同时，第二个粒子动力学子网络、第n个粒子动力学子网络分别对分组为的输入的高光谱图像进行重建，分别得到每个粒子动力学子网络的输出特征图Y12～Y12+(n-1)；
最后第一融合模块融合D个粒子动力学子网络输出，并重建得到富含图像细节信息的高分辨率的高光谱图像。
步骤5)对重建网络模型的参数进行更新：
采用L1范数并通过每幅重建的高光谱图像和其对应的训练样本标签计算Os的损失值Ls，并通过空间-光谱全变分(SSTV)计算每幅训练样本标签的垂直、水平和光谱方向的梯度和LSSTV；采用链式法则，分别计算 对ωs、bs进行更新公式分别为：
其中，表示重建图像，/>表示训练样本集中样本的标签,▽h、▽w和▽c分别表示计算/>的水平、垂直和光谱梯度的函数；ws'、bs'表示ws、bs更新后的值，lr表示学习率，/>表示求导操作；
步骤6)获取训练好的重建网络模型
判断s≥S是否成立，若是，得到训练好的重建网络模型O*，否则，令s＝s+1，Os＝O，并执行步骤(4)；
步骤7)获取高光谱图像重建结果：
将测试样本集E1作为训练好的重建网络模型O*的输入进行前向传播，得到所有测试样本对应的重建图像。
本发明将高光谱图像超分辨率和光滑粒子流体动力学进行了类比，受到光滑粒子流体动力学中的光滑粒子卷积的启发并引入了超高斯光滑粒子卷积层，不仅提高了图像重建的准确性，而且减轻了与网络学习相关的挑战。在Chikusei数据集、Cave数据集、Pavia数据集的实验结果验证了所提出的粒子动力学子网络的有效性，本发明提出的网络结构的性能优于现有网络结构的性能。本发明所提出的基于粒子动力学的高光谱图像超分辨重建方法对于遥感和航空航天等许多应用提供了巨大潜力。
结合仿真实验，对本发明的技术效果作进一步说明。
1.仿真条件与内容：
仿真实验的硬件平台为：处理器为Intel(R)Core i9-9900K CPU，主频为3.6GHz，内存为32GB、显卡为NVIDIA GeForce RTX 2080Ti。仿真实验的软件平台为：Ubuntu 16.04操作系统，python版本为3.7，Pytorch版本为1.7.1。
仿真实验中用到的高光谱图像数据集为Cave数据集。Cave由32个场景组成，每个场景包含31个波段，从400纳米到700纳米，像素大小为512×512。这些图像都是各种真实世界的材料和物体。本发明选择其中的20个场景组成数据集R0，剩下的场景用于测试数据。在Pavia数据集中，提取了该图像的最左边的部分来形成测试数据，在Chikusei数据集中提取该图像的最上面的部分来形成测试数据；将所有的测试数据组成测试样本集E1。
本发明所提出的基于粒子动力学的高光谱图像超分辨重建方法的峰值信噪比(PSNR)的有效性列于表1，信号相似度(SSIM)的有效性列于表2。现有技术在测试样本Chikusei数据集、Pavia数据集和Cave数据集上的峰值信噪比分别为39.9844dB、29.3253dB、38.4138dB，本发明在测试样本集Chikusei数据集、Pavia数据集和Cave数据集的峰值信噪比分别为40.4551dB、30.0675dB、38.9916dB。
表1
数据集 现有技术/PSNR 本发明/PSNR
Chikusei 39.9844dB 40.4551dB
Pavia 29.3253dB 30.0675dB
Cave 38.4138dB 38.9916dB
表2
数据集 现有技术/SSIM 本发明/SSIM
Chikusei 0.9288 0.9547
Pavia 0.8230 0.8885
Cave 0.9611 0.9644
图像重建的评级指标PSNR、SSIM越高，高光谱图像重建的质量就越好。综合上述仿真实验中的结果分析，本发明相对于现有技术，峰值信噪比有显著提高。

Claims (6)

1.一种基于粒子动力学的高光谱图像超分辨重建方法，其特征在于，包括以下步骤：
(1)获取训练样本集和测试样本集：
获取K种场景且每种场景包含多幅高光谱图像的共M幅高光谱图像，并对每幅高光谱图像进行预处理后进行降采样，再将每幅预处理高光谱图像作为其降采样后的图像块的标签，然后将M幅预处理高光谱图像分为相邻谱带数之间保持强相关性的D组，最后将每组中半数以上的图像块及其标签组成训练样本集R1，将剩余的图像块及其标签组成测试样本集E1，其中，K≥32；M≥800，D≥6；
(2)构建基于粒子动力学的重建网络模型O：
构建包括并行排布的D个粒子动力学子网络及与其输出端连接的第一融合模块的重建网络模型O，其中，D≥6，粒子动力学子网络用于对输入的样本进行图像重建；融合模块用于对D个粒子动力学子网络输出的重建图像进行融合；
(3)初始化参数：
初始化迭代次数为s，最大迭代次数为S，S≥10000，第s次迭代的基于粒子动力学的重建网络模型Os中可学习参数的权值、偏置参数分别为ws、bs，并令s＝1；
(4)获取训练样本的重建图像：
将训练样本集R1作为重建网络模型O的输入，第d个粒子动力学子网络对第d组训练样本进行特征提取并重建；第一融合模块对D幅重建的光谱特征图逐元素融合，得到与R1中训练样本的幅数相等的重建的高光谱图像；
(5)对重建网络模型的参数进行更新：
采用L1范数并通过每幅重建的高光谱图像和其对应的训练样本标签计算Os的损失值Ls，并通过空间-光谱全变分正则化损失LSSTV计算每幅训练样本标签的垂直、水平和光谱方向的梯度；采用链式法则，分别计算 对ωs、bs进行更新，得到本次迭代的重建网络模型Os；
(6)获取训练好的重建网络模型：
判断s≥S是否成立，若是，得到训练好的重建网络模型O*，否则，令s＝s+1，Os＝O，并执行步骤(4)；
(7)获取高光谱图像重建结果：
将测试样本集E1作为训练好的重建网络模型O*的输入进行前向传播，得到所有测试样本对应的重建图像。
2.根据权利要求1所述的方法，其特征在于，步骤(1)中所述的对每幅高光谱图像进行预处理，实现步骤为：对每幅高光谱图像进行随机水平翻转后进行90度旋转，实现对高光谱图像的数据增强，并对每幅数据增强后的高光谱图像进行1/4降采样后进行裁剪，得到M幅预处理后的大小为H×H的高光谱图像。
3.根据权利要求2所述的方法，其特征在于，步骤(1)中所述的对每幅高光谱图像进行预处理后进行降采样，具体为：对每幅预处理后的高光谱图像进行1/4降采样，得到大小为的图像块。
4.根据权利要求1所述的方法，其特征在于，步骤(2)中所述的重建网络模型O，包含D个并行排布的粒子动力学子网络，其中：
粒子动力学子网络，其中卷积层个数为2，该网络的具体结构为顺次连接的第一卷积层、T个顺次连接的混合空间光谱残差块、第一上采样模块、第二卷积层；
混合空间光谱残差块，其中卷积层个数为6，该网络的具体结构为顺次连接的第三卷积层、ReLU激活层、第四卷积层、光滑粒子残差块、通道注意力模块；光滑粒子残差块包括顺次连接的光滑粒子模块、第二融合模块；光滑粒子模块包括并行排布的上分支、中间分支、下分支；上分支包括顺次连接的第五卷积层、ReLU激活层、超高斯光滑粒子卷积层；中间分支包括顺次连接的第六卷积层、ReLU激活层、超高斯光滑粒子卷积层；下分支包括顺次级联的第七卷积层、ReLU激活层、最大池化层、超高斯光滑粒子卷积层、第二上采样模块；
第一、第二融合模块，包括顺次连接的第八卷积层、ReLU激活层；
网络参数设置为：第一卷积层、第二卷积层、第三、第四、第八卷积层卷积核大小3*3，其通道数设置为64，第五、第六、第七卷积层卷积核大小1×1，其通道数设置为64；
上采样模块由PixelShuffle实现，放大参数为4。
5.根据权利要求1所述的方法，其特征在于，步骤(5)中所述Os的损失值Ls和LSSTV，计算公式分别为：
其中，表示重建图像，/>表示训练样本集中样本的标签,/>和/>分别表示计算/>的水平、垂直和光谱梯度的函数。
6.根据权利要求1所述的方法，其特征在于，步骤(5)中所述对ωs、bs进行更新，更新公式分别为：
其中，ws'、bs'表示ws、bs更新后的值，lr表示学习率，表示求导操作。
CN202311457039.1A 2023-11-03 2023-11-03 基于粒子动力学的高光谱图像超分辨重建方法 Active CN117522687B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311457039.1A CN117522687B (zh) 2023-11-03 2023-11-03 基于粒子动力学的高光谱图像超分辨重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311457039.1A CN117522687B (zh) 2023-11-03 2023-11-03 基于粒子动力学的高光谱图像超分辨重建方法

Publications (2)

Publication Number Publication Date
CN117522687A CN117522687A (zh) 2024-02-06
CN117522687B true CN117522687B (zh) 2024-05-14

Family

ID=89742965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311457039.1A Active CN117522687B (zh) 2023-11-03 2023-11-03 基于粒子动力学的高光谱图像超分辨重建方法

Country Status (1)

Country Link
CN (1) CN117522687B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429349A (zh) * 2020-03-23 2020-07-17 西安电子科技大学 基于光谱约束对抗网络的高光谱图像超分辨率方法
CN113222822A (zh) * 2021-06-02 2021-08-06 西安电子科技大学 基于多尺度变换的高光谱图像超分辨率重建方法
CN113624691A (zh) * 2020-05-07 2021-11-09 南京航空航天大学 一种基于空间-光谱相关性的光谱图像超分辨率映射方法
CN114494015A (zh) * 2022-01-25 2022-05-13 西安电子科技大学 基于盲超分辨率网络的图像重建方法
CN114677271A (zh) * 2022-02-17 2022-06-28 西安电子科技大学 基于深度图像先验的高光谱图像超分辨率重建方法
CN114723608A (zh) * 2022-04-14 2022-07-08 西安电子科技大学 基于流体粒子网络的图像超分辨率重建方法
CN116612010A (zh) * 2023-06-16 2023-08-18 西安电子科技大学 基于光谱相关信息和空间高低频信息的超分辨率图像重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907449B (zh) * 2021-02-22 2023-06-09 西南大学 一种基于深度卷积稀疏编码的图像超分辨率重建方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429349A (zh) * 2020-03-23 2020-07-17 西安电子科技大学 基于光谱约束对抗网络的高光谱图像超分辨率方法
CN113624691A (zh) * 2020-05-07 2021-11-09 南京航空航天大学 一种基于空间-光谱相关性的光谱图像超分辨率映射方法
CN113222822A (zh) * 2021-06-02 2021-08-06 西安电子科技大学 基于多尺度变换的高光谱图像超分辨率重建方法
CN114494015A (zh) * 2022-01-25 2022-05-13 西安电子科技大学 基于盲超分辨率网络的图像重建方法
CN114677271A (zh) * 2022-02-17 2022-06-28 西安电子科技大学 基于深度图像先验的高光谱图像超分辨率重建方法
CN114723608A (zh) * 2022-04-14 2022-07-08 西安电子科技大学 基于流体粒子网络的图像超分辨率重建方法
CN116612010A (zh) * 2023-06-16 2023-08-18 西安电子科技大学 基于光谱相关信息和空间高低频信息的超分辨率图像重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SPH-Net: Hyperspectral Image Super-Resolution via Smoothed ParticleHydrodynamics Modeling;zhang mingjin;《IEEE》;20231031;全文 *
信息光学 光学信息处理、图像识别;中国光学与应用光学文摘;20050625(第03期);全文 *

Also Published As

Publication number Publication date
CN117522687A (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
Fan et al. Balanced two-stage residual networks for image super-resolution
CN108537192B (zh) 一种基于全卷积网络的遥感影像地表覆盖分类方法
CN112668494A (zh) 基于多尺度特征提取的小样本变化检测方法
Mostofa et al. Joint-SRVDNet: Joint super resolution and vehicle detection network
Wang et al. RSCNet: A residual self-calibrated network for hyperspectral image change detection
Han et al. Multi-level U-net network for image super-resolution reconstruction
Shang et al. Superresolution land cover mapping using a generative adversarial network
CN116310852A (zh) 双时相遥感影像无监督分类与变化检测方法及系统
Li et al. Enhanced bird detection from low-resolution aerial image using deep neural networks
Thirumaladevi et al. Remote sensing image scene classification by transfer learning to augment the accuracy
Patel et al. A novel approach for semantic segmentation of automatic road network extractions from remote sensing images by modified UNet
Shi et al. F 3 Net: Fast Fourier filter network for hyperspectral image classification
Tomar et al. Attentive ExFeat based deep generative adversarial network for noise robust face super-resolution
Hu et al. Multilevel progressive network with nonlocal channel attention for hyperspectral image super-resolution
CN117522687B (zh) 基于粒子动力学的高光谱图像超分辨重建方法
CN115565034A (zh) 基于双流增强网络的红外小目标检测方法
CN114663654B (zh) 一种改进YOLOv4网络模型及小目标检测方法
CN115512393A (zh) 一种基于改进HigherHRNet的人体姿态估计方法
CN113781311A (zh) 一种基于生成对抗网络的图像超分辨率重建方法
Lan et al. Spatial-Transformer and Cross-Scale Fusion Network (STCS-Net) for Small Object Detection in Remote Sensing Images
Sharma et al. Multilevel progressive recursive dilated networks with correlation filter (MPRDNCF) for image super-resolution
Ignatiev et al. Increasing the Spatial Resolution of Panchromatic Satellite Images Based on Generative Neural Networks
Unsalan Measuring land development in urban regions using graph theoretical and conditional statistical features
Chudasama et al. ISRGAN: Improved super-resolution using generative adversarial networks
Liu et al. Zero-shot ultrasound nondestructive testing image super-resolution based on reflection projection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant