CN115439325A - 低分辨率高光谱图像处理方法、装置、计算机程序产品 - Google Patents

低分辨率高光谱图像处理方法、装置、计算机程序产品 Download PDF

Info

Publication number
CN115439325A
CN115439325A CN202211099570.1A CN202211099570A CN115439325A CN 115439325 A CN115439325 A CN 115439325A CN 202211099570 A CN202211099570 A CN 202211099570A CN 115439325 A CN115439325 A CN 115439325A
Authority
CN
China
Prior art keywords
processing
features
image
feature
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211099570.1A
Other languages
English (en)
Inventor
李肯立
吴一鸣
曹嵘晖
周旭
段明星
谭光华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202211099570.1A priority Critical patent/CN115439325A/zh
Publication of CN115439325A publication Critical patent/CN115439325A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种低分辨率高光谱图像处理方法、装置、计算机设备、存储介质和计算机程序产品，通过获取低分辨率高光谱图像的各分组图像的浅层特征，基于处理网络分别对各分组图像的浅层特征进行处理，并将各分组图像的浅层特征与处理后的各分组图像的浅层特征进行像素相加处理，得到各分组图像的全局深层特征；处理网络包括多个自注意力机制模型；对各分组图像的全局深层特征分别进行亚像素卷积处理，并将亚像素卷积处理后的各分组图像的全局深层特征进行第一卷积处理和级联处理后得到低分辨率高光谱图像的光谱特征，根据低分辨率高光谱图像的光谱特征，得到与低分辨率高光谱图像对应的高分辨率高光谱图像。采用本方法能够提高目标识别准确率。

Description

低分辨率高光谱图像处理方法、装置、计算机程序产品
技术领域
本申请涉及图像处理技术领域，特别是涉及一种低分辨率高光谱图像处理方法、装置、 计算机设备、计算机可读存储介质和计算机程序产品。
背景技术
随着图像处理技术的发展，高光谱成像是一种可以捕获和分析一片空间区域内逐个点上 的光谱的精细技术，基于高光谱传感器可以接收光谱波段的光学信息，基于该光学信息可以 得到高光谱图像，进而，基于高光谱图像可以实现目标定位。
然而，由于高光谱传感器需要确保接收更多光谱波段的光学信息，导致通常获得的高光 谱图像的空间分辨率较低，降低了目标识别的准确率。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高目标识别准确率的低分辨率高光 谱图像处理方法。
第一方面，本申请提供了一种低分辨率高光谱图像处理方法，包括：获取低分辨率高光 谱图像的各所述分组图像的浅层特征；各所述分组图像是基于所述低分辨率高光谱图像的光 谱数对所述低分辨率高光谱图像进行分组处理后得到的，各所述分组图像的浅层特征是分别 对各所述分组图像进行第一卷积处理得到的；基于处理网络分别对各所述分组图像的浅层特 征进行处理，并将各所述分组图像的浅层特征与处理后的各所述分组图像的所述浅层特征进 行像素相加处理，得到各所述分组图像的全局深层特征；所述处理网络包括多个自注意力机 制模型，多个所述自注意力机制模型的结构相同，各所述自注意力机制模型的输出为各所述 自注意力机制模型连接的下一个自注意力机制模型的输入；根据所述低分辨率高光谱图像的 光谱特征，得到与所述低分辨率高光谱图像对应的高分辨率高光谱图像；所述低分辨率高光 谱图像的光谱特征是对各所述分组图像的全局深层特征分别进行亚像素卷积处理，并将亚像 素卷积处理后的各所述分组图像的全局深层特征进行所述第一卷积处理和级联处理后得到的。 第二方面，本申请提供一种低分辨率高光谱图像处理装置，所述装置包括：获取模块，获取 低分辨率高光谱图像的各所述分组图像的浅层特征；各所述分组图像是基于所述低分辨率高 光谱图像的光谱数对所述低分辨率高光谱图像进行分组处理后得到的，各所述分组图像的浅 层特征是分别对各所述分组图像进行第一卷积处理得到的；特征确定模块，基于处理网络分 别对各所述分组图像的浅层特征进行处理，并将各所述分组图像的浅层特征与处理后的各所 述分组图像的所述浅层特征进行像素相加处理，得到各所述分组图像的全局深层特征；所述 处理网络包括多个自注意力机制模型，多个所述自注意力机制模型的结构相同，各所述自注 意力机制模型的输出为各所述自注意力机制模型连接的下一个自注意力机制模型的输入；处 理模块，用于根据所述低分辨率高光谱图像的光谱特征，得到与所述低分辨率高光谱图像对 应的高分辨率高光谱图像；所述低分辨率高光谱图像的光谱特征是对各所述分组图像的全局 深层特征分别进行亚像素卷积处理，并将亚像素卷积处理后的各所述分组图像的全局深层特 征进行所述第一卷积处理和级联处理后得到的。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所 述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取低分辨 率高光谱图像的各所述分组图像的浅层特征；各所述分组图像是基于所述低分辨率高光谱图 像的光谱数对所述低分辨率高光谱图像进行分组处理后得到的，各所述分组图像的浅层特征 是分别对各所述分组图像进行第一卷积处理得到的；基于处理网络分别对各所述分组图像的 浅层特征进行处理，并将各所述分组图像的浅层特征与处理后的各所述分组图像的所述浅层 特征进行像素相加处理，得到各所述分组图像的全局深层特征；所述处理网络包括多个自注 意力机制模型，多个所述自注意力机制模型的结构相同，各所述自注意力机制模型的输出为 各所述自注意力机制模型连接的下一个自注意力机制模型的输入；根据所述低分辨率高光谱 图像的光谱特征，得到与所述低分辨率高光谱图像对应的高分辨率高光谱图像；所述低分辨 率高光谱图像的光谱特征是对各所述分组图像的全局深层特征分别进行亚像素卷积处理，并 将亚像素卷积处理后的各所述分组图像的全局深层特征进行所述第一卷积处理和级联处理后 得到的。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上 存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取低分辨率高光谱图 像的各所述分组图像的浅层特征；各所述分组图像是基于所述低分辨率高光谱图像的光谱数 对所述低分辨率高光谱图像进行分组处理后得到的，各所述分组图像的浅层特征是分别对各 所述分组图像进行第一卷积处理得到的；基于处理网络分别对各所述分组图像的浅层特征进 行处理，并将各所述分组图像的浅层特征与处理后的各所述分组图像的所述浅层特征进行像 素相加处理，得到各所述分组图像的全局深层特征；所述处理网络包括多个自注意力机制模 型，多个所述自注意力机制模型的结构相同，各所述自注意力机制模型的输出为各所述自注 意力机制模型连接的下一个自注意力机制模型的输入；根据所述低分辨率高光谱图像的光谱 特征，得到与所述低分辨率高光谱图像对应的高分辨率高光谱图像；所述低分辨率高光谱图 像的光谱特征是对各所述分组图像的全局深层特征分别进行亚像素卷积处理，并将亚像素卷 积处理后的各所述分组图像的全局深层特征进行所述第一卷积处理和级联处理后得到的。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程 序，该计算机程序被处理器执行时实现以下步骤：获取低分辨率高光谱图像的各所述分组图 像的浅层特征；各所述分组图像是基于所述低分辨率高光谱图像的光谱数对所述低分辨率高 光谱图像进行分组处理后得到的，各所述分组图像的浅层特征是分别对各所述分组图像进行 第一卷积处理得到的；基于处理网络分别对各所述分组图像的浅层特征进行处理，并将各所 述分组图像的浅层特征与处理后的各所述分组图像的所述浅层特征进行像素相加处理，得到 各所述分组图像的全局深层特征；所述处理网络包括多个自注意力机制模型，多个所述自注 意力机制模型的结构相同，各所述自注意力机制模型的输出为各所述自注意力机制模型连接 的下一个自注意力机制模型的输入；根据所述低分辨率高光谱图像的光谱特征，得到与所述 低分辨率高光谱图像对应的高分辨率高光谱图像；所述低分辨率高光谱图像的光谱特征是对 各所述分组图像的全局深层特征分别进行亚像素卷积处理，并将亚像素卷积处理后的各所述 分组图像的全局深层特征进行所述第一卷积处理和级联处理后得到的。
上述低分辨率高光谱图像处理方法、装置、计算机设备、存储介质和计算机程序产品， 通过基于低分辨率高光谱图像的光谱数，对低分辨率高光谱图像进行分组处理后可以得到低 分辨率高光谱图像的各分组图像，并分别对各分组图像进行第一卷积处理，可以得到低分辨 率高光谱图像的各分组图像的浅层特征，进而，基于处理网络分别对各分组图像的浅层特征 进行处理，并将各分组图像的浅层特征与处理后的各分组图像的特征进行像素相加处理，可 以得到各分组图像的全局深层特征；其中，处理网络是由多个自注意力机制模型组成的，多 个自注意力机制模型的结构相同，各自注意力机制模型的输出为各自注意力机制模型连接的 下一个自注意力机制模型的输入，进而，通过对各分组图像的全局深层特征分别进行亚像素 卷积处理，并将亚像素卷积处理后的各分组图像的全局深层特征进行第一卷积处理和级联处 理后可以得到低分辨率高光谱图像的光谱特征，并根据低分辨率高光谱图像的光谱特征，可 以得到与低分辨率高光谱图像对应的高分辨率高光谱图像。这样，通过使用自注意力机制模 型可以用于加强全局空间信息以及长距离特征的学习能力，使得可以获得低分辨率高光谱图 像的更多光谱波段的光学信息，从而提高低分辨率高光谱图像的空间分辨率，提高目标识别 的准确率。
附图说明
图1为一个实施例中低分辨率高光谱图像处理方法的应用环境图；
图2为一个实施例中低分辨率高光谱图像处理方法的流程示意图；
图3为一个实施例中基于处理网络分别对各分组图像的浅层特征进行处理，并将各分组 图像的浅层特征与处理后的各分组图像的浅层特征进行像素相加处理，得到各分组图像的全 局深层特征的流程示意图；
图4为一个实施例中基于分组图像的浅层特征得到中间特征的示意图；
图5为一个实施例中根据对应的中间特征，得到对应的处理网络中的第二个自注意力机 制模型的输入特征的流程示意图；
图6为一个实施例中根据对应的中间特征，得到对应的处理网络中的第二个自注意力机 制模型的输入特征的示意图；
图7为一个实施例中基于3D卷积模块处理对应的卷积模块输入特征，得到对应的卷积 模块输出特征的流程示意图；
图8为一个实施例中基于3D卷积模块处理对应的卷积模块输入特征，得到对应的卷积 模块输出特征的示意图；
图9为一个实施例中根据低分辨率高光谱图像的光谱特征，得到与低分辨率高光谱图像 对应的高分辨率高光谱图像的流程示意图；
图10为一个实施例中低分辨率高光谱图像处理方法的结构示意图；
图11和图12分别展示了在放大倍数为4倍和8倍时，不同方法使用CAVE数据集测试图像中在550nm和600nm光谱波段处的空间图像细节以及误差图；
图13和图14分别为在放大倍数为4倍和8倍时，不同方法使用Chikusei数据集测试结 果中在第60和第80光谱波段处的空间图像细节以及误差图；
图15为一个实施例中低分辨率高光谱图像处理装置的结构框图；
图16为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申 请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于 限定本申请。
随着图像处理技术的发展，高光谱成像技术是一种可以捕获和分析一片空间区域内逐个 点上的光谱的精细技术，由于可以检测到单个对象不同空间位置上的独特光谱特征，因此可 以检测到在视觉上无法区分的物质。
高光谱传感器是基于高光谱成像技术的传感器，通常地，基于高光谱传感器可以接收光 谱波段的光学信息，基于该光学信息可以得到高光谱图像，进而，基于高光谱图像可以实现 目标定位；其中，与自然图像的RGB三波段相比，高光谱图像中的波段为更窄的光谱波段， 例如，10nm-20nm，高光谱图像包含几十到几百个光谱波段。
然而，由于高光谱传感器需要确保接收更多光谱波段的光学信息，导致通常获得的高光 谱图像空间分辨率较低，空间分辨率低会导致像元的轮廓不够清晰，在目标检测和图像识别 任务中无法精确识别是否为所测目标，降低了目标识别和图像识别的准确率。
其中，在超分辨率领域，可以将包含超分辨率任务的上游视觉任务使用特定预训练的 Transformer结构处理，只需在特定任务数据集上进行微调，即可获得比卷积神经网络方法更 好的恢复效果，虽然已经出现IPT模型和SwinIR两种模型对自然图像的超分辨率问题进行探 索，并取得了相比纯卷积神经网络更好的重建效果，然而单张图像的高光谱超分辨率领域， 主流的网络结构还是采用2D卷积神经网络或3D卷积神经网络进行特征提取，并没有尝试使 用Transformer结构来设计网络，即在单张图像高光谱超分辨率重建中未利用Transformer结 构提高全局感受野和空间清晰度。
有鉴于此，本申请提供了一种低分辨率高光谱图像处理方法，该方法可以应用于如图1 所示的应用环境中。其中，终端102通过网络与服务器104进行通信，数据存储系统可以存 储服务器104需要处理的图像，数据存储系统可以集成在服务器104上，也可以放在云上或 其他网络服务器上；其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手 机、平板电脑、物联网设备和便携式可穿戴设备，便携式可穿戴设备可为智能手表、智能手 环、头戴设备等。
具体地，终端102获取低分辨率高光谱图像后，终端102可以向处理器104传输低分辨 率高光谱图像，这样，处理器104基于低分辨率高光谱图像的光谱数，对低分辨率高光谱图 像进行分组处理后可以得到低分辨率高光谱图像的各分组图像，并分别对各分组图像进行第 一卷积处理，可以得到低分辨率高光谱图像的各分组图像的浅层特征，处理器104基于处理 网络分别对各分组图像的浅层特征进行处理，并将各分组图像的浅层特征与处理后的各分组 图像的特征进行像素相加处理，可以得到各分组图像的全局深层特征；其中，处理网络是由 多个自注意力机制模型组成的，多个自注意力机制模型的结构相同，各自注意力机制模型的 输出为各自注意力机制模型连接的下一个自注意力机制模型的输入，进而，处理器104对各 分组图像的全局深层特征分别进行亚像素卷积处理，并将亚像素卷积处理后的各分组图像的 全局深层特征进行第一卷积处理和级联处理后可以得到低分辨率高光谱图像的光谱特征，处 理器104根据低分辨率高光谱图像的光谱特征，可以得到与低分辨率高光谱图像对应的高分 辨率高光谱图像。
在一个实施例中，如图2所示，提供了一种低分辨率高光谱图像处理方法，以该方法应 用于图1中的处理器104为例进行说明，包括以下步骤：
S202，获取低分辨率高光谱图像的各分组图像的浅层特征。
在本实施例中，低分辨率高光谱图像的各分组图像是基于低分辨率高光谱图像的光谱通 道对低分辨率高光谱图像进行分组处理后得到的，例如，若低分辨率高光谱图像用ILR表示， 将ILR分为N个分组，则ILR可以表示为：
Figure BDA0003839685520000061
其中，N小于低分辨 率高光谱图像的光谱数，重叠系数α为1。
在本实施例中，各分组图像的浅层特征是分别对各分组图像进行第一卷积处理得到的， 其中，第一卷积处理为预处理，第一卷积处理可以为3×3卷积处理，通过对各分组图像进行 3×3卷积处理，不仅可以提取各分组图像的线层特征，同时还可以提升特征通道维度，保留 更多信息，进而提高目标识别的准确率。
例如，若
Figure BDA0003839685520000062
表示低分辨率高光谱图像的第n个分组图像，
Figure BDA0003839685520000063
代表第n个分组图像 进行的3×3卷积处理，
Figure BDA0003839685520000064
代表第n个分组图像进行3×3卷积处理后得到的浅层特征，则
Figure BDA0003839685520000065
可以表示为：
Figure BDA0003839685520000066
S204，基于处理网络分别对各分组图像的浅层特征进行处理，并将各分组图像的浅层特 征和处理后的各分组图像的特征进行像素相加处理，得到各分组图像的全局深层特征。
在本实施例中，处理网络包括多个自注意力机制模型，自注意力机制模型为Transformer 模型，多个Transformer模型的结构相同，即，多个Transformer模型共享参数，具体地，处 理网络可以包括B个Transformer模型，通过使用B个Transformer模型分别对各分组图像的 浅层特征进行处理，可以得到各分组图像的全局深层特征，例如，若
Figure BDA0003839685520000067
代表第n个分组图 像的浅层特征，
Figure BDA0003839685520000068
表示第n个分组图像的全局深层特征，则
Figure BDA0003839685520000069
可以表示为：
Figure BDA00038396855200000610
Figure BDA00038396855200000611
Figure BDA00038396855200000612
表示第n个分组图像的第b个 Transformer模型，
Figure BDA00038396855200000613
为第n个分组图像的B个Transformer模块的输出，第n个分组图像的 B个Transformer模块的输出即为第n个分组图像的全局深层特征。
需要说明的是，B个Transformer模块通过局部跳跃连接，即，各Transformer模型的输 出为各Transformer模型局部跳跃连接的下一个Transformer模型的输入，通过B个Transformer 模块对各分组图像的浅层特征进行处理，可以减少梯度消失或梯度爆炸的情况。
S206，根据低分辨率高光谱图像的光谱特征，得到与低分辨率高光谱图像对应的高分辨 率高光谱图像；低分辨率高光谱图像的光谱特征是对各分组图像的全局深层特征分别进行亚 像素卷积处理，并将亚像素卷积处理后的各分组图像的全局深层特征进行第一卷积处理和级 联处理后得到的。
其中，通过对各分组图像的全局深层特征分别进行亚像素卷积处理，可以将各分组图像 的特征映射放大至预期放大倍数的一半，例如，若
Figure BDA0003839685520000071
表示第n个分组图像的全局空间特征，
Figure BDA0003839685520000072
表示对第n个分组图像的全局深层特征进行的亚像素卷积处理，
Figure BDA0003839685520000073
为第n个分组图像 的全局深层特征进行亚像素卷积处理后的输出，则
Figure BDA0003839685520000074
可以表示为：
Figure BDA0003839685520000075
其中，通过对亚像素卷积处理后的各分组图像的全局深层特征进行第一卷积处理，可以 将亚像素卷积处理后的各分组图像的维度降低至输入维度，其中，第一卷积处理为3×3卷积 处理，例如，若
Figure BDA0003839685520000076
表示第n个分组图像的全局深层特征进行亚像素卷积处理后得到的输出，
Figure BDA0003839685520000077
表示第n个分组图像的全局深层特征进行亚像素卷积处理后的输出进行的3×3卷积 处理，
Figure BDA0003839685520000078
表示第n个分组图像的全局深层特征进行亚像素卷积处理后的输出进行的3×3 卷积处理后得到的输出，则
Figure BDA0003839685520000079
可以表示为：
Figure BDA00038396855200000710
其中，通过级联操作，可以将多个分组图像的全局深层特征进行亚像素卷积处理后的输 出，在进行3×3卷积处理后得到的输出合并为和原光谱维度相同的特征映射，例如，若 concat(·)表示在光谱维度的级联处理，Fbranch表示低分辨率高光谱图像的光谱特征，则Fbranch可以表示为：
Figure BDA00038396855200000711
综上，在图2所示的实施例中，通过基于低分辨率高光谱图像的光谱数，对低分辨率高 光谱图像进行分组后可以得到低分辨率高光谱图像的各分组图像，并分别对各分组图像进行 第一卷积处理，可以得到低分辨率高光谱图像的各分组图像的浅层特征，基于处理网络分别 对各分组图像的浅层特征进行处理，并将各分组图像的浅层特征与处理后的各分组图像的特 征进行像素相加处理，可以得到各分组图像的全局深层特征；其中，处理网络是由多个自注 意力机制模型组成的，多个自注意力机制模型的结构相同，各自注意力机制模型的输出为各 自注意力机制模型连接的下一个自注意力机制模型的输入，进而，通过对各分组图像的全局 深层特征分别进行亚像素卷积处理，并将亚像素卷积处理后的各分组图像的全局深层特征进 行第一卷积处理和级联处理后可以得到低分辨率高光谱图像的光谱特征，并根据低分辨率高 光谱图像的光谱特征可以得到与低分辨率高光谱图像对应的高分辨率高光谱图像。这样，通 过使用自注意力机制模型可以用于加强全局空间信息以及长距离特征的学习能力，使得可以 获得低分辨率高光谱图像的更多光谱波段的光学信息，从而提高低分辨率高光谱图像的空间 分辨率，提高目标识别的准确率。
在图2所示的实施例的基础上，在其中一个实施例中，提供了一种基于处理网络分别对 各分组图像的浅层特征进行处理，并将各分组图像的浅层特征与处理后的各分组图像的浅层 特征进行像素相加处理，得到各分组图像的全局深层特征的流程示意图，如图3所示，以该 方法应用于图1中的处理器104为例进行说明，包括以下步骤：
S302，将各分组图像的浅层特征确定为处理网络中的第一个自注意力机制模型的输入， 并对输入进行层归一化处理，得到对应的层归一化处理后的第一特征。
S304，将对应的层归一化处理后的第一特征进行第二卷积处理，得到对应的第二卷积处 理后的第一特征。
在本实施例中，通过将各分组图像的浅层特征进行层归一化处理，可以改变特征权值区 间，其中，第二卷积处理包括依次进行的1×1卷积处理以及3×3深度可分离卷积处理。
S306，将对应的第二卷积处理后的第一特征进行通道分割处理，得到对应的通道分割处 理后的查询特征、键特征和值特征。
其中，结合S302至S306描述的内容，自注意力机制模型为Transformer模型，若
Figure BDA0003839685520000081
表示第一个Transformer模型的输入，LN(·)表示层归一化处理，W1×1(·)表示1×1卷积处理， WDW3×3(·)表示3×3深度可分离卷积处理，split(·)表示通道分割处理，Q表示查询特征， K表示键特征，V表示值特征，则，
Figure BDA0003839685520000082
S308，将对应的通道分割处理后的查询特征、键特征和值特征进行张量重塑处理，得到 对应的重塑后的查询特征、键特征和值特征。
S310，将对应的重塑后的键特征进行矩阵转置处理，并对转置处理后的键特征与对应的 重塑后的查询特征进行矩阵相乘处理，并对矩阵相乘后的特征经过softmax激活函数处理， 得到对应的softmax激活函数处理后的特征。
S312，将对应的softmax激活函数处理后的特征与对应的重塑后的值特征进行矩阵相乘 处理，并对矩阵相乘后的特征进行张量重塑处理，得到对应的重塑后的第一特征。
其中，结合S308至S312描述的内容，若Q,K,V分别表示查询特征、键特征和值特征，则
Figure BDA0003839685520000083
以及
Figure BDA0003839685520000084
可以分别表示重塑后的查询特征、键特征和值特征，转置处理后的键特征用
Figure BDA0003839685520000085
表示，则对应的softmax激活函数处理后的特征
Figure BDA0003839685520000086
可以表示为：
Figure BDA0003839685520000091
则重塑后的第一特征可以表示为
Figure BDA0003839685520000092
其中，若Q,K,V∈Rh×w×c，则
Figure BDA0003839685520000093
S314，将对应的重塑后的第一特征进行第三卷积处理，并将第三卷积处理后的第一特征 与处理网络中的第一个自注意力机制模型的输入进行像素相加处理，得到对应的处理网络中 的第一个自注意力机制模型的中间特征。
其中，第三卷积处理为1×1卷积处理，若
Figure BDA0003839685520000094
表示第一个Transformer模型的输入，
Figure BDA0003839685520000095
表示重塑后的第一特征，W1×1(·)表示1×1卷积处理，FSA表示第一个 Transformer模型的中间特征，则FSA可以表示为：
Figure BDA0003839685520000096
结合S302至S314所示的内容，如图4所示，提供了一种基于分组图像的浅层特征得到 中间特征的示意图，其中，每个分组都可以基于图4所示的步骤得到对应的中间特征。
S316，根据对应的中间特征，得到对应的处理网络中的第二个Transformer模型的输入特 征。
S318，将对应的处理网络中的最后一个自注意力机制模型的输出特征，确定为处理后的 各分组图像的浅层特征。
其中，自注意力机制模型为Transformer模型，基于最后一个Transformer模型的输入特 征，得到最后一个Transformer模型的输出特征的实现方式，可以参考S302至S316的内容适 应描述，在此不再赘述。
S320，将各分组图像的浅层特征与处理后的各分组图像的浅层特征进行像素相加处理， 得到各分组图像的全局深层特征。
在图3所示的内容的基础上，在其中一个实施例中，提供了一种根据对应的中间特征， 得到对应的处理网络中的第二个自注意力机制模型的输入特征的流程示意图，如图5所示， 以该方法应用于图1中的处理器104为例进行说明，包括以下步骤：
S502，将对应的中间特征进行层归一化处理，得到对应的层归一化处理后的第二特征。
S504，将对应的层归一化处理后的第二特征进行第二卷积处理，得到对应的第二卷积处 理后的第二特征。
S506，将对应的第二卷积处理后的第二特征进行分层处理，得到对应的分层处理后的卷 积模块输入特征和门控分支输入特征。
在本实施例中，第二卷积处理包括依次进行的1×1卷积处理和3×3深度可分离卷积处 理，具体地，结合S502至S506描述的内容，若FSA表示中间特征，LN(·)表示层归一化处理， W1×1(·)表示1×1卷积处理，WDW3×3(·)表示3×3深度可分离卷积处理，split(·)表示分层 处理，
Figure BDA0003839685520000101
表示卷积模块输入特征，
Figure BDA0003839685520000102
表示门控分支输入特征，则
Figure BDA0003839685520000103
Figure BDA0003839685520000104
S508，基于3D卷积模块处理对应的卷积模块输入特征，得到对应的卷积模块输出特征。
其中，若
Figure BDA0003839685520000105
表示卷积模块输入特征，
Figure BDA0003839685520000106
表示卷积模块输出特征，f3D(·)表示3D卷积模 块处理，则
Figure BDA0003839685520000107
可以表示为：
Figure BDA0003839685520000108
S510，将对应的门控分支输入特征进行GELU激活函数处理，得到对应的门控分支输出 特征。
其中，若
Figure BDA0003839685520000109
表示门控分支输入特征，GELU(·)表示GELU激活函数处理，
Figure BDA00038396855200001010
表示 门控分支输出特征，则
Figure BDA00038396855200001011
可以表示为：
Figure BDA00038396855200001012
S512，将对应的卷积模块输出特征以及对应的门控分支输出特征进行像素相乘处理，得 到对应的像素相乘处理后的特征。
S514，将对应的像素相乘处理后的特征进行第三卷积处理，并将对应的第三卷积处理后 的特征与对应的中间特征进行像素相加处理，得到处理网络中的第二个自注意力机制模型的 输入特征。
其中，第三卷积处理为1×1卷积处理，自注意力机制模型为Transformer模型，结合S512 和S514描述的内容，若“⊙”表示像素相乘处理，W1×1(·)表示1×1卷积处理，
Figure BDA00038396855200001013
表示 门控分支输出特征，
Figure BDA00038396855200001014
表示卷积模块输出特征，FSA表示中间特征，
Figure BDA00038396855200001015
表示第二个 Transformer模型的输入特征表示，则
Figure BDA00038396855200001016
可以表示为：
Figure BDA00038396855200001017
结合图5所示的内容，在其中一个实施例中，如图6所示，提供了一种根据对应的中间 特征，得到对应的处理网络中的第二个自注意力机制模型的输入特征的示意图，自注意力机 制模型为Transformer模型，该示意图所示的结构可以称为Transformer模型前馈部分网络结 构，其中，在前馈传播部分，Transformer模型使用GELU作为门控机制，通过GELU门控机 制对前馈信息进行约束，改善网络中的信息流，同时，在前馈传播部分还加入了3D卷积模 块分支，用于加强空间和光谱之间的相关性，通过提取空间和光谱的特征信息来进一步提升 重建效果，增加了空间高频信息的获取方式。
在图5和图6所示的内容的基础上，在其中一个实施例中，如图7所示，提供了一种基 于3D卷积模块处理对应的卷积模块输入特征，得到对应的卷积模块输出特征的流程示意图， 以该方法应用于图1中的处理器104为例进行说明，可以包括以下步骤：
S702，将对应的卷积模块输入特征进行张量重塑处理，并将对应的张量重塑处理后的特 征进行维度扩充处理，得到对应的维度扩充处理后的特征。
在本实施例中，维度扩充处理指的是卷积核大小为1×1×1的3D卷积处理，若
Figure BDA0003839685520000111
表示 卷积模块输入特征，
Figure BDA0003839685520000112
表示对
Figure BDA0003839685520000113
进行张量重塑处理后的特征，W1×1×1(·)表示1×1×1卷积 处理，Funsqueese表示维度扩充处理后的特征，则Funsqueese可以表示为：
Figure BDA0003839685520000114
Figure BDA0003839685520000115
其中，对
Figure BDA0003839685520000116
进行维度扩充处理，即为对
Figure BDA0003839685520000117
进行升维处理，以适应3D卷积操作，进而通过3D卷积将新增维度扩充至R维。
S704，基于并行的两个非对称3D卷积分别将对应的维度扩充处理后的特征进行卷积处 理，得到对应的卷积处理后的第三特征和第四特征。
S706，将对应的卷积处理后的第三特征和第四特征进行像素相加处理，得到对应的像素 相加后的特征。
在本实施例中，通过并行的两个非对称3D卷积可以寻找空间和光谱相关性，因此，通 过非对称3D卷积进行卷积处理是分别通过空间和光谱维度来处理特征，而且，同时使用两 个非对称3D卷积进行卷积处理也可以减少网络的计算量和参数量。
例如，若Funsqueese表示维度扩充处理后的特征，W1×k×k(·)和Wk×1×1(·)分别代表卷积核大 小为1×k×k和k×1×1的非对称3D卷积，Ffind表示像素相加后的特征，则Ffind可以表示 为：Ffind＝W1×k×k(Funsqueese)+Wk×1×1(Funsqueese)；其中，k的具体值，可以根据实际应用场景设定，本实施例不作具体限定。
S708，将对应的像素相加后的特征进行降维处理，并将降维处理后的特征进行张量重塑 处理，得到张量重塑处理后的特征。
S710，将张量重塑处理后的特征与对应的卷积模块输入特征进行像素相加处理，得到对 应的卷积模块输出特征。
在本实施例中，可以通过卷积核大小为1×1×1的3D卷积将对应的像素相加后的特征 进行降维处理，再使用局部残差连接得到卷积模块输出特征，其中，若W1×1×1(·)表示卷积核 大小为1×1×1的3D卷积处理，Ffind表示像素相加后的特征，Ffind'表示像素相加后的特征， 则Ffind'＝W1×1×1(Ffind)，进一步地，若Ffind”表示张量重塑处理后的特征，
Figure BDA0003839685520000118
表示卷积模 块输入特征，
Figure BDA0003839685520000119
表示卷积模块输出特征，则
Figure BDA00038396855200001110
可以表示为：
Figure BDA00038396855200001111
结合图7所示的内容，在其中一个实施例中，如图8所示，提供了一种基于3D卷积模块处理对应的卷积模块输入特征，得到对应的卷积模块输出特征的示意图，图8所示的内容， 可以参考图7所示的内容适应描述，在此不再赘述。
在图2所示的内容的基础上，在其中一个实施例中，如图9所示，提供了一种根据低分 辨率高光谱图像的光谱特征，得到与低分辨率高光谱图像对应的高分辨率高光谱图像的流程 示意图，以该方法应用于图1中的处理器104为例进行说明，可以包括以下步骤：
S902，对低分辨率高光谱图像的光谱特征进行第一卷积处理，得到处理后的低分辨率高 光谱图像的光谱特征。
其中，第一卷积处理为3×3卷积处理，若Fbranch表示低分辨率高光谱图像的光谱特征， W3×3(·)表示3×3卷积处理，可以通过一个预处理提取全局浅层特征Fpre，预处理即为3×3 卷积处理，则Fpre可以表示为Fpre＝W3×3(Fbranch)。
S904，基于处理网络对低分辨率高光谱图像的全局浅层特征进行处理，并将全局浅层特 征与处理后的全局浅层特征进行像素相加处理，得到低分辨率高光谱图像的全局深层特征。
其中，若Fpre表示低分辨率高光谱图像的全局浅层特征，可以通过B个Transformer模型 提取全局深层特征FTM，则FTM可以表示为：
Figure BDA0003839685520000121
其中，
Figure BDA0003839685520000122
表示第b个Transformer模型的输出特征，FTM为整个Transformer模型的输 出，最后，通过亚像素卷积处理对整个Transformer模型的输出特征进行上采样处理，将特征 映射上采样到目标的放大倍数，可以得低分辨率高光谱图像的全局深层特征Fprimary，则 Fprimary可以表示为：Fprimary＝fUP(FTM)，fUP(·)为处理网络中亚像素卷积的放大处理。
S906，将上采样预处理图像的光谱特征与全局深层特征进行像素相加处理，得到低分辨 率高光谱图像的像素特征。
S908，对低分辨率高光谱图像的像素特征进行第一卷积处理，得到与低分辨率高光谱图 像对应的高分辨率高光谱图像。
其中，在S906和S908描述的内容中，上采样预处理图像是对低分辨率高光谱图像进行 上采样处理，并对上采样处理后的低分辨率高光谱图像进行第三卷积处理得到的，第三卷积 处理为1×1卷积处理，第三卷积处理也即为插值放大处理，第一卷积处理为3×3卷积操作。
例如，若f↑(·)为插值放大处理，W1×1(·)为1×1卷积处理，W3×3(·)为3×3卷积处理， 低分辨率高光谱图像用ILR表示，Fprimary表示低分辨率高光谱图像的全局深层特征，与低分辨 率高光谱图像对应的高分辨率高光谱图像用ISR表示，则ISR可以表示为：ISR＝W3×3(Fprimary+ W1×1(f↑(ILR)))。
需要说明的是，S906采用的是渐进式上采样处理，既可以减少了前处理上采样处理所带 来的庞大计算量，又解决了后处理上采样处理高频信息提取不充分导致重建图像模糊问题。
结合图2至图9所示的内容，在其中一个实施例中，如图10所示，提供了一种低分辨率 高光谱图像处理方法的结构示意图，其中，图10所示的内容可以参考前述内容适应描述，在 此不再赘述。
需要说明的是，图10所示的结构为用于得到与低分辨率高光谱图像对应的高分辨率高光 谱图像的总体网络结构FNet，其中，总体网络结构还包括图4、图6以及图8所示的结构，其 中，若ILR表示输入的低空间分辨率高光谱图像，ISR表示与ILR对应的高空间分辨率高光谱图 像，则ISR可以表示为：ISR＝FNet(ILR)。
结合上述内容，需要说明的是，构建总体网络结构使用的损失函数包括L1损失函数、光 谱角度匹配(Spectral Angle Mapping，SAM)损失函数以及空间光谱全变分(Spatial-spectral Total Variation，SSTV)损失函数，具体地，构建处理网络、构建图4、图6以及图8所示的 结构使用的损失函数即为SAM损失函数以及空间光谱全变分SSTV损失函数。
可以理解的是，在空间信息约束方面，大部分超分辨率模型都使用L1作为损失函数，相 比于均方差(Mean Squared Error，MSE)损失函数，L1损失函数在训练时收敛更快，对图像 中无纹理区域的亮度和颜色变化更加敏感，因此，在本申请中，选用了L1损失作为重建高光 谱图像的空间信息约束，此外，还同时使用SSTV损失函数和SAM损失函数作为光谱畸变损 失函数，降低重建图像的光谱畸变。
其中，L1损失函数可以表示为：
Figure BDA0003839685520000131
SSTV损失函数可以表示 为：
Figure BDA0003839685520000132
SAM损失函数可以表示为：
Figure BDA0003839685520000133
进一步地，总的损失函数可以表示为：
Figure BDA0003839685520000134
Figure BDA0003839685520000135
其中，N为模型训练时的高光谱图像个数，
Figure BDA0003839685520000136
表示第N张高分辨率高光谱 图像，
Figure BDA0003839685520000137
表示通过模型生成的第N张超分辨率高光谱图像。
Figure BDA0003839685520000138
分别表示计算
Figure BDA0003839685520000139
的水平梯度、垂直梯度和谱梯度的函数。α和β表示可调超参数。
结合上述内容，可以理解的是，在本申请中，通过将提取全局空间特征和长距离信息的 Transformer模型应用到高光谱图像超分辨率中作为总体网络结构，总体网络结构的目的是将 低空间分辨率的高光谱图像通过本申请提出的端到端网络预测出相应高空间分辨率的高光谱 图像，具体地，基于空间-光谱先验网络的超分辨网络(SSPSR)的结构，将特征提取部分使 用Transformer模型代替，增强了空间维度的全局特征的学习能力，增强网络的长距离信息保 持能力，增强空间细节特征表示；同时，为探索高光谱图像中光谱和空间维度的相关性，本 申请提出了一种3D卷积模块，3D卷积模块存在于Transformer模型中的前馈网络部分，通 过3D卷积模块可以提取光谱和空间维度之间的潜在特征，提高重建效果；最后，由于光谱 畸变会带来对高级计算机视觉任务带来准确率和精度方面的误差，因此，在本申请中采用了 L1损失、SSTV损失和SAM损失共同对空间细节和光谱偏差进行约束，在不影响空间恢复 效果的前提下减少了光谱畸变。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示 依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说 明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上 所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些 步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者 阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段 的至少一部分轮流或者交替地执行。
为了更好地验证本申请提出的总体网络的性能，后续将从数据集、实现细节、CAVE数 据集结果对比、Chikusei数据集结果对比四个部分来介绍总体网络的性能。
在本申请中，通过使用CAVE数据集和Chikusei数据集分别从日常与遥感高光谱图像对 总体网络的性能进行验证，其中，CAVE数据集是由哥伦比亚大学的Yasuma等人使用冷却电 荷耦合器件(charge coupled device，CCD)相机拍摄生成，例如，CDD相机可以为Apogee Alta U260相机，包含400nm到700nm的31个光谱波段，空间大小为512×512的32张日常高光 谱图像，具体地，可以随机使用20张图像作为训练集，其中，10％的数据当作验证集，12 张图像作为测试集；Chikusei数据集是由东京大学的Yokoya等人使用HeadwallHyperspec-VNIR-C传感器拍摄的高光谱图像，包含363nm到1018nm的128个光谱波段，空 间分辨率为2517×2335；由于缺失边缘信息，首先将模糊的边缘去除，保留空间分辨率为2304×2048，再选取4幅不重叠、空间分辨率为512×512的图像作为测试集，其余图像90％作为训练集，10％作为验证集。
在本申请中，实现细节对应的内容为：总体网络除重建部分之外，所有2D卷积网络的 输出通道数都为256，3D卷积网络的输出通道为16，处理网络中的Transformer模型数量N 为3，其中，使用SSPSR的分组方式对低分辨率高分辨率图像进行分组处理，具体地，对于CAVE数据集，将32个光谱波段分为5组分支，每组8条光谱通道，每组之间重叠光谱数为 2；对于Chikusei数据集，将128个光谱波段分为21组，每组同样为8条光谱通道，重叠光 谱数为2；其中，使用ADAM作为优化器，初始化学习率为1e-4，训练轮数为40个epochs， 当训练到第30epoch时将学习率减半；实验环境采用图形处理器(graphics processing unit， GPU)版本的Pytorch，使用RTX2070Super GPU进行训练。
在对总体网络的性能进行验证的过程中，设置了六种评价标准，包括：均方根误差(Root Mean Square Error，RMSE)、峰值信噪比(Peak Signal to Noise Ratio，PSNR)、结构相似度 (Structural Similarity，SSIM)、互相关(Cross-Correlation，CC)光谱角度匹配(Spectral Angle Mapping，SAM)和相对全局误差(Erreur Relative GlobaleAdimensionnelle Desynthese，ERGAS)； 其中，RMSE、PSNR和SSIM为常用图像恢复质量指标，而CC、SAM和ERGAS是高光谱 融合任务中广泛采用的评价指标，SAM、ERGAS和RMSE的指标值越低越好，最佳值分别 为0、0和0，而CC、PSNR和SSIM的指标分别越接近1、正无穷和1越好。
如表1所示，提供了CAVE数据集的测试图像的5种不同方法对6个评价指标的平均定 量对比，其中，表1展示了在12张大小为512×512×31的CAVE测试集上双三次线性插值方法(bicubic方法)与3种基于深度学习的单张图像高光谱算法(3DCNN方法、GDRRN方 法以及SSPSR方法)和本申请提出的方法(3D-THSR方法)在6个评价指标上的对比，其 中，粗体表示最好效果，下划线表示为次好效果。
从表1可以看出，不管放大倍数是4倍还是8倍，本申请提出的总体网络在绝大部分评 价指标都取得了最好的效果，尤其是在4倍放大倍数下，本申请提出的总体网络的PSNR值 高于SSPSR方法0.63db，总体网络的SAM值也比SSPSR方法低了0.06，因此，可以说明 本申请提出的总体网络中的Transformer模型提取全局特征时提取了更多的高频信息，对高光 谱图像的空间重塑有着一定的作用，而SAM损失的加入也可以有效降低光谱角度匹配值。
表1
Figure BDA0003839685520000151
其中，bicubic方法为双三次线性插值方法；3D方法指的是基于三维全卷积神经网络的 方法，该3D方法来自于文献名称为“Hyperspectral Image Spatial Super-Resolution via 3D Full Convolutional Neural Network”的外文文献；GDRRN方法指的是基于分组深度递归残差网络 的方法，该GDRRN方法来自于文献名称为“SingleHyperspectral Image Super-Resolution with Grouped Deep Recursive ResidualNetwork”的外文文献；SSPSR方法指的是基于空间光谱先 验超分辨率网络的方法，该SSPSR方法来自于文献名称为“Learning Spatial-Spectral Prior for Super-Resolution ofHyperspectral Imagery”的外文文献；3D-THSR方法指的是基于3D卷积与 Transformer结构的超分辨率网络的方法，该3D-THSR方法也即本申请提出的方法。
如图11和图12所示，分别展示了在放大倍数为4倍和8倍时，不同方法使用CAVE数据集测试图像中在550nm和600nm光谱波段处的空间图像细节以及误差图，从视觉上可以看出，本申请所提出的总体网络在图11中比其它方法能恢复出更多高频空间细节，所提出的总 体网络能够正确恢复出色卡下方的文字，而SSPSR方法在字母“m”和字母“e”的恢复中出现了细节丢失，其它方法都没能正确恢复出文字信息；图12中所提出的总体网络的效果也能 够更加清晰的恢复毛绒玩具的眼睛轮廓，因此，可以说明本申请提出的总体网络中使用Transformer提取了全局特征，对高频的空间细节恢复有提升；而且，此外，本申请提出的总体网络也可以取得更低的光谱误差，与之相比bicubic方法和3D方法在高频信息，即轮廓处产生了较高的误差。
如表2所示，提供了Chikusei数据集的测试图像的5种不同方法对6个评价指标的平均 定量对比，其中，表2展示了在12张大小为512×512×128的Chikusei测试集上双三次线性 插值方法(bicubic方法)与3种基于深度学习的单张图像高光谱算法(3DCNN方法、GDRRN 方法、SSPSR方法)和本申请提出的方法(3D-THSR方法)在6个评价指标上的对比，其中 粗体表示最好效果，下划线表示为次好效果。
从表2中可以看出，本申请提出的总体网络在放大倍数为4倍时可以取得最好的效果， 本申请提出的总体网络并未在8倍放大倍数下所有的评价指标中取得最好，这可能是因为 Chikusei数据集属于遥感图像，在成像条件上容易收到空气中水汽或颗粒物的影响导致收到 噪声影响，使得3D卷积网络无法正确提取光谱空间相关性特征，导致SAM指标较差；并且 放大倍数为8倍时输入的低分辨率图像丢失过多高频细节，无法发挥本申请提出的总体网络 中的Transformer模块提取全局信息的作用，导致SSIM指标略低于SSPSR方法。
表2
Figure BDA0003839685520000161
Figure BDA0003839685520000171
如图13和图14所示，分别展示了在放大倍数为4倍和8倍时，不同方法使用Chikusei 数据集测试结果中在第60和第80光谱波段处的空间图像细节以及误差图，其中，从空间细 节图可以看出，在图13中，本申请提出的总体网络展示的建筑物细节相比其它方法锐度更高， 细节更多；在图14中，本申请提出的总体网络在农田的轮廓也会比其他方法清晰度更高，而 在误差图中，本申请提出的总体网络虽然相比其他方法区别不大，但是在某些边缘和轮廓上 有更低的光谱误差。
在进行结果分析时，本申请将使用Transformer模型与3D卷积模块的消融实验、3D卷 积通道数的消融实验、以及损失函数的消融实验来讨论本申请所提出的总体网络的有效性。
其中，本申请讨论了总体网络中的Transformer模块与3D卷积模块在高光谱超分辨率重 建效果的影响，保证了训练环境和损失函数的一致性，损失函数的一致性指的是使用了L1 损失函数、SSTV损失函数以及SVM损失函数。
如表3所示，提供了在放大倍数为4倍时CAVE数据集对Transformer模型与3D卷积模 块的消融研究在评价指标上的效果对比，其中，w/o Transformer&3Dconv的效果比SSPSR 方法拥有显著效果提高，证明所加入的Transformer模型能够有效通过自注意力模块提取全局 的特征信息，提高重建效果，而w/o 3Dconv的效果在w/o Transformer&3Dconv的模型上有 更进一步的提高，可以证明3D卷积在原有网络结构的基础上能够进一步提取光谱和空间之 间的潜在信息，进一步可以提高超分辨率重建效果。
表3
Figure BDA0003839685520000181
其中，本申请讨论了所提出的3D卷积模块中扩充维度R的通道数，如表4所示，提供了在放大倍数为4倍时CAVE数据集对3D卷积层数的消融研究在评价指标上效果对比，其中，实验设置了1、8、16、24四种不同通道数。从通道数1、8、16的三个实验可以看出， 随着3D卷积扩充维度通道数增加，所提取的光谱和空间的深层信息越多，重建效果越好， 但在通道数24中实验效果反而有所下降，可以推断出随着扩充维度的通道数增加导致冗余特 征增加，降低重建效果，并且扩充维度通道数增加同样会带来参数量和计算量增加的问题，降低算法的运行效率；因此，在本申请中，可以将3D卷积扩充维度R的通道数设定为16。
表4
Figure BDA0003839685520000182
其中，本申请还讨论了L1损失函数、SSTV损失函数和SAM损失函数在所提出模型训练结果的有效性，其中，以L1损失函数作为基准，在此基础上，无论是L1损失和SAM损 失结合，还是L1损失和SSTV损失组合，都对重建效果有提升，其中，在L1损失上加入SSTV 损失比加入SAM损失对重建效果提升更多，而共同使用L1损失、SSTV损失和SAM损失， 除了在指标SAM损失中会有所下降之外，在其他指标上都有更进一步提升，可以推测两种 针对光谱畸变的损失函数使用会对空间信息有着进一步的约束作用，但会以光谱畸变略微升 高为代价，基于上述损失函数的消融实验研究，可以选择共同使用L1损失、SSTV损失和SAM 损失，同时，可以将可调超参数α和β都设置为10-3。
综上所述，本申请提出的图像处理方法，可以应用在处理低空间分辨率的高光谱图像中， 以减少更换高空间分辨率的高光谱光学传感器的开销，而且，本申请提出的图像处理方法是 一种基于Transformer模型和3D卷积的单张图像高光谱超分辨率重建方法，属于底层计算机 视觉任务，对高光谱目标检测和目标识别等高层次计算机视觉任务有增强效果，具体地，在 本申请中，基于Transformer模型的单张图像高光谱重建算法3D-THSR，通过提取全局空间 特征来提升空间高频细节学习，通过在Transformer模型的前馈传播部分加入了3D卷积模块， 可以用于探索空间和光谱之间的潜在特征，提升重建效果；同时，本申请使用了三种损失函 数，分别对空间和光谱信息进行约束，与现有单张图像的高光谱超分辨率算法相比，所提出 的方法不仅提高了空间高频细节信息，同时也减少了光谱误差。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的低分辨率高光 谱图像处理方法的低分辨率高光谱图像处理装置。该装置所提供的解决问题的实现方案与上 述方法中所记载的实现方案相似，故下面所提供的一个或多个图像处理装置实施例中的具体 限定可以参见上文中对于低分辨率高光谱图像处理方法的限定，在此不再赘述。
在一个实施例中，如图15所示，提供了一种低分辨率高光谱图像处理装置，包括：获取 模块1502、特征确定模块1504和处理模块1506，其中：获取模块1502，用于获取低分辨率 高光谱图像的各分组图像的浅层特征；各分组图像是基于低分辨率高光谱图像的光谱数对低 分辨率高光谱图像进行分组处理后得到的，各分组图像的浅层特征是分别对各分组图像进行 第一卷积处理得到的；特征确定模块1504，用于基于处理网络分别对各分组图像的浅层特征 进行处理，并将各分组图像的浅层特征与处理后的各分组图像的浅层特征进行像素相加处理， 得到各分组图像的全局深层特征；处理网络包括多个自注意力机制模型，多个自注意力机制 模型的结构相同，各自注意力机制模型的输出为各自注意力机制模型连接的下一个自注意力 机制模型的输入；处理模块1506，用于根据低分辨率高光谱图像的光谱特征，得到与低分辨 率高光谱图像对应的高分辨率高光谱图像；低分辨率高光谱图像的光谱特征是对各分组图像 的全局深层特征分别进行亚像素卷积处理，并将亚像素卷积处理后的各分组图像的全局深层 特征进行第一卷积处理和级联处理后得到的。
上述低分辨率高光谱图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合 来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件 形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图 可以如图16所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中， 该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储 介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器 为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用 于存储低分辨率高光谱图像。该计算机设备的网络接口用于与外部的终端通过网络连接通信。 该计算机程序被处理器执行时以实现一种低分辨率高光谱图像处理方法。
本领域技术人员可以理解，图16中示出的结构，仅仅是与本申请方案相关的部分结构的 框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包 括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算 机程序，该处理器执行计算机程序时实现上述实施例中的方法的步骤。在一个实施例中，提 供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上 述实施例中的方法的步骤。在一个实施例中，提供了一种计算机程序产品，包括计算机程序， 该计算机程序被处理器执行时实现上述实施例中的方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计 算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存 储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所 提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和 易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、 磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁 变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储 器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓 冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory， DRAM)等。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图 形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各 个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应 当认为是本说明书记载的范围。以上所述实施例仅表达了本申请的几种实施方式，其描述较 为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领 域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些 都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种低分辨率高光谱图像处理方法，其特征在于，包括：
获取低分辨率高光谱图像的各所述分组图像的浅层特征；各所述分组图像是基于所述低分辨率高光谱图像的光谱数对所述低分辨率高光谱图像进行分组处理后得到的，各所述分组图像的浅层特征是分别对各所述分组图像进行处理得到的；
基于处理网络分别对各所述分组图像的浅层特征进行处理，并将各所述分组图像的浅层特征与处理后的各所述分组图像的所述浅层特征进行像素相加处理，得到各所述分组图像的全局深层特征；所述处理网络包括多个自注意力机制模型，多个所述自注意力机制模型的结构相同，各所述自注意力机制模型的输出为各所述自注意力机制模型连接的下一个自注意力机制模型的输入；
根据所述低分辨率高光谱图像的光谱特征，得到与所述低分辨率高光谱图像对应的高分辨率高光谱图像；所述低分辨率高光谱图像的光谱特征是对各所述分组图像的全局深层特征分别进行亚像素卷积处理，并将亚像素卷积处理后的各所述分组图像的全局深层特征进行所述第一卷积处理和级联处理后得到的。
2.根据权利要求1所述的方法，其特征在于，所述基于处理网络分别对各所述分组图像的浅层特征进行处理，并将各所述分组图像的浅层特征与处理后的各所述分组图像的所述浅层特征进行像素相加处理，得到各所述分组图像的全局深层特征，包括：
将各所述分组图像的浅层特征确定为所述处理网络中的第一个自注意力机制模型的输入，并对所述输入进行层归一化处理，得到对应的层归一化处理后的第一特征；
将对应的层归一化处理后的所述第一特征进行第二卷积处理，得到对应的第二卷积处理后的第一特征；
将对应的第二卷积处理后的所述第一特征进行通道分割处理，得到对应的通道分割处理后的查询特征、键特征和值特征；
将对应的通道分割处理后的所述查询特征、所述键特征和所述值特征进行张量重塑处理，得到对应的重塑后的所述查询特征、所述键特征和值特征；
将对应的重塑后的所述键特征进行矩阵转置处理，并对转置处理后的所述键特征与对应的重塑后的所述查询特征进行矩阵相乘处理，并对矩阵相乘后的所述特征经过softmax激活函数处理，得到对应的softmax激活函数处理后的特征；
将对应的softmax激活函数处理后的所述特征与对应的重塑后的所述值特征进行矩阵相乘处理，并对矩阵相乘后的特征进行张量重塑处理，得到对应的重塑后的第一特征；
将对应的重塑后的所述第一特征进行第三卷积处理，并将第三卷积处理后的所述第一特征与所述处理网络中的第一个自注意力机制模型的输入进行像素相加处理，得到对应的所述处理网络中的第一个自注意力机制模型的中间特征；
根据对应的所述中间特征，得到对应的所述处理网络中的第二个自注意力机制模型的输入特征；
将对应的所述处理网络中的最后一个自注意力机制模型的输出特征，确定为处理后的各所述分组图像的所述浅层特征；
将各所述分组图像的浅层特征与处理后的各所述分组图像的所述浅层特征进行像素相加处理，得到各分组图像的全局深层特征。
3.根据权利要求2所述的方法，其特征在于，所述根据对应的所述中间特征，得到对应的所述处理网络中的第二个自注意力机制模型的输入特征，包括：
将对应的所述中间特征进行层归一化处理，得到对应的层归一化处理后的第二特征；
将对应的层归一化处理后的所述第二特征进行所述第二卷积处理，得到对应的所述第二卷积处理后的第二特征；
将对应的所述第二卷积处理后的所述第二特征进行分层处理，得到对应的分层处理后的卷积模块输入特征和门控分支输入特征；
基于3D卷积模块处理对应的所述卷积模块输入特征，得到对应的卷积模块输出特征；
将对应的门控分支输入特征进行GELU激活函数处理，得到对应的门控分支输出特征；
将对应的所述卷积模块输出特征以及对应的所述门控分支输出特征进行像素相乘处理，得到对应的像素相乘处理后的特征；
将对应的像素相乘处理后的所述特征进行所述第三卷积处理，并将对应的第三卷积处理后的特征与对应的所述中间特征进行像素相加处理，得到所述处理网络中的第二个自注意力机制模型的输入特征。
4.根据权利要求3所述的方法，其特征在于，所述基于3D卷积模块处理对应的所述卷积模块输入特征，得到对应的卷积模块输出特征，包括：
将对应的所述卷积模块输入特征进行张量重塑处理，并将对应的张量重塑处理后的所述特征进行维度扩充处理，得到对应的维度扩充处理后的特征；
基于并行的两个非对称3D卷积分别将对应的维度扩充处理后的所述特征进行卷积处理，得到对应的卷积处理后的第三特征和第四特征；
将对应的卷积处理后的所述第三特征和所述第四特征进行像素相加处理，得到对应的像素相加后的特征；
将对应的像素相加后的所述特征进行降维处理，并将降维处理后的所述特征进行张量重塑处理，得到张量重塑处理后的特征；
将张量重塑处理后的所述特征与对应的所述卷积模块输入特征进行像素相加处理，得到对应的所述卷积模块输出特征。
5.根据权利要求1所述的方法，其特征在于，所述根据所述低分辨率高光谱图像的光谱特征，得到与所述低分辨率高光谱图像对应的高分辨率高光谱图像，包括：
对所述低分辨率高光谱图像的光谱特征进行所述第一卷积处理，得到所述低分辨率高光谱图像的全局浅层特征；
基于处理网络对所述低分辨率高光谱图像的全局浅层特征进行处理，并将所述全局浅层特征与处理后的所述全局浅层特征进行像素相加处理，得到所述低分辨率高光谱图像的全局深层特征；
将上采样预处理图像的光谱特征与所述全局深层特征进行像素相加处理，得到所述低分辨率高光谱图像的像素特征；所述上采样预处理图像是对所述低分辨率高光谱图像进行上采样处理，并对上采样处理后的所述低分辨率高光谱图像进行第三卷积处理得到的；
对所述低分辨率高光谱图像的像素特征进行所述第一卷积处理，得到与所述低分辨率高光谱图像对应的高分辨率高光谱图像。
6.根据权利要求1至5中任一项所述的方法，其特征在于，构建所述处理网络使用的损失函数包括L1损失函数、光谱角度匹配SAM损失函数以及空间光谱全变分SSTV损失函数。
7.一种低分辨率高光谱图像处理装置，其特征在于，所述装置包括：
获取模块，获取低分辨率高光谱图像的各所述分组图像的浅层特征；各所述分组图像是基于所述低分辨率高光谱图像的光谱数对所述低分辨率高光谱图像进行分组处理后得到的，各所述分组图像的浅层特征是分别对各所述分组图像进行第一卷积处理得到的；
特征确定模块，基于处理网络分别对各所述分组图像的浅层特征进行处理，并将各所述分组图像的浅层特征与处理后的各所述分组图像的所述浅层特征进行像素相加处理，得到各所述分组图像的全局深层特征；所述处理网络包括多个自注意力机制模型，多个所述自注意力机制模型的结构相同，各所述自注意力机制模型的输出为各所述自注意力机制模型连接的下一个自注意力机制模型的输入；
处理模块，用于根据所述低分辨率高光谱图像的光谱特征，得到与所述低分辨率高光谱图像对应的高分辨率高光谱图像；所述低分辨率高光谱图像的光谱特征是对各所述分组图像的全局深层特征分别进行亚像素卷积处理，并将亚像素卷积处理后的各所述分组图像的全局深层特征进行所述第一卷积处理和级联处理后得到的。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202211099570.1A 2022-09-09 2022-09-09 低分辨率高光谱图像处理方法、装置、计算机程序产品 Pending CN115439325A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211099570.1A CN115439325A (zh) 2022-09-09 2022-09-09 低分辨率高光谱图像处理方法、装置、计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211099570.1A CN115439325A (zh) 2022-09-09 2022-09-09 低分辨率高光谱图像处理方法、装置、计算机程序产品

Publications (1)

Publication Number Publication Date
CN115439325A true CN115439325A (zh) 2022-12-06

Family

ID=84247299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211099570.1A Pending CN115439325A (zh) 2022-09-09 2022-09-09 低分辨率高光谱图像处理方法、装置、计算机程序产品

Country Status (1)

Country Link
CN (1) CN115439325A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953296A (zh) * 2022-12-09 2023-04-11 中山大学·深圳 一种基于transformer和卷积神经网络联合的人脸超分辨率重建方法和系统
CN116503292A (zh) * 2023-06-27 2023-07-28 南京信息工程大学 一种基于SwinIR的高光谱遥感图像去噪方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953296A (zh) * 2022-12-09 2023-04-11 中山大学·深圳 一种基于transformer和卷积神经网络联合的人脸超分辨率重建方法和系统
CN115953296B (zh) * 2022-12-09 2024-04-05 中山大学·深圳 一种基于transformer和卷积神经网络联合的人脸超分辨率重建方法和系统
CN116503292A (zh) * 2023-06-27 2023-07-28 南京信息工程大学 一种基于SwinIR的高光谱遥感图像去噪方法
CN116503292B (zh) * 2023-06-27 2023-09-12 南京信息工程大学 一种基于SwinIR的高光谱遥感图像去噪方法

Similar Documents

Publication Publication Date Title
Xie et al. Hyperspectral image super-resolution using deep feature matrix factorization
CN109635141B (zh) 用于检索图像的方法、电子设备和计算机可读存储介质
Li et al. Hyperspectral image super-resolution by band attention through adversarial learning
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
Kang et al. Learning convolutional sparse coding on complex domain for interferometric phase restoration
Rao et al. A residual convolutional neural network for pan-shaprening
CN115439325A (zh) 低分辨率高光谱图像处理方法、装置、计算机程序产品
US11636570B2 (en) Generating digital images utilizing high-resolution sparse attention and semantic layout manipulation neural networks
Chen et al. Convolutional neural network based dem super resolution
Zhang et al. Multiscale feature tensor train rank minimization for multidimensional image recovery
Lei et al. Simultaneous super-resolution and segmentation for remote sensing images
Liu et al. Effective image super resolution via hierarchical convolutional neural network
US11887270B2 (en) Multi-scale transformer for image analysis
Pesaresi et al. A new compact representation of morphological profiles: Report on first massive VHR image processing at the JRC
Li et al. Adaptive remote-sensing image fusion based on dynamic gradient sparse and average gradient difference
CN116309070A (zh) 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备
Fu et al. Tensor Singular Spectral Analysis for 3D feature extraction in hyperspectral images
Yuan et al. ROBUST PCANet for hyperspectral image change detection
Liu et al. Research on super-resolution reconstruction of remote sensing images: A comprehensive review
CN114926694A (zh) 高光谱图像分类方法、装置、电子设备及存储介质
Yin et al. Locally adaptive sparse representation on Riemannian manifolds for robust classification
Fu et al. Hyperspectral image denoising via robust subspace estimation and group sparsity constraint
Wang et al. Unsupervised domain factorization network for thick cloud removal of multi-temporal remotely sensed images
Zou et al. Poissonian hyperspectral image superresolution using alternating direction optimization
Wang et al. Dynamic super-pixel normalization for robust hyperspectral image classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination