CN116579966A - 一种图像重建方法、装置、电子设备及存储介质 - Google Patents

一种图像重建方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116579966A
CN116579966A CN202310842825.7A CN202310842825A CN116579966A CN 116579966 A CN116579966 A CN 116579966A CN 202310842825 A CN202310842825 A CN 202310842825A CN 116579966 A CN116579966 A CN 116579966A
Authority
CN
China
Prior art keywords
attention
characterization information
hyperspectral image
initial
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310842825.7A
Other languages
English (en)
Other versions
CN116579966B (zh
Inventor
赖文震
陈勇
周阳
周敏
徐叶琦
李泽康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Normal University
Original Assignee
Jiangxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Normal University filed Critical Jiangxi Normal University
Priority to CN202310842825.7A priority Critical patent/CN116579966B/zh
Publication of CN116579966A publication Critical patent/CN116579966A/zh
Application granted granted Critical
Publication of CN116579966B publication Critical patent/CN116579966B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种图像重建方法、装置、电子设备及存储介质，涉及图像处理领域。方法包括获取初始高光谱图像，将初始高光谱图像作为当前高光谱图像，对当前高光谱图像进行分解得到初始光谱基和初始空间表征信息；基于深度注意力机制对所述初始空间表征信息进行空间语义特征提取，得到目标空间表征信息，进而得到第二高光谱图像；基于第二高光谱图像更新当前高光谱图像，直至特征相对误差小于预设阈值；将结束更新时得到的所述第二高光谱图像作为所述目标压缩成像系统对应的目标重建高光谱图像。本发明不需要收集大量的训练数据集，适用于不同成像系统，保证泛化能力，且充分探索高光谱图像的复杂结构特征，又融合了压缩测量图像的特征，成像精度高。

Description

一种图像重建方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理领域，特别涉及一种图像重建方法、装置、电子设备及存储介质。
背景技术
高光谱成像系统将空间场景的光谱特征捕获为数十到数百个离散波段的三维(3D)立方数据，得到高光谱图像HSI (Hyperspectral image，HSI)。高光谱图像HSI中丰富的光谱信息被广泛应用于计算机视觉、遥感、医学图像处理等多个领域。为了获得高光谱图像HSI，在成熟的压缩感知理论的推动下，快照压缩成像(snapshot compression imaging,SCI)系统因其在捕捉动态场景、平衡时间分辨率和空间分辨率等方面的优势而备受关注，原理是先将采样图像压缩为二维的压缩测量图像，然后基于从压缩测量图像中重建出期望的高光谱图像HSI。其中重建高质量的高光谱图像HSI是成像系统工作的关键阶段。
现有技术中对快照压缩成像系统生成的压缩测量图像进行重建高光谱图像过程中，需要经过耗时的训练过程以适应不同的成像系统，且泛化能力不好；另外每次针对不同的成像系统需要收集大量的训练数据集，耗时费力，且通过相关性较差的训练数据集训练出的模型重建高光谱图像，未能充分探索高光谱图像的复杂结构特征，成像质量差。
发明内容
为了解决现有技术的问题，本发明实施例提供了一种图像重建方法、装置、电子设备及存储介质，所述技术方案如下：
第一方面，提供了一种图像重建方法，所述方法包括：
获取初始高光谱图像，所述初始高光谱图像是基于压缩测量图像和预设编码模板得到的；所述压缩测量图像是由目标压缩成像系统生成的；
将所述初始高光谱图像作为当前高光谱图像，对所述当前高光谱图像进行分解得到初始光谱基和初始空间表征信息；所述初始空间表征信息包含所述初始高光谱图像的空间语义特征；
基于深度注意力机制对所述初始空间表征信息进行空间语义特征提取，得到目标空间表征信息；
基于所述目标空间表征信息与所述初始光谱基确定第一高光谱图像；对所述第一高光谱图像和所述压缩测量图像进行特征融合得到第二高光谱图像；
基于所述第二高光谱图像和所述当前高光谱图像确定特征相对误差；
在所述特征相对误差不小于预设阈值的情况下，基于所述第二高光谱图像更新所述当前高光谱图像，直至所述特征相对误差小于所述预设阈值，结束对所述当前高光谱图像的更新；将结束更新时得到的所述第二高光谱图像作为所述目标压缩成像系统对应的目标重建高光谱图像。
可选地，所述基于深度注意力机制对所述初始空间表征信息进行空间语义特征提取，得到目标空间表征信息包括：
将所述初始空间表征信息作为当前空间表征信息，将所述当前空间表征信息输入预设注意力网络中；基于所述预设注意力网络的深度注意力机制对所述当前空间表征信息进行空间语义特征提取，得到第一空间表征信息；
利用预设损失函数，基于所述第一空间表征信息、所述当前高光谱图像和所述压缩测量图像对所述预设注意力网络的参数进行调整；
在所述调整的次数小于预设次数的情况下，基于所述第一空间表征信息更新所述当前空间表征信息，直至所述调整的次数达到所述预设次数，结束对所述当前空间表征信息的更新；将结束更新时得到的所述第一空间表征信息作为所述目标空间表征信息。
可选地，所述将所述初始空间表征信息作为当前空间表征信息，将所述当前空间表征信息输入预设注意力网络中；基于所述预设注意力网络的深度注意力机制对所述当前空间表征信息进行空间语义特征提取，得到第一空间表征信息包括：
将所述当前空间表征信息输入所述预设注意力网络的第一网络单元，由所述第一网络单元对所述当前空间表征信息进行深度特征提取，得到所述当前空间表征信息的多尺度空间语义特征；所述多尺度空间语义特征包含多个尺度的编码特征和多个尺度的解码特征；
将所述多尺度空间语义特征输入所述预设注意力网络的第二网络单元，由所述第二网络单元基于深度注意力机制对所述多尺度空间语义特征进行注意力特征提取处理，得到所述第一空间表征信息。
可选地，所述将所述当前空间表征信息输入所述预设注意力网络的第一网络单元，由所述第一网络单元对所述当前空间表征信息进行深度特征提取，得到所述当前空间表征信息的多尺度空间语义特征包括：
对所述当前空间表征信息进行卷积运算得到初始编码特征；
将所述初始编码特征输入所述第一网络单元，由所述第一网络单元的多个编码模块对所述初始编码特征依次进行编码处理得到所述多个尺度的编码特征；每个所述编码模块的输入编码特征是基于前一编码模块的输出编码特征得到的；
由所述第一网络单元的多个解码模块基于所述多个尺度的编码特征进行解码处理得到所述多个尺度的解码特征；所述多个解码模块与所述多个编码模块一一对应；每个所述解码模块的输入解码特征是基于前一解码模块的输出解码特征以及所述解码模块对应的编码模块的输出编码特征得到的。
可选地，所述第二网络单元中包含多个注意力单元，所述多个注意力单元与所述多个编码模块一一对应且所述多个注意力单元与所述多个解码模块一一对应；所述将所述多尺度空间语义特征输入所述预设注意力网络的第二网络单元，由所述第二网络单元基于深度注意力机制对所述多尺度空间语义特征进行注意力特征提取处理，得到所述第一空间表征信息包括：
确定每个注意力单元所对应编码模块的输入编码特征，以及所述每个注意力单元所对应解码模块的输出解码特征；
基于所述每个注意力单元所对应编码模块的输入编码特征、每个注意力单元所对应解码模块的输出解码特征以及每个注意力单元的前一注意力单元的输出特征，确定每个注意力单元的输出特征；
将最后一个注意力单元的输出特征作为所述第一空间表征信息。
可选地，每个所述注意力单元中包含细节处理模块和注意力提取模块，所述基于所述每个注意力单元所对应编码模块的输入编码特征、每个注意力单元所对应解码模块的输出解码特征以及每个注意力单元的前一注意力单元的输出特征，确定每个注意力单元的输出特征包括：
基于所述每个注意力单元所对应编码模块的输入编码特征以及每个注意力单元的前一注意力单元的输出特征，确定每个注意力单元中细节处理模块的输出特征；
基于每个注意力单元所对应解码模块的输出解码特征以及每个注意力单元中细节模块的输出特征，确定每个注意力单元中注意力提取模块的输出特征，将所述注意力提取模块的输出特征作为每个注意力单元的输出特征。
可选地，所述第二网络单元中还包括初始注意力提取模块，所述方法还包括：
将随机噪声和目标尺度的编码特征输入所述初始注意力提取模块，由所述初始注意力提取模块对所述随机噪声和所述目标尺度的编码特征进行注意力特征提取，得到初始注意力特征；所述目标尺度的编码特征为所述多个尺度的编码特征中最小尺度的编码特征；
当所述注意力单元为所述多个注意力单元中的首个注意力单元时，基于所述初始注意力特征、所述首个注意力单元所对应编码模块的输入编码特征以及所述首个注意力单元对应解码模块的输出解码特征，确定所述首个注意力单元的输出特征。
第二方面，本发明提供了一种图像重建装置，所述装置包括：
初始高光谱图像获取模块，用于获取初始高光谱图像，所述初始高光谱图像是基于压缩测量图像和预设编码模板得到的；所述压缩测量图像是由目标压缩成像系统生成的；
分解模块，用于将所述初始高光谱图像作为当前高光谱图像，对所述当前高光谱图像进行分解得到初始光谱基和初始空间表征信息；所述初始空间表征信息包含所述初始高光谱图像的空间语义特征；
目标空间表征信息提取模块，用于基于深度注意力机制对所述初始空间表征信息进行空间语义特征提取，得到目标空间表征信息；
融合模块，用于基于所述目标空间表征信息与所述初始光谱基确定第一高光谱图像；对所述第一高光谱图像和所述压缩测量图像进行特征融合得到第二高光谱图像；
误差确定模块，用于基于所述第二高光谱图像和所述当前高光谱图像确定特征相对误差；
目标重建高光谱图像生成模块，用于在所述特征相对误差不小于预设阈值的情况下，基于所述第二高光谱图像更新所述当前高光谱图像，直至所述特征相对误差小于所述预设阈值，结束对所述当前高光谱图像的更新；将结束更新时得到的所述第二高光谱图像作为所述目标压缩成像系统对应的目标重建高光谱图像。
可选地，所述目标空间表征信息提取模块包括：
第一空间表征信息生成模块，用于将所述初始空间表征信息作为当前空间表征信息，将所述当前空间表征信息输入预设注意力网络中；基于所述预设注意力网络的深度注意力机制对所述当前空间表征信息进行空间语义特征提取，得到第一空间表征信息；
参数调整模块，用于利用预设损失函数，基于所述第一空间表征信息、所述当前高光谱图像和所述压缩测量图像对所述预设注意力网络的参数进行调整；
在所述调整的次数小于预设次数的情况下，基于所述第一空间表征信息更新所述当前空间表征信息，直至所述调整的次数达到所述预设次数，结束对所述当前空间表征信息的更新；将结束更新时得到的所述第一空间表征信息作为所述目标空间表征信息。
可选地，所述第一空间表征信息生成模块包括：
深度特征提取模块，用于将所述当前空间表征信息输入所述预设注意力网络的第一网络单元，由所述第一网络单元对所述当前空间表征信息进行深度特征提取，得到所述当前空间表征信息的多尺度空间语义特征；所述多尺度空间语义特征包含多个尺度的编码特征和多个尺度的解码特征；
注意力特征提取模块，用于将所述多尺度空间语义特征输入所述预设注意力网络的第二网络单元，由所述第二网络单元基于深度注意力机制对所述多尺度空间语义特征进行注意力特征提取处理，得到所述第一空间表征信息。
可选地，所述深度特征提取模块包括：
初始卷积模块，用于对所述当前空间表征信息进行卷积运算得到初始编码特征；
编码特征生成模块，用于将所述初始编码特征输入所述第一网络单元，由所述第一网络单元的多个编码模块对所述初始编码特征依次进行编码处理得到所述多个尺度的编码特征；每个所述编码模块的输入编码特征是基于前一编码模块的输出编码特征得到的；
解码特征生成模块，用于由所述第一网络单元的多个解码模块基于所述多个尺度的编码特征进行解码处理得到所述多个尺度的解码特征；所述多个解码模块与所述多个编码模块一一对应；每个所述解码模块的输入解码特征是基于前一解码模块的输出解码特征以及所述解码模块对应的编码模块的输出编码特征得到的。
可选地，所述第二网络单元中包含多个注意力单元，所述多个注意力单元与所述多个编码模块一一对应，且所述多个注意力单元与所述多个解码模块一一对应；所述注意力特征提取模块包括：
输入特征确定模块，用于确定每个注意力单元所对应编码模块的输入编码特征，以及所述每个注意力单元所对应解码模块的输出解码特征；
注意力特征提取子模块，用于基于所述每个注意力单元所对应编码模块的输入编码特征、每个注意力单元所对应解码模块的输出解码特征以及每个注意力单元的前一注意力单元的输出特征，确定每个注意力单元的输出特征；
第一空间表征信息生成子模块，用于将最后一个注意力单元的输出特征作为所述第一空间表征信息。
可选地，每个所述注意力单元中包含细节处理模块和注意力提取模块，所述注意力特征提取子模块包括：
细节特征提取单元，基于所述每个注意力单元所对应编码模块的输入编码特征以及每个注意力单元的前一注意力单元的输出特征，确定每个注意力单元中细节处理模块的输出特征；
注意力特征提取单元，用于基于每个注意力单元所对应解码模块的输出解码特征以及每个注意力单元中细节模块的输出特征，确定每个注意力单元中注意力提取模块的输出特征，将所述注意力提取模块的输出特征作为每个注意力单元的输出特征。
可选地，所述第二网络单元中还包括初始注意力提取模块，所述装置还包括：
初始注意力特征提取模块，用于将随机噪声和目标尺度的编码特征输入所述初始注意力提取模块，由所述初始注意力提取模块对所述随机噪声和所述目标尺度的编码特征进行注意力特征提取，得到初始注意力特征；所述目标尺度的编码特征为所述多个尺度的编码特征中最小尺度的编码特征；
当所述注意力单元为所述多个注意力单元中的首个注意力单元时，基于所述初始注意力特征、所述首个注意力单元所对应编码模块的输入编码特征以及所述首个注意力单元对应解码模块的输出解码特征，确定所述首个注意力单元的输出特征。
第三方面，提供了一种电子设备，包括处理器和存储器，所述存储器中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由所述处理器加载并执行以实现上所述方法的步骤。
第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述的图像重建方法。
第五方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的各种可选实现方式中提供的图像重建方法。
本发明实施例的技术方案具有如下有益效果：
本发明对当前高光谱图像分解得到初始光谱基和初始空间表征信息，将初始空间表征信息作为当前空间表征信息，将当前空间表征信息输入预设注意力网络中进行自监督的迭代优化得到目标空间表征信息，基于目标空间表征信息与初始光谱基确定第一高光谱图像，并融合压缩测量图像的特征得到第二高光谱图像，第二高光谱图像更新当前高光谱图像，对当前高光谱图像重复上述过程迭代优化，直至特征相对误差小于预设阈值后，停止迭代优化，得到目标压缩成像系统对应的目标重建高光谱图像。通过本发明的实施方式，由于自监督迭代优化得到目标空间表征信息，不需要收集大量的训练数据集，无需经过耗时的训练过程，适用于不同的成像系统，可以保证泛化能力，且通过空间表征信息的特征提取充分探索高光谱图像的复杂结构特征，又融合了压缩测量图像的特征，得到的目标重建高光谱图像成像精度高。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他实施例的附图。
图1是现有技术中快照光谱成像系统工作过程原理图；
图2是本发明实施例提供的一种图像重建方法的总体框架示意图；
图3是本发明实施例提供的一种图像重建方法的预设注意力网络结构示意图；
图4是本发明实施例提供的一种图像重建方法的流程示意图；
图5是本发明实施例提供的一种图像重建方法的可选方法流程示意图；
图6是本发明实施例提供的另一种图像重建方法的可选方法流程示意图；
图7是本发明实施例提供的一种图像重建装置的结构框图；
图8是本发明实施例提供的一种电子设备的硬件结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
由于高光谱图像HSI (Hyperspectral image，简称为HSI)中具有丰富的光谱信息，因此被广泛应用于计算机视觉、遥感、医学图像处理等多个领域。高光谱成像系统将空间场景的光谱特征捕获为数十到数百个离散波段的三维(3D)立方数据，生成高光谱图像HSI。
为了获得高光谱图像，传统的高光谱成像系统沿着空间或光谱维度进行多次曝光扫描场景，这对于成像过程来说非常耗时，并且不能用于高速拍摄动态场景或视频。近年来，在成熟的压缩感知理论的推动下，快照压缩成像(snapshot compression imaging,SCI)系统因其在捕捉动态场景、平衡时空分辨率等方面的优势而备受关注。在现有的快照压缩成像系统中，编码孔径快照光谱成像(coded aperture snapshot spectral imaging，CASSI)系统是比较有代表性的一种，它沿光谱维数对每个光谱波段的编码孔径进行快照采样，然后沿着光谱维度将采样图像压缩为二维的压缩测量图像。编码孔径快照光谱成像系统可以包括双分散器(double dispersers，DD-CASSI)和单分散器(single disperser，SD-CASSI)两种系统，如图1所示，展示了双分散器DD-CASSI和单分散器SD-CASSI两种系统的压缩测量图像成像过程。
光谱快照压缩成像分为两个阶段，第一阶段是如图1所示的压缩测量成像阶段，第二阶段是从压缩测量图像中恢复出期望的高光谱图像。其中从压缩测量图像中恢复出期望的高光谱图像是快照压缩成像系统工作的关键阶段。
对于高光谱图像的重建，目前现有技术中存在几种重建方法，其中一种是基于模型的方法设计手工先验，如全变分（Total Variation，TV）、稀疏性、低秩性和非局部自相似性。为了表征高光谱图像的局部空间分段平滑性，全变分(Total Variation，TV)正则化被用于高光谱图像的重建。此外，低秩矩阵与张量近似被广泛用于探索高光谱图像的全局空间-频谱相关性和非局部空间自相似性，基于模型方法可以保证可解释性和泛化性，但这些手工设计的先验并不能很好地描述不同高光谱图像的内在结构，导致重建后的高光谱图像质量不理想。
与基于模型设计手工先验的方法不同，基于深度学习的方法的原理是从足够的训练数据中隐式学习图像先验，然后在观测到的测量值与原始高光谱图像之间构建端到端映射函数。例如通过一个统一的卷积神经网络(convolutional neural network，CNN)框架，用于从频谱欠采样投影中重建恒生指数，为了利用注意力机制，在网络中引入空间注意块。此外，高分辨率双域学习网络（High-resolution dual-domain learning Net，HDNet）设计了空间光谱注意力模块，提供精细的像素级特征。受transformer在许多任务中比CNN方法更有效的启发，基于掩模引导的面向光谱的Transformer用于高效的高光谱图像重建（Mask-guided spectral-wise transformer for efficient hyperspectral imagereconstruction，MST-L）使用transformer框架捕捉高光谱图像的远程依赖性，并利用光谱自注意力机制进一步探索光谱结构。有了足够的训练数据和时间，基于深度学习的方法可以产生令人印象深刻的性能。然而，一方面，这种基于深度学习的方法通常需要大量的训练样本，这些样本的收集非常昂贵，另一方面，训练样本在适应其他编码孔径快照光谱成像系统时的泛化能力可能不是很好。这些限制了基于深度学习的方法的广泛使用。
为了减轻数据收集负担，并受到自然图像和高光谱图像之间的一些普遍先验的启发，最近引入了基于即插即用(Plug-and-Play，PnP)的方法用于高光谱图像重建。通过将预训练(甚至未训练)的深度去噪器合并到传统的优化算法框架中。为了使深度先验和手工先验相互促进，结合深度去噪器和全变分先验的高效快照式压缩光谱成像方法（Effectivesnapshot compressive-spectral imaging via deep denoising and total variationpriors，TV-FFDNet）将深度去噪器和全变分先验合并到即插即用框架中用于高光谱图像重建。此外，为了放弃预训练的深度去噪器，自监督神经网络方法（Self-supervised neuralnetworks for spectral snapshot compressive imaging，PnP-DIP-HSI）将未经训练的深度图像先验(deep image prior ，DIP)应用到即插即用框架中。采用预训练深度去噪或未训练深度图像先验的基于即插即用的方法可以应用于不同的高光谱图像成像系统，与基于模型和基于深度学习的方法相比，基于即插即用的方法的可解释性和泛化能力通常更好。然而，预训练的深度去噪器仍然需要足够的训练数据，难以自适应地表示不同HSI的复杂空间信息。虽然深度图像先验是一个未经训练的网络，但由于缺乏额外的数据，导致了网络在参数优化阶段的不适定性。而在即插即用方法中，深度网络的性能是至关重要的。
综上现有技术中对高光谱图像的重建主要分为三类，基于模型的方法由于手工先验的限制，导致重建精度不够理想；基于深度学习的方法受到训练数据的限制，端到端重构模型基于某一成像系统训练，不能直接应用与其它系统（期望在某个编码孔径快照光谱成像系统上应用时，需要针对该系统收集相应的训练数据集并经过耗时的训练过程）；现有的即插即用方法：使用预训练的深度网络则受到训练数据集的限制，而使用未经训练的深度网络的方法并未充分探索与深度网络相适配的高光谱图像先验信息，同时，在网络结构设计层面效果不佳，未能充分探索高光谱图像的复杂结构特征。
因此，本发明提供一种图像重建方法，用于克服现有技术中存在的问题，重建高质量的高光谱图像。具体方案的实施方式如下：
参考图2和图3，其所示为本发明实施例提供的一种图像重建方法的总体框架示意图，以及所用到的预设注意力网络结构示意图。基于二维的压缩测量图像先生成低质量的高光谱图像，将高光谱图像分解得到初始光谱基和初始空间表征信息，通过自监督网络对初始空间表征信息迭代优化并输出优化后的目标空间表征信息，随后与初始光谱基相乘，并融合压缩测量图像特征得到第二高光谱图像，并对第二高光谱图像进行迭代优化得到目标重建高光谱图像。具体步骤详见下文。
参考图4，其所示为本发明实施例提供的一种图像重建方法的流程示意图，需要说明的是，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行（例如并行处理器或者多线程处理的环境）。本发明实施例的图像重建方法基于图像重建模型实现，所述图像重建方法可以包括：
S401，获取初始高光谱图像，所述初始高光谱图像是基于压缩测量图像和预设编码模板得到的；所述压缩测量图像是由目标压缩成像系统生成的。
具体的，本发明实施例中，目标压缩成像系统可以是快照压缩成像系统，进一步可以选取比较有代表性的编码孔径快照压缩成像系统，比如在一个实施方式中采用双分散器的编码孔径快照压缩成像系统，在另一个实施方式中采用单分散器的编码孔径快照压缩成像系统。当然，在其他实施例中也可以选用其他适合的快照压缩成像系统，以先生成压缩测量图像。快照压缩成像系统由物镜、中继透镜、二维编码器、色散元件以及探测器等器件组成。目标场景经过物镜后成像于二维编码孔径处，编码器对其进行空间调制，调制后的信息经过中继透镜形成平行光，然后利用色散元件（光栅,棱镜）对其进行光谱偏移，重新调制其光谱信息。最后，色散后的光线再通过中继透镜聚焦到探测器，从而被捕获。具有成像元件简单、成本低的特点。
本发明实施例中，双分散器的编码孔径快照压缩成像系统DD-CASSI生成压缩测量图像公式表示为：
（1）
单分散器的编码孔径快照压缩成像系统SD-CASSI生成压缩测量图像公式表示为：
（2）
其中Y是压缩测量图像，C代表光谱波段数，（m，n）代表空间位置，和/>分别代表DD-CASSI和SD-CASSI中基于色散棱镜的波长相关色散函数。对于DD-CASSI系统，由于双色散元件的影响抵消，压缩测量图像的大小为M×N ；对于SD-CASSI系统，由于单个分散的影响, 压缩测量图像的大小是/>。
进一步的，为方便起见，这里将DD-CASSI系统和SD-CASSI系统的成像过程描述为:
（3）
其中是期望的目标重建高光谱图像，在迭代过程中为每次迭代后估计的高光谱图像，这一步骤为初始高光谱图像，维度为M×N×C；/>是一个包含整个成像过程中所有操作的算子；Z代表由成像系统或外界扰动产生的噪声或误差。
对于目标压缩成像系统所生成的压缩测量图像，由于原始的高光谱图像无法获得，因此基于现有技术中的方法，先重建低质量的初始高光谱图像，再对该初始高光谱图像进行学习优化，进而获得目标重建高光谱图像。对于初始高光谱图像的获得，本发明实施例中采用GAP-TV（基于全变分最小化的广义交替投影在压缩感知中的应用，Generalizedalternating projection based total variation minimization for compressivesensing）的方法，GAP-TV在广义交替投影框架下应用了全分变最小化，基于压缩测量图像和目标压缩成像系统中的预设编码模板能够非常高效率地得到初始高光谱图像，但是所得到的初始高光谱图像质量很低。由于重建高光谱图像是一个病态逆问题，很难直接从式（3）中恢复，因此需要使用正则化方法约束解空间，重建高光谱图像的模型可表示为:
（4）
其中R()为正则化项，代表期望的目标重建高光谱图像/>的先验信息，λ为正则化参数。
接下来对初始高光谱图像进行学习优化，得到期望的目标重建高光谱图像。
S402，将所述初始高光谱图像作为当前高光谱图像，对所述当前高光谱图像进行分解得到初始光谱基和初始空间表征信息；所述初始空间表征信息包含所述初始高光谱图像的空间语义特征。
具体的，高光谱图像中的每个光谱特征可以由少量端元基的线性组合来表示，这意味着在高光谱图像中具有很高的光谱相关性，重建能力和图像保存能力之间的权衡体现在光谱基的子空间维度上。低秩正则化是高光谱图像处理任务的强大工具，如去噪、超分辨率和图像修复。然而，大多数现有的基于深度学习和基于即插即用的方法忽略了这一重要特征，导致光谱失真。因此为了捕捉高光谱图像的光谱相关性，将初始高光谱图像先分解为初始光谱基和初始空间表征信息，初始光谱基包含初始高光谱图像中物体元素物理性质等；初始空间表征信息包含初始高光谱图像中物体的空间语义特征。上述过程的模型近似表示为：
（5）
其中，为列正交的光谱基，在这一步骤中为初始光谱基，；/>为空间表征信息，在这一步骤中为初始空间表征信息，/>是指三维的意思，K是光谱基的秩，C是光谱波段数。光谱基E可以使用奇异值分解( SingularValue Decomposition ，SVD)或高光谱信号辨识算法（HySime）从当前高光谱图像本身近似学习。
在本发明实施例中，每次迭代采用迭代中的进行奇异值分解来学习光谱基E的近似解。每次迭代后光谱基更新如下:
（6）
其中U是（/>的三模展开）的左奇异向量。
但由于初始高光谱图像质量较低，初始空间表征信息质量也较低。在一开始，设置较低的秩值可以在没有噪声的情况下获得令人满意的重构结果，但会导致细节丢失，而经过迭代，重建结果会有很大的改善，故空间表征信息需要一个更大的秩值来保留图像的更多细节。因此，后面会介绍对初始空间表征信息迭代优化，进一步对初始高光谱图像进行迭代优化，将所述初始高光谱图像作为当前高光谱图像，迭代过程中会更新当前高光谱图像。
S403，基于深度注意力机制对所述初始空间表征信息进行空间语义特征提取，得到目标空间表征信息。
具体的，由上述可知，将初始高光谱图像分解为初始光谱基和初始空间表征信息，对于期望的高光谱图像的重建，引入了空间表征信息的优化，这一步骤中是对初始空间表征信息迭代优化，得到目标空间表征信息。在此基础上，重建高光谱图像的模型可表示为:
（7）
在初始光谱基的正交约束下，原始高光谱图像的空间先验性可以反映在初始空间表征信息/>上，引入初始空间表征信息/>空间先验描述相关的正则化项，可以将模型表示为:
（8）
其中R(W)是与初始空间表征信息的空间先验描述相关的正则化项，/>为正则化参数。
为了自适应表示不同高光谱图像的复杂空间特征，初始空间表征信息的空间先验描述转化为利用深度网络学习的数据驱动（深度系数先验）挖掘初始空间表征信息的隐含特征，将模型推广为:
（9）
是深度神经网络的输出，其中/>是一个大小与W相同的随机张量，/>是迭代优化当前空间表征信息过程中需要学习的网络参数。后面要对网络参数基于损失函数进行调整。本发明实施例中，挖掘初始空间表征信息的隐含特征采用的深度网络为自监督网络，具体的网络架构如图3所示。在一种可能的实施方式中，参考图5，应用该自监督网络，步骤S403可以包括以下步骤：
S501，将所述初始空间表征信息作为当前空间表征信息，将所述当前空间表征信息输入预设注意力网络中；基于所述预设注意力网络的深度注意力机制对所述当前空间表征信息进行空间语义特征提取，得到第一空间表征信息；
具体的，本发明实施例中预设注意力网络即为图3所示的自监督网络，在其他实施例中，如果有更加合适的深度学习网络，也可以将本发明的方案应用至其他深度学习网络中。该自监督网络是基于深度注意力机制，对空间表征信息进行自监督学习，挖掘初始空间表征信息的隐含特征，将初始空间表征信息作为当前空间表征信息，迭代过程中会更新当前空间表征信息。在一种可能的实施方式中，参考图6，通过预设注意力网络对当前空间表征信息进行空间语义特征提取，其中包括以下步骤：
S601，将所述当前空间表征信息输入所述预设注意力网络的第一网络单元，由所述第一网络单元对所述当前空间表征信息进行深度特征提取，得到所述当前空间表征信息的多尺度空间语义特征；所述多尺度空间语义特征包含多个尺度的编码特征和多个尺度的解码特征；
具体的，预设注意力网络中包括第一网络单元和第二网络单元两个网络单元，其中第一网络单元又包含多个编码模块和多个解码模块，用于对当前空间表征信息进行深度特征提取，得到所述当前空间表征信息的多尺度空间语义特征，通过多个编码模块和多个解码模块分别提取多个尺度的编码特征和多个尺度的解码特征。在一种可能的实施方式中，第一网络单元提取多尺度空间语义特征可以包含的步骤为：
（1）对所述当前空间表征信息进行卷积运算得到初始编码特征；
（2）将所述初始编码特征输入所述第一网络单元，由所述第一网络单元的多个编码模块对所述初始编码特征依次进行编码处理得到所述多个尺度的编码特征；每个所述编码模块的输入编码特征是基于前一编码模块的输出编码特征得到的；
（3）由所述第一网络单元的多个解码模块基于所述多个尺度的编码特征进行解码处理得到所述多个尺度的解码特征；所述多个解码模块与所述多个编码模块一一对应；每个所述解码模块的输入解码特征是基于前一解码模块的输出解码特征以及所述解码模块对应的编码模块的输出编码特征得到的。
具体的，先对当前空间表征信息进行卷积运算得到初始编码特征，然后将初始编码特征/>输入多个编码模块，从低分辨率到高分辨率提取初始编码特征的深度特征，得到所述多个尺度的编码特征。每个编码模块对应提取一个尺度的编码特征，每个编码模块有对应的输入编码特征和输出编码特征，每个编码模块的输出编码特征为下一个编码模块的输入编码特征，即每个所述编码模块的输入编码特征是基于前一编码模块的输出编码特征得到的，首个编码模块的输入编码特征为初始编码特征。每个编码模块的编码操作可以表示为：
（10）
其中表示第k次编码操作，k表示编码模块的个数，本发明实施例中编码模块为五个，也就是说从低到高提取五个尺度的编码特征，在其他实时例中，可以设置与本发明实施例不同数量的编码模块，以提取多个尺度的编码特征，编码特征的尺度更多，迭代的相对时间也就更长，最后的目标重建高光谱图像质量越高，可以根据实际需求确定。
接下来通过多个解码模块对得到的多个尺度的编码特征进行解码操作，多个解码模块和多个编码模块的数量一一对应，比如本发明实施例中编码模块为五个，解码模块也为五个，将最后一个编码模块的输出编码特征输入第一个解码模块，对该输出编码特征进行解码，得到第一个解码模块的输出解码特征，将第一个解码模块的输出解码特征与最后一个编码模块的输入编码特征叠加，得到第二个解码模块的输入解码特征，第二个解码模块对其进行解码处理，得到第二个解码模块的输出解码特征，将第二个解码模块的输出解码特征与倒数第二个编码模块的输入编码特征叠加得到第三个解码模块的输入解码特征，……，以此类推，得到在空间维度上与多个尺度的编码特征配对的多个尺度的解码特征。
基于上述可知，每个解码模块的解码操作可以表示为：
（11）
其中，表示第k次解码操作，/>表示编码特征的信息提取。本发明实施例中没有直接将编码特征和解码特征连接在一起，而是利用残差网络的思想将这两个编码特征和解码特征相加，每个解码模块的输出解码特征不仅可以弥补编解码过程中的信息缺失，还可以进一步促进配对的编解码特征的语义对齐，得到高质量的多尺度空间语义特征。
S602，将所述多尺度空间语义特征输入所述预设注意力网络的第二网络单元，由所述第二网络单元基于深度注意力机制对所述多尺度空间语义特征进行注意力特征提取，得到所述第一空间表征信息。
具体的，第二网络单元包含多个注意力单元，所述多个注意力单元与所述多个编码模块一一对应，且所述多个注意力单元与所述多个解码模块一一对应，基于深度注意力机制对多尺度空间语义特征的注意力权重进行提取，以得到第一空间表征信息。本发明实施例中，第二网络单元为基于注意力的空间解码器（Attention-Based Spatial Decoder，ASD），是空间表征信息特征优化的核心单元。
在一种可能的实施方式中，步骤S602可以包含以下步骤：
（1）确定每个注意力单元所对应编码模块的输入编码特征，以及所述每个注意力单元所对应解码模块的输出解码特征。
每个编码模块的输入编码特征和每个解码模块的输出解码特征，都会输入至每个对应的注意力单元中，本发明实施例中， 由于编码模块和解码模块的数量各为五个，那么也先设置五个对应的注意力单元，最后一个编码模块的输入编码特征和第一个解码模块的输出解码特征对应第一个注意力单元，倒数第二个编码模块的输入编码特征和第二个解码模块的输出解码特征对应第二个注意力单元，……，以此类推，第一个编码模块的输入编码特征和最后一个解码模块的输出解码特征对应最后一个注意力单元。
（2）基于所述每个注意力单元所对应编码模块的输入编码特征、每个注意力单元所对应解码模块的输出解码特征以及每个注意力单元的前一注意力单元的输出特征，确定每个注意力单元的输出特征。
具体的，将最后一个编码模块的输入编码特征和第一个解码模块的输出解码特征输入至第一个注意力单元，得到第一个注意力单元的输出特征；倒数第二个编码模块的输入编码特征、第二个解码模块的输出解码特征以及第一个注意力单元的输出特征输入至第二个注意力单元，得到第二个注意力单元的输出特征；……；以此类推，第一个编码模块的输入编码特征、最后一个解码模块的输出解码特征和倒数第二个注意力单元的输出特征输入至最后一个注意力单元，得到最后一个注意力单元的输出特征。由于每个注意力单元的输入特征由编码特征和解码特征合并而成，因此包含了空间表征系数中更丰富的空间语义信息。
在一种可能的实施方式中，每个所述注意力单元中包含细节处理模块和注意力提取模块，那么步骤（2）包括：
基于所述每个注意力单元所对应编码模块的输入编码特征以及每个注意力单元的前一注意力单元的输出特征，确定每个注意力单元中细节处理模块的输出特征；
基于每个注意力单元所对应解码模块的输出解码特征以及每个注意力单元中细节模块的输出特征，确定每个注意力单元中注意力提取模块的输出特征，将所述注意力提取模块的输出特征作为每个注意力单元的输出特征。
具体的，每个注意力单元包含细节处理模块和注意力提取模块，本发明实施例中，细节处理模块为细节细化模块(detail refinement module，DRM)，注意力提取模块为连续语义注意模块(semantic attention module，SAM)。由于空间表征系数的底层编码特征包含丰富的空间信息，注意力提取模块用于对编码特征和解码特征进行注意力权重提取，细节处理模块用于提取底层编码特征中丰富的空间信息，对注意力提取模块所提取的注意力特征进行补偿。
具体操作为：将最后一个编码模块的输入编码特征作为第一个注意力单元中的细节处理模块的输入，得到第一个细节处理模块的输出特征；将第一个解码模块的输出解码特征以及第一个细节处理模块的输出特征输入至第一个注意力单元的注意力提取模块，得到第一个注意力提取模块的输出特征，即第一个注意力单元的输出特征。将第一个注意力单元的输出特征以及倒数第二个编码模块的输入编码特征作为第二个注意力单元中的细节处理模块的输入，得到第二个细节处理模块的输出特征；将第二个解码模块的输出解码特征以及第二个细节处理模块的输出特征输入至第二个注意力单元的注意力提取模块，得到第二个注意力提取模块的输出特征，即第二个注意力单元的输出特征。……以此类推，将倒数最后二个注意力单元的输出特征以及第一个编码模块的输入编码特征作为最后一个注意力单元中的细节处理模块的输入，得到最后一个细节处理模块的输出特征；将最后一个解码模块的输出解码特征以及最后一个细节处理模块的输出特征输入至最后一个注意力单元的注意力提取模块，得到最后一个注意力提取模块的输出特征，即最后一个注意力单元的输出特征。
在一种可能的实施方式中，第二网络单元还包含一个初始注意力提取模块，将随机噪声和目标尺度的编码特征输入所述初始注意力提取模块，由所述初始注意力提取模块对所述随机噪声和所述目标尺度的编码特征进行注意力特征提取，得到初始注意力特征；所述目标尺度的编码特征为所述多个尺度的编码特征中最小尺度的编码特征；
具体的，产生随机噪声作为第二网络单元的初始输入，将最小尺度的编码特征和随机噪声输入初始注意力提取模块，以开始对当前空间表征系数的多尺度空间语义特征进行注意力特征提取。
因此，当所述注意力单元为所述多个注意力单元中的首个注意力单元时，基于所述初始注意力特征、所述首个注意力单元所对应编码模块的输入编码特征以及所述首个注意力单元对应解码模块的输出解码特征，确定所述首个注意力单元的输出特征。
也就是说，结合前面介绍的实施方式，对于第一个注意力单元，将初始注意力提取模块输出的初始注意力特征和最后一个编码模块的输入编码特征作为第一个注意力单元中的细节处理模块的输入，得到第一个细节处理模块的输出特征；将第一个解码模块的输出解码特征以及第一个细节处理模块的输出特征输入至第一个注意力单元的注意力提取模块，得到第一个注意力提取模块的输出特征，即第一个注意力单元的输出特征。
综上所述，注意力提取模块的操作可表述为:
（12）
即为初始注意力提取模块，/>在这里为输入的随机噪声。
细节处理模块的操作可以表示为:
（13）
式（13）将最后一个注意力单元的输出特征作为所述第一空间表征信息。
通过上述实施方式，在注意力提取模块中对编码特征和解码特征进行加权，在细节处理模块中进行编码特征的空间信息补偿，使得优化后的第一空间表征信息能够包含更优的语义特征与空间细节。
S502，利用预设损失函数，基于所述第一空间表征信息、所述当前高光谱图像和所述压缩测量图像对所述预设注意力网络的参数进行调整。
前面介绍了本发明中预设注意力网络对当前空间表征信息优化一次的过程，为了得到期望的目标空间表征信息，需要进行迭代优化，那么需要损失函数对预设注意力网络的参数θ进行调整。由前述可知，式（9）是利用深度网络学习的数据驱动（深度系数先验）挖掘当前空间表征信息的隐含特征所用的模型，但是参数θ的优化与压缩测量图像Y没有直接关系，导致预设注意力网络学习空间信息的难度较大。为了更有效地融合两个先验，我们在式（9）中再加入一个保真项，用于融合压缩测量图像Y的特征。因此，模型更新为:
（14）
其中λ是压缩测量图像的保真项参数，式(14)所表示的是一个约束最小化问题，而交替向乘子法 (Altemating Direction Method of Mutipliers,ADMM)是解决该问题的有效算法。ADMM是一种求解具有可分离的凸优化问题的重要方法，由于处理速度快收敛性能好，在统计学习、机器学习等领域有着广泛应用。ADMM 通过分解协调 (Decomposition-Coordinaton) 过程，将大的全局问题分解为多个较小、较容易求解的局部子问题，并通过协调子问题的而得到大的全局问题的解。ADMM算法的核心是原始对偶算法的增广拉格朗日法。拉格朗日函数是解决了多个约束条件下的优化问题，原始对偶方法中的增广拉格朗日法Augmented Lagrangian)是加了惩罚项的拉格朗日法，目的是便得算法收敛的速度更快。在ADMM算法框架下，式(14)的增广拉格朗日函数为:
（15）
其中µ表示正惩罚参数，为拉格朗日乘子。然后，根据ADMM框架，将式(14)分解为不同的子问题，本发明实施例中，包括θ子问题和/>子问题。
这里先介绍θ子问题，对式（11）固定除θ以外的其他变量，θ子问题表示为:
（16）
θ为预设注意力网络的参数，是预设注意力网络的输入，也就是当前空间表征信息，/>为优化后的第一空间表征信息，/>为当前高光谱图像。细节处理模块和注意力提取模块可以用来更新θ。选择式(12)作为预设损失函数，基于优化后的第一空间表征信息、当前高光谱图像和所述压缩测量图像对所述预设注意力网络的参数进行调整。为了求解θ子问题，本发明实施例可以采用梯度下降算法，梯度下降算法是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解预设损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。而关于θ的梯度可以用标准反向传播算法(Backpropagation)来计算。反向传播算法是目前用来训练人工神经网络的最常用且最有效的算法。其主要思想是:(1)将训练集数据输入到ANN的输入层，经过隐藏层，最后达到输出层并输出结果，这是ANN的前向传播过程；(2)由于ANN的输出结果与实际结果有误差，则计算估计值与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；(3)在反向传播的过程中，根据误差调整各种参数的值;不断迭代上述过程，直至收敛。采用上述方法对预设注意力网络的参数进行调整，以不断挖掘当前空间表征系数的隐含特征。
S503，在所述调整的次数小于预设次数的情况下，基于所述第一空间表征信息更新所述当前空间表征信息，直至所述调整的次数达到所述预设次数，结束对所述当前空间表征信息的更新；将结束更新时得到的所述第一空间表征信息作为所述目标空间表征信息。
具体的，本发明实施例中，对当前空间表征信息进行预设次数的更新后，得到目标空间表征信息，再通过目标空间表征信息更新当前高光谱图像。对于预设注意力网络的参数调整，调整次数（反向传播次数）是根据当前的迭代次数线性增长的，根据实际经验来设置调整次数和迭代次数，比如初始调整次数为1000次，随后每次迭代更新调整次数增加100次，上限为3000次。在一个实施例中，迭代更新的预设次数设置为4次，那么对预设注意力网络的参数调整每次增加100次，增加4次后调整1400次，结束对当前空间表征信息的更新；将结束更新时得到的第一空间表征信息作为目标空间表征信息。
S404，基于所述目标空间表征信息与所述初始光谱基确定第一高光谱图像；对所述第一高光谱图像和所述压缩测量图像进行特征融合得到第二高光谱图像；
由于初始高光谱图像先分解为初始光谱基和初始空间表征信息，那么初始空间表征信息优化后得到的目标空间表征信息与所述初始光谱基先确定第一高光谱图像，接着由式（10）可知，重建过程中还加入了压缩测量图像的特征，因此对第一高光谱图像和压缩测量图像进行特征融合得到第二高光谱图像。接下来判断第二高光谱图像是否可以作为目标重建高光谱图像。
S405，基于所述第二高光谱图像和所述当前高光谱图像确定特征相对误差。
具体的，确定特征相对误差是为了判断第二高光谱图像是否可以作为目标重建高光谱图像。记第二高光谱图像为XT，当前高光谱图像为XT-1,相对误差为Tr表示为：
（17）
S406，在所述特征相对误差不小于预设阈值的情况下，基于所述第二高光谱图像更新所述当前高光谱图像，直至所述特征相对误差小于所述预设阈值，结束对所述当前高光谱图像的更新；将结束更新时得到的所述第二高光谱图像作为所述目标压缩成像系统对应的目标重建高光谱图像。
具体的，设置一个预设阈值q，如果Tr大于q，说明第二高光谱图像不可以作为目标重建高光谱图像，需要基于所述第二高光谱图像更新所述当前高光谱图像，重复迭代优化的过程。对当前高光谱图像迭代优化的过程是从当前高光谱图像进行分解得到初始光谱基和初始空间表征信息开始，至输出第二高光谱图像的过程。而对当前高光谱图像迭代优化，可以转化为前述的子问题。由式（11）得到/>子问题表示为：
（18）
为了方便求解，我们将子问题改写为以下等价形式（向量化）:
（19）
其中，y、x、r、b分别为Y、、/>、/>的矢量化形式，H为传感矩阵。式(14)为最小二乘问题，相当于求解以下线性问题:
（20）
由于传感矩阵H的尺寸较大，直接求出闭式解比较困难，基于传感矩阵H 的特殊结构，利用矩阵倒换理论能够很容易解出大尺寸矩阵的倒数，即
。因此，式(20)的解x可由式（21）得到。
（21）
当得到x的解时，可以将向量x重塑为张量形式，从而得到。
另外迭代优化过程中对于乘子更新可以通过以下公式计算:
（22）
经过数次迭代后，如果Tr小于q，说明第二高光谱图像可以作为目标重建高光谱图像，结束对当前高光谱图像的更新；并将结束更新时得到的第二高光谱图像作为目标压缩成像系统对应的目标重建高光谱图像。
综上所述，对于目标压缩成像系统生成的压缩测量图像，采用本发明实施例的预设注意力网络进行自监督学习得到目标重建高光谱图像。先基于压缩测量图像和预设编码模板得到低质量的初始高光谱图像，接着将初始高光谱图像作为当前高光谱图像，对当前高光谱图像分解得到初始光谱基和初始空间表征信息，将初始空间表征信息作为当前空间表征信息，将当前空间表征信息输入预设注意力网络中进行迭代优化，先输入第一网络单元中的编码模块和解码模块，得到多尺度空间语义特征，再将多尺度空间语义特征输入第二网络单元中的细节处理模块和注意力提取模块，对多尺度空间语义特征进行注意力特征提取，将第二网络单元输出得到的第一空间表征信息再更新当前空间表征信息，重复迭代优化的过程得到目标空间表征信息，基于目标空间表征信息与初始光谱基确定第一高光谱图像，并融合压缩测量图像的特征得到第二高光谱图像，第二高光谱图像更新当前高光谱图像，对当前高光谱图像重复上述过程迭代优化，直至特征相对误差小于预设阈值后，停止迭代优化，得到目标压缩成像系统对应的目标重建高光谱图像。
通过本发明的实施方式，由于自监督学习预设注意力网络的参数，模型驱动的低秩先验和数据驱动的深度系数先验在迭代优化算法中相互促进，因此不需要收集大量的训练数据集，无需经过耗时的训练过程，适用于不同的成像系统，可以保证泛化能力，且通过空间表征信息的特征提取充分探索高光谱图像的复杂结构特征，成像精度高。
与上述实施例提供的图像重建方法相对应，本发明实施例还提供一种图像重建装置，由于本发明实施例提供的图像重建装置与上述几种实施例提供的图像重建方法相对应，因此前述图像重建方法的实施方式也适用于本实施例提供的图像重建装置，在本实施例中不再详细描述。
请参阅图7，其所示为本发明实施例提供的一种图像重建装置的结构示意图，该装置具有实现上述方法实施例中图像重建方法的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。如图7所示，该装置可以包括：
初始高光谱图像获取模块710，用于获取初始高光谱图像，所述初始高光谱图像是基于压缩测量图像和预设编码模板得到的；所述压缩测量图像是由目标压缩成像系统生成的；
分解模块720，用于将所述初始高光谱图像作为当前高光谱图像，对所述当前高光谱图像进行分解得到初始光谱基和初始空间表征信息；所述初始空间表征信息包含所述初始高光谱图像的空间语义特征；
目标空间表征信息提取模块730，用于基于深度注意力机制对所述初始空间表征信息进行空间语义特征提取，得到目标空间表征信息；
融合模块740，用于基于所述目标空间表征信息与所述初始光谱基确定第一高光谱图像；对所述第一高光谱图像和所述压缩测量图像进行特征融合得到第二高光谱图像；
误差确定模块750，用于基于所述第二高光谱图像和所述当前高光谱图像确定特征相对误差；
目标重建高光谱图像生成模块760，用于在所述特征相对误差不小于预设阈值的情况下，基于所述第二高光谱图像更新所述当前高光谱图像，直至所述特征相对误差小于所述预设阈值，结束对所述当前高光谱图像的更新；将结束更新时得到的所述第二高光谱图像作为所述目标压缩成像系统对应的目标重建高光谱图像。
可选地，所述目标空间表征信息提取模块730包括：
第一空间表征信息生成模块，用于将所述初始空间表征信息作为当前空间表征信息，将所述当前空间表征信息输入预设注意力网络中；基于所述预设注意力网络的深度注意力机制对所述当前空间表征信息进行空间语义特征提取，得到第一空间表征信息；
参数调整模块，用于利用预设损失函数，基于所述第一空间表征信息、所述初始高光谱图像和所述压缩测量图像对所述预设注意力网络的参数进行调整；
在所述调整的次数小于预设次数的情况下，基于所述第一空间表征信息更新所述当前空间表征信息，直至所述调整的次数达到所述预设次数，结束对所述当前空间表征信息的更新；将结束更新时得到的所述第一空间表征信息作为所述目标空间表征信息。
可选地，所述第一空间表征信息生成模块包括：
深度特征提取模块，用于将所述当前空间表征信息输入所述预设注意力网络的第一网络单元，由所述第一网络单元对所述当前空间表征信息进行深度特征提取，得到所述当前空间表征信息的多尺度空间语义特征；所述多尺度空间语义特征包含多个尺度的编码特征和多个尺度的解码特征；
注意力特征提取模块，用于将所述多尺度空间语义特征输入所述预设注意力网络的第二网络单元，由所述第二网络单元基于深度注意力机制对所述多尺度空间语义特征进行注意力特征提取处理，得到所述第一空间表征信息。
可选地，所述深度特征提取模块包括：
初始卷积模块，用于对所述当前空间表征信息进行卷积运算得到初始编码特征；
编码特征生成模块，用于将所述初始编码特征输入所述第一网络单元，由所述第一网络单元的多个编码模块对所述初始编码特征依次进行编码处理得到所述多个尺度的编码特征；每个所述编码模块的输入编码特征是基于前一编码模块的输出编码特征得到的；
解码特征生成模块，用于由所述第一网络单元的多个解码模块基于所述多个尺度的编码特征进行解码处理得到所述多个尺度的解码特征；所述多个解码模块与所述多个编码模块一一对应；每个所述解码模块的输入解码特征是基于前一解码模块的输出解码特征以及所述解码模块对应的编码模块的输出编码特征得到的。
可选地，所述第二网络单元中包含多个注意力单元，所述多个注意力单元与所述多个编码模块一一对应，且所述多个注意力单元与所述多个解码模块一一对应；所述注意力特征提取模块包括：
输入特征确定模块，用于确定每个注意力单元所对应编码模块的输入编码特征，以及所述每个注意力单元所对应解码模块的输出解码特征；
注意力特征提取子模块，用于基于所述每个注意力单元所对应编码模块的输入编码特征、每个注意力单元所对应解码模块的输出解码特征以及每个注意力单元的前一注意力单元的输出特征，确定每个注意力单元的输出特征；
第一空间表征信息生成子模块，用于将最后一个注意力单元的输出特征作为所述第一空间表征信息。
可选地，每个所述注意力单元中包含细节处理模块和注意力提取模块，所述注意力特征提取子模块包括：
细节特征提取单元，基于所述每个注意力单元所对应编码模块的输入编码特征以及每个注意力单元的前一注意力单元的输出特征，确定每个注意力单元中细节处理模块的输出特征；
注意力特征提取单元，用于基于每个注意力单元所对应解码模块的输出解码特征以及每个注意力单元中细节模块的输出特征，确定每个注意力单元中注意力提取模块的输出特征，将所述注意力提取模块的输出特征作为每个注意力单元的输出特征。
可选地，所述第二网络单元中还包括初始注意力提取模块，所述装置还包括：
初始注意力特征提取模块，用于将随机噪声和目标尺度的编码特征输入所述初始注意力提取模块，由所述初始注意力提取模块对所述随机噪声和所述目标尺度的编码特征进行注意力特征提取，得到初始注意力特征；所述目标尺度的编码特征为所述多个尺度的编码特征中最小尺度的编码特征；
当所述注意力单元为所述多个注意力单元中的首个注意力单元时，基于所述初始注意力特征、所述首个注意力单元所对应编码模块的输入编码特征以及所述首个注意力单元对应解码模块的输出解码特征，确定所述首个注意力单元的输出特征。
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本发明实施例提供了一种电子设备，该电子设备包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的图像重建方法。
存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及图像重建。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
本发明实施例所提供的方法实施例可以在计算机终端、服务器或者类似的运算装置中执行，图8是本发明实施例提供的运行一种图像重建方法的电子设备的硬件结构框图，该电子设备800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器810（中央处理器810可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）、用于存储数据的存储器830，一个或一个以上存储应用程序823或数据822的存储介质820（例如一个或一个以上海量存储设备）。其中，存储器830和存储介质820可以是短暂存储或持久存储。存储在存储介质820的程序可以包括一个或一个以上模块，每个模块可以包括对电子设备中的一系列指令操作。更进一步地，中央处理器810可以设置为与存储介质820通信，在电子设备800上执行存储介质820中的一系列指令操作。电子设备800还可以包括一个或一个以上电源860，一个或一个以上有线或无线网络接口850，一个或一个以上输入输出接口840，和/或，一个或一个以上操作系统821，例如Windows ServerTM，Mac OSXTM，UnixTM, LinuxTM，FreeBSDTM等等。
输入输出接口840可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备800的通信供应商提供的无线网络。在一个实例中，输入输出接口840包括一个网络适配器（Network Interface Controller，NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口840可以为射频（RadioFrequency，RF）模块，其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解，图8所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子设备800还可包括比图8中所示更多或者更少的组件，或者具有与图8所示不同的配置。
本发明的实施例还提供了一种计算机可读存储介质，所述存储介质可设置于电子设备之中以保存用于实现一种图像重建方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的图像重建方法。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本发明的实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的各种可选实现方式中提供的图像重建方法。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像重建方法，其特征在于，包括：
获取初始高光谱图像，所述初始高光谱图像是基于压缩测量图像和预设编码模板得到的；所述压缩测量图像是由目标压缩成像系统生成的；
将所述初始高光谱图像作为当前高光谱图像，对所述当前高光谱图像进行分解得到初始光谱基和初始空间表征信息；所述初始空间表征信息包含所述初始高光谱图像的空间语义特征；
基于深度注意力机制对所述初始空间表征信息进行空间语义特征提取，得到目标空间表征信息；
基于所述目标空间表征信息与所述初始光谱基确定第一高光谱图像；对所述第一高光谱图像和所述压缩测量图像进行特征融合得到第二高光谱图像；
基于所述第二高光谱图像和所述当前高光谱图像确定特征相对误差；
在所述特征相对误差不小于预设阈值的情况下，基于所述第二高光谱图像更新所述当前高光谱图像，直至所述特征相对误差小于所述预设阈值，结束对所述当前高光谱图像的更新；将结束更新时得到的所述第二高光谱图像作为所述目标压缩成像系统对应的目标重建高光谱图像。
2.根据权利要求1所述的方法，其特征在于，所述基于深度注意力机制对所述初始空间表征信息进行空间语义特征提取，得到目标空间表征信息包括：
将所述初始空间表征信息作为当前空间表征信息，将所述当前空间表征信息输入预设注意力网络中；基于所述预设注意力网络的深度注意力机制对所述当前空间表征信息进行空间语义特征提取，得到第一空间表征信息；
利用预设损失函数，基于所述第一空间表征信息、所述当前高光谱图像和所述压缩测量图像对所述预设注意力网络的参数进行调整；
在所述调整的次数小于预设次数的情况下，基于所述第一空间表征信息更新所述当前空间表征信息，直至所述调整的次数达到所述预设次数，结束对所述当前空间表征信息的更新；将结束更新时得到的所述第一空间表征信息作为所述目标空间表征信息。
3.根据权利要求2所述的方法，其特征在于，所述将所述初始空间表征信息作为当前空间表征信息，将所述当前空间表征信息输入预设注意力网络中；基于所述预设注意力网络的深度注意力机制对所述当前空间表征信息进行空间语义特征提取，得到第一空间表征信息包括：
将所述当前空间表征信息输入所述预设注意力网络的第一网络单元，由所述第一网络单元对所述当前空间表征信息进行深度特征提取，得到所述当前空间表征信息的多尺度空间语义特征；所述多尺度空间语义特征包含多个尺度的编码特征和多个尺度的解码特征；
将所述多尺度空间语义特征输入所述预设注意力网络的第二网络单元，由所述第二网络单元基于深度注意力机制对所述多尺度空间语义特征进行注意力特征提取，得到所述第一空间表征信息。
4.根据权利要求3所述的方法，其特征在于，所述将所述当前空间表征信息输入所述预设注意力网络的第一网络单元，由所述第一网络单元对所述当前空间表征信息进行深度特征提取，得到所述当前空间表征信息的多尺度空间语义特征包括：
对所述当前空间表征信息进行卷积运算得到初始编码特征；
将所述初始编码特征输入所述第一网络单元，由所述第一网络单元的多个编码模块对所述初始编码特征依次进行编码处理得到所述多个尺度的编码特征；每个所述编码模块的输入编码特征是基于前一编码模块的输出编码特征得到的；
由所述第一网络单元的多个解码模块基于所述多个尺度的编码特征进行解码处理得到所述多个尺度的解码特征；所述多个解码模块与所述多个编码模块一一对应；每个所述解码模块的输入解码特征是基于前一解码模块的输出解码特征以及所述解码模块对应的编码模块的输出编码特征得到的。
5.根据权利要求4所述的方法，其特征在于，所述第二网络单元中包含多个注意力单元，所述多个注意力单元与所述多个编码模块一一对应，且所述多个注意力单元与所述多个解码模块一一对应；所述将所述多尺度空间语义特征输入所述预设注意力网络的第二网络单元，由所述第二网络单元基于深度注意力机制对所述多尺度空间语义特征进行注意力特征提取处理，得到所述第一空间表征信息包括：
确定每个注意力单元所对应编码模块的输入编码特征，以及所述每个注意力单元所对应解码模块的输出解码特征；
基于所述每个注意力单元所对应编码模块的输入编码特征、每个注意力单元所对应解码模块的输出解码特征以及每个注意力单元的前一注意力单元的输出特征，确定每个注意力单元的输出特征；
将最后一个注意力单元的输出特征作为所述第一空间表征信息。
6.根据权利要求5所述的方法，其特征在于，每个所述注意力单元中包含细节处理模块和注意力提取模块，所述基于所述每个注意力单元所对应编码模块的输入编码特征、每个注意力单元所对应解码模块的输出解码特征以及每个注意力单元的前一注意力单元的输出特征，确定每个注意力单元的输出特征包括：
基于所述每个注意力单元所对应编码模块的输入编码特征以及每个注意力单元的前一注意力单元的输出特征，确定每个注意力单元中细节处理模块的输出特征；
基于每个注意力单元所对应解码模块的输出解码特征以及每个注意力单元中细节模块的输出特征，确定每个注意力单元中注意力提取模块的输出特征，将所述注意力提取模块的输出特征作为每个注意力单元的输出特征。
7.根据权利要求5所述的方法，其特征在于，所述第二网络单元中还包括初始注意力提取模块，所述方法还包括：
将随机噪声和目标尺度的编码特征输入所述初始注意力提取模块，由所述初始注意力提取模块对所述随机噪声和所述目标尺度的编码特征进行注意力特征提取，得到初始注意力特征；所述目标尺度的编码特征为所述多个尺度的编码特征中最小尺度的编码特征；
当所述注意力单元为所述多个注意力单元中的首个注意力单元时，基于所述初始注意力特征、所述首个注意力单元所对应编码模块的输入编码特征以及所述首个注意力单元对应解码模块的输出解码特征，确定所述首个注意力单元的输出特征。
8.一种图像重建装置，其特征在于，包括：
初始高光谱图像获取模块，用于获取初始高光谱图像，所述初始高光谱图像是基于压缩测量图像和预设编码模板得到的；所述压缩测量图像是由目标压缩成像系统生成的；
分解模块，用于将所述初始高光谱图像作为当前高光谱图像，对所述当前高光谱图像进行分解得到初始光谱基和初始空间表征信息；所述初始空间表征信息包含所述初始高光谱图像的空间语义特征；
目标空间表征信息提取模块，用于基于深度注意力机制对所述初始空间表征信息进行空间语义特征提取，得到目标空间表征信息；
融合模块，用于基于所述目标空间表征信息与所述初始光谱基确定第一高光谱图像；对所述第一高光谱图像和所述压缩测量图像进行特征融合得到第二高光谱图像；
特征相对误差确定模块，用于基于所述第二高光谱图像和所述当前高光谱图像确定特征相对误差；
目标高光谱图像生成模块，用于在所述特征相对误差不小于预设阈值的情况下，基于所述第二高光谱图像更新所述当前高光谱图像，直至所述特征相对误差小于所述预设阈值，结束对所述当前高光谱图像的更新；将结束更新时得到的所述第二高光谱图像作为所述目标压缩成像系统对应的目标重建高光谱图像。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由所述处理器加载并执行以实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1至7任一项所述方法的步骤。
CN202310842825.7A 2023-07-11 2023-07-11 一种图像重建方法、装置、电子设备及存储介质 Active CN116579966B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310842825.7A CN116579966B (zh) 2023-07-11 2023-07-11 一种图像重建方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310842825.7A CN116579966B (zh) 2023-07-11 2023-07-11 一种图像重建方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116579966A true CN116579966A (zh) 2023-08-11
CN116579966B CN116579966B (zh) 2023-11-17

Family

ID=87541670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310842825.7A Active CN116579966B (zh) 2023-07-11 2023-07-11 一种图像重建方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116579966B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117408875A (zh) * 2023-12-13 2024-01-16 阿尔玻科技有限公司 重构压缩超快摄影图像的方法、存储介质及设备
CN117876837A (zh) * 2024-03-11 2024-04-12 北京理工大学 基于深度展开网络的近红外单像素成像方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190096049A1 (en) * 2017-09-27 2019-03-28 Korea Advanced Institute Of Science And Technology Method and Apparatus for Reconstructing Hyperspectral Image Using Artificial Intelligence
CN109697697A (zh) * 2019-03-05 2019-04-30 北京理工大学 基于优化启发的神经网络的光谱成像系统的重构方法
CN109741407A (zh) * 2019-01-09 2019-05-10 北京理工大学 一种基于卷积神经网络的光谱成像系统的高质量重构方法
CN110717947A (zh) * 2019-09-25 2020-01-21 北京理工大学 一种基于外部和内部训练的高质量光谱重构方法
CN115700727A (zh) * 2023-01-03 2023-02-07 湖南大学 基于自注意力机制的光谱超分辨率重建方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190096049A1 (en) * 2017-09-27 2019-03-28 Korea Advanced Institute Of Science And Technology Method and Apparatus for Reconstructing Hyperspectral Image Using Artificial Intelligence
CN109741407A (zh) * 2019-01-09 2019-05-10 北京理工大学 一种基于卷积神经网络的光谱成像系统的高质量重构方法
CN109697697A (zh) * 2019-03-05 2019-04-30 北京理工大学 基于优化启发的神经网络的光谱成像系统的重构方法
CN110717947A (zh) * 2019-09-25 2020-01-21 北京理工大学 一种基于外部和内部训练的高质量光谱重构方法
CN115700727A (zh) * 2023-01-03 2023-02-07 湖南大学 基于自注意力机制的光谱超分辨率重建方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AITOR ALVAREZ-GILA ET AL: "Adversarial Networks for Spatial Context-Aware Spectral Image Reconstruction from RGB", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOPS (ICCVW)》, pages 480 - 491 *
罗敏: "基于RGB的高光谱图像重建算法研究", 《中国优秀硕士学位论文全文数据库（电子期刊）》, vol. 2023, no. 01 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117408875A (zh) * 2023-12-13 2024-01-16 阿尔玻科技有限公司 重构压缩超快摄影图像的方法、存储介质及设备
CN117876837A (zh) * 2024-03-11 2024-04-12 北京理工大学 基于深度展开网络的近红外单像素成像方法及系统
CN117876837B (zh) * 2024-03-11 2024-06-07 北京理工大学 基于深度展开网络的近红外单像素成像方法及系统

Also Published As

Publication number Publication date
CN116579966B (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
Yuan et al. Snapshot compressive imaging: Theory, algorithms, and applications
US10593021B1 (en) Motion deblurring using neural network architectures
CN116579966B (zh) 一种图像重建方法、装置、电子设备及存储介质
Huang et al. Deep gaussian scale mixture prior for spectral compressive imaging
Zhao et al. Hierarchical regression network for spectral reconstruction from RGB images
Jiang et al. Single image super-resolution via locally regularized anchored neighborhood regression and nonlocal means
CN110933429B (zh) 基于深度神经网络的视频压缩感知与重构方法和装置
Gao et al. Image fusion with cosparse analysis operator
CN110678899B (zh) 成像系统和图像处理方法
Xiong et al. SMDS-Net: Model guided spectral-spatial network for hyperspectral image denoising
CN109697697B (zh) 基于优化启发的神经网络的光谱成像系统的重构方法
Degraux et al. Online convolutional dictionary learning for multimodal imaging
CN113762147B (zh) 人脸表情迁移方法、装置、电子设备及存储介质
Pajot et al. Unsupervised adversarial image reconstruction
CN109741407A (zh) 一种基于卷积神经网络的光谱成像系统的高质量重构方法
CN109886898B (zh) 基于优化启发的神经网络的光谱成像系统的成像方法
CN114746895A (zh) 用于图像去噪的噪声重构
CN115950837B (zh) 基于即插即用先验的快照式光谱成像方法、系统及介质
CN109887050A (zh) 一种基于自适应字典学习的编码孔径光谱成像方法
Machidon et al. Deep learning for compressive sensing: a ubiquitous systems perspective
Zhao et al. Deep equilibrium models for video snapshot compressive imaging
CN112529777A (zh) 基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法
CN114299185A (zh) 磁共振图像生成方法、装置、计算机设备和存储介质
Zhao et al. Deep equilibrium models for snapshot compressive imaging
Moser et al. Diffusion models, image super-resolution and everything: A survey

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant