CN116228912A - 基于U-Net多尺度神经网络的图像压缩感知重建方法 - Google Patents

基于U-Net多尺度神经网络的图像压缩感知重建方法 Download PDF

Info

Publication number
CN116228912A
CN116228912A CN202310500566.XA CN202310500566A CN116228912A CN 116228912 A CN116228912 A CN 116228912A CN 202310500566 A CN202310500566 A CN 202310500566A CN 116228912 A CN116228912 A CN 116228912A
Authority
CN
China
Prior art keywords
neural network
channel
attention
scale
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310500566.XA
Other languages
English (en)
Other versions
CN116228912B (zh
Inventor
黄凯宣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202310500566.XA priority Critical patent/CN116228912B/zh
Publication of CN116228912A publication Critical patent/CN116228912A/zh
Application granted granted Critical
Publication of CN116228912B publication Critical patent/CN116228912B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于U‑Net多尺度神经网络的图像压缩感知重建方法，包括以下步骤：S1、压缩采样：利用光学系统编码孔径调制HSI信号，并将其压缩成二维测量；S2、重建过程：采用本方法提出的基于U‑Net多尺度扩展卷积神经网络重建算法将2D压缩图像重建为3D高光谱图像。本发明使用多尺度扩展卷积神经网络重建算法解决压缩感知高光谱图像重建问题，通过训练网络学习二维压缩测量数据到原始数据的逆变换，进一步使用训练好的模型重建压缩感知高光谱图像，实现了压缩感知高光谱图像的快速、精确重建，与传统迭代重建算法相比，在重建质量上有所提高，并且在重建高光谱数据上的计算时间上有显著提高，远快于传统算法。

Description

基于U-Net多尺度神经网络的图像压缩感知重建方法
技术领域
本发明涉及计算机视觉图像处理技术领域，尤其涉及基于U-Net多尺度神经网络的图像压缩感知重建方法。
背景技术
高光谱成像近年来受到了计算机视觉界的重要研究关注，但由于高光谱数据的高维性给高光谱数据的存储和传输带来了巨大的挑战。
CS (Compressive Sensing，压缩感知)是一种新兴的采样方法,通过线性投影同时采样和压缩来降低编码复杂度，它通过线性投影将稀疏或可压缩信号捕获为压缩信号。传统CS采样过程可以被视为一个具有固定变换函数和有限尺寸的光学编码器。受传统随机矩阵采样机制的限制，被采样的图像通常被分块处理，这导致了重建图像中的块效应,最终影响重建图像的质量。另外，传统的压缩感知重建方法大多采用基于迭代的最优化求解算法，如凸优化算法和贪婪算法。
这种基于迭代的最优化求解方法计算量大，选择最优变换的难度大，从而限制了其在实际生活中的应用。同时，几乎所有的这些方法在解决图像重建这个问题时,计算十分复杂且十分耗时。
近年来，受深度学习方法的启发,学者们提出了很多基于深度学习方法的压缩感知图像重建算法。虽然已经获得较好的重建效果,但重建性能仍有较大的提升空间，仍需要进行进一步研究。上述现有技术还存在以下问题：
1.高光谱图像具有丰富的图像信息，仅使用单个尺度卷积核，不能从不同感受野中获取信息，只能提取少量有用特征，不可避免地会丢失一些重要信息, 导致模型不能获取丰富的特征信息，影响特征提取的能力。
2.高光谱图像具有丰富的图像信息，提取出的特征有许多都是没有价值的，这样会无效的加大计算量，降低提取特征的能力。
发明内容
为了解决上述存在的技术问题，本发明提出基于U-Net多尺度神经网络的图像压缩感知重建方法。在压缩感知理论的基础上，在编码阶段，首先利用CASSI光学系统压缩采样，得到二维测量值；随后，在解码阶段将得到的二维测量输入到多尺度重建神经网络中提取多尺度特征并融合，得到特征图；接下来，将特征图信息再输入到注意力机制网络中进一步提取关注特征并融合，得到最终特征图；最后，在解码器中将最终特征图依次输入到反卷积层和多尺度重建神经网络中得到重建后的高光谱图像。
为实现上述目的，本发明提供如下技术方案：基于U-Net多尺度神经网络的图像压缩感知重建方法，包括如下步骤：
S1、编码阶段：将原始高光谱图像编码得到其对应的二维测量值Y;
S2、解码阶段：包括：S2-1、构建多尺度神经网络，将原始高光谱图像对应的二维测量值输入至多尺度神经网络中，进行特征提取并融合，得到对应的特征图；
步骤S2-2、构建注意力机制网络，将特征图输入至注意力机制网络，对特征图提取关注特征并融合，得到最终特征图；
步骤S2-3、将最终特征图输入至解码器中，获得重建后的高光谱图像。
进一步地，前述的步骤S1中，所述原始高光谱图像对应的二维测量，按如下方式获得：
S101、利用CASSI光学系统中二维编码孔径M对原始高光谱图像预设波长的HSI信号
Figure SMS_1
进行编码得到/>
Figure SMS_2
，如下式：
Figure SMS_3
，
其中，
Figure SMS_4
表示调制后的HSIs,/>
Figure SMS_5
表示光谱通道，⊙表示元素乘法；H代表输入的三维HSI立方体的高，W代表输入的三维HSI立方体的宽，/>
Figure SMS_6
代表输入的三维HSI立方体的波长数；/>
Figure SMS_7
；
S102、然后利用CASSI光学系统中分散器对
Figure SMS_8
沿y轴剪切信号得到/>
Figure SMS_9
，如下式：
Figure SMS_10
，
其中，(u, v)为定位探测器平面上的坐标系，
Figure SMS_11
为第n个通道的波长，/>
Figure SMS_12
表示锚定波，/>
Figure SMS_13
为第n个通道在/>
Figure SMS_14
上的空间移动偏移量；
S103、整合有通道，将
Figure SMS_15
压缩为二维测量值Y，如下式：
Figure SMS_16
,
其中，
Figure SMS_17
，为CASSI光学系统获取到的二维测量值；
Figure SMS_18
，为传感探测器上成像过程中的二维测量噪声。
进一步地，前述的步骤S2-1中，所述多尺度神经网络包括三层：第一层为3个大小为3×3的卷积核，空洞率都为1，2，2，pad补零数为1，2，2，激活函数为ReLU；第二层为3个大小为5×5的卷积核，空洞率都为1，2，2，pad补零数为2，4，4，激活函数为ReLU；第三层为3个大小为7×7的卷积核，空洞率都为1，2，2，pad补零数为3，6，6，激活函数为ReLU。
进一步地，前述的步骤S2-1中，将原始高光谱图像对应的二维测量值输入至多尺度神经网络中，进行特征提取并融合，得到对应的特征图包括如下子步骤：
S2-1.1、将二维测量值Y输入至多尺度神经网络中，获得多尺度特征（F1,F2,F3），然后通过串联操作将三个通道的各种尺度特征融合，得到图像信息M，如下式：
Figure SMS_19
，
其中，
Figure SMS_20
表示串联操作，用于将每个卷积通道输出将不同尺度的信道特征图串联，得到多尺度特征信息M；M的通道特征图个数为F1、F2、F3的总和；
S2-1.2、将M作为第四卷积层的输入，然后经过池化操作获得特征图F，所述第四卷积层为连续的三个3×3卷积核。
进一步地，前述的步骤S2-2中，所述注意力机制网络包括通道注意力模块和空间注意力模块，其中通道注意力模块用于接收步骤S2-1的特征图计算通道注意映射
Figure SMS_21
，并生成通道注意力特征图/>
Figure SMS_22
，如下式：
Figure SMS_23
，
所述空间注意力模块用于接收通道注意力特征图
Figure SMS_24
，计算/>
Figure SMS_25
，并生成最终特征图/>
Figure SMS_26
，如下式：
Figure SMS_27
，
其中，
Figure SMS_28
表示元素的乘法，/>
Figure SMS_29
为得到最终特征图。
进一步地，前述的步骤S2-2中，计算通道注意映射
Figure SMS_30
、以及计算空间注意映射
Figure SMS_31
，包括以下子步骤：
S2-2.1、通过平均池化和最大池化操作聚合特征图F的空间信息，分别生成的平均池化特征
Figure SMS_32
和最大池化特征/>
Figure SMS_33
；
S2-2.2、将平均池化特征
Figure SMS_34
和最大池化特征/>
Figure SMS_35
同时输入至MLP共享网络中，分别获得对应的向量特征；所述MLP共享网络包含一个MLP层和一个隐层；
S2-2.3、对向量特征进行元素求和，得到通道注意力映射，如下式：
Figure SMS_36
，
其中σ表示sigmoid函数，
Figure SMS_37
,/>
Figure SMS_38
；MLP权值/>
Figure SMS_39
和/>
Figure SMS_40
对于两个输入为共享，/>
Figure SMS_41
后面连接ReLU激活函数；
S2-2.4、对通道注意力模块输出的特征图
Figure SMS_42
进行最大池化和平均池化操作，生成跨通道的平均池化特征：/>
Figure SMS_43
、跨通道最大池化特征/>
Figure SMS_44
；
S2-2.5、将跨通道的平均池化特征：
Figure SMS_45
、跨通道最大池化特征
Figure SMS_46
输入至标准卷积层，获得二维空间注意图，如下式：
Figure SMS_47
,
其中，σ表示sigmoid函数，
Figure SMS_48
表示滤波大小为7×7的卷积运算。
进一步地，前述的步骤S2-3具体为：在解码器中设置4个卷积层，分别与多尺度神经网络的三层、以及所述第四卷基层一一对应，每个卷积层的结构依次为：反卷积层-多尺度卷积网络；将得到的最终特征图
Figure SMS_49
输入反卷积层中用于放大特征图，之后再将放大后的特征图输入到多尺度卷积网络中，得到重建后的高光谱图像。/>
相较于现有技术，本发明的有益效果如下：
本发明中,提供基于U-Net多尺度神经网络的图像压缩感知重建方法，与之前传统的压缩感知重建算法相比,通过利用CASSI光学系统进行压缩采样，得到二维测量值，能有效的提高采样效率。将得到的二维测量输入到多尺度重建神经网络中提取多尺度特征并融合，得到特征图。接下来，将特征图信息再输入到注意力机制网络中进一步提取关注特征并融合，得到最终特征图。最后，在解码阶段将最终特征图依次输入到反卷积层和多尺度重建神经网络中得到重建后的高光谱图像。方法中使用多个网络进行重建可显著提高重建性能，实现了压缩感知高光谱图像的快速、精确重建。与传统迭代重建算法相比，在重建质量上有所提高，并且能高精度的完成图像重建，在重建高光谱数据上的计算时间上有显著提高，远快于传统算法。
附图说明
图1是本发明实施方式中基于U-Net多尺度神经网络的图像压缩感知重建方法的流程图。
图2是本发明实施方式中通过CASSI光学系统压缩采样，获得二维测量的过程图。
图3是本发明实施方式中基于U-Net多尺度扩展卷积神经网络的图像压缩感知重建网络图。
图4是本发明实施方式中多尺度卷积网络模块示意图。
图5是本发明实施方式中注意力模块示意图。
图6是本发明注意力模块中通道注意示意图。
图7是本发明注意力模块中空间注意示意图。
具体实施方式
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。
在本发明中参照附图来描述本发明的各方面，附图中示出了许多说明性实施例。本发明的实施例不局限于附图所述。应当理解，本发明通过上面介绍的多种构思和实施例，以及下面详细描述的构思和实施方式中的任意一种来实现，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
结合图1的流程图，以及图3本发明实施方式中基于U-Net多尺度扩展卷积神经网络的图像压缩感知重建网络图所示，基于U-Net多尺度神经网络的图像压缩感知重建方法，包括如下步骤：
S1、编码阶段：将原始高光谱图像编码得到其对应的二维测量值Y;
S2、解码阶段：包括：S2-1、构建多尺度神经网络，将原始高光谱图像对应的二维测量值输入至多尺度神经网络中，进行特征提取并融合，得到对应的特征图；
步骤S2-2、构建注意力机制网络，将特征图输入至注意力机制网络，对特征图提取关注特征并融合，得到最终特征图；
步骤S2-3、将最终特征图输入至解码器中，获得重建后的高光谱图像。
结合图2所示，进一步地，作为本发明所提出的基于U-Net多尺度神经网络的图像压缩感知重建方法中的一个优选实施例，步骤S1包括以下子步骤：
S101、利用CASSI光学系统中二维编码孔径
Figure SMS_50
对原始高光谱图像预设波长的HSI信号进行编码得到/>
Figure SMS_51
，如下式：
Figure SMS_52
，
其中，
Figure SMS_53
表示调制后的HSIs,/>
Figure SMS_54
表示光谱通道，⊙表示元素乘法；H代表输入的三维HSI立方体的高，W代表输入的三维HSI立方体的宽，/>
Figure SMS_55
代表输入的三维HSI立方体的波长数；/>
Figure SMS_56
。
S102、利用CASSI光学系统中分散器对
Figure SMS_57
沿y轴剪切信号得到F''，通过传递到单一分散器(SD),/>
Figure SMS_58
在经过分散器后变得倾斜，可被认为是沿y轴剪切，如下式：
Figure SMS_59
，
其中，(u, v)为定位探测器平面上的坐标系，
Figure SMS_60
为第n个通道的波长，/>
Figure SMS_61
表示锚定波，/>
Figure SMS_62
为第n个通道在/>
Figure SMS_63
上的空间移动偏移量；
S103、整合有通道，将
Figure SMS_64
压缩为二维测量值Y，如下式：
Figure SMS_65
,
其中，
Figure SMS_66
，为CASSI光学系统获取到的二维测量值；
Figure SMS_67
，为传感探测器上成像过程中的二维测量噪声。
进一步地，作为本发明所提出的基于U-Net多尺度神经网络的图像压缩感知重建方法中的一个优选实施例，结合图4所示，步骤S2-1中，所述多尺度神经网络包括三层：第一层为3个大小为3×3的卷积核，空洞率都为1，2，2，pad补零数为1，2，2，激活函数为ReLU；第二层为3个大小为5×5的卷积核，空洞率都为1，2，2，pad补零数为2，4，4，激活函数为ReLU；第三层为3个大小为7×7的卷积核，空洞率都为1，2，2，pad补零数为3，6，6，激活函数为ReLU。
进一步地，作为本发明所提出的基于U-Net多尺度神经网络的图像压缩感知重建方法中的一个优选实施例，步骤S2-1中，将原始高光谱图像对应的二维测量值输入至多尺度神经网络中，进行特征提取并融合，得到对应的特征图包括如下子步骤：
S2-1.1、将二维测量值Y输入至多尺度神经网络中，获得多尺度特征（F1,F2,F3），然后通过串联操作将三个通道的各种尺度特征融合，得到图像信息M，如下式：
Figure SMS_68
，
其中，
Figure SMS_69
表示串联操作，用于将每个卷积通道输出将不同尺度的信道特征图串联，得到多尺度特征信息M；M的通道特征图个数为F1、F2、F3的总和；
S2-1.2、将M作为第四卷积层的输入，然后经过池化操作获得特征图F，所述第四卷积层为连续的三个3×3卷积核。
进一步地，作为本发明所提出的基于U-Net多尺度神经网络的图像压缩感知重建方法中的一个优选实施例，如图5所示，步骤S2-2中，所述注意力机制网络包括通道注意力模块和空间注意力模块，其中通道注意力模块用于接收步骤S2-1的特征图计算通道注意映射
Figure SMS_70
，并生成通道注意力特征图/>
Figure SMS_71
，如下式
Figure SMS_72
，
所述空间注意力模块用于接收通道注意力特征图
Figure SMS_73
，计算/>
Figure SMS_74
，并生成最终特征图/>
Figure SMS_75
，如下式：
Figure SMS_76
，
其中，
Figure SMS_77
表示元素的乘法，/>
Figure SMS_78
为得到最终特征图。
进一步地，作为本发明所提出的基于U-Net多尺度神经网络的图像压缩感知重建方法中的一个优选实施例，结合图6和图7所示，步骤S2-2中，计算通道注意映射
Figure SMS_79
、以及计算空间注意映射/>
Figure SMS_80
，包括以下子步骤：
S2-2.1、通过平均池化和最大池化操作聚合特征图F的空间信息，分别生成的平均池化特征
Figure SMS_81
和最大池化特征/>
Figure SMS_82
；
S2-2.2、将平均池化特征
Figure SMS_83
和最大池化特征/>
Figure SMS_84
同时输入至MLP共享网络中，分别获得对应的向量特征；所述MLP共享网络包含一个MLP层和一个隐层；
S2-2.3、对向量特征进行元素求和，得到通道注意力映射，如下式：
Figure SMS_85
，
其中σ表示sigmoid函数，
Figure SMS_86
,/>
Figure SMS_87
；MLP权值/>
Figure SMS_88
和/>
Figure SMS_89
对于两个输入为共享，/>
Figure SMS_90
后面连接ReLU激活函数；
S2-2.4、对通道注意力模块输出的特征图
Figure SMS_91
进行最大池化和平均池化操作，生成跨通道的平均池化特征：/>
Figure SMS_92
、跨通道最大池化特征/>
Figure SMS_93
；
S2-2.5、将跨通道的平均池化特征：
Figure SMS_94
、跨通道最大池化特征
Figure SMS_95
输入至标准卷积层，获得二维空间注意图，如下式：
Figure SMS_96
,
其中，σ表示sigmoid函数，
Figure SMS_97
表示滤波大小为7×7的卷积运算。
进一步地，作为本发明所提出的基于U-Net多尺度神经网络的图像压缩感知重建方法中的一个优选实施例，结合图3，步骤S2-3具体为：在解码器中设置4个卷积层，分别与多尺度神经网络的三层、以及所述第四卷基层一一对应，每个卷积层的结构依次为：反卷积层-多尺度卷积网络；将得到的最终特征图
Figure SMS_98
输入反卷积层中用于放大特征图，之后再将放大后的特征图输入到多尺度卷积网络中，得到重建后的高光谱图像。
虽然本发明已以较佳实施例阐述如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (7)

1.基于U-Net多尺度神经网络的图像压缩感知重建方法，其特征在于，包括如下步骤：
S1、编码阶段：将原始高光谱图像编码得到其对应的二维测量值Y;
S2、解码阶段：包括：S2-1、构建多尺度神经网络，将原始高光谱图像对应的二维测量值输入至多尺度神经网络中，进行特征提取并融合，得到对应的特征图；
步骤S2-2、构建注意力机制网络，将特征图输入至注意力机制网络，对特征图提取关注特征并融合，得到最终特征图；
步骤S2-3、将最终特征图输入至解码器中，获得重建后的高光谱图像。
2.根据权利要求1所述的基于U-Net多尺度神经网络的图像压缩感知重建方法，其特征在于，
步骤S1中，所述原始高光谱图像对应的二维测量，按如下方式获得：
S101、利用CASSI光学系统中二维编码孔径M对原始高光谱图像预设波长的HSI信号
Figure QLYQS_1
进行编码得到 />
Figure QLYQS_2
，如下式：
Figure QLYQS_3
，
其中，
Figure QLYQS_4
表示调制后的HSIs, />
Figure QLYQS_5
表示光谱通道，⊙表示元素乘法；H代表输入的三维HSI立方体的高，W代表输入的三维HSI立方体的宽，/>
Figure QLYQS_6
代表输入的三维HSI立方体的波长数；/>
Figure QLYQS_7
；
S102、然后利用CASSI光学系统中分散器对
Figure QLYQS_8
沿y轴剪切信号得到/>
Figure QLYQS_9
，如下式：
Figure QLYQS_10
，
其中，(u, v)为定位探测器平面上的坐标系，
Figure QLYQS_11
为第n个通道的波长，/>
Figure QLYQS_12
表示锚定波，
Figure QLYQS_13
为第n个通道在/>
Figure QLYQS_14
上的空间移动偏移量；
S103、整合有通道，将
Figure QLYQS_15
压缩为二维测量值Y，如下式：
Figure QLYQS_16
,
其中，
Figure QLYQS_17
，为CASSI光学系统获取到的二维测量值；
Figure QLYQS_18
，为传感探测器上成像过程中的二维测量噪声。
3.根据权利要求1所述的基于U-Net多尺度神经网络的图像压缩感知重建方法，其特征在于，
步骤S2-1中，所述多尺度神经网络包括三层：第一层为3个大小为3×3的卷积核，空洞率都为1，2，2，pad补零数为1，2，2，激活函数为ReLU；第二层为3个大小为5×5的卷积核，空洞率都为1，2，2，pad补零数为2，4，4，激活函数为ReLU；第三层为3个大小为7×7的卷积核，空洞率都为1，2，2，pad补零数为3，6，6，激活函数为ReLU。
4.根据权利要求3所述的基于U-Net多尺度神经网络的图像压缩感知重建方法，其特征在于，步骤S2-1中，将原始高光谱图像对应的二维测量值输入至多尺度神经网络中，进行特征提取并融合，得到对应的特征图包括如下子步骤：
S2-1.1、将二维测量值Y输入至多尺度神经网络中，获得多尺度特征（F1,F2,F3），然后通过串联操作将三个通道的各种尺度特征融合，得到图像信息M，如下式：
Figure QLYQS_19
，
其中，
Figure QLYQS_20
表示串联操作，用于将每个卷积通道输出将不同尺度的信道特征图串联，得到多尺度特征信息M；M的通道特征图个数为F1、F2、F3的总和；
S2-1.2、将M作为第四卷积层的输入，然后经过池化操作获得特征图F，所述第四卷积层为连续的三个3×3卷积核。
5.根据权利要求4所述的基于U-Net多尺度神经网络的图像压缩感知重建方法，其特征在于，步骤S2-2中，所述注意力机制网络包括通道注意力模块和空间注意力模块，其中通道注意力模块用于接收步骤S2-1的特征图计算通道注意映射
Figure QLYQS_21
，并生成通道注意力特征图/>
Figure QLYQS_22
，如下式：
Figure QLYQS_23
，
所述空间注意力模块用于接收通道注意力特征图
Figure QLYQS_24
，计算/>
Figure QLYQS_25
，并生成最终特征图
Figure QLYQS_26
，如下式：
Figure QLYQS_27
，
其中，
Figure QLYQS_28
表示元素的乘法，/>
Figure QLYQS_29
为得到最终特征图。
6.根据权利要求5所述的基于U-Net多尺度神经网络的图像压缩感知重建方法，其特征在于，步骤S2-2中，计算通道注意映射
Figure QLYQS_30
、以及计算空间注意映射/>
Figure QLYQS_31
，包括以下子步骤：
S2-2.1、通过平均池化和最大池化操作聚合特征图F的空间信息，分别生成的平均池化特征
Figure QLYQS_32
和最大池化特征 />
Figure QLYQS_33
；
S2-2.2、将平均池化特征
Figure QLYQS_34
和最大池化特征 />
Figure QLYQS_35
同时输入至MLP共享网络中，分别获得对应的向量特征；所述MLP共享网络包含一个MLP层和一个隐层；
S2-2.3、对向量特征进行元素求和，得到通道注意力映射，如下式：
Figure QLYQS_36
，/>
其中σ表示sigmoid函数，
Figure QLYQS_37
, />
Figure QLYQS_38
；MLP权值/>
Figure QLYQS_39
和/>
Figure QLYQS_40
对于两个输入为共享，/>
Figure QLYQS_41
后面连接ReLU激活函数；
S2-2.4、对通道注意力模块输出的特征图
Figure QLYQS_42
进行最大池化和平均池化操作，生成跨通道的平均池化特征：/>
Figure QLYQS_43
、跨通道最大池化特征/>
Figure QLYQS_44
；
S2-2.5、将跨通道的平均池化特征：
Figure QLYQS_45
、跨通道最大池化特征
Figure QLYQS_46
输入至标准卷积层，获得二维空间注意图，如下式：
Figure QLYQS_47
，
其中，σ表示sigmoid函数，
Figure QLYQS_48
表示滤波大小为7×7的卷积运算。
7.根据权利要求6所述的基于U-Net多尺度神经网络的图像压缩感知重建方法，其特征在于，步骤S2-3具体为：在解码器中设置4个卷积层，分别与多尺度神经网络的三层、以及所述第四卷基层一一对应，每个卷积层的结构依次为：反卷积层-多尺度卷积网络；将得到的最终特征图
Figure QLYQS_49
输入反卷积层中用于放大特征图，之后再将放大后的特征图输入到多尺度卷积网络中，得到重建后的高光谱图像。/>
CN202310500566.XA 2023-05-06 2023-05-06 基于U-Net多尺度神经网络的图像压缩感知重建方法 Active CN116228912B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310500566.XA CN116228912B (zh) 2023-05-06 2023-05-06 基于U-Net多尺度神经网络的图像压缩感知重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310500566.XA CN116228912B (zh) 2023-05-06 2023-05-06 基于U-Net多尺度神经网络的图像压缩感知重建方法

Publications (2)

Publication Number Publication Date
CN116228912A true CN116228912A (zh) 2023-06-06
CN116228912B CN116228912B (zh) 2023-07-25

Family

ID=86585834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310500566.XA Active CN116228912B (zh) 2023-05-06 2023-05-06 基于U-Net多尺度神经网络的图像压缩感知重建方法

Country Status (1)

Country Link
CN (1) CN116228912B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116665063A (zh) * 2023-07-27 2023-08-29 南京信息工程大学 基于自注意力和深度卷积并行的高光谱重建方法
CN117036952A (zh) * 2023-08-15 2023-11-10 石河子大学 基于rgb图像重建高光谱图像的红枣水分含量等级检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103632385A (zh) * 2013-12-05 2014-03-12 南京理工大学 基于空谱联合稀疏先验的卫星高光谱压缩感知重建方法
CN103810755A (zh) * 2014-03-04 2014-05-21 西安电子科技大学 基于结构聚类稀疏表示的压缩感知光谱图像重建方法
CN109447891A (zh) * 2019-01-09 2019-03-08 北京理工大学 一种基于卷积神经网络的光谱成像系统的高质量成像方法
CN110081977A (zh) * 2019-05-22 2019-08-02 北京理工大学 一种基于压缩感知的可调滤光器型高光谱成像仪及方法
CN111667445A (zh) * 2020-05-29 2020-09-15 湖北工业大学 一种基于Attention多特征融合的图像压缩感知重建方法
CN113192147A (zh) * 2021-03-19 2021-07-30 西安电子科技大学 显著性压缩的方法、系统、存储介质、计算机设备及应用
CN114419392A (zh) * 2022-01-19 2022-04-29 北京理工大学重庆创新中心 高光谱快照图像恢复方法、装置、设备及介质
WO2022225975A1 (en) * 2021-04-20 2022-10-27 The Regents Of The University Of California Hyperspectral compressive imaging with integrated photonics

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103632385A (zh) * 2013-12-05 2014-03-12 南京理工大学 基于空谱联合稀疏先验的卫星高光谱压缩感知重建方法
CN103810755A (zh) * 2014-03-04 2014-05-21 西安电子科技大学 基于结构聚类稀疏表示的压缩感知光谱图像重建方法
CN109447891A (zh) * 2019-01-09 2019-03-08 北京理工大学 一种基于卷积神经网络的光谱成像系统的高质量成像方法
CN110081977A (zh) * 2019-05-22 2019-08-02 北京理工大学 一种基于压缩感知的可调滤光器型高光谱成像仪及方法
CN111667445A (zh) * 2020-05-29 2020-09-15 湖北工业大学 一种基于Attention多特征融合的图像压缩感知重建方法
CN113192147A (zh) * 2021-03-19 2021-07-30 西安电子科技大学 显著性压缩的方法、系统、存储介质、计算机设备及应用
WO2022225975A1 (en) * 2021-04-20 2022-10-27 The Regents Of The University Of California Hyperspectral compressive imaging with integrated photonics
CN114419392A (zh) * 2022-01-19 2022-04-29 北京理工大学重庆创新中心 高光谱快照图像恢复方法、装置、设备及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WANG XIAOFANG等: "Coupling dense point cloud correspondence and template model fitting for 3D human pose and shape reconstruction from a single depth image", pages 1 - 8, XP034218148, Retrieved from the Internet <URL:《网页在线公开：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9929833》> DOI: 10.1109/IMET54801.2022.9929833 *
刘玉红等: "基于通道注意力的多尺度全卷积压缩感知重构", 《计算机工程》, vol. 48, no. 12, pages 189 - 195 *
杨森林等: "压缩域遥感图像融合方法研究", 《西安文理学院学报：自然科学版》, vol. 16, no. 2, pages 1 - 5 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116665063A (zh) * 2023-07-27 2023-08-29 南京信息工程大学 基于自注意力和深度卷积并行的高光谱重建方法
CN116665063B (zh) * 2023-07-27 2023-11-03 南京信息工程大学 基于自注意力和深度卷积并行的高光谱重建方法
CN117036952A (zh) * 2023-08-15 2023-11-10 石河子大学 基于rgb图像重建高光谱图像的红枣水分含量等级检测方法
CN117036952B (zh) * 2023-08-15 2024-04-12 石河子大学 基于rgb图像重建高光谱图像的红枣水分含量等级检测方法

Also Published As

Publication number Publication date
CN116228912B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN116228912B (zh) 基于U-Net多尺度神经网络的图像压缩感知重建方法
Wang et al. Hyperreconnet: Joint coded aperture optimization and image reconstruction for compressive hyperspectral imaging
CN107525588B (zh) 一种基于gpu的双相机光谱成像系统的快速重构方法
CN112819910B (zh) 基于双鬼注意力机制网络的高光谱图像重建方法
CN109146787B (zh) 一种基于插值的双相机光谱成像系统的实时重建方法
CN110084862B (zh) 基于多尺度小波变换与深度学习的图像压缩感知算法
Liu et al. A new polarization image demosaicking algorithm by exploiting inter-channel correlations with guided filtering
CN110288524B (zh) 基于增强型上采样和辨别融合机制的深度学习超分辨率方法
CN114692509B (zh) 基于多阶段退化神经网络的强噪声单光子三维重建方法
CN111667444B (zh) 一种基于多通道残差网络的图像压缩感知重建方法
CN110533591B (zh) 基于编解码器结构的超分辨图像重建方法
Liu et al. NTIRE 2024 challenge on low light image enhancement: Methods and results
CN115953303A (zh) 结合通道注意力的多尺度图像压缩感知重构方法及系统
Zou et al. Hyperspectral image super-resolution combining with deep learning and spectral unmixing
Cai et al. Binarized spectral compressive imaging
CN115880158A (zh) 一种基于变分自编码的盲图像超分辨率重建方法及系统
Xu et al. AACNet: Asymmetric attention convolution network for hyperspectral image dehazing
CN116665063B (zh) 基于自注意力和深度卷积并行的高光谱重建方法
He et al. Deep frequency-recurrent priors for inverse imaging reconstruction
CN115761137B (zh) 一种基于法向量和点云数据相互融合的高精度曲面重建方法和装置
CN117408924A (zh) 一种基于多重语义特征融合网络的低光照图像增强方法
CN115855839B (zh) 一种基于admm框架的改进空谱融合高光谱计算重构方法
CN117351372A (zh) 一种基于改进DeeplabV3+的遥感图像道路分割方法
CN116630388A (zh) 基于深度学习的热成像图像双目视差估计方法及系统
CN111199574A (zh) 一种全息图像生成方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant