CN112990230B - 基于二阶段分组注意力残差机制的光谱图像压缩重建方法 - Google Patents

基于二阶段分组注意力残差机制的光谱图像压缩重建方法 Download PDF

Info

Publication number
CN112990230B
CN112990230B CN202110270457.4A CN202110270457A CN112990230B CN 112990230 B CN112990230 B CN 112990230B CN 202110270457 A CN202110270457 A CN 202110270457A CN 112990230 B CN112990230 B CN 112990230B
Authority
CN
China
Prior art keywords
feature
features
layer
shape
spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110270457.4A
Other languages
English (en)
Other versions
CN112990230A (zh
Inventor
秦翰林
乐阳
延翔
马琳
张嘉伟
梁毅
李莹
姚迪
杨硕闻
冯冬竹
周慧鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110270457.4A priority Critical patent/CN112990230B/zh
Publication of CN112990230A publication Critical patent/CN112990230A/zh
Application granted granted Critical
Publication of CN112990230B publication Critical patent/CN112990230B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种基于二阶段分组注意力残差机制的光谱图像压缩重建方法，利用第一阶段网络对观测到的图像与对应波段的图像联合生成初始估计结果，并对初始估计结果进行特征提取，对于提取到的特征使用分组注意力网络对特征数据进行分组计算，有效降低了模型的待学习参数量，在一定算力下有降低了数据重建时间；然后将优化的分组结果融合并使用第二阶段网络优化特征光谱分布结构，针对光谱一致性与上下文特征一致性设计了基于残差通道注意力机制的光谱优化网络，针对光谱维度的信息分布进行了全局优化，最终融合特征，获取高质量的重构光谱数据立方体。

Description

基于二阶段分组注意力残差机制的光谱图像压缩重建方法
技术领域
本发明属于计算光谱图像重构领域，具体涉及一种基于二阶段分组注意力残差机制的光谱图像压缩重建方法。
背景技术
高光谱成像相对于全光谱成像具有光谱分辨率高、获取信息量多、目标结构区分度高等特点，其将成像技术与光谱探测技术相结合，可有效获取目标的二维空间信息以及对应空间位置的一位光谱信息，获取高光谱分辨率的连续、窄波段的图像数据，在医疗、航天、目标探测、物质成分分析、安防等领域有广泛的应用，由于高光谱图像数据量大，光谱三维立方体通道较多，完整的数据获取需要较大的带宽以及时间代价，传统的基于时域采样的方式难以实现高速实时成像，对高速目标适用较差。
压缩光谱重建是指将多个光谱图像切片映射到单个观测中的压缩光谱成像系统，在多光谱成像主要通过编码孔径快照光谱成像系统(Coded Aperture Snapshot SpectralImaging System)实现，其通过编码孔径和两个色散器件调制不同波长的图像，并进行单次采集。通过这中方式，可以有效减少探测器进行采样的次数，由于高光谱数据立方体数据信息熵低、冗余度高，通过光谱压缩编码可对光谱数据中的冗余信息在一定程度上压缩到空间维度，降低采样数据的冗余度，并通过后期计算重建得到原始光谱数据立方体。
从压缩降采样的光谱信息中重建得到原始光谱数据立方体的过程是一个图像退化的逆过程，传统基于稀疏表示的重建方法严格依赖标准采样模型的迭代优化，需要进行大量的重复大规模矩阵运算，对重建计算设备的时间以及空间运算性能都提出了较高的要求，难以以较合理的成本投入应用。基于深度学习的重建方法可直接在从原始观测到目标重建数据的优化训练中学习两者之间的复杂非线性映射，避免了大量的递归矩阵运算，极大程度地降低了计算处理设备的软硬件部署成本，将对压缩光谱成像技术带来极大的突破，推进其在技术生产生活发展中的落地进程。
发明内容
有鉴于此，本发明的主要目的在于提供一种基于二阶段分组注意力残差机制的高光谱图像压缩性重建方法。
为达到上述目的，本发明的技术方案是这样实现的：
本发明实施例提供一种基于二阶段分组注意力残差机制的光谱图像压缩重建方法，该方法为：
通过色散棱镜对目标场景x进行色散，使其光谱信息在呈现出空间交错状态，利用编码矩阵M对色散的场景进行编码，并通过第二个色散棱镜反向色散，获得压缩压缩光谱观测量y；
所述压缩光谱观测量y与对应谱段的编码矩阵联合通过单层卷积进行特征提取得初始估计特征
Figure BDA0002974132170000021
所述初始特征
Figure BDA0002974132170000022
通过3个形状为[C,256,1,1]的卷积得到3个形状为[128,H,W]降维卷积层；
所述3个降维卷积层分别经过单层形状为[256,1,1]的卷积核进行特征分组，获得3个形状为[128,H,W]的次级分组特征；
对所述3个形状为[128,H,W]的次级分组特征分别进行空间校正、融合，获得3个形状为[256,H,W]的中间特征；
所述形状为[256,H,W]的中间特征通过单层形状为[768,256,3,3]的卷积核进行卷积，获得形状为[256,H,W]的融合中间特征；
将所述形状为[256,H,W]的融合中间特征通过单层形状为[256,C,3,3]的卷积核得到最终优化重建结果
Figure BDA0002974132170000023
所述最终优化重建结果
Figure BDA0002974132170000024
与标准数据集中的数据进行对照，以L1函数为目标进行网络训练与参数拟合。
上述方案中，所述通过色散棱镜对目标场景x进行色散，使其光谱信息在呈现出空间交错状态，利用编码矩阵M对色散的场景进行编码，并通过第二个色散棱镜反向色散，获得压缩压缩光谱观测量y，具体为：可表示为如式(1)所示：
Figure BDA0002974132170000031
其中，C表示光谱数据立方体的总体谱段数，xi表示第i个谱段的光谱切片，Mi表示对第i个光谱切片进行调制的编码模板，N表示观测过程中引入的各类噪声。
上述方案中，所述压缩光谱观测量y与对应谱段的编码矩阵联合通过单层卷积进行特征提取得初始估计特征
Figure BDA0002974132170000032
具体为：编码矩阵的形状为[C,H,W]，压缩光谱观测量y的形状为[1,H,W]，该过程可表示为如式(2)所示：
Figure BDA0002974132170000033
上述方案中，所述初始特征
Figure BDA0002974132170000034
通过3个形状为[C,256,1,1]的卷积得到3个形状为[128,H,W]降维卷积层，具体为：所述初始特征
Figure BDA0002974132170000035
通过3个形状为[C,256,1,1]的卷积得到3个形状为[128,H,W]降维卷积层，分别表示为
Figure BDA0002974132170000036
Figure BDA0002974132170000037
其中
Figure BDA0002974132170000038
的计算如式(3)所示：
Figure BDA0002974132170000039
上述方案中，所述3个降维卷积层分别经过单层形状为[256,1,1]的卷积核进行特征分组，获得3个形状为[128,H,W]的次级分组特征，具体为：对于输入的特征图
Figure BDA00029741321700000310
分别使用3层形状为[256,128,1,1]的卷积进行特征分组，得到3个形状为[128,H,W]的次级分组特征
Figure BDA00029741321700000311
其计算方法如式(4)所示：
Figure BDA0002974132170000041
其中，[w1-1、w1-2、…、w3-3]为作用于对应特征图的卷积权重。
上述方案中，所述对所述3个形状为[128,H,W]的次级分组特征分别进行空间校正、融合，获得3个形状为[256,H,W]的中间特征，具体为：对于次级分组特征
Figure BDA0002974132170000042
分别经过相同的网络结构进行处理，将
Figure BDA0002974132170000043
通过空间注意力模块(Spatial Attention Block，SAB)Block-l1得到空间校正输出s′1，然后使用残差连接的方式融合输入的特征
Figure BDA0002974132170000044
得到
Figure BDA0002974132170000045
并以串联的连接方式复用相同的结构模块Block-l2、Block-l3分别得到输出s2＝s1+s′2、s3＝s2+s′3，最后再次使用残差连接的方式融合输入的特征
Figure BDA0002974132170000046
得到该分组的输出
Figure BDA0002974132170000047
该过程可表示为如式(5)所示：
Figure BDA0002974132170000048
重复以上操作，分别得到3个分组输出
Figure BDA0002974132170000049
联合3个分组输出，并通过单层形状为[768,256,3,3]的卷积对特征进行融合，并使用残差连接的方式融合输入
Figure BDA00029741321700000410
得到输出
Figure BDA00029741321700000411
该过程可表示为如式(6)所示：
Figure BDA00029741321700000412
上述方案中，所述形状为[256,H,W]的中间特征通过单层形状为[768,256,3,3]的卷积核进行卷积，获得形状为[256,H,W]的融合中间特征，具体为：对
Figure BDA00029741321700000413
分别重复以上
Figure BDA00029741321700000414
的计算过程，分别得到3组特征输出
Figure BDA00029741321700000415
Figure BDA00029741321700000416
然后使用单层形状为[768,256,3,3]的卷积对
Figure BDA00029741321700000417
进行特征融合，得到形状为[256,H,W]的二级输入特征
Figure BDA00029741321700000418
用以在网络的第二阶段进行光谱图像优化、校正与去噪，该过程可表示为如式(11)所示：
Figure BDA00029741321700000419
上述方案中，所述将所述形状为[256,H,W]的融合中间特征通过单层形状为[256,C,3,3]的卷积核得到最终优化重建结果，具体为：对二级输入特征
Figure BDA0002974132170000051
进行单层卷积得到形状与
Figure BDA0002974132170000052
一致的特征层
Figure BDA0002974132170000053
并使用三个串联的残差通道注意力模块(Residual Channel Attention Block，RCAB)依次进行光谱特征提取。
上述方案中，首先使用空间全局平均池化得到通道原始特征向量
Figure BDA0002974132170000054
然后使用三层感知机FC对原始特征向量进行非线性映射，得到通道注意力校正向量vfix，最后使用向量vfix对输入特征层k1进行加权校正，得到校正后的特征层
Figure BDA0002974132170000055
该过程可表示为如式(11)所示：
Figure BDA0002974132170000056
对于二级输入特征
Figure BDA0002974132170000057
按顺序通过3个RCAB模块得到最终优化特征层kf，并使用残差连接融合二级输入特征
Figure BDA0002974132170000058
得到深层特征
Figure BDA0002974132170000059
最后使用一层形状为[512,C,3,3]的卷积层，得到最终的优化重建结果
Figure BDA00029741321700000510
该过程可表示为如式(12)所示：
Figure BDA00029741321700000511
与现有技术相比，本发明首先利用第一阶段网络对观测到的图像与对应波段的图像联合生成初始估计结果，并对初始估计结果进行特征提取，对于提取到的特征使用分组注意力网络对特征数据进行分组计算，有效降低了模型的待学习参数量，在一定算力下有降低了数据重建时间；然后将优化的分组结果融合并使用第二阶段网络优化特征光谱分布结构，针对光谱一致性与上下文特征一致性设计了基于残差通道注意力机制的光谱优化网络，针对光谱维度的信息分布进行了全局优化，最终融合特征，获取高质量的重构光谱数据立方体。
附图说明
图1为本发明基于基于二阶段分组注意力残差机制的高光谱图像压缩性重建网络模型图；
图2为本发明空间残差注意力模块网络模型图；
图3为本发明空间注意力模块网络模型图；
图4为本发明通道残差注意力优化模块网络模型图；
图5为目标的400μm、420μm、430μm、440μm光谱谱段原图；
图6为目标的400μm、420μm、430μm、440μm光谱谱段算法重建图；
图7为目标的450μm、470μm、480μm、490μm光谱谱段原图；
图8为目标的450μm、470μm、480μm、490μm光谱谱段算法重建图；
图9为目标的510μm、520μm、530μm、550μm光谱谱段原图；
图10为目标的510μm、520μm、530μm、550μm光谱谱段算法重建图；
图11为目标的560μm、570μm、580μm、600μm光谱谱段原图；
图12为目标的560μm、570μm、580μm、600μm光谱谱段算法重建图；
图13为目标的610μm、620μm、640μm、650μm光谱谱段原图；
图14为目标的610μm、620μm、640μm、650μm光谱谱段算法重建图；
图15为目标的660μm、670μm、690μm、700μm光谱谱段原图；
图16为目标的660μm、670μm、690μm、700μm光谱谱段算法重建图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供一种基于二阶段分组注意力残差机制的光谱图像压缩重建方法，如图1-4所示，该方法通过以下步骤实现：
步骤1：通过色散棱镜对目标场景x进行色散，使其光谱信息在呈现出空间交错状态，利用编码矩阵M对色散的场景进行编码，并通过第二个色散棱镜反向色散，获得压缩压缩光谱观测量y。
具体地，该过程可表示为如式(1)所示：
Figure BDA0002974132170000061
其中，C表示光谱数据立方体的总体谱段数，xi表示第i个谱段的光谱切片，Mi表示对第i个光谱切片进行调制的编码模板，N表示观测过程中引入的各类噪声。
步骤2：将步骤1中所述压缩光谱观测量y与对应谱段的编码矩阵联合通过单层卷积进行特征提取得初始估计特征
Figure BDA0002974132170000071
其中编码矩阵的形状为[C,H,W]，压缩光谱观测量y的形状为[1,H,W]。
具体地，该过程可表示为如式(2)所示：
Figure BDA0002974132170000072
步骤3：初始特征
Figure BDA0002974132170000073
通过3个形状为[C,256,1,1]的卷积得到3个形状为[128,H,W]降维卷积层，分别表示为
Figure BDA0002974132170000074
具体地，能够有效减小后期网络的空间计算复杂度，其中
Figure BDA0002974132170000075
的计算如式(3)所示：
Figure BDA0002974132170000076
步骤4：将
Figure BDA0002974132170000077
分别送入空间残差注意力模块(Residual SpatialAttention Block，RSAB)，并分别经过单层形状为[256,1,1]的卷积核得到3个形状为[256,H,W]的中间特征。
具体地，对于输入的特征图
Figure BDA0002974132170000078
分别使用3层形状为[256,128,1,1]的卷积进行特征分组，得到3个形状为[128,H,W]的次级分组特征
Figure BDA0002974132170000079
Figure BDA00029741321700000710
其计算方法如式(4)所示：
Figure BDA00029741321700000711
其中，[w1-1、w1-2、…、w3-3]为作用于对应特征图的卷积权重。
对于次级分组特征
Figure BDA00029741321700000712
分别经过相同的网络结构进行计算，此处以
Figure BDA00029741321700000713
的后续网络结构为例进行分解说明；
将
Figure BDA0002974132170000081
通过空间注意力模块(Spatial Attention Block，SAB)Block-l1得到空间校正输出s′1，然后使用残差连接的方式融合输入的特征
Figure BDA0002974132170000082
得到
Figure BDA0002974132170000083
并以串联的连接方式复用相同的结构模块Block-l2、Block-l3分别得到输出s2＝s1+s′2、s3＝s2+s′3，最后再次使用残差连接的方式融合输入的特征
Figure BDA0002974132170000084
得到该分组的输出
Figure BDA0002974132170000085
该过程可表示为如式(5)所示：
Figure BDA0002974132170000086
重复以上操作，分别得到3个分组输出
Figure BDA0002974132170000087
联合3个分组输出，并通过单层形状为[768,256,3,3]的卷积对特征进行融合，并使用残差连接的方式融合输入
Figure BDA0002974132170000088
得到输出
Figure BDA0002974132170000089
该过程可表示为如式(6)所示：
Figure BDA00029741321700000810
对于SAB模块的结构作如下说明。对于输入的形状为[C,H,W]的特征图F，使用3个形状为[C,C/2,1,1]的卷积核对其进行卷积，得到3个形状为[C/2,H×W]的特征图
Figure BDA00029741321700000811
随后对特征图元素重排得到形状为[C,H,W]的二维特征矩阵m1、m2、m3，该过程如式(7)所示：
Figure BDA00029741321700000812
对m2特征矩阵进行转置变换，并与m1特征矩阵进行矩阵相乘得到相关性矩阵
Figure BDA00029741321700000813
其形状为[H×W,H×W]，然后使用Softmax激活函数对特征图进行激活，将mrel映射为m′rel，如式(8)所示，式中(i,j)表示m′rel的第(i,j)位置的信号数值；
Figure BDA00029741321700000814
对m3矩阵进行转置变换，并与m′rel进行矩阵相乘得到空间注意力校正矩阵：
Figure BDA0002974132170000091
使用形状为[C/2,C,1,1]的卷积核空间注意力校正矩阵进行升维，并将升维后的矩阵与原始输入特征图进行对应空间位置的点乘运算得到校正后的特征图：
Ffix＝FgRelu(Conv1×1(mattention-fix))  (10)
步骤5：将中间特征
Figure BDA0002974132170000092
个通过单层形状为[768,256,3,3]的卷积核进行卷积，得到形状为[256,H,W]的融合中间特征；
具体地，对
Figure BDA0002974132170000093
分别重复以上
Figure BDA0002974132170000094
的计算过程，分别得到3组特征输出
Figure BDA0002974132170000095
然后使用单层形状为[768,256,3,3]的卷积对
Figure BDA0002974132170000096
进行特征融合，得到形状为[256,H,W]的二级输入特征
Figure BDA0002974132170000097
用以在网络的第二阶段进行光谱图像优化、校正与去噪。该过程可表示为如式(11)所示：
Figure BDA0002974132170000098
步骤6：将所述融合中间特征通过通道残差注意力优化模块(Residual ChannelAttention Refine Block，RCARB)，并通过单层形状为[256,C,3,3]的卷积核得到最终输出
Figure BDA0002974132170000099
具体地，残差注意力优化模块首先对二级输入特征
Figure BDA00029741321700000910
进行单层卷积得到形状与
Figure BDA00029741321700000911
一致的特征层
Figure BDA00029741321700000912
并使用三个串联的残差通道注意力模块(Residual Channel Attention Block，RCAB)依次进行光谱特征提取；
对于以上所述残差通道注意力模块，以二级输入特征
Figure BDA00029741321700000913
为例对进行结构说明，首先使用空间全局平均池化得到通道原始特征向量
Figure BDA00029741321700000914
然后使用三层感知机FC对原始特征向量进行非线性映射，得到通道注意力校正向量vfix，最后使用向量vfix对输入特征层k1进行加权校正，得到校正后的特征层
Figure BDA00029741321700000915
该过程可表示为如式(11)所示：
Figure BDA00029741321700000916
对于二级输入特征
Figure BDA00029741321700000917
按顺序通过3个RCAB模块得到最终优化特征层kf，并使用残差连接融合二级输入特征
Figure BDA0002974132170000101
得到深层特征
Figure BDA0002974132170000102
最后使用一层形状为[512,C,3,3]的卷积层，得到最终的优化重建结果
Figure BDA0002974132170000103
该过程可表示为如式(12)所示：
Figure BDA0002974132170000104
步骤7：所述最终输出与标准数据集中的数据进行对照，以L1函数为目标进行网络训练与参数拟合。
如图5～16所示，相邻两组图为同一谱段的原图与算法重建图。同一组算法重建图中，与原图相比较效果逊色些，但仔细观察能够发现各张图之间存在由于光谱能量不同而产生细微的变化。在组与组之间的算法重建图中，容易发现图像的亮度存在差异，反映各个谱段之间的能量变化。
本实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、物品或者装置中还存在另外的相同要素。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (5)

1.一种基于二阶段分组注意力残差机制的光谱图像压缩重建方法，其特征在于，该方法为：
通过色散棱镜对目标场景x进行色散，使其光谱信息在呈现出空间交错状态，利用编码矩阵M对色散的场景进行编码，并通过第二个色散棱镜反向色散，获得压缩压缩光谱观测量y；
所述压缩光谱观测量y与对应谱段的编码矩阵联合通过单层卷积进行特征提取得初始估计特征
Figure FDA0004094039070000011
所述初始估计特征
Figure FDA0004094039070000012
通过3个形状为[C,256,1,1]的卷积得到3个形状为[128,H,W]降维卷积层；
所述3个形状为[128,H,W]降维卷积层分别经过单层形状为[256,1,1]的卷积核进行特征分组，获得3个形状为[128,H,W]的次级分组特征；
对所述3个形状为[128,H,W]的次级分组特征分别进行空间校正、融合，获得3个形状为[256,H,W]的中间特征；
具体为：对于次级分组特征
Figure FDA0004094039070000013
分别经过相同的网络结构进行处理，将
Figure FDA0004094039070000014
通过空间注意力模块(Spatial Attention Block，SAB)Block-l1得到空间校正输出s1′，然后使用残差连接的方式融合输入的特征
Figure FDA0004094039070000015
得到
Figure FDA0004094039070000016
并以串联的连接方式复用相同的结构模块Block-l2、Block-l3分别得到输出s2＝s1+s′2、s3＝s2+s3′，最后再次使用残差连接的方式融合输入的特征
Figure FDA0004094039070000017
得到该分组的输出
Figure FDA0004094039070000018
该过程可表示为如式(1)所示：
Figure FDA0004094039070000019
重复以上操作，分别得到3个分组输出
Figure FDA00040940390700000110
联合3个分组输出，并通过单层形状为[768,256,3,3]的卷积对特征进行融合，并使用残差连接的方式融合输入
Figure FDA00040940390700000111
得到输出
Figure FDA00040940390700000112
该过程可表示为如式(2)所示：
Figure FDA00040940390700000113
所述形状为[256,H,W]的中间特征通过单层形状为[768,256,3,3]的卷积核进行卷积，获得形状为[256,H,W]的融合中间特征；
具体为：对
Figure FDA0004094039070000021
分别重复以上
Figure FDA0004094039070000022
的计算过程，分别得到3组特征输出
Figure FDA0004094039070000023
然后使用单层形状为[768,256,3,3]的卷积对
Figure FDA0004094039070000024
进行特征融合，得到形状为[256,H,W]的二级输入特征
Figure FDA0004094039070000025
用以在网络的第二阶段进行光谱图像优化、校正与去噪，该过程可表示为如式(3)所示：
Figure FDA0004094039070000026
将所述形状为[256,H,W]的融合中间特征通过单层形状为[256,C,3,3]的卷积核得到最终优化重建结果
Figure FDA0004094039070000027
具体为：所述将所述形状为[256,H,W]的融合中间特征通过单层形状为[256,C,3,3]的卷积核得到最终优化重建结果，具体为：对二级输入特征
Figure FDA0004094039070000028
进行单层卷积得到形状与
Figure FDA0004094039070000029
一致的特征层
Figure FDA00040940390700000210
并使用三个串联的残差通道注意力模块(ResidualChannel Attention Block，RCAB)依次进行光谱特征提取；
首先使用空间全局平均池化得到通道原始特征向量
Figure FDA00040940390700000211
然后使用三层感知机FC对原始特征向量进行非线性映射，得到通道注意力校正向量vfix，最后使用向量vfix对输入特征层k1进行加权校正，得到校正后的特征层
Figure FDA00040940390700000212
该过程可表示为如式(4)所示：
Figure FDA00040940390700000213
对于二级输入特征
Figure FDA00040940390700000214
按顺序通过3个RCAB模块得到最终优化特征层kf，并使用残差连接融合二级输入特征
Figure FDA00040940390700000215
得到深层特征
Figure FDA00040940390700000216
最后使用一层形状为[512,C,3,3]的卷积层，得到最终的优化重建结果
Figure FDA00040940390700000217
该过程可表示为如式(5)所示：
Figure FDA00040940390700000218
所述最终优化重建结果
Figure FDA00040940390700000219
与标准数据集中的数据进行对照，以L1函数为目标进行网络训练与参数拟合。
2.根据权利要求1所述的基于二阶段分组注意力残差机制的光谱图像压缩重建方法，其特征在于，所述通过色散棱镜对目标场景x进行色散，使其光谱信息在呈现出空间交错状态，利用编码矩阵M对色散的场景进行编码，并通过第二个色散棱镜反向色散，获得压缩压缩光谱观测量y，具体为：可表示为如式(6)所示：
Figure FDA0004094039070000031
其中，C表示光谱数据立方体的总体谱段数，xi表示第i个谱段的光谱切片，Mi表示对第i个光谱切片进行调制的编码模板，N表示观测过程中引入的各类噪声。
3.根据权利要求1或2所述的基于二阶段分组注意力残差机制的光谱图像压缩重建方法，其特征在于，所述压缩光谱观测量y与对应谱段的编码矩阵联合通过单层卷积进行特征提取得初始估计特征
Figure FDA0004094039070000032
具体为：编码矩阵的形状为[C,H,W]，压缩光谱观测量y的形状为[1,H,W]，该过程可表示为如式(7)所示：
Figure FDA0004094039070000033
4.根据权利要求3所述的基于二阶段分组注意力残差机制的光谱图像压缩重建方法，其特征在于，所述初始估计特征
Figure FDA0004094039070000034
通过3个形状为[C,256,1,1]的卷积得到3个形状为[128,H,W]降维卷积层，具体为：所述初始估计特征
Figure FDA0004094039070000038
通过3个形状为[C,256,1,1]的卷积得到3个形状为[128,H,W]降维卷积层，分别表示为
Figure FDA0004094039070000035
其中
Figure FDA0004094039070000036
的计算如式(8)所示：
Figure FDA0004094039070000037
5.根据权利要求4所述的基于二阶段分组注意力残差机制的光谱图像压缩重建方法，其特征在于，所述3个降维卷积层分别经过单层形状为[256,1,1]的卷积核进行特征分组，获得3个形状为[128,H,W]的次级分组特征，具体为：对于输入的特征图
Figure FDA0004094039070000041
分别使用3层形状为[256,128,1,1]的卷积进行特征分组，得到3个形状为[128,H,W]的次级分组特征
Figure FDA0004094039070000042
其计算方法如式(9)所示：
Figure FDA0004094039070000043
其中，[w1-1、w1-2、…、w3-3]为作用于对应特征图的卷积权重。
CN202110270457.4A 2021-03-12 2021-03-12 基于二阶段分组注意力残差机制的光谱图像压缩重建方法 Active CN112990230B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110270457.4A CN112990230B (zh) 2021-03-12 2021-03-12 基于二阶段分组注意力残差机制的光谱图像压缩重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110270457.4A CN112990230B (zh) 2021-03-12 2021-03-12 基于二阶段分组注意力残差机制的光谱图像压缩重建方法

Publications (2)

Publication Number Publication Date
CN112990230A CN112990230A (zh) 2021-06-18
CN112990230B true CN112990230B (zh) 2023-05-09

Family

ID=76334635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110270457.4A Active CN112990230B (zh) 2021-03-12 2021-03-12 基于二阶段分组注意力残差机制的光谱图像压缩重建方法

Country Status (1)

Country Link
CN (1) CN112990230B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447891A (zh) * 2019-01-09 2019-03-08 北京理工大学 一种基于卷积神经网络的光谱成像系统的高质量成像方法
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN112116065A (zh) * 2020-08-14 2020-12-22 西安电子科技大学 一种rgb图像光谱重建方法、系统、存储介质及应用
CN112116064A (zh) * 2020-08-11 2020-12-22 西安电子科技大学 光谱超分辨自适应加权注意力机制深层网络数据处理方法
CN112287978A (zh) * 2020-10-07 2021-01-29 武汉大学 一种基于自注意力上下文网络的高光谱遥感图像分类方法
AU2020103715A4 (en) * 2020-11-27 2021-02-11 Beijing University Of Posts And Telecommunications Method of monocular depth estimation based on joint self-attention mechanism

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019081623A1 (en) * 2017-10-25 2019-05-02 Deepmind Technologies Limited SELF-REGRESSIVE NEURAL NETWORK SYSTEMS INCLUDING A SOFTWARE ATTENTION MECHANISM USING SUPPORT DATA CORRECTIVES

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447891A (zh) * 2019-01-09 2019-03-08 北京理工大学 一种基于卷积神经网络的光谱成像系统的高质量成像方法
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN112116064A (zh) * 2020-08-11 2020-12-22 西安电子科技大学 光谱超分辨自适应加权注意力机制深层网络数据处理方法
CN112116065A (zh) * 2020-08-14 2020-12-22 西安电子科技大学 一种rgb图像光谱重建方法、系统、存储介质及应用
CN112287978A (zh) * 2020-10-07 2021-01-29 武汉大学 一种基于自注意力上下文网络的高光谱遥感图像分类方法
AU2020103715A4 (en) * 2020-11-27 2021-02-11 Beijing University Of Posts And Telecommunications Method of monocular depth estimation based on joint self-attention mechanism

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Neural Architecture Search for compressed sensing Magnetic Resonance;Jiangpeng Yan et al.;《Computerized Medical Imaging and Graphics》;20200821;全文 *
分层特征融合注意力网络图像超分辨率重建;雷鹏程等;《中国图象图形学报》;20200916(第09期);全文 *
基于双重注意力机制的图像超分辨重建算法;席志红 等;《激光与光电子学进展》;20200229;全文 *

Also Published As

Publication number Publication date
CN112990230A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
Arad et al. Ntire 2022 spectral recovery challenge and data set
CN110501072B (zh) 一种基于张量低秩约束的快照式光谱成像系统的重构方法
CN111080567A (zh) 基于多尺度动态卷积神经网络的遥感图像融合方法及系统
CN106981057B (zh) 一种基于rpca的nsst图像融合方法
CN110020693B (zh) 基于特征注意和特征改善网络的极化sar图像分类方法
Dua et al. Convolution neural network based lossy compression of hyperspectral images
CN112818764A (zh) 一种基于特征重建模型的低分辨率图像人脸表情识别方法
CN113902622B (zh) 基于深度先验联合注意力的光谱超分辨率方法
CN115561182A (zh) 一种基于先验图像引导的快照式光谱成像系统重构方法
Wen et al. DeepCASD: An end-to-end approach for multi-spectral image super-resolution
CN116612334A (zh) 一种基于空谱联合注意力机制的医学高光谱图像分类方法
CN115661635A (zh) 基于Transformer融合卷积神经网络的高光谱图像重建方法
CN117475216A (zh) 一种基于aglt网络的高光谱与激光雷达数据融合分类方法
CN112990230B (zh) 基于二阶段分组注意力残差机制的光谱图像压缩重建方法
CN104270642B (zh) 一种基于rklt和主成分选取的高光谱图像无损压缩方法
CN112149712B (zh) 一种高效的高光谱遥感数据压缩与分类模型的构建方法
CN116503292B (zh) 一种基于SwinIR的高光谱遥感图像去噪方法
CN104683818A (zh) 基于双正交不变集多小波的图像压缩方法
CN111882512A (zh) 基于深度学习的图像融合方法、装置、设备和存储介质
Kong et al. End-to-end multispectral image compression framework based on adaptive multiscale feature extraction
CN115861749A (zh) 一种基于窗口交叉注意力的遥感图像融合方法
CN112989593B (zh) 基于双相机的高光谱低秩张量融合计算成像方法
CN110807746B (zh) 一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法
Minkin The application of autoencoders for hyperspectral data compression
CN117058507B (zh) 基于傅里叶卷积可见光和红外图像多尺度特征融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant