CN112116064A - 光谱超分辨自适应加权注意力机制深层网络数据处理方法 - Google Patents

光谱超分辨自适应加权注意力机制深层网络数据处理方法 Download PDF

Info

Publication number
CN112116064A
CN112116064A CN202010803842.6A CN202010803842A CN112116064A CN 112116064 A CN112116064 A CN 112116064A CN 202010803842 A CN202010803842 A CN 202010803842A CN 112116064 A CN112116064 A CN 112116064A
Authority
CN
China
Prior art keywords
adaptive weighted
module
constructing
attention mechanism
spectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010803842.6A
Other languages
English (en)
Inventor
李娇娇
武超雄
訾顺遥
宋锐
李云松
席博博
曹锴郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010803842.6A priority Critical patent/CN112116064A/zh
Publication of CN112116064A publication Critical patent/CN112116064A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Biology (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于高光谱图像的处理技术领域，公开了一种光谱超分辨自适应加权注意力机制深层网络数据处理方法，选用两个光谱重建挑战数据集进行验证；评价指标选取，使用均方根误差RMSE和平均相对绝对值误差MRAE作为评估指标后，计算MRAE和RMSE；构造自适应加权通道注意力机制模块；构建基于分块的二阶非局部模块；构建自适应加权注意力机制网络以及训练。本发明设计出一种全新的自适应加权注意力机制网络用于光谱超分辨，其骨干网络由多个通过长、短连接来实现双残差学习的双残差模块堆叠而成。并在双残差模块嵌入了自适应加权通道注意力模块，重新校准通道特征响应，增强网络的特征表达能力。

Description

光谱超分辨自适应加权注意力机制深层网络数据处理方法
技术领域
本发明属于高光谱图像的处理技术领域，尤其涉及一种光谱超分辨自适应加权注意力机制深层网络数据处理方法。
背景技术
目前，高光谱成像记录了物体的反射率或透射率，获取的高光谱图像通常具有从红外光谱到紫外光谱的多种光谱波段。丰富的光谱特征已经被广泛地探索到各种任务，例如人脸识别、图像分类和异常检测。然而，由于成像技术的局限性，捕获这些具有高时空分辨率的含有丰富光谱信息的高光谱图像的过程是耗时的，因此，阻碍了高光谱成像的应用范围。近年来，解决这一问题的方法之一是开发基于压缩感知和计算重建的无扫描或快照高光谱设备，如计算图成像光谱仪、混合RGB-高光谱系统和孔径掩模等。然而，这些采集系统仍然依赖于昂贵的硬件设备。另一种有效的方法是从给定的RGB图像中恢复丢失的光谱信息，即光谱重建或光谱超分辨。大多数基于CNN的超分辨方法致力于设计更深或更宽的网络体系结构来获得更高级的特征表达，缺乏提取丰富的上下文信息和探索中间特征之间的相关性，因此限制了以CNN为基础的超分辨方法的性能。此外，现有的基于CNN的超分辨模型总是完成一个复杂的RGB到高光谱映射函数，很少考虑将相机响应曲线先验集成到光谱超分辨中进行更为准确的重建，目前大多数基于CNN的超分辨算法都忽略了相机响应曲线的先验信息，因此限制了光谱超分辨算法的重建性能。
通过上述分析，现有技术存在的问题及缺陷为：大多数基于CNN的超分辨方法致力于设计更深或更宽的网络体系结构来获得更高级的特征表达，缺乏提取丰富的上下文信息和探索中间特征之间的相关性，同时忽略了相机响应曲线的先验信息，限制了超分辨算法的重建性能。
解决以上问题及缺陷的难度为：如何构建特定的模块用于探索中间特征之间的相互依赖性和提取丰富的上下文信息；如何将相机响应曲线的先验信息加入到光谱超分辨的重建过程增强算法性能。
解决以上问题及缺陷的意义为：通过设计特定的模块提取中间特征中丰富的上下文信息和相互依赖性关系，可以增强基于CNN的光谱超分辨算法的特征表达能力；通过将相机响应曲线的先验信息引入到光谱超分辨的重建过程中，可以进一步提升恢复光谱的准确度。
发明内容
针对现有技术存在的问题，本发明提供了一种光谱超分辨自适应加权注意力机制深层网络数据处理方法。
本发明是这样实现的，一种光谱超分辨自适应加权注意力机制深层网络数据处理方法，所述光谱超分辨自适应加权注意力机制深层网络数据处理方法包括：
选用两个光谱重建挑战数据集进行验证；
评价指标选取，使用均方根误差RMSE和平均相对绝对值误差MRAE作为评估指标后，计算MRAE和RMSE；
构造自适应加权通道注意力机制模块；
构建基于分块的二阶非局部模块；
构建自适应加权注意力机制网络以及训练。
进一步，所述第一步包括：选用两个光谱重建挑战数据集进行验证：NTIRE2018和NTIRE2020；其中NTIRE2018数据集包含256幅自然高光谱图像用于训练，5幅用于验证以及5幅用于测试，所有图像均为1392×1300的空间大小，包含31个波段；NTIRE2020数据集包含450幅图像作为训练集，10幅作为验证集，20幅作为测试集，空间尺寸为512×482，包含31个波段。
进一步，所述第二步包括：计算MRAE和RMSE：
Figure BDA0002628375750000031
Figure BDA0002628375750000032
进一步，所述第三步包括：自适应加权通道注意力机制模块的输入特征F＝[f1,f2,...,fc,fC]，且将F重新调整为RC×(H×W)，模块中首先包含一个自适应加权池化过程HAWP(·)，利用一个卷积层来学习自适应加权矩阵Y∈R1×H×W并将Y重新调整为R(H×W)×1，通过一个Softmax层对Y进行归一化，并将F与Y相乘，获得输出Z，该过程表示为：Z＝HAWP(F)，其中Z＝[z1,z2,...,zC](Z∈RC×1)；
利用自适应加权池化的聚合信息Z，使用Sigmoid函数门控机制，其中第一卷积层的输出维数为R(C/t)×1×1，第二卷积层的输出大小为RC×1×1，表示为：
V＝δ(W2(σ(W1(Z))))；
其中，W1和W2是两个卷积层的权值集合，δ(·)和σ(·)表示Sigmoid和ReLU激活函数；
并将V＝[v1,v2,...,vc,...,vC]与输入F进行元素级相乘,获得ec＝vc·fc，最终自适应加权通道注意力机制模块获得输出E＝[e1,e2,...,ec,...,eC]。
进一步，所述第四步包括：基于分块的二阶非局部模块输入F＝[f1,f2,...,fc,fC]，将F分成四个子特征图Fk∈RC×h×w(k＝1,2,3,4；h＝H/2；w＝W/2)，每个子特征图都由该模块处理；将特征映射Fk∈RC×h×w反馈到输出通道为C/r的1×1卷积层中，生成两个新的特征映射Bk和Dk，重新调整为R(h×w)×C/r，Bk协方差矩阵表示为：
Figure BDA0002628375750000033
其中，
Figure BDA0002628375750000034
n＝h×w，Xk∈Rn×n是空间注意力机制特征图，将Xk输入到Softmax层中，并对Xk和Dk执行矩阵乘法：
Uk＝softmax(Xk)Dk；
将Uk输入至1×1卷积层φ(·)，并通过残差模块将原始输入Fk∈RC×h×w连接，获得：
Sk＝φ(Uk)+Fk；
最终得到了包含丰富空间上下文信息的新特征映射S。
进一步，所述第五步包括：首先使用单个卷积层从RGB输入中提取浅层特征，然后叠加8对双残差注意块，形成一个深度特征的提取；采用全局残差连接；每个双残差注意块由一个基本的残差模块和附加的配对卷积运算组成，并使用长、短跳跃连接在该模块中形成双残差学习；将输出通道数量设置为200，在训练过程中将数据集分块为64×64的大小，训练过程中的详细参数设置如下：
batchsize：32；
算法优化方式：Adam优化算法，一阶矩估计的指数衰减率β1＝0.9，二阶矩估计的指数衰减率β2＝0.99,∈＝10-8：
自适应加权通道注意中的缩减比例t＝16；
基于分块的二阶非局部模块的参数γ＝8；
学习率lr＝0.0001；
训练轮数epoch＝100。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
选用两个光谱重建挑战数据集进行验证；
评价指标选取，使用均方根误差RMSE和平均相对绝对值误差MRAE作为评估指标后，计算MRAE和RMSE；
构造自适应加权通道注意力机制模块；
构建基于分块的二阶非局部模块；
构建自适应加权注意力机制网络以及训练。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
选用两个光谱重建挑战数据集进行验证；
评价指标选取，使用均方根误差RMSE和平均相对绝对值误差MRAE作为评估指标后，计算MRAE和RMSE；
构造自适应加权通道注意力机制模块；
构建基于分块的二阶非局部模块；
构建自适应加权注意力机制网络以及训练。
本发明的另一目的在于提供一种实施所述光谱超分辨自适应加权注意力机制深层网络数据处理方法的光谱超分辨自适应加权注意力机制深层网络数据处理系统，所述光谱超分辨自适应加权注意力机制深层网络数据处理系统包括：
数据集选取模块，用于选用两个光谱重建挑战数据集进行验证；
评价指标选取模块，用于实现评价指标选取，使用均方根误差RMSE和平均相对绝对值误差MRAE作为评估指标后，计算MRAE和RMSE；
自适应加权通道注意力机制构造模块，用于构造自适应加权通道注意力机制模块；
二阶非局部模块构建模块，用于构建基于分块的二阶非局部模块；
网路以及训练模块，用于构建自适应加权注意力机制网络以及训练。
本发明的另一目的在于提供一种高光谱图像的处理终端，所述高光谱图像的处理终端安装有所述的光谱超分辨自适应加权注意力机制深层网络数据处理系统。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明设计出一种全新的自适应加权注意力机制网络用于光谱超分辨，其骨干网络由多个通过长、短连接来实现双残差学习的双残差模块堆叠而成。并在双残差模块嵌入了自适应加权通道注意力模块，重新校准通道特征响应，增强网络的特征表达能力。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的光谱超分辨自适应加权注意力机制深层网络数据处理方法流程图。
图2是本发明实施例提供的光谱超分辨自适应加权注意力机制深层网络数据处理系统的结构示意图；
图2中：1、数据集选取模块；2、评价指标选取模块；3、自适应加权通道注意力机制构造模块；4、二阶非局部模块构建模块；5、网路以及训练模块。
图3是本发明实施例提供的实现本发明自适应加权注意力机制网络结构图总览；Fm-1和Fm分别表示第m个DRAB模块的直接输入和输出；Rm-1和Rm为第m个DRAB的残差部分的输入和输出；
图4是本发明实施例提供的表示自适应加权通道注意力模块示意图。
图5是本发明实施例提供的表示基于分块的二阶非局部模块示意图。
图6是本发明实施例提供的本发明方法与以上论文方法的对比结果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种光谱超分辨自适应加权注意力机制深层网络数据处理方法，下面结合附图对本发明作详细的描述。
如图1所示，本发明提供的光谱超分辨自适应加权注意力机制深层网络数据处理方法包括以下步骤：
S101：选用两个光谱重建挑战数据集进行验证；
S102：评价指标选取，使用均方根误差(RMSE)和平均相对绝对值误差(MRAE)作为评估指标后，计算MRAE和RMSE；
S103：构造自适应加权通道注意力机制模块；
S104：构建基于分块的二阶非局部模块；
S105：构建自适应加权注意力机制网络以及训练。
本发明提供的光谱超分辨自适应加权注意力机制深层网络数据处理方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的光谱超分辨自适应加权注意力机制深层网络数据处理方法仅仅是一个具体实施例而已。
如图2所示，本发明提供的光谱超分辨自适应加权注意力机制深层网络数据处理系统包括：
数据集选取模块1，用于选用两个光谱重建挑战数据集进行验证。
评价指标选取模块2，用于实现评价指标选取，使用均方根误差(RMSE)和平均相对绝对值误差(MRAE)作为评估指标后，计算MRAE和RMSE。
自适应加权通道注意力机制构造模块3，用于构造自适应加权通道注意力机制模块。
二阶非局部模块构建模块4，用于构建基于分块的二阶非局部模块。
网络以及训练模块5，用于构建自适应加权注意力机制网络以及训练。
下面结合附图对本发明的技术方案作进一步的描述。
本发明提供的光谱超分辨自适应加权注意力机制深层网络数据处理方法具体包括以下步骤：
1.数据集选取
在本实例中，选用两个光谱重建挑战数据集进行验证：NTIRE2018和NTIRE2020；这两个挑战均被分为了Clean和Real World两个赛道，Clean赛道旨在从无损RGB图像中中恢复出高光谱图像，相机光谱灵敏度函数已知，Real World赛道则需要通过JPEG压缩的RGB图像中重建高光谱图像，相机光谱灵敏度函数未知。其中NTIRE2018数据集包含256幅自然高光谱图像用于训练，5幅用于验证以及5幅用于测试，所有图像均为1392×1300的空间大小，包含31个波段；NTIRE2020数据集包含450幅图像作为训练集，10幅作为验证集，20幅作为测试集，空间尺寸为512×482，包含31个波段；
2.评价指标选取
为了客观地评价本发明在NTIRE2020和NTIRE2018数据集上的性能，使用均方根误差(RMSE)和平均相对绝对值误差(MRAE)作为评估指标后，计算MRAE和RMSE如下：
Figure BDA0002628375750000081
Figure BDA0002628375750000082
3.构造自适应加权通道注意力机制模块
该模块的输入特征F＝[f1,f2,...,fc,fC]，且将F重新调整为RC×(H×W)。该模块中首先包含一个自适应加权池化过程HAWP(·)，它是利用一个卷积层来学习自适应加权矩阵Y∈R1×H×W并将Y重新调整为R(H×W)×1，然后通过一个Softmax层对Y进行归一化，并将F与Y相乘,获得输出Z。该过程可以表示为：Z＝HAWP(F)，其中Z＝[z1,z2,...,zC](Z∈RC×1)。
为了利用自适应加权池化的聚合信息Z，使用了一种简单的Sigmoid函数门控机制，其中第一卷积层的输出维数为R(C/t)×1×1，第二卷积层的输出大小为RC×1×1，可以表示为：
V＝δ(W2(σ(W1(Z)))) (11)
其中，W1和W2是两个卷积层的权值集，δ(·)和σ(·)表示Sigmoid和ReLU激活函数。
并将V＝[v1,v2,...,vc,...,vC]与输入F进行元素级相乘,获得ec＝vc·fc。最终自适应加权通道注意力机制模块获得输出E＝[e1,e2,...,ec,...,eC]。
4.构建基于分块的二阶非局部模块
对该模块输入F＝[f1,f2,...,fc,fC]，将F分成四个子特征图Fk∈RC×h×w(k＝1,2,3,4；h＝H/2；w＝W/2)，每个子特征图都由该模块处理。将特征映射Fk∈RC×h×w反馈到输出通道为C/r的1×1卷积层中，生成两个新的特征映射Bk和Dk，然后重新调整为R(h×w)×C/r。Bk协方差矩阵可以表示为：
Figure BDA0002628375750000091
其中，
Figure BDA0002628375750000092
n＝h×w，Xk∈Rn×n是空间注意力机制特征图。然后将Xk输入到Softmax层中，并对Xk和Dk执行矩阵乘法，该过程为：
Uk＝softmax(Xk)Dk；
将Uk输入至1×1卷积层φ(·)，并通过残差模块将原始输入Fk∈RC×h×w连接，获得：
Sk＝φ(Uk)+Fk；
最终得到了包含丰富空间上下文信息的新特征映射S。
5.构建自适应加权注意力机制网络以及训练说明
以提出的注意力机制模块作为基础设计出自适应加权注意网络；首先使用单个卷积层从RGB输入中提取浅层特征。然后叠加8对双残差注意块，形成一个深度特征的提取；为了消除极深网络中的梯度消失和爆炸问题，采用全局残差连接；每个双残差注意块由一个基本的残差模块和附加的配对卷积运算组成，并使用长、短跳跃连接在该模块中形成双残差学习；将输出通道数量设置为200，在训练过程中对RGB和数据集中进行64×64的采样对，训练过程中的详细参数设置如下：
batchsize：32；
算法优化方式：Adam优化算法，一阶矩估计的指数衰减率β1＝0.9，二阶矩估计的指数衰减率β2＝0.99,∈＝10-8：
自适应加权通道注意中的缩减比例t＝16；
基于分块的二阶非局部模块的参数γ＝8；
学习率lr＝0.0001；
训练轮数epoch＝100。
下面结合实验对本发明的技术效果作详细的描述。
1.模块有效性验证
首先验证基于分块的二阶非局部模块的有效性，在NTIRE2020 Clean赛道和RealWorld赛道基线结果分别为MRAE＝0.0359和MRAE＝0.0687，将基于分块的二阶非局部模块加入到自适应加权注意力网络中，与基准结果相比，在Eb和Eg描述中证明了有效性；根据结果验证加入了自适应加权通道注意力模块在Clean赛道和Real World赛道相比于基准结果的MRAE在Ec和Eh上分别减少了5％和2.2％；将上述两个模块进行结合后的实验结果由于单独的两个模块。利用MRAE损失项lh和相机响应曲线约束lr的线性组合最后的损失函数表明，加入相机响应函数的先验信息有助于提高光谱重建的精度。
2.结果比较
为说明本发明的优越性，将本发明与以下论文方法进行了比较，包括“Boaz Aradand Ohad Ben-Shahar.Sparse recovery of hyperspectral signal from natural rgbimages.In European Conference on Computer Vision，pages 19–34.Springer，2016.”、“Silvano Galliani，Charis Lanaras，Dimitrios Marmanis，Emmanuel Baltsavias，andKonrad Schindler.Learned spectral super-resolution.arXiv preprint arXiv:1703.09470，2017.”、“Yiqi Yan，Lei Zhang，Jun Li，Wei Wei，and YanningZhang.Accurate spectral super-resolution from single rgb image using multi-scale cnn.In Chinese Conference on Pattern Recognition and Computer Vision(PRCV)，pages 206–217.Springer，2018.”、“Tarek Stiebel，Simon Koppers，PhilippSeltsam，and Dorit Merhof.Reconstructing spectral images from rgb-images usinga convolutional neural network.In Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition Workshops，pages 948–953，2018.”、“ZhanShi，Chang Chen，Zhiwei Xiong，Dong Liu，and Feng Wu.Hscnn+:Advanced cnn-basedhyperspectral recovery from rgb images.In Proceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition Workshops，pages939–947，2018.”。图6为本发明方法与以上论文方法的对比结果示意图(第一行为光谱超分辨算法重建结果图，第二行为重建结果的MRAE误差热图，从左到右依次为以上论文方法，最后一列为本发明方法，可以看出本发明重建结果最为准确)：
最终结果在NTIRE2020光谱重建挑战中的Clean赛道的官方测试集中获得了第一名，在Real World赛道的官方数据集获得了第三名，与第一名仅差1.59106×10-4，最终官方发布的排名如下(第一行为本发明方法)：
Figure BDA0002628375750000111
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种光谱超分辨自适应加权注意力机制深层网络数据处理方法，其特征在于，所述光谱超分辨自适应加权注意力机制深层网络数据处理方法包括：
选用两个光谱重建挑战数据集进行验证；
评价指标选取，使用均方根误差RMSE和平均相对绝对值误差MRAE作为评估指标后，计算MRAE和RMSE；
构造自适应加权通道注意力机制模块；
构建基于分块的二阶非局部模块；
构建自适应加权注意力机制网络以及训练。
2.如权利要求1所述的光谱超分辨自适应加权注意力机制深层网络数据处理方法，其特征在于，所述第一步包括：选用两个光谱重建挑战数据集进行验证：NTIRE2018和NTIRE2020；其中NTIRE2018数据集包含256幅自然高光谱图像用于训练，5幅用于验证以及5幅用于测试，所有图像均为1392×1300的空间大小，包含31个波段；NTIRE2020数据集包含450幅图像作为训练集，10幅作为验证集，20幅作为测试集，空间尺寸为512×482，包含31个波段。
3.如权利要求1所述的光谱超分辨自适应加权注意力机制深层网络数据处理方法，其特征在于，所述第二步包括：计算MRAE和RMSE：
Figure FDA0002628375740000011
Figure FDA0002628375740000012
4.如权利要求1所述的光谱超分辨自适应加权注意力机制深层网络数据处理方法，其特征在于，所述第三步包括：自适应加权通道注意力机制模块的输入特征F＝[f1,f2,...,fc,fC]，且将F重新调整为RC×(H×W)，模块中首先包含一个自适应加权池化过程HAWP(·)，利用一个卷积层来学习自适应加权矩阵Y∈R1×H×W并将Y重新调整为R(H×W)×1，通过一个Softmax层对Y进行归一化，并将F与Y相乘，获得输出Z，该过程表示为：Z＝HAWP(F)，其中Z＝[z1,z2,...,zC](Z∈RC×1)；
利用自适应加权池化的聚合信息Z，使用Sigmoid函数门控机制，其中第一个卷积层的输出维度为R(C/t)×1×1，第二个卷积层的输出大小为RC×1×1，表示为：
V＝δ(W2(σ(W1(Z))))；
其中，W1和W2是两个卷积层的权值集合，δ(·)和σ(·)表示Sigmoid和ReLU激活函数；
并将V＝[v1,v2,...,vc,...,vC]与输入F进行元素级相乘,获得ec＝vc·fc，最终自适应加权通道注意力机制模块获得输出E＝[e1,e2,...,ec,...,eC]。
5.如权利要求1所述的光谱超分辨自适应加权注意力机制深层网络数据处理方法，其特征在于，所述第四步包括：基于分块的二阶非局部模块输入F＝[f1,f2,...,fc,fC]，将F分成四个子特征图Fk∈RC×h×w(k＝1,2,3,4；h＝H/2；w＝W/2)，每个子特征图都由该模块处理；将特征映射Fk∈RC×h×w反馈到输出通道为C/r的1×1卷积层中，生成两个新的特征映射Bk和Dk，重新调整为R(h×w)×C/r，Bk协方差矩阵表示为：
Figure FDA0002628375740000021
其中，
Figure FDA0002628375740000022
n＝h×w，Xk∈Rn×n是空间注意力机制特征图，将Xk输入到Softmax层中，并对Xk和Dk执行矩阵乘法：
Uk＝softmax(Xk)Dk；
将Uk输入至1×1卷积层φ(·)，并通过残差模块将原始输入Fk∈RC×h×w连接，获得：
Sk＝φ(Uk)+Fk；
最终得到了包含丰富空间上下文信息的新特征映射S。
6.如权利要求1所述的光谱超分辨自适应加权注意力机制深层网络数据处理方法，其特征在于，所述第五步包括：首先使用单个卷积层从RGB输入中提取浅层特征，然后叠加8对双残差注意块，形成一个深度特征的提取；采用全局残差连接；每个双残差注意块由一个基本的残差模块和附加的配对卷积运算组成，并使用长、短跳跃连接在该模块中形成双残差学习；将输出通道数量设置为200，在训练过程中将数据集分块为64×64的大小，训练过程中的详细参数设置如下：
batchsize：32；
算法优化方式：Adam优化算法，一阶矩估计的指数衰减率β1＝0.9，二阶矩估计的指数衰减率β2＝0.99,∈＝10-8：
自适应加权通道注意中的缩减比例t＝16；
基于分块的二阶非局部模块的参数γ＝8；
学习率lr＝0.0001；
训练轮数epoch＝100。
7.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
选用两个光谱重建挑战数据集进行验证；
评价指标选取，使用均方根误差RMSE和平均相对绝对值误差MRAE作为评估指标后，计算MRAE和RMSE；
构造自适应加权通道注意力机制模块；
构建基于分块的二阶非局部模块；
构建自适应加权注意力机制网络以及训练。
8.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
选用两个光谱重建挑战数据集进行验证；
评价指标选取，使用均方根误差RMSE和平均相对绝对值误差MRAE作为评估指标后，计算MRAE和RMSE；
构造自适应加权通道注意力机制模块；
构建基于分块的二阶非局部模块；
构建自适应加权注意力机制网络以及训练。
9.一种实施权利要求1～6任意一项所述光谱超分辨自适应加权注意力机制深层网络数据处理方法的光谱超分辨自适应加权注意力机制深层网络数据处理系统，其特征在于，所述光谱超分辨自适应加权注意力机制深层网络数据处理系统包括：
数据集选取模块，用于选用两个光谱重建挑战数据集进行验证；
评价指标选取模块，用于实现评价指标选取，使用均方根误差RMSE和平均相对绝对值误差MRAE作为评估指标后，计算MRAE和RMSE；
自适应加权通道注意力机制构造模块，用于构造自适应加权通道注意力机制模块；
二阶非局部模块构建模块，用于构建基于分块的二阶非局部模块；
网路以及训练模块，用于构建自适应加权注意力机制网络以及训练。
10.一种高光谱图像的处理终端，其特征在于，所述高光谱图像的处理终端安装有权利要求9所述的光谱超分辨自适应加权注意力机制深层网络数据处理系统。
CN202010803842.6A 2020-08-11 2020-08-11 光谱超分辨自适应加权注意力机制深层网络数据处理方法 Pending CN112116064A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010803842.6A CN112116064A (zh) 2020-08-11 2020-08-11 光谱超分辨自适应加权注意力机制深层网络数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010803842.6A CN112116064A (zh) 2020-08-11 2020-08-11 光谱超分辨自适应加权注意力机制深层网络数据处理方法

Publications (1)

Publication Number Publication Date
CN112116064A true CN112116064A (zh) 2020-12-22

Family

ID=73804880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010803842.6A Pending CN112116064A (zh) 2020-08-11 2020-08-11 光谱超分辨自适应加权注意力机制深层网络数据处理方法

Country Status (1)

Country Link
CN (1) CN112116064A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819910A (zh) * 2021-01-08 2021-05-18 上海理工大学 基于双鬼注意力机制网络的高光谱图像重建方法
CN112990230A (zh) * 2021-03-12 2021-06-18 西安电子科技大学 基于二阶段分组注意力残差机制的光谱图像压缩重建方法
CN113111828A (zh) * 2021-04-23 2021-07-13 中国科学院宁波材料技术与工程研究所 一种轴承三维缺陷检测方法及系统
CN113160240A (zh) * 2021-03-09 2021-07-23 温州医科大学附属眼视光医院 一种循环跳跃的深度学习网络
CN114913101A (zh) * 2022-04-15 2022-08-16 武汉工程大学 多光谱光场重建方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119780A (zh) * 2019-05-10 2019-08-13 西北工业大学 基于生成对抗网络的高光谱图像超分辨重建方法
CN111274869A (zh) * 2020-01-07 2020-06-12 中国地质大学（武汉） 基于并行注意力机制残差网进行高光谱图像分类的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119780A (zh) * 2019-05-10 2019-08-13 西北工业大学 基于生成对抗网络的高光谱图像超分辨重建方法
CN111274869A (zh) * 2020-01-07 2020-06-12 中国地质大学（武汉） 基于并行注意力机制残差网进行高光谱图像分类的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIAOJIAO LI等: "Adaptive Weighted Attention Network with Camera Spectral Sensitivity Prior for Spectral Reconstruction from RGB Images", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW)》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819910A (zh) * 2021-01-08 2021-05-18 上海理工大学 基于双鬼注意力机制网络的高光谱图像重建方法
CN113160240A (zh) * 2021-03-09 2021-07-23 温州医科大学附属眼视光医院 一种循环跳跃的深度学习网络
CN112990230A (zh) * 2021-03-12 2021-06-18 西安电子科技大学 基于二阶段分组注意力残差机制的光谱图像压缩重建方法
CN112990230B (zh) * 2021-03-12 2023-05-09 西安电子科技大学 基于二阶段分组注意力残差机制的光谱图像压缩重建方法
CN113111828A (zh) * 2021-04-23 2021-07-13 中国科学院宁波材料技术与工程研究所 一种轴承三维缺陷检测方法及系统
CN113111828B (zh) * 2021-04-23 2022-03-18 中国科学院宁波材料技术与工程研究所 一种轴承三维缺陷检测方法及系统
CN114913101A (zh) * 2022-04-15 2022-08-16 武汉工程大学 多光谱光场重建方法、装置、电子设备及存储介质
CN114913101B (zh) * 2022-04-15 2023-08-15 武汉工程大学 多光谱光场重建方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN113902926B (zh) 一种基于自注意力机制的通用图像目标检测方法和装置
Huang et al. Flowformer: A transformer architecture for optical flow
CN112116064A (zh) 光谱超分辨自适应加权注意力机制深层网络数据处理方法
Cao et al. Deep spatial-spectral global reasoning network for hyperspectral image denoising
US11200424B2 (en) Space-time memory network for locating target object in video content
Snavely et al. Skeletal graphs for efficient structure from motion
Tang et al. Regularized simultaneous forward–backward greedy algorithm for sparse unmixing of hyperspectral data
CN113780149B (zh) 一种基于注意力机制的遥感图像建筑物目标高效提取方法
CN111027576B (zh) 基于协同显著性生成式对抗网络的协同显著性检测方法
CN112001914A (zh) 深度图像补全的方法和装置
CN115885289A (zh) 利用全局自注意力神经网络对依赖性建模
CN115390164B (zh) 一种雷达回波外推预报方法及系统
CN115731505B (zh) 视频显著性区域检测方法、装置、电子设备及存储介质
Vidal et al. Robust principal component analysis
GB2579262A (en) Space-time memory network for locating target object in video content
Yang et al. Reconstruction of structurally-incomplete matrices with reweighted low-rank and sparsity priors
CN115546640A (zh) 遥感影像的云检测方法、装置、电子设备及存储介质
Wang et al. STCD: efficient Siamese transformers-based change detection method for remote sensing images
Chen et al. Efficient and differentiable low-rank matrix completion with back propagation
CN117496352A (zh) 基于相邻特征逐步融合的遥感变化检测方法、装置和设备
Wang et al. A spatial–spectral transformer network with total variation loss for hyperspectral image denoising
Gong et al. Accurate regularized tucker decomposition for image restoration
CN115222947B (zh) 基于全局自注意力变换网络的岩石节理分割方法和装置
CN114820755B (zh) 一种深度图估计方法及系统
Chen et al. Alfpn: adaptive learning feature pyramid network for small object detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination