CN112200063A - 一种基于神经网络和注意力机制的高效波段加权预处理方法 - Google Patents

一种基于神经网络和注意力机制的高效波段加权预处理方法 Download PDF

Info

Publication number
CN112200063A
CN112200063A CN202011069314.9A CN202011069314A CN112200063A CN 112200063 A CN112200063 A CN 112200063A CN 202011069314 A CN202011069314 A CN 202011069314A CN 112200063 A CN112200063 A CN 112200063A
Authority
CN
China
Prior art keywords
vector
attention mechanism
add
neural network
method based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011069314.9A
Other languages
English (en)
Inventor
赵林
易嘉闻
吴健辉
李希
汪雅莉
曹依琳
胡文静
张国云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Institute of Science and Technology
Original Assignee
Hunan Institute of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Institute of Science and Technology filed Critical Hunan Institute of Science and Technology
Priority to CN202011069314.9A priority Critical patent/CN112200063A/zh
Publication of CN112200063A publication Critical patent/CN112200063A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于神经网络和注意力机制的高效波段加权预处理方法，a、使用全局平均池化从输入的高光谱图像I中转化为向量vI；b、进行了两次一维卷积操作从中提取出两个包含相邻通道的相关性信息的向量vc1和vc2，然后将vc1、vc2和vI进行按元素相加操作，得到融合了细节光谱特征与相关性特征的向量vadd；c、使用Sigmoid函数对vadd进行激活得到vw，然后以vw的数值为权重对输入图像I进行加权得到输出图像I`。本发明融合了注意力机制，可根据不同高光谱图像的波段对分类任务的贡献对各波段数据进行加权，来增强贡献大的光谱特征，而抑制贡献小的波段，以达到降低冗余，提高分类精度的目的。

Description

一种基于神经网络和注意力机制的高效波段加权预处理方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于神经网络和注意力机制的高效波段加权预处理方法。
背景技术
基于深度学习的高光谱图像(HSIs)分类方法中的数据预处理技术中通常采用传统特征提取技术，其中采用的归一化方法能够调节图像的对比度、降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰，但这种方法是将原始数据归一化到相同尺度，再利用统一的学习框架构造模型提取特征，无法实现根据需求自适应特征聚焦和特征提取；并且传统的光谱分类方法参数数量级在万级水平，导致工程量巨大，增加实行难度。
发明内容
本发明要解决的问题是针对现有技术中所存在的上述不足而提供一种基于神经网络和注意力机制的高效波段加权预处理方法在保证加权有效性的基础上极大程度地降低了模型的参数量，提高了时效性。
为实现上述目的，本发明采用了如下的技术方案：一种基于神经网络和注意力机制的高效波段加权预处理方法，
a、使用全局平均池化将输入的高光谱图像I转化为向量vI；
b、进行了两次一维卷积操作从中提取出两个包含相邻通道的相关性信息的向量vc1和vc2，然后将vc1、vc2和vI向量按元素相加操作，得到融合了细节光谱特征与相关性特征的向量vadd；
c、使用Sigmoid函数对向量vadd进行激活得到权重向量vw，然后以向量vw中的数值为权重对输入图像I进行加权得到输出图像I`。
详细地说，向量vI可以被表示为：
Figure BDA0002712938440000011
其中，μ(·)代表全局平均池化函数，pc,ij为图像Ic中位置为(i,j)的像素的值，vI,c为平均波段向量vI的第c个元素。
一维卷积操作可以被表示为：
Figure BDA0002712938440000021
其中，un为输入向量的第n个元素，K为卷积核的尺度大小(在本方法中设K为7)，wk为卷积核的第k个参数值，在本方法中f(·)为ReLU激活函数，两次卷积操作的输出分别为向量vc1、向量vc2；两次卷积操作的输出分别为向量vc1、向量vc2；通过将vI、vc1和vc2按元素相加，来保留细节光谱特征和邻近波段的相关性特征，该操作可表示为：
Figure BDA0002712938440000022
其中，
Figure BDA0002712938440000023
为向量按元素相加，vadd表示融合了细节光谱特征和相关性特征的特征向量。
输出图像I`可以表示为：
Figure BDA0002712938440000024
其中，Ii与Ii`分别为图像I与I`的第i个波段的图像，vw,i与vadd,i分别为vw与vadd的第i个元素。
相比于现有技术，本发明具有如下优点：采用了一维卷积层,一个轻量级模块，同时具有很好的加权效果，通过该模块可以有效地提高光谱信息的质量，在保证加权有效性的基础上极大程度地降低了模型的参数量，提高了时效性。；利用了神经网络的反向传播可以根据输入的高光谱波段的不同任务要求自适应地调整权重，可根据不同高光谱图像的波段对分类任务的贡献对各波段数据进行加权，来突出贡献大的波段信息，而抑制贡献小的波段信息，以达到降低冗余，提高分类精度的目的，使用稠密连接聚合多层一维卷积的方案来放大对提高分类精度贡献率较大的波段权值。
本发明的其它优点、目标和特征将部分通过下面的说明体现。
附图说明
图1为本发明一种基于神经网络和注意力机制的高效波段加权预处理方法的示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与作用更加清楚及易于了解，下面结合附图和具体实施方式对本发明作进一步阐述：
本发明提出了一种基于神经网络和注意力机制的高效波段加权预处理方法，
a、使用全局平均池化从输入的高光谱图像I中转化为向量vI；池化操作基于卷积神经网络中池化层相关的操作，可以将一张高光谱图像I表示成一叠二维图像：{I1,I2,....,IC}，Ic∈RH×W×C；向量vI可以被表示为：
Figure BDA0002712938440000031
其中，μ(·)代表全局平均池化函数，pc,ij为图像Ic中位置为(i,j)的像素的值，vI,c为平均波段向量vI的第c个元素；
b、输入层中提取高光谱图像I中向量vI后，进行了两次一维卷积操作从中提取出两个包含相邻通道的相关性信息的向量vc1和vc2，然后将vc1、vc2和vI进行按元素相加操作，得到融合了细节光谱特征与相关性特征的向量vadd；一维卷积操作可以被表示为：
Figure BDA0002712938440000032
其中，un为输入向量的第n个元素的值，K为卷积核的大小(在本方法中设K为7)，wk为卷积核的第k个元素的值，在本方法中f(·)为ReLU激活函数，两次卷积操作的输出为vc1、vc2；为了在不失去详细光谱特征的同时，加入邻近波段的相关性特征，可将vI、vc1和vc2按元素相加，该操作可表示为：
Figure BDA0002712938440000033
其中，
Figure BDA0002712938440000034
为向量按元素相加，vadd为融合了细节光谱特征和相关性特征的特征向量；
c、通过使用Sigmoid函数对vadd进行激活得到权重向量vw，然后以vw的数值为权重对输入图像I进行加权得到输出图像I`；输出图像I`可以表示为：
Figure BDA0002712938440000035
其中，Ii与Ii`分别为图像I与I`的第i个波段的图像，vw,i与vadd,i分别为vw与vadd的第i个元素。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种基于神经网络和注意力机制的高效波段加权预处理方法，其特征在于：
a、使用全局平均池化将输入的高光谱图像I转化为通道向量vI；
b、进行了两次一维卷积操作从向量vI中提取出两个包含相邻通道相关性信息的向量vc1和vc2，然后将vc1、vc2和vI向量按元素相加操作，得到融合了细节光谱特征与相关性特征的向量vadd；
c、使用Sigmoid函数对向量vadd进行激活得到权重向量vw，然后以向量vw中的数值为权重对输入图像I进行加权得到输出图像I`。
2.根据权利要求1所述一种基于神经网络和注意力机制的高效波段加权预处理方法，其特征在于：向量vI可以被表示为：
Figure FDA0002712938430000011
其中，μ(·)代表全局平均池化函数，pc,ij为图像Ic中位置为(i,j)的像素的值，vI,c为平均波段向量vI的第c个元素。
3.根据权利要求1.b所述，我们设计的一种基于神经网络和注意力机制的高效波段加权预处理方法，其特征在于：使用模型轻量化的一维卷积操作来进行高效的特征提取；一维卷积操作可以被表示为：
Figure FDA0002712938430000012
其中，un为输入向量的第n个元素的值，K为卷积核的尺度大小(在本方法中设K为7)，wk为卷积核的第k个参数值，在本方法中f(·)为ReLU激活函数。两次卷积操作的输出分别为向量vc1、向量vc2；通过将vI、vc1和vc2按元素相加，来保留细节光谱特征和邻近波段的相关性特征，该操作可表示为：
Figure FDA0002712938430000013
其中，
Figure FDA0002712938430000014
为按向量元素相加，vadd表示融合了细节光谱特征和相关性特征的特征向量。
4.根据权利要求1.c所述一种基于神经网络和注意力机制的高效波段加权预处理方法中，处理输出图像I`可以表示为：
Figure FDA0002712938430000015
其中，Ii与Ii`分别为图像I与I`的第i个波段的图像，vw,i与vadd,i分别为vw与vadd的第i个元素。
CN202011069314.9A 2020-09-30 2020-09-30 一种基于神经网络和注意力机制的高效波段加权预处理方法 Pending CN112200063A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011069314.9A CN112200063A (zh) 2020-09-30 2020-09-30 一种基于神经网络和注意力机制的高效波段加权预处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011069314.9A CN112200063A (zh) 2020-09-30 2020-09-30 一种基于神经网络和注意力机制的高效波段加权预处理方法

Publications (1)

Publication Number Publication Date
CN112200063A true CN112200063A (zh) 2021-01-08

Family

ID=74013649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011069314.9A Pending CN112200063A (zh) 2020-09-30 2020-09-30 一种基于神经网络和注意力机制的高效波段加权预处理方法

Country Status (1)

Country Link
CN (1) CN112200063A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113686810A (zh) * 2021-08-24 2021-11-23 重庆城市管理职业学院 一种基于卷积神经网络的近红外光谱波长选择方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190287216A1 (en) * 2018-03-19 2019-09-19 Mitsubishi Electric Research Laboratories, Inc. Systems and Methods for Multi-Spectral Image Super-Resolution
CN110443296A (zh) * 2019-07-30 2019-11-12 西北工业大学 面向高光谱图像分类的数据自适应激活函数学习方法
CN111126256A (zh) * 2019-12-23 2020-05-08 武汉大学 一种基于自适应空谱多尺度网络的高光谱图像分类方法
CN111191514A (zh) * 2019-12-04 2020-05-22 中国地质大学（武汉） 一种基于深度学习的高光谱图像波段选择方法
CN111695469A (zh) * 2020-06-01 2020-09-22 西安电子科技大学 轻量化深度可分离卷积特征融合网的高光谱图像分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190287216A1 (en) * 2018-03-19 2019-09-19 Mitsubishi Electric Research Laboratories, Inc. Systems and Methods for Multi-Spectral Image Super-Resolution
CN110443296A (zh) * 2019-07-30 2019-11-12 西北工业大学 面向高光谱图像分类的数据自适应激活函数学习方法
CN111191514A (zh) * 2019-12-04 2020-05-22 中国地质大学（武汉） 一种基于深度学习的高光谱图像波段选择方法
CN111126256A (zh) * 2019-12-23 2020-05-08 武汉大学 一种基于自适应空谱多尺度网络的高光谱图像分类方法
CN111695469A (zh) * 2020-06-01 2020-09-22 西安电子科技大学 轻量化深度可分离卷积特征融合网的高光谱图像分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JARVENYI: "CBW", 《GITHUB，HTTPS://GITHUB.COM/JARVENYI/CBW》 *
JING WANG ET AL.: "Band Weighting Network for Hyperspectral Image Classification", 《2018 DIGITAL IMAGE COMPUTING: TECHNIQUES AND APPLICATIONS (DICTA)》 *
王天宇: "基于空间和光谱特征的高光谱遥感图像识别研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113686810A (zh) * 2021-08-24 2021-11-23 重庆城市管理职业学院 一种基于卷积神经网络的近红外光谱波长选择方法
CN113686810B (zh) * 2021-08-24 2024-04-16 重庆城市管理职业学院 一种基于卷积神经网络的近红外光谱波长选择方法

Similar Documents

Publication Publication Date Title
US20210407041A1 (en) Image processing method and device, training method of neural network, and storage medium
US11954822B2 (en) Image processing method and device, training method of neural network, image processing method based on combined neural network model, constructing method of combined neural network model, neural network processor, and storage medium
Tran et al. Missing modalities imputation via cascaded residual autoencoder
WO2019091459A1 (zh) 图像处理方法、处理装置和处理设备
CN111652038A (zh) 基于卷积神经网络的遥感的海冰图像分类方法
CN111179167B (zh) 一种基于多阶段注意力增强网络的图像超分辨方法
CN109376804A (zh) 基于注意力机制和卷积神经网络高光谱遥感图像分类方法
CN109064396A (zh) 一种基于深度成分学习网络的单幅图像超分辨率重建方法
Zhao et al. Invertible image decolorization
Fan et al. Superpixel guided deep-sparse-representation learning for hyperspectral image classification
CN112819910A (zh) 基于双鬼注意力机制网络的高光谱图像重建方法
Ma et al. Enhanced non-local cascading network with attention mechanism for hyperspectral image denoising
CN111274987B (zh) 人脸表情识别方法及人脸表情识别装置
CN113642445B (zh) 一种基于全卷积神经网络的高光谱影像分类方法
Ye et al. Hyperspectral image classification using principal components-based smooth ordering and multiple 1-D interpolation
Zou et al. High speed deep networks based on discrete cosine transformation
CN113837314A (zh) 一种基于混合卷积神经网络的高光谱图像分类方法
CN114830168A (zh) 图像重建方法、电子设备和计算机可读存储介质
CN116128898A (zh) 一种基于Transformer双分支模型的皮肤病变图像分割方法
CN116152524A (zh) 一种小麦种子分类方法
CN112200063A (zh) 一种基于神经网络和注意力机制的高效波段加权预处理方法
CN116994564A (zh) 一种语音数据的处理方法及处理装置
Zhang et al. Remote sensing image generation based on attention mechanism and vae-msgan for roi extraction
CN110706232A (zh) 纹理图像分割方法、电子装置及计算机存储介质
CN116758415A (zh) 一种基于二维离散小波变换的轻量化害虫识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210108

RJ01 Rejection of invention patent application after publication