CN108038501B - 基于多模态压缩双线性池化的高光谱图像分类方法 - Google Patents
基于多模态压缩双线性池化的高光谱图像分类方法 Download PDFInfo
- Publication number
- CN108038501B CN108038501B CN201711290309.9A CN201711290309A CN108038501B CN 108038501 B CN108038501 B CN 108038501B CN 201711290309 A CN201711290309 A CN 201711290309A CN 108038501 B CN108038501 B CN 108038501B
- Authority
- CN
- China
- Prior art keywords
- spectral
- spatial
- channel
- hyperspectral image
- dimension
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/245—Classification techniques relating to the decision surface
- G06F18/2451—Classification techniques relating to the decision surface linear, e.g. hyperplane
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于多模态压缩双线性池化的高光谱图像分类方法,其特征是,包括如下步骤:1)数据预处理;2)光谱通道特征提取;3)空间通道特征提取;4)空‑谱特征融合;5)高光谱像元分类。这种方法有效解决了原光谱和空间特征向量外积维数较高,计算复杂,容易产生过拟合的问题。
Description
技术领域
本发明涉及智能图像处理技术领域,具体涉及基于多模态压缩双线性池化(Multimodal Compact Bilinear Pooling,简称MCB)的高光谱图像分类方法。
背景技术
高光谱图像(Hyperspectral image,简称HSI)具有光谱分辨率高、图谱合一的独特优点,已被广泛应用于目标追踪、环境保护、农业监测及气象预报等领域。对高光谱图像中每个像元进行分类是高光谱遥感应用的基石,具有极大的研究意义。
传统的高光谱图像分类方法往往只基于光谱信息在低维空间上提取特征,典型的方法主要包括:K-均值聚类(K-means)方法、流形学习(Manifold Learning)、支持向量机(Support vector machine,简称SVM)等。然而,这些分类方法依赖于浅层光谱特征,忽略了对高光谱空间信息的使用,同时所提取高光谱图像特征的不变性及判别性较差。为了改善高光谱图像的分类性能,联合利用高光谱图像的光谱和空间信息设计分类器已成为一个主要的研究方向。近年来,深度学习以其在视觉感知任务中的优秀表现获得了广大高光谱分类研究者的热切关注。Liu等人将高光谱图像的光谱带看作一个图像序列,使用长短期记忆网络学习光谱信息的依赖关系,同时结合卷积神经网络来提取高光谱图像的空间特征,提出了双向卷积长短期记忆网络(Bidirectional Convolutional Long Short TermMemory,简称Bi-CLSTM)空-谱提取模型;另一方面,Yang等人构建双通道卷积神经网络(TwoChannel Convolutional Neural Network,简称Two-CNN)分别对光谱信息和空间信息进行提取,继而使用级联(concatenate)的方式对空-谱特征进行连接;Zhang等人在此基础上对光谱通道和空间通道不同层的特征进行级联,实现空-谱分级特征结合的效果,该工作在高光谱图像分类中,为从双通道特征提取角度进行空-谱特征结合提供了新思路。
发明内容
本发明的目的是针对现有技术的不足,而提供一种基于多模态压缩双线性池化的高光谱图像分类方法。这种方法优点之一是充分利用空-谱特征,采用双通道卷积神经网络分别对高光谱图像的光谱和空间信息进行特征提取;优点之二是使用多模态压缩双线性池化产生空-谱联合特征,可以分析光谱和空间特征向量中每个元素之间的复杂关系,改善高光谱图像的分类性能;优点之三是多模态压缩双线性池化可避免直接对光谱和空间向量进行外积计算,解决原两个向量外积计算过程中维数过高,计算困难的问题。
实现本发明目的的技术方案是:
基于多模态压缩双线性池化的高光谱图像分类方法,包括如下步骤:
1)数据预处理:对原高光谱图像的每个像元在光谱维度上进行归一化处理、对原高光谱图像的每个波段在空间维度上进行归一化处理;
2)光谱通道特征提取:选取在光谱维度上归一化处理后的高光谱图像的第n个像素的光谱带sn∈RM×1,作为光谱通道的输入,此后使用1-D核对光谱输入进行卷积和最大池化操作,在光谱通道的全连接层获得光谱通道的输出特征其中M为光谱带长度,K为全连接层的神经元个数;
3)空间通道特征提取:首先,对在空间维度上归一化处理后的高光谱图像在光谱维度上进行主成分分析(Principal Component Analysis,简称PCA)降维处理,压缩后的光谱维数为S,其中,S<<M,这一步会丢掉一部分光谱信息,但图像的空间信息不会受到影响,其次,在降维后的高光谱图像中,选取与光谱通道输入相对应的第n个像素邻域块Pn∈RW ×W×S作为空间通道的输入,其后利用2-D核对空间输入进行卷积和最大池化操作,在空间通道的全连接层获得所提取的空间通道特征空间通道特征维数与光谱通道特征维数相同,其中W为空间邻域块的长宽尺寸;
4)空-谱特征融合:为了利用光谱和空间特征改善高光谱图像分类的性能,将步骤2)和步骤3)所提取的光谱通道特征与空间通道特征传入压缩双线性池化层,以此来获得多模态联合特征向量其中d<<K2,由于压缩双线性池化采用外积的计算概念,编码了和特征向量中每个元素之间的相互关系,故而所产生的多模态(空-谱)联合特征向量比其他特征结合方式(比如级联)更具有表达性,此外多模态压缩双线性池化将和特征向量的外积投射到低维空间,避免对外积的直接计算,其有效解决了原双线性池化维数较高K2,计算复杂,容易产生过拟合的问题;
这种方法,根据高光谱图像的数据特点,搭建双通道网络模型,利用1-D和2-D卷积核分别提取高光谱图像的光谱和空间信息,并从空-谱特征融合的角度,针对目前双通道特征提取网络用于高光谱分类过程中,简单的级联或点积结合空-谱特征并不能很好地表达光谱和空间信息之间的复杂关系的问题,采用多模态压缩双线性池化来获得空-谱联合特征;不同于级联或点积,多模态压缩双线性池化计算两个向量的外积,能够捕捉两个向量所有元素之间的乘法交互关系;同时为了避免外积计算策略带来的维数急剧增加,计算复杂的问题,多模态压缩双线性池化将双通道所提取的光谱和空间特征向量的外积随机地投射到更低的维数空间中,继而在快速傅里叶变换(Fast Fourier Transform,FFT)空间中将时域中向量的外积运算转换为频域中使用点乘对两个特征向量进行卷积。
这种方法有效解决了原光谱和空间特征向量外积维数较高,计算复杂,容易产生过拟合的问题。
附图说明
图1为实施例的方法流程示意图;
图2为实施例中基于多模态压缩双线性池化的网络整体框图;
图3为实施例中MCB层不同维数对分类精度的影响示意图。
具体实施方式
下面结合附图和实施例对本发明内容作进一步的详细说明,但不是对本发明的限定。
实施例:
参照图1,基于多模态压缩双线性池化的高光谱图像分类方法,包括如下步骤:
1)数据预处理:对原高光谱图像的每个像元在光谱维度上进行归一化处理、对原高光谱图像的每个波段在空间维度上进行归一化处理;
2)光谱通道特征提取:如图2所示,选取在光谱维度上归一化处理后的高光谱图像的第n个像素的光谱带sn∈RM×1,作为光谱通道的输入,此后使用1-D核对光谱输入进行卷积和最大池化操作,在光谱通道的全连接层获得光谱通道的输出特征其中M为光谱带长度,K为全连接层的神经元个数;
3)空间通道特征提取:首先,对在空间维度上归一化处理后的高光谱图像在光谱维度上进行主成分分析降维处理,压缩后的光谱维数为S,其中,S<<M,这一步会丢掉一部分光谱信息,但图像的空间信息不会受到影响,其次,在降维后的高光谱图像中,选取与光谱通道输入相对应的第n个像素邻域块Pn∈RW×W×S作为空间通道的输入,其后利用2-D核对空间输入进行卷积和最大池化操作,在空间通道的全连接层获得所提取的空间通道特征空间通道特征维数与光谱通道特征维数相同,其中W为空间邻域块的长宽尺寸;
4)空-谱特征融合:为了利用光谱和空间特征改善高光谱图像分类的性能,将步骤2)和步骤3)所提取的光谱通道特征与空间通道特征传入压缩双线性池化层,以此来获得多模态联合特征向量其中d<<K2,压缩双线性池化层采用Count Sketch投射函数Ψ,将空-谱特征向量的外积投射到低维空间表示为其中h,g为哈希映射,表示向量外积,用来解决双线性模型维数过高,计算不灵活问题,而Pham等人曾解释两个向量外积的Count Sketch可表示为各自Count Sketch的卷积,则
(1)随机初始化两个向量hk∈{1,2,...,d}K,gk∈{-1,1}K,其中k=1,2,hk将输入向量的每一个索引i映射到输出向量的索引j∈{1,2,...,d},即j=hk[i];对于输入向量的每一个索引i,gk[i]为1或-1;同时,hk在{1,2,...,d}及gk在{-1,1}上都是服从均匀分布的;
(2)对于输出向量的索引j所对应的值,存在关系
(3)根据卷积定理可知,时域中的卷积对应于频域中的乘积,故(1)式又可以表达为:
(4)多模态压缩双线性池化能够被嵌入到双通道特征提取网络中进行端到端的训练,假设损失函数为Loss,则根据(1)式可知MCB的反向传播能够表示为:
其中,i=1,2,...,K,由于hk仅是关于向量索引的映射,故而在反向传播过程中,仅需计算gk,k=1,2的梯度即可;
通过上述的实施例,可实现在同一网络结构下,通过端到端的训练方式,联合学习高光谱图像的空-谱信息,此外,使用多模态压缩双线性池化将所提取的多模态特征的外积投射到低维空间,以此产生空-谱联合特征;该网络,既可以分析光谱和空间特征向量中每个元素之间的复杂关系,同时也避免直接对光谱和空间向量进行外积计算,造成维数过高,计算困难的问题,最终实验表明,与现有基于神经网络的分类方法相比,本技术方案所提出的高光谱图像分类算法,能更好融合空-谱特征用以提高高光谱像元分类精度,另外,为了探究MCB层投射维数对网络性能的影响,如图3所示,在数据集Indian Pines上,比较不同的投射维度d对总体分类精度(Overall accuracy,OA),平均分类精度(average accuracy,AA),kappa系数的作用,本实施例中F11和F21层的维数为d=512,从图3可以看出,当MCB层维数从128到512时,OA增加1%的精度,相较维数为从512增加至1024时精度OA值增加要快,但维数低于512时,高光谱分类的AA值较低,表明少部分类别错误分类较多;虽然维数为1024时分类性能要好于维数为512的网络,但增加维数的同时也增加了计算量,精度提升并不明显,相比较而言,当双通道各自提取的特征维度为512时,MCB层取维数为d=512最合适。
Claims (1)
1.基于多模态压缩双线性池化的高光谱图像分类方法,其特征是,包括如下步骤:
1)数据预处理:对原高光谱图像的每个像元在光谱维度上进行归一化处理、对原高光谱图像的每个波段在空间维度上进行归一化处理;
2)光谱通道特征提取:选取在光谱维度上归一化处理后的高光谱图像的第n个像素的光谱带sn∈RM×1,作为光谱通道的输入,此后使用1-D核对光谱输入进行卷积和最大池化操作,在光谱通道的全连接层获得光谱通道的输出特征其中M为光谱带长度,K为全连接层的神经元个数;
3)空间通道特征提取:首先,对在空间维度上归一化处理后的高光谱图像在光谱维度上进行主成分分析降维处理,压缩后的光谱维数为S,其中,S<<M,在降维后的高光谱图像中,选取与光谱通道输入相对应的第n个像素邻域块Pn∈RW×W×S作为空间通道的输入,其后利用2-D核对空间输入进行卷积和最大池化操作,在空间通道的全连接层获得所提取的空间通道特征空间通道特征维数与光谱通道特征维数相同,其中W为空间邻域块的长宽尺寸;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711290309.9A CN108038501B (zh) | 2017-12-08 | 2017-12-08 | 基于多模态压缩双线性池化的高光谱图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711290309.9A CN108038501B (zh) | 2017-12-08 | 2017-12-08 | 基于多模态压缩双线性池化的高光谱图像分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108038501A CN108038501A (zh) | 2018-05-15 |
CN108038501B true CN108038501B (zh) | 2021-06-11 |
Family
ID=62096111
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711290309.9A Active CN108038501B (zh) | 2017-12-08 | 2017-12-08 | 基于多模态压缩双线性池化的高光谱图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108038501B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108875803B (zh) * | 2018-05-30 | 2022-06-17 | 长安大学 | 一种基于视频图像的危化品运输车辆检测与识别方法 |
CN110909755B (zh) * | 2018-09-17 | 2023-05-30 | 阿里巴巴集团控股有限公司 | 对象特征处理方法及装置 |
CN109961096B (zh) * | 2019-03-19 | 2021-01-05 | 大连理工大学 | 一种多模高光谱图像迁移分类方法 |
CN110930315B (zh) * | 2019-10-23 | 2022-02-11 | 西北工业大学 | 基于双通路卷积网络和层次clstm的多光谱图像全色锐化方法 |
CN111160478B (zh) * | 2019-12-31 | 2022-07-26 | 北京理工大学重庆创新中心 | 一种基于深度学习的高光谱目标显著性检测方法 |
CN113516140A (zh) * | 2020-05-07 | 2021-10-19 | 阿里巴巴集团控股有限公司 | 图像处理、模型训练方法、系统及设备 |
CN112288041B (zh) * | 2020-12-15 | 2021-03-30 | 之江实验室 | 一种多模态深度神经网络的特征融合方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2187339A1 (en) * | 2008-11-12 | 2010-05-19 | Fundación Robotiker | Method for integrating spectral and spatial features for classifying materials |
CN106845381A (zh) * | 2017-01-16 | 2017-06-13 | 西北工业大学 | 基于双通道卷积神经网络的空谱联合的高光谱图像分类方法 |
CN107066583A (zh) * | 2017-04-14 | 2017-08-18 | 华侨大学 | 一种基于紧凑双线性融合的图文跨模态情感分类方法 |
-
2017
- 2017-12-08 CN CN201711290309.9A patent/CN108038501B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2187339A1 (en) * | 2008-11-12 | 2010-05-19 | Fundación Robotiker | Method for integrating spectral and spatial features for classifying materials |
CN106845381A (zh) * | 2017-01-16 | 2017-06-13 | 西北工业大学 | 基于双通道卷积神经网络的空谱联合的高光谱图像分类方法 |
CN107066583A (zh) * | 2017-04-14 | 2017-08-18 | 华侨大学 | 一种基于紧凑双线性融合的图文跨模态情感分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108038501A (zh) | 2018-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108038501B (zh) | 基于多模态压缩双线性池化的高光谱图像分类方法 | |
Luo et al. | Feature learning using spatial-spectral hypergraph discriminant analysis for hyperspectral image | |
Zhao et al. | Deep discriminative representation for generic palmprint recognition | |
Zhao et al. | Joint deep convolutional feature representation for hyperspectral palmprint recognition | |
Li et al. | Heterogeneous multi-task learning for human pose estimation with deep convolutional neural network | |
CN112200090B (zh) | 基于交叉分组空谱特征增强网络的高光谱图像分类方法 | |
CN107239759B (zh) | 一种基于深度特征的高空间分辨率遥感图像迁移学习方法 | |
CN106023065A (zh) | 一种基于深度卷积神经网络的张量型高光谱图像光谱-空间降维方法 | |
CN104239856B (zh) | 基于Gabor特征和自适应线性回归的人脸识别方法 | |
Wang et al. | Classification of hyperspectral imagery with a 3D convolutional neural network and JM distance | |
Lumini et al. | Ensemble of texture descriptors and classifiers for face recognition | |
Jia et al. | Flexible Gabor-based superpixel-level unsupervised LDA for hyperspectral image classification | |
Zhang et al. | SSTNet: Spatial, spectral, and texture aware attention network using hyperspectral image for corn variety identification | |
CN106529378A (zh) | 一种亚裔人脸的年龄特征模型生成方法及年龄估计方法 | |
CN110796022B (zh) | 一种基于多流形耦合映射的低分辨人脸识别方法 | |
CN102063627B (zh) | 基于多小波变换的自然图像和计算机生成图像的识别方法 | |
Li et al. | Multidimensional local binary pattern for hyperspectral image classification | |
Lin et al. | Visual feature coding based on heterogeneous structure fusion for image classification | |
Yoo et al. | High-dimensional feature extraction using bit-plane decomposition of local binary patterns for robust face recognition | |
Bao et al. | Colour face recognition using fuzzy quaternion-based discriminant analysis | |
CN111160392A (zh) | 一种基于小波宽度学习系统的高光谱分类方法 | |
Tan et al. | Grassmann manifold for nearest points image set classification | |
Cheng et al. | Deep high-order tensor convolutional sparse coding for hyperspectral image classification | |
Zhao et al. | Sparse tensor embedding based multispectral face recognition | |
Fu et al. | Robust multi-kernelized correlators for UAV tracking with adaptive context analysis and dynamic weighted filters |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |