CN111191736B - 基于深度特征交叉融合的高光谱图像分类方法 - Google Patents
基于深度特征交叉融合的高光谱图像分类方法 Download PDFInfo
- Publication number
- CN111191736B CN111191736B CN202010007701.3A CN202010007701A CN111191736B CN 111191736 B CN111191736 B CN 111191736B CN 202010007701 A CN202010007701 A CN 202010007701A CN 111191736 B CN111191736 B CN 111191736B
- Authority
- CN
- China
- Prior art keywords
- data
- hyperspectral
- hyperspectral image
- depth
- cross fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 33
- 230000003595 spectral effect Effects 0.000 claims abstract description 28
- 238000012360 testing method Methods 0.000 claims abstract description 26
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 53
- 230000004913 activation Effects 0.000 claims description 39
- 230000000694 effects Effects 0.000 claims description 11
- 230000010354 integration Effects 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000001228 spectrum Methods 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 abstract description 17
- 238000004088 simulation Methods 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 4
- 235000011613 Pinus brutia Nutrition 0.000 description 4
- 241000018646 Pinus brutia Species 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 239000010426 asphalt Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012407 engineering method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- ZZUFCTLCJUWOSV-UHFFFAOYSA-N furosemide Chemical compound C1=C(Cl)C(S(=O)(=O)N)=CC(C(O)=O)=C1NCC1=CC=CO1 ZZUFCTLCJUWOSV-UHFFFAOYSA-N 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 125000002924 primary amino group Chemical group [H]N([H])* 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于深度特征交叉融合的高光谱图像分类方法，主要解决传统卷积神经网络在高光谱数据分类时空间特征丢失的问题。其技术方案是：1.读取高光谱数据并对每个光谱带进行预处理；2.使用预处理后的高光谱数据构造数据样本并生成训练集和测试集数据；3.构建基于深度特征交叉融合的高光谱图像分类网络；4.用训练集数据对网络进行训练；5.使用训练后的网络对测试集数据进行分类预测；本发明针对多通道的原始数据融合不同分支阶段、不同尺度的深度特征，不断在多尺度表征之间进行信息交换，进而提升模型的深度特征表达能力；有效利用了高光谱数据不同层深度特征的多尺度空间信息，提高了分类精度。
Description
技术领域
本发明属于遥感信息处理技术领域，进一步涉及高光谱图像分类方法，具体为一种基于深度特征交叉融合的高光谱图像分类方法，可实现地物识别，用于环境监测、地质勘探等领域。
背景技术
随着光谱成像技术的发展，高光谱图像的空间分辨率不断提高，光谱波段也越来越多，使得高光谱图像的信息越来越丰富。丰富的光谱和空间特征使高光谱图像分类更具前景，同时，对于分类精度要求也更为严格。
高光谱图像分类技术主要包含数据特征工程和分类两部分，其中特征工程包括特征选择和特征提取，传统的高光谱图像分类技术的分类效果高度依赖于手工设计的特征工程方法，特征工程不仅需要丰富的领域经验，对不同类型的数据(例如：农业数据和城市数据)泛化性能也比较差。随着深度学习在计算机视觉、自然语言处理等领域的广泛应用，基于深度学习的特征提取和分类方法在高光谱数据分类领域也得到了应用，端对端的深度网络具有分层特征提取的特点，其在高光谱图像特征提取和分类上具有更强的泛化能力，且效果相较于传统分类方法也更好。
基于监督学习的深度模型需要大量的有标签样本数据，然而常见的高光谱数据含有大量的光谱波段和少量的标定数据。使得普通的深度学习方法在高光谱数据分类上存在明显的不足。此外基于深度神经网络DNN(Deep Neural Network)、自编码器(Autoencoder)以及深度置信网络DBN(Deep Belief Network)等深度学习模型，由于网络输入的限制，通常使用光谱特征或者变形后的空谱特征，忽略了高光谱数据均匀区域明显的空间相关性；卷积神经网络CNN(Convolutional Neural Network)使用共享卷积核和池化等方案，大量减少了网络参数，同时保留了图像数据的邻域关系和空间局部特点，有效地提高了对空间信息的使用。
Makantasis K等人在其发表的论文“Deep supervised learning forhyperspectral data classification through convolutional neural networks”(Geoscience and Remote Sensing Symposium(IGARSS))中提出了一种基于深度学习的高光谱数据分类方法，该方法以自动化方式分层构建高级特征，利用卷积神经网络对像素的光谱和空间信息进行编码，并利用多层感知器进行分类，且该方法使用了主成分分析PCA(principal components analysis)对原始高光谱数据进行特征降维预处理，从而减少计算代价。然而，二维卷积将光谱带众多的高光谱数据映射为一个通道的特征图，并不能充分利用光谱带之间的相关性，难以达到理想的分类效果。
Hamida,Amina Ben等人在其发表的论文“3-D Deep Learning Approach forRemote Sensing Image Classification”(IEEE Transactions on Geoscience andRemote Sensing(2018))中提出了一组基于三维卷积神经网络的深度学习方法，实现了高光谱数据中光谱和空间信息的联合，将原始的三维立方体高光谱数据直接输入到网络，不需要额外的预处理或后处理步骤。该方法的不足之处在于，没有考虑深度特征之间较强的相关性，且随着网络深度的增加，串行卷积神经网络由高空间分辨率向低空间分辨率提取特征会造成空间特征的损失问题。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于深度特征交叉融合的高光谱图像分类方法，针对多通道的原始数据融合不同分支阶段、不同尺度的深度特征，不断在多尺度表征之间进行信息交换，进而提升模型的深度特征表达能力，让多尺度表征之间可以更好的相互促进，有效地利用了高光谱数据不同层深度特征的多尺度空间信息，提高了高光谱数据的分类精度。
为了实现上述目的，本发明采用的技术方案包括如下步骤：
(1)输入高光谱数据并进行预处理：
1a)输入高光谱数据，读取该数据得到高光谱图像及其相应分类标签，所述高光谱图像为h×w×b的三维立方体数据，分类标签为h×w的二维类别标记数据；其中，h表示高光谱图像的高，w表示高光谱图像的宽，b表示高光谱图像的光谱带数；
1b)对高光谱数据的每个光谱维度进行归一化处理，得到预处理后的归一化高光谱数据；
1c)通过分析分类标签矩阵，将有标签的样本点取出构成n×2的二维位置矩阵；其中，n表示有标签的样本个数，两列数据分别存储有标签的样本在高光谱图像上的空间位置横纵坐标值；
(2)构建数据块集合，并划分训练数据集和测试数据集：
2a)令空间邻域半径为p，在宽度(p,w-p]、高度(p,h-p]范围内，通过二维位置矩阵获取归一化高光谱数据中每一个有标记类别的样本，并对其进行取块操作得到数据块样本；
2b)以数据块样本中心处像素的标记作为其标签，所有数据块样本和其相应标签共同组成数据块集合；
2c)将数据块集合中的每一类样本数据均按照3:7的比例划分为训练样本和测试样本两部分，所有训练样本组成训练数据集、测试样本组成测试数据集；
(3)构建基于深度特征交叉融合的高光谱图像分类网络：
3a)将多个连续的卷积层和激活函数层顺序组合，得到特征整合网络模块，用于整合高光谱数据的空谱信息同时进行降维；
3b)依次构造多个并行的包含不同空间分辨率的卷积网络分支，其中，除第一分支外的其它分支均由其上一分支产生；第二分支产生后，经过连续的一个或多个卷积和激活函数整合当前阶段两个分支的特征，进行一次特征交叉融合，同时由第二分支产生第三分支，以此类推，每产生一个新分支，所有分支通过连续的一个或多个卷积和激活函数整合特征，随后进行一次或多次特征交叉融合操作，并产生新分支；通过多个并行的卷积网络分支提取高光谱数据的深度特征，再采用特征交叉融合的方式对不同尺度的深度特征进行多次信息交换得到多尺度深度特征；
3c)通过采样操作和激活函数融合多尺度深度特征，得到多尺度深度特征的融合特征；
3d)通过一个或多个卷积和激活函数操作，将多尺度深度特征的融合特征整合为最终特征；
3e)将特征整合模块、多个卷积网络分支与最终特征串行连接后接全连接层，最后连接softmax分类器，得到基于深度特征交叉融合的高光谱图像分类网络；
(4)对网络进行训练：
将训练数据集作为基于深度特征交叉融合的高光谱图像分类网络的输入对该模型进行有监督训练，在训练过程中采用梯度下降法训练网络参数，得到训练好的基于深度特征交叉融合的高光谱图像分类网络模型；
(5)对测试样本进行分类预测：
将测试数据集输入训练好的基于深度特征交叉融合的高光谱图像分类网络中，输出测试样本的预测标签，与测试样本的真实标签进行对照，评价分类效果。
本发明与现有技术相比，具有以下优点：
第一、由于本发明采用并行连接不同分支的多尺度特征，通过对多尺度表征进行多次信息交叉融合构建基于深度特征交叉融合的高光谱图像分类网络，使得网络能学习到足够丰富的高光谱数据的多尺度深度特征，增强了深度特征的表征能力，从而有效地解决了传统串行卷积神经网络由高空间分辨率向低空间分辨率提取特征所造成的空间特征损失问题。
第二、由于本发明中特征整合模块采用了带有非线性激活函数的三维卷积操作，并采用了跨步卷积的方式替代传统卷积和池化操作，从而使得特征整合比一般的线性降维手段更加适用于高光谱数据的非线性特点。
第三、由于本发明采用多尺度信息交叉融合的方式，因此构建的网络模型针对不同数据集可做适应性修改，在模型设计上更具推广力。
附图说明
图1是本发明的实现流程图；
图2是本发明的网络结构示意图；
具体实施方式
下面结合附图和具体实施例，对本发明进一步详细说明。
参照图1，一种基于深度特征交叉融合的高光谱图像分类方法的实现流程图，对本发明的实施步骤作详细描述：
步骤1，输入高光谱数据并对其进行预处理。
首先输入高光谱数据，读取该数据得到高光谱图像及其相应分类标签；其中高光谱图像是一个h×w×b的三维立方体数据，对应的类别标签是一个h×w的二维类别标记数据，其中h表示高光谱图像的高，w表示高光谱图像的宽，b表示高光谱图像的光谱带数。
接着对高光谱数据的每个光谱维度进行归一化：
其中，
表示第k个光谱带中位于坐标(i,j)处的归一化像素；
表示第k个光谱带中位于坐标(i,j)处的像素，其中i＝1,2,…,h，j＝1,2,…,w；xk表示第k个光谱带，且k＝1,2,…,b；max(xk)表示第k个光谱带所有像素点的谱带最大值，min(xk)表示第k个光谱带所有像素点的谱带最小值。这样每个光谱带的数值都在[0,1]之间，可以消除不同光谱带的量纲影响也可以加速优化过程。
通过分析分类标签矩阵，将有标签的样本点取出构成n×2的二维位置矩阵，其中n表示有标记样本个数，两列数据分别存储有标签数据在高光谱图像上的空间位置横纵坐标值。
步骤2，构建数据块集合，并划分训练数据集和测试数据集。
对预处理过后的h×w×b三维高光谱数据，令所构造的样本数据块的空间邻域半径为p，在宽度[p,w-p]，高度[p,h-p]的范围内通过二维位置矩阵得到每一个有标记类别的样本，并对其进行取块操作。具体的在以标记样本为中心的s×s×b领域范围内构造数据块，其中s表示样本数据块的空间邻域大小，且s＝2×p+1。以数据块中心样本点的类别标记作为数据块数据的类别，构造有标签样本数据集合，并将该数据块集合中的每一类样本数据均按照3:7的比例进行划分，分为训练样本和测试样本两部分，所有训练样本组成训练数据集，所有测试样本组成测试数据集；
步骤3，构建基于深度特征交叉融合的高光谱图像分类网络；参照图2，本发明的网络结构示意图对本步骤构建的基于深度特征交叉融合的高光谱图像分类网络进行详细描述。
3.1)用多个连续的卷积层和激活函数层顺序组合，构建特征整合网络模块，用于整合高光谱数据的空谱信息同时降低空谱维度；所述卷积采用跨步卷积的方式，可替代传统卷积和池化操作，且比传统的线性映射更适应于高光谱数据，其卷积核大小、个数、激活函数选择以及跨步大小可依据实际需要进行调整。
本实施例以两个连续的卷积层和激活函数层构成特征整合模块，具体结构为：第1_1三维卷积层、第1_1激活函数层、第1_2三维卷积层、第1_2激活函数层顺序组合，且第1_1三维卷积层和第1_2三维卷积层的卷积核尺寸均为(3，3，3)，第1_1三维卷积层的卷积核个数为16，第1_2三维卷积层的卷积核个数为24，第1_1三维卷积层的步长为(1，1，1)，第1_2三维卷积层的步长为(2，1，1)。其中，激活函数采用线性整流函数ReLU(Rectified LinearUnit)，其表达式为y＝max(0,x)；三维卷积层前向运算的计算公式为：
其中，
表示位于第i个卷积层中第j个特征图位于(x,y,z)处的神经元值，m是第i-1层连接到第i层(即当前层)中第j个特征图的特征图索引，Pi、Qi和Ri为3D卷积核的尺寸，分别表示3D卷积核的高、宽以及深度，
表示卷积核在(p,q,r)处连接第m个特征图的值，bij表示第i层中第j个特征图的偏置值。
3.2)依次构造多个并行的包含不同空间分辨率的卷积网络分支，其中，除第一分支外的其它分支均由其上一分支产生；第二分支产生后，经过连续的一个或多个卷积和激活函数整合当前阶段两个分支的特征，进行一次特征交叉融合，同时由第二分支产生第三分支，以此类推，每产生一个新分支，所有分支通过连续的一个或多个卷积和激活函数整合特征，随后进行一次或多次特征交叉融合操作，并产生新分支；在多个分支之间的深度特征都进行了充分的交叉融合后，每个分支的深度特征都和其它几个不同尺度深度特征进行了信息交换，使得多尺度表征之间可以更好的相互促进，网络学习到足够丰富的高光谱数据的多尺度深度特征，增强了深度特征的表征能力。
本实施例以三个并行的卷积网络分支为例，构建特征交叉融合模块，用于不同阶段、不同尺度深度特征的交叉融合；该模块可通过对不同分支的特征图进行上采样或下采样操作使其得到相同的空间分辨率，进而执行按特征图对应元素相加的操作，然后再使用激活函数层，得到融合后的深度特征。
第一特征交叉融合模块具体是：对第2_1激活函数层的输出进行下采样，对第3_1激活函数层的输出进行上采样，分别与第2_2三维卷积层、第3_2三维卷积层的输出进行特征图相加，进而使用激活函数进行非线性转化；
第二特征交叉融合模块具体是：对第2_3、3_3、4_1激活函数层的输出分别进行采样操作，包括上采样和下采样，并将采样后的特征图分别与第2_4、3_4、4_2三维卷积层输出的特征图对应相加，进而使用激活函数进行非线性转化；这里的上采样操作均使用最近邻插值法，下采样使用的卷积核大小为(3，3，3)，其中第2_3激活函数层的输出到第4_2激活函数层的输出，其卷积核步长stride设置为(1，2，2)从而获得相同的空间分辨率，其余均使用(1，1，1)大小的卷积核步长。
特征交叉融合的操作次数和操作阶段以及新分支的产生规则可依据实际需要进行调整；在特征交叉融合过程中的特征图对应相加，若对应的特征图通道不一致，可使用卷积核大小为1的卷积进行转换，以满足特征图相加操作；在特征交叉融合过程中的特征图融合操作也可根据实验需要选择特征图对应相加、特征图拼接等；在进行特征图对应相加前，为保持特征的多样性，主要针对线性整流函数ReLU，不使用激活函数，相加操作完成后使用激活函数进行非线性转换；
3.3)由三个依次出现的分支结合特征交叉融合模块构建基于深度特征交叉融合的高光谱图像分类网络；具体为：第一分支由第2三维卷积层、第2激活函数层、第2_1三维卷积层、第2_1激活函数层……第2_4三维卷积层、第2_4激活函数层组成；在第1_2激活函数层的输出经第3三维卷积层和第3激活函数层后产生第二分支，第二分支由第3三维卷积层、第3激活函数层、第3_1三维卷积层、第3_1激活函数层……第3_4三维卷积层、第3_4激活函数层组成；在第3_1激活函数层的输出经第4三维卷积层和第4激活函数层后产生第三分支，第三分支由第4三维卷积层、第4激活函数层、第4_1三维卷积层、第4_1激活函数层、第4_2三维卷积层、第4_2激活函数层组成；设置第2、2_1到2_4、3、3_1到3_4、4、4_1和4_2三维卷积层的卷积核大小均为(3，3，3)，卷积核个数均为24，其中第2_1到2_4、3_1到3_4、4_1到4_2三维卷积层都使用了零填充来保持同一个分支的特征图空间尺度不变，第2、3、4三维卷积层不使用零填充操作以产生新的空间尺度分支。
利用特征整合模块提取高光谱数据的浅层特征，再通过三个并行的包含不同尺度特征的卷积网络分支进一步得到高光谱数据的深度特征，由特征交叉融合模块对深度特征进行多次信息交换得到多尺度深度特征，此处的特征交叉融合操作能够提高不同分支不同尺度表征的表达能力，让多尺度表征之间更好地相互促进，克服了传统深层特征丢失信息的缺点；随后三个分支的多尺度深度特征通过下采样操作进行特征图拼接融合，得到包含信息更为丰富的多尺度深度特征的融合特征；通过一个或多个卷积和激活函数操作将融合特征整合为最终特征，进一步地将整合后具有多尺度表征的最终特征经过全连接层和softmax分类层进行分类操作；
上述特征整合模块、多个卷积网络分支、最终特征、全连接层及softmax分类器通过串行连接共同构建基于深度特征交叉融合的高光谱图像分类网络。
步骤4，对基于深度特征交叉融合的高光谱图像分类网络进行训练。
将有类别标记的训练样本集，即步骤2中得到的训练数据集作为基于深度特征交叉融合的高光谱图像分类网络的输入，对该模型进行有监督训练。在训练过程中采用梯度下降法训练网络参数，得到训练好的基于深度特征交叉融合的高光谱图像分类网络模型。
具体地将训练数据集中的数据样本和其对应的标签输入到基于深度特征交叉融合的高光谱图像分类网络，输出训练样本的预测标签向量，使用交叉熵损失函数作为预测标签和真实标签之间距离的度量，用于进行网络反向传播。
交叉熵损失函数Loss：
其中M表示类别数量，yc∈{0,1}表示样本实际类别标签的one-hot形式，pc∈{0,1}表示网络对训练样本的预测标签向量；同时引入了L2正则损失惩罚，以降低学习过程中模型复杂度和不稳定程度，从而避免过拟合的风险；其中，惩罚因子大小可设置为0.005。
进一步使用梯度下降法优化网络参数，直到网络参数收敛；所述梯度下降算法的具体步骤如下：
a.使用链式法则求解损失函数L对待优化参数wi的偏导数
b.根据下式得到优化后参数wi'：
其中，lr为学习率，这里可将其设置为0.001；
为损失函数L对wi的偏导数。
使用优化后的参数wi'更新基于深度特征交叉融合的高光谱图像分类网络。
步骤5，利用训练好的网络模型对测试数据进行分类预测。
将测试数据集中的样本输入训练好的基于深度特征交叉融合的高光谱图像分类网络中，输出测试样本的预测标签，即分类预测结果。
步骤6，对分类效果进行评价。
将分类预测结果与测试样本的真实标签进行对照，评价分类效果。
下面结合仿真实验，对本发明的技术效果作进一步说明：
一.仿真实验条件：
本发明的仿真实验的硬件平台为神舟计算机，CPU型号为Inter core i7-77HQ处理器，内存16GB，GPU为NVIDIA GTX1060，显存6G；本发明的仿真实验的软件平台为Window10企业版64位操作系统，Pyhton3.6，pytorch版本为1.0.0；本发明所使用的高光谱图像数据集是由ROSIS在意大利帕维亚地区获得的帕维亚大学Pavia University城市地面数据以及由AVIRIS sensor在印第安纳州西北部Indian Pines地区获得的乡村地面数据。
Pavia University地面数据，该数据集为610×340×103大小的数据，所成图像空间分辨率为1.3m，共包含9类地物数据，共42776个标记样本(约20.6％)。具体的标记地物的类别和数量如表1所示：
表1 Pavia University数据集的样本类别与数量
| 类别标号 | 地物类别 | 标记样本数量 |
| 1 | Asphalt | 6631 |
| 2 | Meadows | 18649 |
| 3 | Gravel | 2099 |
| 4 | Trees | 3064 |
| 5 | Painted metal sheets | 1345 |
| 6 | Bare Soil | 5029 |
| 7 | Bitumen | 1330 |
| 8 | Self-Blocking Bricks | 3682 |
| 9 | Shadows | 947 |
Indian Pines数据集为145×145×200大小的数据，所成图像的空间分辨率大约为20m，共包含16类数据，共10249个标记样本(约占48.7％)，具体的标记地物的类别和数量如表2所示：
表2 Indian Pines数据集的样本类别与数量
二.仿真内容与结果：
本发明将高光谱数据的特征提取和分类集成在了同一个神经网络之中，采用基于深度特征交叉融合的高光谱图像分类网络进行分类，有效地避免了传统卷积神经网络在图像空间特征上的损失问题，提高了分类精度。深度多尺度特征交叉融合的主要思想是针对传统的卷积网络在对基于像素点的语义信息问题上学到的特征在空间分辨率上不断损失，使得对如高光谱数据分类等对空间信息敏感的任务难以取得准确预测结果而提出的。故主要和现有技术(2D CNN、3D CNN)分别对输入的高光谱图像数据进行分类，获得分类结果并进行分析比较，以此来说明基于深度特征交叉融合的高光谱图像分类方法的有效性。
在仿真实验中，采用的现有技术主要是指：
2D CNN是指Makantasis K等人在其发表的论文“Deep supervised learning forhyperspectral data classification through convolutionalneural networks”(Geoscience and Remote Sensing Symposium(IGARSS))中提出的一种基于2D CNN的高光谱图像分类方法。
3D CNN是指Hamida,Amina Ben等人在其发表的论文“3-D Deep LearningApproach for Remote Sensing Image Classification”(IEEE Transactions onGeoscience and Remote Sensing(2018))中提出的基于3D CNN的高光谱图像分类方法。
仿真实验1是采用本发明所提出的基于深度特征交叉融合的高光谱图像分类方法在上述仿真条件下，对上述的两种不同类型的高光谱数据集进行实验。
仿真实验2是采用现有技术中的CNN方法在上述仿真条件下进行实验，获得分类结果。
利用三个评价指标整体分类精度OA，平均分类精度AA和Kappa系数分别对三种方法的分类结果进行评价。结果如表3，表4所示：
表3 Pavia University数据集上三种方法的分类效果比较
表4 Indian Pines数据集上三种方法的分类效果比较
| 模型名称 | 整体分类精度 | 平均分类精度 | Kappa系数 |
| 2D CNN | 80.27％ | 68.32％ | 0.783 |
| 3D CNN | 82.62％ | 76.51％ | 0.793 |
| 本发明 | 94.75％ | 93.46％ | 0.908 |
从以上的结果对比可以看出，本发明相对传统的卷积神经网络有效果提升，且在不同类型的数据集上均能表现非常强的自主学习能力。
本发明通过三个并行的分支将高光谱数据的深层次特征通过交叉融合，保持了高光谱数据的不同尺度的空间特征，对不同分支不同尺度的深度特征进行多次信息交换得到丰富的多尺度深度特征，进而提高不同分支不同尺度表征的表达能力，让多尺度表征之间更好地相互促进，得到具有多尺度表征的深度特征。有效地克服了传统串行卷积神经网络在空间分辨率上的特征损失问题，提高了高光谱数据的分类精度。
此外，本发明所提出的基于深度特征交叉融合的高光谱图像分类方法，针对不同的数据集，多尺度信息交叉融合设计可做适应性修改调整，在模型设计上有一定的推广能力。如在小规模高光谱数据集上设计两个分支的深度特征交叉融合网络，可以使模型更加轻量化，有利于减轻过拟合风险。同理在数据样本充足的情况下可设计更加复杂的网络以学习更加复杂的模式。此外本发明所提出的深度特征交叉融合思想在其它像素级问题如图像分割、人脸对齐等领域，同样具有一定的启发意义。
本发明未详细说明部分属于本领域技术人员公知常识。
以上描述仅是本发明的一个具体实施例，不构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求的保护范围之内。
Claims (6)
1.一种基于深度特征交叉融合的高光谱图像分类方法，其特征在于，包括如下步骤：
(1)输入高光谱数据并进行预处理：
1a)输入高光谱数据，读取该数据得到高光谱图像及其相应分类标签，所述高光谱图像为h×w×b的三维立方体数据，分类标签为h×w的二维类别标记数据；其中，h表示高光谱图像的高，w表示高光谱图像的宽，b表示高光谱图像的光谱带数；
1b)对高光谱数据的每个光谱维度进行归一化处理，得到预处理后的归一化高光谱数据；
1c)通过分析分类标签矩阵，将有标签的样本点取出构成n×2的二维位置矩阵；其中，n表示有标签的样本个数，两列数据分别存储有标签的样本在高光谱图像上的空间位置横纵坐标值；
(2)构建数据块集合，并划分训练数据集和测试数据集：
2a)令空间邻域半径为p，在宽度(p,w-p]、高度(p,h-p]范围内，通过二维位置矩阵获取归一化高光谱数据中每一个有标记类别的样本，并对其进行取块操作得到数据块样本；
2b)以数据块样本中心处像素的标记作为其标签，所有数据块样本和其相应标签共同组成数据块集合；
2c)将数据块集合中的每一类样本数据均按照3:7的比例划分为训练样本和测试样本两部分，所有训练样本组成训练数据集、测试样本组成测试数据集；
(3)构建基于深度特征交叉融合的高光谱图像分类网络：
3a)将多个连续的卷积层和激活函数层顺序组合，得到特征整合网络模块，用于整合高光谱数据的空谱信息同时进行降维；
3b)依次构造多个并行的包含不同空间分辨率的卷积网络分支，其中，除第一分支外的其它分支均由其上一分支产生；第二分支产生后，经过连续的一个或多个卷积和激活函数整合当前阶段两个分支的特征，进行一次特征交叉融合，同时由第二分支产生第三分支，以此类推，每产生一个新分支，所有分支通过连续的一个或多个卷积和激活函数整合特征，随后进行一次或多次特征交叉融合操作，并产生新分支；通过多个并行的卷积网络分支提取高光谱数据的深度特征，再采用特征交叉融合的方式对不同尺度的深度特征进行多次信息交换得到多尺度深度特征；其中的特征交叉融合有两种形式，分别是基于特征图对应元素直接相加和特征图拼接，基于特征图对应元素直接相加可看作是特征图拼接后对应通道共享以后的卷积操作，能够减少需要学习的参数数量；特征交叉融合采用特征图对应元素直接相加时，若对应的特征图通道不一致，则使用卷积核大小为1的卷积进行转换，以满足特征图相加操作；
3c)通过采样操作和激活函数融合多尺度深度特征，得到多尺度深度特征的融合特征；
3d)通过一个或多个卷积和激活函数操作，将多尺度深度特征的融合特征整合为最终特征；
3e)将特征整合模块、多个卷积网络分支与最终特征串行连接后接全连接层，最后连接softmax分类器，得到基于深度特征交叉融合的高光谱图像分类网络；
(4)对基于深度特征交叉融合的高光谱图像分类网络进行训练：
将训练数据集作为基于深度特征交叉融合的高光谱图像分类网络的输入对该网络进行有监督训练，在训练过程中采用梯度下降法训练网络参数，得到训练好的基于深度特征交叉融合的高光谱图像分类网络；
(5)对测试样本进行分类预测：
将测试数据集输入训练好的基于深度特征交叉融合的高光谱图像分类网络中，输出测试样本的预测标签，与测试样本的真实标签进行对照，评价分类效果。
2.根据权利要求1所述的基于深度特征交叉融合的高光谱图像分类方法，其特征在于：步骤1b)中所述归一化处理通过下式进行：
其中，
表示第k个光谱带中位于坐标(i,j)处的归一化像素；
表示第k个光谱带中位于坐标(i,j)处的像素，其中i＝1,2,…,h，j＝1,2,…,w；xk表示第k个光谱带，且k＝1,2,…,b；max(xk)表示第k个光谱带所有像素点的谱带最大值，min(xk) 表示第k个光谱带所有像素点的谱带最小值。
3.根据权利要求1所述的基于深度特征交叉融合的高光谱图像分类方法，其特征在于：步骤(3)中所述卷积层的卷积核尺寸大小、个数及步长均根据需要构建的网络实际规模进行设置。
4.根据权利要求1所述的基于深度特征交叉融合的高光谱图像分类方法，其特征在于：步骤3a)中的激活函数采用线性整流函数。
5.根据权利要求1所述的基于深度特征交叉融合的高光谱图像分类方法，其特征在于：步骤3b)中卷积网络分支的个数、特征交叉融合的操作次数及操作阶段根据需要构建的网络需求确定。
6.根据权利要求1所述的基于深度特征交叉融合的高光谱图像分类方法，其特征在于：步骤(4)中梯度下降法的具体步骤如下：
4a)使用链式法则求解损失函数L对待优化参数wi的偏导数
4b)根据下式得到优化后参数wi'：
其中，lr表示学习率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010007701.3A CN111191736B (zh) | 2020-01-05 | 2020-01-05 | 基于深度特征交叉融合的高光谱图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010007701.3A CN111191736B (zh) | 2020-01-05 | 2020-01-05 | 基于深度特征交叉融合的高光谱图像分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111191736A CN111191736A (zh) | 2020-05-22 |
| CN111191736B true CN111191736B (zh) | 2022-03-04 |
Family
ID=70708734
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010007701.3A Active CN111191736B (zh) | 2020-01-05 | 2020-01-05 | 基于深度特征交叉融合的高光谱图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111191736B (zh) |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111639587B (zh) * | 2020-05-27 | 2023-03-24 | 西安电子科技大学 | 基于多尺度谱空卷积神经网络的高光谱图像分类方法 |
| CN111723731B (zh) * | 2020-06-18 | 2023-09-29 | 西安电子科技大学 | 基于空谱卷积核的高光谱图像分类方法、存储介质及设备 |
| CN111898662B (zh) * | 2020-07-20 | 2023-01-06 | 北京理工大学 | 滨海湿地深度学习分类方法、装置、设备和存储介质 |
| CN112052758B (zh) * | 2020-08-25 | 2023-05-23 | 西安电子科技大学 | 基于注意力机制和循环神经网络的高光谱图像分类方法 |
| CN112101271B (zh) * | 2020-09-23 | 2024-08-06 | 台州学院 | 一种高光谱遥感影像分类方法及装置 |
| CN112364878A (zh) * | 2020-09-25 | 2021-02-12 | 江苏师范大学 | 一种复杂背景下基于深度学习的电力线分类方法 |
| CN112215267B (zh) * | 2020-09-25 | 2022-11-01 | 天津大学 | 一种面向高光谱图像的深度空谱子空间聚类方法 |
| CN112257603B (zh) * | 2020-10-23 | 2022-06-17 | 深圳大学 | 高光谱图像分类方法及相关设备 |
| CN112508853B (zh) * | 2020-11-13 | 2022-03-25 | 电子科技大学 | 一种时空特征提取的红外热图像缺陷检测及量化方法 |
| CN112674720B (zh) * | 2020-12-24 | 2022-03-22 | 四川大学 | 基于3d卷积神经网络的阿尔茨海默症的预判断方法 |
| CN112598711B (zh) * | 2020-12-25 | 2022-12-20 | 南京信息工程大学滨江学院 | 一种基于联合光谱降维和特征融合的高光谱目标跟踪方法 |
| CN112580670B (zh) * | 2020-12-31 | 2022-04-19 | 中国人民解放军国防科技大学 | 基于迁移学习的高光谱空谱联合特征提取方法 |
| CN112651468B (zh) * | 2021-01-18 | 2024-06-04 | 佛山职业技术学院 | 一种多尺度轻量化图像分类方法及其存储介质 |
| CN112766199B (zh) | 2021-01-26 | 2022-04-29 | 武汉大学 | 基于自适应多尺度特征提取模型的高光谱图像分类方法 |
| CN112949416B (zh) * | 2021-02-04 | 2022-10-04 | 东华理工大学 | 一种监督的高光谱多尺度图卷积分类方法 |
| CN113111919B (zh) * | 2021-03-18 | 2024-05-03 | 浙江工业大学 | 一种基于深度高分辨率的高光谱图像分类方法 |
| CN114373120B (zh) * | 2021-03-25 | 2023-05-23 | 河北地质大学 | 一种多尺度空间融合高光谱土壤重金属污染识别评价方法 |
| CN113435253B (zh) * | 2021-05-31 | 2022-12-02 | 西安电子科技大学 | 一种多源影像联合城区地表覆盖分类方法 |
| CN113850284B (zh) * | 2021-07-04 | 2023-06-23 | 天津大学 | 一种基于多尺度特征融合和多分支预测的多操作检测方法 |
| CN113505856B (zh) * | 2021-08-05 | 2024-04-09 | 大连海事大学 | 一种高光谱影像无监督自适应分类方法 |
| CN113887328A (zh) * | 2021-09-10 | 2022-01-04 | 天津理工大学 | 一种eca-cnn融合双通道rnn并行提取光子晶体空间透射谱时空特征的方法 |
| CN113963207B (zh) * | 2021-10-21 | 2024-03-29 | 江南大学 | 基于空谱信息特征引导融合网络的高光谱图像分类方法 |
| CN114067175B (zh) * | 2021-11-12 | 2024-07-26 | 北京邮电大学 | 一种基于通道特征融合的高光谱图像小样本分类方法及装置 |
| CN114528918B (zh) * | 2022-01-14 | 2024-09-24 | 重庆邮电大学 | 一种基于二维卷积和lstm的高光谱图像分类方法及系统 |
| CN114399684B (zh) * | 2022-03-24 | 2022-08-05 | 中国科学院西安光学精密机械研究所 | 一种基于双损失函数的高光谱图像开放性分类方法 |
| CN114758203B (zh) * | 2022-03-31 | 2023-01-10 | 长江三峡技术经济发展有限公司 | 用于高光谱图像分类的残差密集视觉转换方法和系统 |
| CN114758170B (zh) * | 2022-04-02 | 2023-04-18 | 内蒙古农业大学 | 一种结合d3d的三分支三注意力机制高光谱图像分类方法 |
| CN114897814B (zh) * | 2022-05-07 | 2023-07-25 | 中国石油大学(华东) | 基于多级小波分解密接网络的高光谱图像溢油检测方法 |
| CN114842264B (zh) * | 2022-05-17 | 2024-08-02 | 北京理工大学 | 一种基于多尺度空谱特征联合学习的高光谱图像分类方法 |
| CN114998109B (zh) * | 2022-08-03 | 2022-10-25 | 湖南大学 | 基于双rgb图像融合的高光谱成像方法、系统及介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7819003B2 (en) * | 2002-06-11 | 2010-10-26 | Intelligent Technologies International, Inc. | Remote monitoring of fluid storage tanks |
| US10839510B2 (en) * | 2015-08-19 | 2020-11-17 | Colorado Seminary, Which Owns And Operates The University Of Denver | Methods and systems for human tissue analysis using shearlet transforms |
| CN107341506A (zh) * | 2017-06-12 | 2017-11-10 | 华南理工大学 | 一种基于多方面深度学习表达的图像情感分类方法 |
| CN110610184B (zh) * | 2018-06-15 | 2023-05-12 | 阿里巴巴集团控股有限公司 | 图像的显著目标的检测方法、装置及设备 |
| CN110321963B (zh) * | 2019-07-09 | 2022-03-04 | 西安电子科技大学 | 基于融合多尺度多维空谱特征的高光谱图像分类方法 |
| CN110555446B (zh) * | 2019-08-19 | 2023-06-02 | 北京工业大学 | 基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法 |
-
2020
- 2020-01-05 CN CN202010007701.3A patent/CN111191736B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111191736A (zh) | 2020-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111191736B (zh) | 基于深度特征交叉融合的高光谱图像分类方法 | |
| Ghaderizadeh et al. | Hyperspectral image classification using a hybrid 3D-2D convolutional neural networks | |
| Zhang et al. | Three-dimensional convolutional neural network model for tree species classification using airborne hyperspectral images | |
| CN110321963B (zh) | 基于融合多尺度多维空谱特征的高光谱图像分类方法 | |
| Song et al. | A survey of remote sensing image classification based on CNNs | |
| CN111191514A (zh) | 一种基于深度学习的高光谱图像波段选择方法 | |
| Huang et al. | GraNet: Global relation-aware attentional network for semantic segmentation of ALS point clouds | |
| Gao et al. | Hyperspectral image classification with pre-activation residual attention network | |
| Su et al. | LodgeNet: Improved rice lodging recognition using semantic segmentation of UAV high-resolution remote sensing images | |
| Feng et al. | Dual-graph convolutional network based on band attention and sparse constraint for hyperspectral band selection | |
| CN113435254A (zh) | 一种基于哨兵二号影像的耕地深度学习提取方法 | |
| CN113705580A (zh) | 基于深度迁移学习的高光谱图像分类方法 | |
| CN115205590A (zh) | 一种基于互补集成Transformer网络的高光谱图像分类方法 | |
| Rajendran et al. | Hyperspectral image classification model using squeeze and excitation network with deep learning | |
| CN114937173A (zh) | 一种基于动态图卷积网络的高光谱图像快速分类方法 | |
| CN114550014B (zh) | 道路分割方法及计算机装置 | |
| Tun et al. | Hyperspectral remote sensing images classification using fully convolutional neural network | |
| CN115661677A (zh) | 一种基于暗通道特征引导的轻量级卫星影像云检测方法 | |
| CN116168235A (zh) | 一种基于双分支注意力网络的高光谱图像分类方法 | |
| CN116740418A (zh) | 一种基于图重构网络的目标检测方法 | |
| Farooque et al. | Swin transformer with multiscale 3D atrous convolution for hyperspectral image classification | |
| CN111639697A (zh) | 基于非重复采样与原型网络的高光谱图像分类方法 | |
| Seyrek et al. | A comparative analysis of various activation functions and optimizers in a convolutional neural network for hyperspectral image classification | |
| CN116563639A (zh) | 一种轻量化多尺度密集网络高光谱遥感图像分类方法 | |
| Jing et al. | Time series land cover classification based on semi-supervised convolutional long short-term memory neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |