CN113705580B - 基于深度迁移学习的高光谱图像分类方法 - Google Patents
基于深度迁移学习的高光谱图像分类方法 Download PDFInfo
- Publication number
- CN113705580B CN113705580B CN202111015490.9A CN202111015490A CN113705580B CN 113705580 B CN113705580 B CN 113705580B CN 202111015490 A CN202111015490 A CN 202111015490A CN 113705580 B CN113705580 B CN 113705580B
- Authority
- CN
- China
- Prior art keywords
- network
- pixel
- trained
- layer
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000013508 migration Methods 0.000 title claims abstract description 7
- 230000005012 migration Effects 0.000 title claims abstract description 7
- 238000012549 training Methods 0.000 claims abstract description 59
- 230000004927 fusion Effects 0.000 claims abstract description 34
- 230000003595 spectral effect Effects 0.000 claims abstract description 14
- 230000011218 segmentation Effects 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 23
- 239000013598 vector Substances 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000011478 gradient descent method Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000001228 spectrum Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 230000008014 freezing Effects 0.000 claims description 4
- 238000007710 freezing Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 5
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 238000004088 simulation Methods 0.000 description 8
- 241001466077 Salina Species 0.000 description 5
- 238000013145 classification model Methods 0.000 description 5
- 238000013526 transfer learning Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
- 238000004457 water analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于深度迁移学习的高光谱图像分类方法，主要解决现有技术在小样本训练条件下分类精度低的问题，其方案为：基于区域聚类的空间预处理方法对高光谱图像进行超像素分割得到超像素块；使用自编码网络提取超像素块特征；对超像素块特征进行谱聚类得到伪标签；使用伪标签对3DCNN网络进行训练得到预训练模型；构建融合网络，并将预训练模型参数迁移到该融合网络中，使用真实标签对其进行训练；使用训练好的融合模型对高光谱图像进行分类。本发明采用改进的高光谱像元聚类方式和迁移学习方法，既生成了高质量的伪标签，又提升了迁移后模型的效果，提高了高光谱图像的分类精度，可应用于灾害监测、地质勘探、城市规划、农业和考古。
Description
技术领域
本发明属于图像处理技术领域，特别涉及一种高光谱图像分类方法，可应用于地质制图、矿石寻找、农林森林调查、海洋生物研究与海水分析。
背景技术
高光谱图像是遥感图像的一种，由于其结合了空间信息和光谱信息，高光谱图像可以提供丰富的图像场景数据，具有“图谱合一”的特点。因此，高光谱遥感影像在海洋监测、植被研究、精细农业、地质调查等领域得到了充分利用。
高光谱图像的分类是一种对高光谱像元进行分类的任务，其作为众多领域的重要应用，近年来受到了广泛的关注。随着神经网络的不断发展，基于深度学习的高光谱图像分类方法已成为了学界的研究热点，例如，Ying L等人发表的名称为“Spectral–SpatialClassification of Hyperspectral Imagery with 3D Convolutional Neural Network”(Remote Sensing,2017,9(1):67)的论文中，使用3D卷积神经网络对高光谱数据进行训练，能够充分利用高光谱数据的空间信息和谱信息，获得了很好的分类性能。然而，由于高光谱数据的结构较为复杂，而有标记样本的数量却较少，从而容易导致模型的过拟合，影响分类器的泛化能力。
为解决这种监督性的问题，引入了迁移学习。迁移学习就是将在一个数据集上学习到的分类模型运用到另一个数据集上，实质上就是使用已经训练好的模型直接拟合新的数据或者寻找新旧数据之间的内在关系，例如申请公布号为CN 111914696 A，名称为“一种基于迁移学习的高光谱遥感影像分类方法”的专利申请，公开了基于迁移学习的高光谱图像分类方法，实现步骤为：1)构建一个用于RGB图像分类的卷积神经网络模型并初始化模型权重参数；2)使用现有的海量有标签的RGB图像训练步骤1)中构建的模型；3)保存训练好的模型结构及其权重参数；4)将高光谱图像数据进行归一化预处理；5)数据集获取与划分；6)使用步骤3)中保存的模型中部分模块及其权重参数作为高光谱图像分类模型的前半部分以提取高光谱图像训练样本集的浅层特征，并初始化步骤3)中保存的模型中剩余部分模块的权重参数；7)使用步骤6)中提取的浅层特征训练步骤6)中被初始化的剩余部分模块的权重参数得到高光谱分类模型的后半部分；8)将步骤6)和步骤7)中得到的高光谱图像分类模型的前后两个部分结合成为最终的高光谱图像分类模型；9)对测试样本集进行预测。由于RGB图像和高光谱图像的数据特点是不同的，该方法中提供的预训练模型虽然可以提取高光谱图像空间信息，但却不能很好使用其谱信息，达不到很好的分类精度。
发明内容
本发明的目的在于克服上述现有技术存在的缺陷，提出一种基于深度迁移学习的高光谱图像分类方法，以提高分类精度。
为实现上述目的，本发明的技术方案包括如下：
1)采用基于区域聚类的空间预处理方法对高光谱图像进行超像素分割，得到数个超像素区域；
2)提取每个超像素区域对应的高光谱三维数据，将所有提取的高光谱三维数据同时作为第一训练集W1和用于提取特征的数据集Z；
3)构建由两层三维卷积、一层最大池化、一层全连接和两层三维反卷积依次连接组成的深度自编码网络；
4)将第一训练集W1输入到深度自编码网络中，利用梯度下降法对其进行训练，得到训练好的深度自编码网络模型；
5)构建由两层三维卷积、一层最大池化和一层全连接依次连接组成的编码网络，并将4)中训练好的深度自编码网络模型的参数迁移到编码器网络对应的结构层中，得到训练好的编码网络；
6)将数据集Z数据输入到训练好的编码器网络中，得到每个超像素块的特征向量；
7)将6)中得到的特征向量进行聚类，得到每个超像素区域的类别，将每个超像素区域的类别赋予其对应的所有高光谱像元，即获得高光谱像元的伪标签；
8)将高光谱图像数据与得到的伪标签组合，生成第二训练集W2，将高光谱图像数据与高光谱图像的真实标签组合,取其中每个类别的30个样本作为第三训练集W3，其余的全部样本用作测试集T；
9)构建由四层三维卷积、一层全连接依次连接组成的3DCNN网络，将第二训练集W2输入到3DCNN网络中，利用随机梯度下降法对其进行训练，得到训练好的3DCNN网络模型；
10)构造由一层三维卷积、一层最大池化和两个残差结构依次连接组成的修正模块，并将该修正模块与3DCNN网络并联形成双流网络，再将该双流网络与两层全连接级联形成融合网络；
11)将训练好的3DCNN网络模型的参数迁移到融合网络对应的结构层中，得到预训练的融合网络模型；
12)冻结预训练的融合网络中3DCNN结构中的参数，将第三训练集W3输入预训练的融合网络中，利用随机梯度下降法对网络进行训练，得到训练好的融合网络模型；
13)将第二测试集T2输入训练好的融合模型中，得到最终的高光谱像元分类结果。
本发明与现有的技术相比，具有以下优点：
第一，本发明由于预先对高光谱图像进行了超像素分割，利用同质区域将聚类结果进行斑块约束，减少了斑块的错分点；同时由于通过3DCAE提取同质区域的特征，充分利用了空间信息和谱信息，提升了后续聚类的性能，并为预训练提供了可靠的伪标签。
第二，本发明由于使用双流融合的网络结构，一方面充分利用了预训练模型对高光谱图像的浅层和深层特征提取能力，另一方面弥补了伪标签不够精确所导致的预训练模型分类效果不佳的缺陷，有效地提高了高光谱图像的分类精度。
附图说明
图1是本发明的实现流程图；
图2是本发明中构建的深度自编码网络模型图；
图3是本发明中构建的深度融合网络模型图；
图4是用本发明对Salinas高光谱遥感影像数据进行分类的仿真结果图。
具体实施方式
以下结合附图对本发明的实施和效果作进一步的详细说明。
参照图1，本实例的实现步骤包括如下：
步骤1：对高光谱图像进行超像素分割。
常用的高光谱图像超像素分割方法是基于熵率的超像素分割算法，该方法产生的超像素块通常大小不一，形状不规则，而基于区域聚类的空间预处理的方法可以生成更多的规则分区，分区数量易于控制，且所获得的分区自然地呈现出局部空间相关性，有利于后续同质区域特征的提取。其实现方案是：首先通过等距采样过程选择一些初始聚类中心；然后，将每个聚类中心的邻域设置为围绕聚类中心的矩形，以限制聚类搜索范围，降低计算复杂度。在主循环步骤中，对于每个聚类中心，该算法采用距离准则来聚类局部邻域中的每个像素，每次迭代后，新的聚类中心会在下一次迭代中更新，具体步骤如下：
1.1)初始化种子点，即按照设定的超像素个数K，高光谱图像的像元数量为np，在图像内均匀的分配种子点，得到初始的K个聚类中心；
1.2)计算每个聚类中心n×n邻域内所有像元的梯度幅值Gi,j：
Gi,j＝||dx(i,j)+dy(i,j)||
其中，dx(i,j)＝I(i+1,j)-I(i,j)，dy(i,j)＝I(i,j+1)-I(i,j),||·||表示求二范数的操作，I是像素点的值，(i,j)为像元的坐标；
1.3)将聚类中心移到n×n邻域内梯度幅值最小的地方，得到更新后的聚类中心，再计算更新后聚类中心邻域内每个像元与聚类中心的距离，该距离包括谱距离Dspectral和空间距离Dspatial：
其中，pe代表第e个像元的谱向量，pc代表聚类中心像元的谱向量，(xe,ye)代表第e个像元的空间坐标，(xc,yc)代表聚类中心像元的空间坐标，d是搜索邻域对角线的长度；
1.4)根据谱距离Dspectral和空间距离Dspatial，计算每个搜索到的像元i与聚类中心的总距离De,c：
De,c＝(1-r)Dspectral+rDspatial
其中，r是平衡光谱和空间项的加权因子；
1.5)将像元e分配给与其距离最小的聚类中心：
其中，c代表第c个聚类中心，Kc代表给像元e分配的类别；
1.6)重复1.2)～1.5)共10次，生成最终的超像素分割结果，即得到数个超像素分割块。
步骤2：根据超像素分割结果生成训练集和测试集。
2.1)计算出每个超像素块的大小M：
M＝np/K
其中，np为高光谱图像的像元数量，K为超像素块的个数；
2.2)设高光谱图像的维度为l，对每个超像素块取其对应位置大小为立方体的高光谱图像数据，将该高光谱图像数据一式两份，作为第一训练集W1和用于提取特征的数据集Z。
步骤3：构建深度自编码网络。
如图2所示，本步骤的具体实现如下：
3.1)设置两层3D卷积，其卷积核大小分别为4×4×24和1×1×18、步长均为(1,1,1)；
3.2)设置一层最大池化，其过滤器大小为18×1×1、步长为(1,1,1)；
3.3)设置一层全连接，其维度为1×216；
3.4)设置两层3D反卷积，其反卷积核大小分别为4×4×9和4×4×27，步长均为(1,1,1)；
3.5)将以上所述的两层3D卷积、一层最大池化、一层全连接和两层3D反卷积依次连接构成深度自编码网络；
3.6)设置深度自编码网络的激活函数为Relu函数，其表达式为：x表示输入，f(x)表示输出。
步骤4：采用梯度下降法对深度自编码网络进行训练。
4.1)设置训练的学习率为0.001，选择梯度下降法中的随机梯度下降算法SGD，并将SGD中的动能系数设置为0.8，权重衰减系数设置为0.0001；
4.2)将有第一训练集W1按每批次32个样本输入到深度自编码网络中，生成初始重构数据；
4.3)计算输入数据和输出重构数据的重构损失L1：
其中，(i,j)表示像元的位置，k表示像元中第k波段，Ii,j,k表示输入图像数据中(i,j)位置像元在第k波段的取值，Ki,j,k表示重构图像数据中(i,j)位置像元在第k波段的取值；
4.4)重复4.2)～4.3)，迭代优化重构损失函数L，直到重构损失函数L的数值趋于稳定不再下降时，得到训练好的深度自编码网络模型，并对其进行保存。
步骤5：构建编码器网络，将步骤4中训练好的深度自编码网络模型参数迁移到编码器网络中。
5.1)建立两层3D卷积，其卷积核大小分别为4×4×24和1×1×18、步长均为(1,1,1)；
5.2)建立一层最大池化，其过滤器大小为18×1×1、步长为(1,1,1)；
5.3)建立一层全连接，其尺寸大小为1×216；
5.4)将以上所述的两层3D卷积、一层最大池化和一层全连接进行级联，构成编码网络；
5.5)设置编码网络的激活函数为Relu函数，其表达式为：x表示输入，f(x)表示输出；
5.6)将训练好的自编码网络的权重参数迁移到编码网络对应的网络层中，再将数据集Z的数据输入编码器网络中，生成每个超像素块的特征向量b＝(b1,b2,b3,...,bn)，其中n＝216。
步骤6：通过对特征向量b进行谱聚类，生成高光谱图像的伪标签。
6.1)将得到的n个特征向量b按相似矩阵的生成方式构建样本的相似矩阵S：
其中，bp和bq代表任意两个特征向量,p和q的范围是1～n,且两者不相等；
6.2)设置一个距离阈值∈，根据spq和∈的大小关系定义邻接矩阵W：
其中，
6.3)根据邻接矩阵W构建度矩阵D：
其中，
6.4)计算出拉普拉斯矩阵L＝D-W；
6.5)构建标准化后的拉普拉斯矩阵
6.6)根据最小的k1个特征值/>得到各自对应的特征向量f：
6.7)选择k个随机的特征向量f1，f2，…，fk作为初始的聚类中心，记为μ1，μ2，…，μk；
6.8)计算每个特征向量f1，f2，…，ft到各个簇中心的距离，并将其分配到与它距离最近的簇:
其中，fu指第u个特征向量，cu是fu最终所属的类别，k代表第k个簇，μk代表第k个簇的聚类中心；
6.9)对于每个簇，利用该簇Fk＝{f1，f2，…，ft}中的所有特征向量重新计算该簇的中心：
其中，fu代表第k个簇中第u个特征向量，μg代表第k个簇中假定的聚类中心，μk′代表第k个簇的新聚类中心；
6.10)重复6.8)～6.9)，直至聚类中心不发生改变，即得到最终的聚类结果。
步骤7：生成第二训练集W2，同时划分第三训练集W3和测试集T。
7.1)对于高光谱图像每个像元ω，取其邻域内所有像元的数据块Dω作为中心像元i的数据，邻域大小为30×30，获得样本数据大小为30×30×l；
7.2)将得到的伪标签Yω与7.1)中所述数据Dω结合，生成第二训练集W2。
7.3)将真实标签Gω与7.1)中的数据Dω结合，每个类别取30个样本生成第三训练集W3，剩余所有样本生成测试集T。
步骤8：构建三维卷积神经网络3DCNN。
本步骤的具体实现如下：
8.1)建立四层卷积，每层卷积的卷积核大小均为3×3×8，步长为(1,1,2)；
8.2)建立两层全连接，其大小分别为1×512和1×128；
8.3)使用softmax作为网络的分类输出层；
8.4)将以上所述的四层3D卷积、两层全连接和softmax依次连接构成3DCNN网络。
8.5)设置3DCNN网络的激活函数为Relu函数，其表达式为：x表示输入，f(x)表示输出。
步骤9：将步骤7中的第二训练集W2输入到3DCNN网络中，采用梯度下降法训练网络。
9.1)设置训练的学习率为0.005，选择梯度下降法中的随机梯度下降算法SGD，并将SGD中的动能系数设置为0.8，权重衰减系数设置为0.0001；
9.2)将第二训练集W2按每批次64个样本输入到3DCNN中，生成初始分类结果；
9.3)计算初始分类结果和文件夹真实标签的交叉熵损失L2：
其中，m表示样本的总数量，yl表示第l个样本的真实标签，al表示第l个样本的预测类别概率；
9.4)重复9.2)～9.3)，迭代优化损失函数L2，直到损失函数L2的数值趋于稳定不再下降时，得到训练好的3DCNN网络模型，并保存。
步骤10：构造融合网络，并将预训练模型的超参数迁移到融合网络对应的结构中。
如图3所示，本步骤的具体实现如下：
10.1)设置四层3D卷积，每层卷积的卷积核大小均为1×1×4，步长均为(1,1,1)；
10.2)设置第一全连接，其维度为1×32；
10.3)将10.1)～10.2)所述的4层3D卷积、第一全连接1依次连接构成3DCNN模块；
10.4)设置第五层3D卷积，其卷积核大小为1×1×4，步长为(1,1,1)；
10.5)设置一层最大池化，其过滤器大小为3×3×3，步长为(1,1,1)；
10.6)设置两个残差结构，其每个残差结构都包括两层卷积，其卷积核大小均为3×3×3，步长分别为(1,1,1)和(2,2,2)；
10.7)设置第二全连接，其维度为1×32；
10.8)将10.4)～10.7)所述的第五3D卷积、一层最大池化、两个残差结构和第二全连接依次连接构成修正模块；
10.9)设置两层全连接，其维度分别为1×64和1×32；
10.10)将10.3)中的3DCNN模块与10.8)中的修正模块并联，再与10.9)中的两层全连接依次级联构成融合模型；
10.11)设置融合网络的激活函数为Relu函数，其表达式为：x表示输入，f(x)表示输出；
10.12)将训练好的3DCNN网络的权重参数迁移到融合网络对应的网络层中。
步骤11：冻结融合网络的3DCNN模块权重参数，使用步骤7中的第三训练集W3对该冻结融合网络进行训练，得到训练好的融合网络模型。
11.1)设置训练的学习率为0.0005，选择梯度下降法中的随机梯度下降算法SGD，并将SGD中的动能系数设置为0.9，权重衰减系数设置为0.0001；
11.2)将第三训练集W3数据按每批次64个样本输入到融合网络中，生成初始分类结果；
11.3)计算初始分类结果和真实标签的交叉熵损失：
其中，s表示样本的总数量，yr表示第r个样本的真实标签，ar表示第r个样本的预测类别概率；
11.4)重复11.2)～11.3)，迭代优化损失函数L3，直到损失函数L3的数值趋于稳定不再下降时，得到训练好的融合网络模型，并保存。
步骤12：将步骤7中的测试集T输入到步骤11训练好的融合网络模型中，得到高光谱图像最终分类结果。
下面结合仿真实验，对本发明的技术效果作进一步的描述。
1.仿真条件：
仿真实验使用的硬件平台为Nvidia 2080,12G RAM。软件平台为Python3.6，操作系统为ubuntu 18.0。
仿真实验中用到的高光谱图像数据集为Salinas数据集，该高光谱数据采集自美国加利福尼亚州的Salinas山谷，图像大小为512×217，具有204光谱波段，包含16类地物，仿真实验中对每类地物随机挑选30个样本作为测试样本。
2.仿真内容：
分别使用3DCNN网络模型和本发明基于深度迁移学习的高光谱图像分类方法对Salinas数据集进行仿真实验，结果如图4，其中：
图4(a)为Salinas数据集的真实地物类别；
图4(b)为使用3DCNN网络模型的分类结果；
图4(c)为使用本发明方法的分类结果。
对比图4(b)和图4(c)的分类结果图可以看出，相比于3DCNN网络模型的分类结果，本发明方法的分类结果在很多区域的内部及少部分区域的边缘都有较少的错分点，表明本发明的方法具有更好的分类性能。
利用总精度OA、平均精度AA、卡帕系数KAPPA这三个评价指标对分类结果进行评价，得到每类地物的分类精度和各评价指标的值，结果如表1。
表1
从表1的实验结果中可以看出，相对于现有技术，本发明对每类地物的分类精度有明显的提高，且本发明相对于3DCNN方法，OA提高了11.74％，AA提高了7.50％,Kappa提高了13.04％。
综上，本发明基于深度迁移学习的方法，使用少量的标记样本训练，有效提高了图像特征的表达能力，增强了模型的泛化能力，获得了较好的分类效果。
Claims (10)
1.一种基于深度迁移学习的高光谱图像分类方法，其特征在于，包括：
1)采用基于区域聚类的空间预处理方法对高光谱图像进行超像素分割，得到数个超像素区域；
2)提取每个超像素区域对应的高光谱三维数据，将所有提取的高光谱三维数据同时作为第一训练集W1和用于提取特征的数据集Z；
3)构建由两层三维卷积、一层最大池化、一层全连接和两层三维反卷积依次连接组成的深度自编码网络；
4)将第一训练集W1输入到深度自编码网络中，利用梯度下降法对其进行训练，得到训练好的深度自编码网络模型；
5)构建由两层三维卷积、一层最大池化和一层全连接依次连接组成的编码网络，并将4)中训练好的深度自编码网络模型的参数迁移到编码器网络对应的结构层中，得到训练好的编码网络；
6)将数据集Z输入到训练好的编码器网络中，得到每个超像素块的特征向量；
7)将6)中得到的特征向量进行聚类，得到每个超像素区域的类别，将每个超像素区域的类别赋予其对应的所有高光谱像元，即获得高光谱像元的伪标签；
8)将高光谱图像数据与得到的伪标签组合，生成第二训练集W2，将高光谱图像数据与高光谱图像的真实标签组合,取其中每个类别的30个样本作为第三训练集W3，其余的全部样本用作测试集T；
9)构建由四层三维卷积、一层全连接依次连接组成的3DCNN网络，将第二训练集W2输入到3DCNN网络中，利用随机梯度下降法对其进行训练，得到训练好的3DCNN网络模型；
10)构造由一层三维卷积、一层最大池化和两个残差结构依次连接组成的修正模块，并将该修正模块与3DCNN网络并联形成双流网络，再将该双流网络与两层全连接级联形成融合网络；
11)将训练好的3DCNN网络模型的参数迁移到融合网络对应的结构层中，得到预训练的融合网络模型；
12)冻结预训练的融合网络中3DCNN网络结构中的参数，将第三训练集W3输入预训练的融合网络中，利用随机梯度下降法对网络进行训练，得到训练好的融合网络模型；
13)将第二测试集T2输入训练好的融合模型中，得到最终的高光谱像元分类结果。
2.如权利要求1所述的方法，其特征在于，1)中采用基于区域聚类的空间预处理方法对高光谱图像进行超像素分割，实现如下：
1a)初始化种子点，即按照设定的超像素个数K，在图像内均匀的分配种子点，得到初始的K个聚类中心；
1b)计算每个聚类中心n×n邻域内所有像元的梯度幅值Gi,j：
Gi,j＝||dx(i,j)+dy(i,j)||
其中，dx(i,j)＝I(i+1,j)-I(i,j)，dy(i,j)＝I(i,j+1)-I(i,j),||·||表示求二范数的操作，I是像元的谱向量，(i,j)为像元的坐标；
1c)将聚类中心移到n×n邻域内梯度幅值最小的地方，得到更新后的聚类中心，再计算更新后聚类中心邻域内每个像元与聚类中心的距离，该距离包括谱距离Dspectral和空间距离Dspatial，对于每个搜索到的像元i，分别计算它和该聚类中心的距离De,c：
De,c＝(1-r)Dspectral+rDspatial
其中，pe代表第e个像元的谱向量，pc代表聚类中心像元的谱向量，(xe,ye)代表第e个像元的空间坐标，(xc,yc)代表聚类中心像元的空间坐标，d是搜索邻域对角线的长度，r是平衡光谱和空间项的加权因子；
1d)若聚类中心c与像元e的距离最小，则将聚类中心c的类别赋予该像元e；
1e)重复1b)～1d)共10次，生成最终的超像素分割结果。
3.如权利要求1所述的方法，其特征在于，3)中深度自编码器中各层的参数如下：
所述的两层卷积3D_Conv1和3D_Conv2，其卷积核大小分别为4×4×24和1×1×18、步长为(1,1,1)、激活函数为Relu；
所述的一层最大池化，其过滤器大小为18×1×1、步长为(1,1,1)，用于对高光谱图像数据进行编码；
所述的一层全连接，其尺寸大小为1×216；
所述的两层反卷积3D_Dconv1和3D_Dconv2，其反卷积核大小分别为4×4×9和4×4×27，步长为(1,1,1)、激活函数为Relu，用于数据的重构。
4.如权利要求1所述的方法，其特征在于，4)中对深度自编码网络进行训练，其实现如下：
4a)设置训练的学习率为0.001；
4b)将第一训练集W1图像输入到深度自编码网络中，生成初始重构数据；
4c)计算输入数据和输出重构数据的重构损失L1：
其中，(i,j)表示像元的位置，k表示像元中第k波段，Ii,j,k表示输入图像数据中(i,j)位置像元在第k波段的取值，Ki,j,k表示重构图像数据中(i,j)位置像元在第k波段的取值；
4d)重复4b)～4c)，迭代优化重构损失函数，直到重构损失函数的数值趋于稳定不再下降时，得到训练好的深度自编码网络模型。
5.如权利要求1所述的方法，其特征在于，5)中编码器网络各层的参数如下：
所述的两层卷积3D_Conv1和3D_Conv2，其卷积核大小分别为4×4×24和1×1×18、步长为(1,1,1)、激活函数为Relu；
所述的一层最大池化，其过滤器大小为18×1×1、步长为(1,1,1)，用于对高光谱图像数据进行编码；
所述的一层全连接，其尺寸大小为1×216。
6.如权利要求1所述的方法，其特征在于，7)中对特征向量进行谱聚类，实现如下：
7a)将得到的n个特征向量b按相似矩阵的生成方式构建样本的相似矩阵S：
其中，bp和bq代表任意两个特征向量,p和q的范围是1～n,且两者不相等；
7b)设置一个距离阈值∈，根据spq和∈的大小关系定义邻接矩阵W：
其中，
7c)根据邻接矩阵W构建度矩阵D：
其中，
7d)计算出拉普拉斯矩阵L＝D-W；
7e)构建标准化后的拉普拉斯矩阵
7f)计算最小的k1个特征值所各自对应的特征向量/>
7g)选择k个随机的特征向量f1，f2，…，fk作为初始的聚类中心，记为μ1，μ2，…，μk；
7h)计算每个特征向量f1，f2，…，ft到各个聚类中心的距离，将其分配到与它距离最近的簇：
其中，fu指第u个特征向量，cu是fu最终所属的类别，k代表第k个簇，μk代表第k个簇的聚类中心；
7i)对于每个簇，利用该簇Fk＝{f1，f2，…，ft}中的所有特征向量重新计算该簇的中心：
其中，fu代表第k个簇中第u个特征向量，μg代表第k个簇中假定的聚类中心，μ′k代表第k个簇的新聚类中心；
7j)重复7h)～7i)，直至聚类中心不发生改变，即得到最终的聚类结果。
7.如权利要求1所述的方法，其特征在于，9)中3DCNN网络中各层的参数如下：
所述的四层卷积，其卷积核大小均为3×3×8，步长为(1，1，2)；
所述的两层全连接，其大小分别为1×512和1×128。
8.如权利要求1所述的方法，其特征在于，9)中利用随机梯度下降算法对3DCNN网络进行训练，其实现如下：
9a)设置训练的学习率为0.0005；
9b)将第二训练集W2输入到3DCNN中，生成初始分类结果；
9c)计算分类结果和文件夹真实标签的交叉熵损失L2：
其中，m表示样本的总数量，yl表示第l个样本的真实标签，al表示第l个样本的预测类别概率；
9d)重复9b)～9c)，迭代优化损失函数L2，直到损失函数L2的数值趋于稳定不再下降时，得到训练好的3DCNN网络模型，并保存。
9.如权利要求1所述的方法，其特征在于，10)中构造的深度融合网络，其结构参数如下：
所述的四层三维卷积，其卷积核大小均为1×1×4，步长均为(1,1,1)；
所述的一层最大池化，其过滤器大小为3×3×3，步长为(1,1,1)；
所述的两个残差结构，其每个残差结构都包括两个卷积层，其卷积核大小均为3×3×3，步长分别为(1,1,1)和(2,2,2)；
所述的两层全连接，其维度分别为1×64和1×32。
10.如权利要求1所述的方法，其特征在于，12)中冻结3DCNN部分模型参数，利用随机梯度下降算法对融合网络其余部分进行训练，其实现如下：
12a)设置训练的学习率为0.0005；
12b)将第三训练集W3数据输入到融合网络中，生成初始分类结果；
12c)计算初始分类结果和真实标签的交叉熵损失：
其中，s表示样本的总数量，yr表示第r个样本的真实标签，ar表示第r个样本的预测类别概率；
12d)重复12b)～12c)，迭代优化损失函数L3，直到损失函数L3的数值趋于稳定不再下降时，得到训练好的融合网络模型，并保存。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111015490.9A CN113705580B (zh) | 2021-08-31 | 2021-08-31 | 基于深度迁移学习的高光谱图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111015490.9A CN113705580B (zh) | 2021-08-31 | 2021-08-31 | 基于深度迁移学习的高光谱图像分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113705580A CN113705580A (zh) | 2021-11-26 |
| CN113705580B true CN113705580B (zh) | 2024-05-14 |
Family
ID=78658268
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111015490.9A Active CN113705580B (zh) | 2021-08-31 | 2021-08-31 | 基于深度迁移学习的高光谱图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113705580B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114359544B (zh) * | 2021-12-27 | 2024-04-12 | 江苏大学 | 基于T-SAE农作物植株铅浓度Vis-NIR光谱深度迁移学习方法 |
| CN114419395A (zh) * | 2022-01-20 | 2022-04-29 | 江苏大学 | 基于中间位置编码的在线目标检测模型训练方法 |
| CN114693670B (zh) * | 2022-04-24 | 2023-05-23 | 西京学院 | 基于多尺度U-Net的直缝埋弧焊管焊缝缺陷超声检测方法 |
| CN115728247B (zh) * | 2022-10-20 | 2024-05-28 | 武汉颐光科技有限公司 | 一种基于机器学习的光谱测量质量判定方法 |
| CN115690566B (zh) * | 2022-10-24 | 2024-01-19 | 广东工业大学 | 一种基于深度迁移聚类学习的深海动物新物种识别方法 |
| CN117746079B (zh) * | 2023-11-15 | 2024-05-14 | 中国地质大学（武汉） | 一种高光谱图像的聚类预测方法、系统、存储介质及设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107145860A (zh) * | 2017-05-05 | 2017-09-08 | 西安电子科技大学 | 基于空间信息和深度学习的极化sar图像分类方法 |
| KR20190063582A (ko) * | 2017-11-30 | 2019-06-10 | 재단법인대구경북과학기술원 | 전달 학습을 통한 운전자의 시선 응시영역 추정 방법 |
| US10426442B1 (en) * | 2019-06-14 | 2019-10-01 | Cycle Clarity, LLC | Adaptive image processing in assisted reproductive imaging modalities |
| CN110610207A (zh) * | 2019-09-10 | 2019-12-24 | 重庆邮电大学 | 一种基于迁移学习的小样本sar图像舰船分类方法 |
| CN110689092A (zh) * | 2019-10-18 | 2020-01-14 | 大连海事大学 | 一种基于数据导向的鞋底花纹图像深度聚类方法 |
| CN111914696A (zh) * | 2020-07-16 | 2020-11-10 | 河海大学 | 一种基于迁移学习的高光谱遥感影像分类方法 |
| CN112101467A (zh) * | 2020-09-17 | 2020-12-18 | 哈尔滨理工大学 | 一种基于深度学习的高光谱图像分类方法 |
| KR102197297B1 (ko) * | 2019-09-27 | 2020-12-31 | 서울대학교산학협력단 | 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법 |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
| WO2021096324A1 (en) * | 2019-11-14 | 2021-05-20 | Samsung Electronics Co., Ltd. | Method for estimating depth of scene in image and computing device for implementation of the same |
| WO2021134871A1 (zh) * | 2019-12-30 | 2021-07-08 | 深圳市爱协生科技有限公司 | 基于局部二值模式和深度学习的合成人脸图像取证方法 |
-
2021
- 2021-08-31 CN CN202111015490.9A patent/CN113705580B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107145860A (zh) * | 2017-05-05 | 2017-09-08 | 西安电子科技大学 | 基于空间信息和深度学习的极化sar图像分类方法 |
| KR20190063582A (ko) * | 2017-11-30 | 2019-06-10 | 재단법인대구경북과학기술원 | 전달 학습을 통한 운전자의 시선 응시영역 추정 방법 |
| US10426442B1 (en) * | 2019-06-14 | 2019-10-01 | Cycle Clarity, LLC | Adaptive image processing in assisted reproductive imaging modalities |
| CN110610207A (zh) * | 2019-09-10 | 2019-12-24 | 重庆邮电大学 | 一种基于迁移学习的小样本sar图像舰船分类方法 |
| KR102197297B1 (ko) * | 2019-09-27 | 2020-12-31 | 서울대학교산학협력단 | 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법 |
| CN110689092A (zh) * | 2019-10-18 | 2020-01-14 | 大连海事大学 | 一种基于数据导向的鞋底花纹图像深度聚类方法 |
| WO2021096324A1 (en) * | 2019-11-14 | 2021-05-20 | Samsung Electronics Co., Ltd. | Method for estimating depth of scene in image and computing device for implementation of the same |
| WO2021134871A1 (zh) * | 2019-12-30 | 2021-07-08 | 深圳市爱协生科技有限公司 | 基于局部二值模式和深度学习的合成人脸图像取证方法 |
| CN111914696A (zh) * | 2020-07-16 | 2020-11-10 | 河海大学 | 一种基于迁移学习的高光谱遥感影像分类方法 |
| CN112101467A (zh) * | 2020-09-17 | 2020-12-18 | 哈尔滨理工大学 | 一种基于深度学习的高光谱图像分类方法 |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
Non-Patent Citations (4)
| Title |
|---|
| Spectral–Spatial Classification of Hyperspectral Imagery with 3D Convolutional Neural Network;Ying Li 等;Remote Sensing;20170113;全文 * |
| 基于深度迁移学习的城市高分遥感影像分类;黄如金 等;江西科学;20200215;全文 * |
| 深度迁移学习在高光谱图像分类中的运用;王立伟 等;计算机工程与应用;20181122;全文 * |
| 深度迁移学习在高光谱遥感图像分类中的研究现状与展望;刘小波 等;青岛科技大学学报(自然科学版);20190527;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113705580A (zh) | 2021-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113705580B (zh) | 基于深度迁移学习的高光谱图像分类方法 | |
| CN110321963B (zh) | 基于融合多尺度多维空谱特征的高光谱图像分类方法 | |
| CN108830296B (zh) | 一种改进的基于深度学习的高分遥感影像分类方法 | |
| Chen et al. | Multiscale feature learning by transformer for building extraction from satellite images | |
| CN112668494A (zh) | 基于多尺度特征提取的小样本变化检测方法 | |
| CN105046276B (zh) | 基于低秩表示的高光谱图像波段选择方法 | |
| CN111310666B (zh) | 一种基于纹理特征的高分辨率影像地物识别与分割方法 | |
| CN110084159A (zh) | 基于联合多级空谱信息cnn的高光谱图像分类方法 | |
| CN111695467A (zh) | 基于超像素样本扩充的空谱全卷积高光谱图像分类方法 | |
| He et al. | A dual global–local attention network for hyperspectral band selection | |
| CN112308152B (zh) | 基于光谱分割与同质区域检测的高光谱图像地物分类方法 | |
| CN112347970B (zh) | 一种基于图卷积神经网络的遥感影像地物识别方法 | |
| CN115690479A (zh) | 一种基于卷积Transformer的遥感图像分类方法及系统 | |
| CN113988147B (zh) | 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置 | |
| CN109284741A (zh) | 一种基于深度哈希网络的大规模遥感影像检索方法和系统 | |
| CN112949414B (zh) | 一种宽视域高分六号卫星影像地表水体智能制图方法 | |
| CN105989336A (zh) | 基于带权重的解卷积深度网络学习的场景识别方法 | |
| CN115909052A (zh) | 一种基于混合卷积神经网络的高光谱遥感图像分类方法 | |
| Feng et al. | Embranchment cnn based local climate zone classification using sar and multispectral remote sensing data | |
| CN113435254A (zh) | 一种基于哨兵二号影像的耕地深度学习提取方法 | |
| Feng et al. | NPALoss: Neighboring pixel affinity loss for semantic segmentation in high-resolution aerial imagery | |
| CN113705641A (zh) | 基于富上下文网络的高光谱图像分类方法 | |
| CN112200123A (zh) | 联合稠密连接网络和样本分布的高光谱开放集分类方法 | |
| CN116664954A (zh) | 基于图卷积与卷积融合的高光谱地物分类方法 | |
| CN115908924A (zh) | 一种基于多分类器的小样本高光谱图像语义分割方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |