CN112949738A - 基于eecnn算法的多类不平衡高光谱图像分类方法 - Google Patents
基于eecnn算法的多类不平衡高光谱图像分类方法 Download PDFInfo
- Publication number
- CN112949738A CN112949738A CN202110284437.2A CN202110284437A CN112949738A CN 112949738 A CN112949738 A CN 112949738A CN 202110284437 A CN202110284437 A CN 202110284437A CN 112949738 A CN112949738 A CN 112949738A
- Authority
- CN
- China
- Prior art keywords
- training
- sample
- hyperspectral image
- samples
- equal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 147
- 230000009466 transformation Effects 0.000 claims abstract description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 77
- 238000012360 testing method Methods 0.000 claims description 23
- 238000002156 mixing Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000013145 classification model Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 230000003595 spectral effect Effects 0.000 claims description 2
- 238000000844 transformation Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 18
- 238000007637 random forest analysis Methods 0.000 description 13
- 238000002474 experimental method Methods 0.000 description 12
- 102100027377 HBS1-like protein Human genes 0.000 description 10
- 101001009070 Homo sapiens HBS1-like protein Proteins 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 7
- 235000011613 Pinus brutia Nutrition 0.000 description 7
- 241000018646 Pinus brutia Species 0.000 description 7
- 238000010276 construction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明属于高光谱遥感图像处理技术领域，具体公开了一种基于EECNN算法的多类不平衡高光谱图像分类方法，包括步骤：获取待训练高光谱图像和待分类高光谱图像；对每个高光谱图像进行光谱‑空间像素块划分；对每类样本分别进行随机过采样处理；将人工训练样本沿波段维进行随机特征选择和空间变换；获取平衡训练样本集，并对其进行随机特征选择；构建集成CNN模型并对其的每个子分类器进行训练，采用训练完的模型对待分类图像进行分类，获取最终预测类别。本发明不但具有集成学习的良好泛化性能，同时具有深度学习强大的特征提取能力，提高分类精度。
Description
技术领域
本发明涉及高光谱遥感图像处理技术领域，尤其涉及一种基于EECNN(EnhancedRandom Feature Subspace-based Ensemble Convolutional Neural Networks，基于增强随机特征子空间的集成卷积神经网络)算法的多类不平衡高光谱图像分类方法，可应用于多类别不平衡场景下高光谱遥感图像的准确分类。
背景技术
高光谱遥感图像包含了覆盖数百个连续光谱波段的丰富信息，已被广泛应用于土地覆盖制图、军事监测、环境建模和检测以及精准农业等领域。高光谱图像通常包含多个地物覆盖类别，因此如何设计一种监督分类算法，在经过适当的训练后为每个像素准确地分配一个类别标签是高光谱图像研究中最重要的任务之一。现有高光谱图像分类方法大多建立在平衡训练集的基础之上，而高光谱图像往往存在严重的类别不平衡问题，即每种地物类别所包含的样本数目差异巨大，从而导致少数类样本分类精度严重受损，但少数类样本往往也是人们所关心并需要被准确分类识别的，这使得许多现有分类方法失效；此外，高光谱图像的获取和地物类别标注需要花费大量的人力物力资源，因此研究类别不平衡情况下高光谱图像分类方法具有巨大的实际应用价值。
目前，针对高光谱图像分类的多类不平衡问题，通常采用的算法有Cost-sensitive算法、基于核函数(Kernel-based)算法和主动学习(Active learning)算法；然而，在高维度的高光谱图像分类中，这些方法都有着巨大的计算成本，即需要消耗大量计算时间和资源；除此之外，一些研究方法试图通过生成少数类的人工样本来解决类别不平衡问题；比如，随机欠采样(Random undersampling，RUS)、随机过采样(Randomoversampling，ROS)、合成少数过采样技术(Synthetic Minority OversamplingTechnique，SMOTE)和正交补码子空间投影方法(Orthogonal Complement SubspaceProjection，OCSP)，但这些方法都有一定局限性，RUS方法会损失有效的样本信息；ROS方法产生的大量重复样本会增加模型过度拟合的风险；SMOTE方法仅通过真实样本的线性组合生成人工样本，因此所生成的新特征是有限的；OCSP方法使用非线性人工样本生成，可以产生更丰富的新特征，但基于梯度约束的算法计算量大且非常耗时。
发明内容
针对现有技术存在的问题，本发明的目的在于提供一种基于EECNN算法的多类不平衡高光谱图像分类方法，采用基于增强随机特征子空间的平衡训练集生成算法，使训练集更具多样性且不损失原有样本特征信息，能有效提高多种算法的分类精度；采用集成学习与深度学习相结合的集成CNN模型，不但具有集成学习的良好泛化性能，同时具有深度学习强大的特征提取能力，提高分类精度。
为了达到上述目的，本发明采用以下技术方案予以实现。
(一)基于EECNN算法的多类不平衡高光谱图像分类方法，包括以下步骤：
步骤1，获取待训练高光谱图像和待分类高光谱图像；分别对所述待训练高光谱图像和待分类高光谱图像进行光谱-空间像素块划分，对应得到原始数据集S和待分类样本集；从原始数据集中每类按比例随机抽取像素块形成原始训练集Strain；
其中，待训练高光谱图像包含L种地物类别，其像素数为M1×M2，波段数为N；待分类高光谱图像中的地物类别包含于待训练高光谱图像中；
步骤2，将原始训练集Strain中每类训练样本数目记作Nl，1≤Nl≤L，记最大类样本数目为Nmax；对Strain中每类样本分别进行随机过采样处理，得到人工训练集Sc，使得每类对应的人工训练样本和原始训练样本的样本数之和分别等于最大类样本数Nmax；
步骤3，将人工训练集Sc中每个样本沿波段维进行随机特征选择(random featureselection，RFS)，得到A个大小为m×m×n的随机特征子空间fa，1≤a≤A，1≤n≤N；对每个随机特征子空间fa分别进行相应的空间变换，得到具有增强随机特征子空间的增强样本集Sca；
步骤4，混合Sca和Strain得到平衡训练样本集Sbalanced；对平衡训练样本集Sbalanced中的每个训练样本在波段维进行随机特征选择，得到E个大小分别为m×m×nf的特征子空间fe，1≤e≤E；对待分类样本集中的每个样本在波段维进行相同的随机特征选择，得到E个大小分别为m×m×nf的特征子空间fe′；
其中，1≤nf≤N，每个训练样本和待分类样本的第e个随机特征子空间所包含的波段及其顺序均相同；
步骤5，构建集成CNN模型，将每个特征子空间fe作为集成CNN模型中每个子分类器的输入数据，对集成CNN模型的每个子分类器分别进行训练，得到训练完的集成CNN模型；将每个特征子空间fe′输入所述训练完的集成CNN模型的每个子分类器，采用多数投票法获取最终预测类别。
进一步地，所述原始数据集S中每类未抽取到的像素块作为测试样本，形成测试集Stest；在训练完成后，采用测试集Stest对训练完的集成CNN模型进行测试。
进一步地，所述光谱-空间像素块划分具体为：将高光谱图像分割为M1×M2个大小为m×m×N的光谱-空间像素块；其中，m×m为空间特征大小；原始数据集S和待分类样本集中的每个样本对应一个大小为m×m×N的光谱-空间像素块。
进一步地，所述随机过采样处理具体为：对原始训练集Strain中的每类训练样本进行随机抽取并复制，生成每类训练样本对应的人工生成样本，从而生成人工训练集Sc。
进一步地，每个随机特征子空间fa对应进行一种空间变换，且每个fa对应的空间变换不同，所述空间变换包含水平翻转、垂直翻转和不同角度的旋转。
进一步地，所述集成CNN模型包括E个并列设置的CNN和多数投票层，每个CNN为一个子分类器；E个CNN的输出经过多数投票层进行投票选择，输出预测类别。
进一步地，所述对集成CNN模型的每个子分类器分别进行训练，具体为：
首先，设置集成CNN模型训练批次大小和最大训练轮次，初始化模型参数；
然后，将每个特征子空间fe作为集成CNN模型中每个子分类器的输入数据，每轮次训练结束计算交叉熵损失函数，并采用Adam优化器对集成CNN模型的模型参数进行优化更新，直到达到最大训练轮次即完成集成CNN模型的训练。
进一步地，所述采用多数投票法获取最终预测类别，具体为：将每个子分类器的预测结果Pe看作一票，统计所有子分类器对样本xi的分类票数，将票数最多的预测结果作为该样本的最终预测结果。
(二)基于增强随机特征子空间的平衡训练集生成算法，包括以下步骤：
步骤1，获取待训练高光谱图像，对所述待训练高光谱图像进行光谱-空间像素块划分，得到原始数据集S；从原始数据集中每类按比例随机抽取像素块形成原始训练集Strain；
其中，待训练高光谱图像的像素数为M1×M2，波段数为N；
步骤2，将原始训练集Strain中每类训练样本数目记作Nl，1≤Nl≤L，记最大类样本数目为Nmax；对Strain中每类样本分别进行随机过采样处理，得到人工训练集Sc，使得每类对应的人工训练样本和原始训练样本的样本数之和分别等于最大类样本数Nmax；
步骤3，将人工训练集Sc中每个样本沿波段维进行随机特征选择，得到A个大小为m×m×n的随机特征子空间fa，1≤a≤A，1≤n≤N；对每个随机特征子空间fa分别进行相应的空间变换，得到具有增强随机特征子空间的增强样本集Sca；混合Sca和Strain得到平衡训练样本集Sbalanced。
(三)一种集成CNN分类模型，包括多个并列设置的CNN和多数投票层，每个CNN为一个子分类器；多个CNN的输出经过多数投票层进行投票选择，输出预测类别。
与现有技术相比，本发明的有益效果为：
(1)相比传统ROS、RUS算法产生的平衡训练集，本发明方法采用基于增强随机特征子空间的平衡训练集生成算法，生成的训练集更具多样性且不损失原有样本特征信息，能有效提高多种算法的分类精度。
(2)本发明方法采用基于RFS的随机特征子空间构建算法，在生成的平衡训练集的基础上，通过随机特征选择在样本的波段维构建大量包含光谱-空间信息的随机特征子空间，实现了高光谱图像高维光谱特征的充分融合，且有效克服了高光谱图像分类中存在的高特征-实例比的问题。
(3)本发明采用集成学习与深度学习相结合的集成CNN模型，不但具有集成学习的良好泛化性能，同时具有深度学习强大的特征提取能力；集成CNN模型的各个子分类器CNN工作在不同的随机特征子空间上，通过对每个子分类器的预测结果进行多数投票得到最终分类结果，与现有方法相比分类精度提升明显。
附图说明
下面结合附图和具体实施例对本发明做进一步详细说明。
图1为本发明的一种基于EECNN算法的多类不平衡高光谱图像分类方法方法流程图；
图2为本发明实施例的基于光谱-空间像素块的训练集和测试集构建方法示意图；
图3为本发明实施例的基于随机特征子空间的平衡训练集生成算法示意图；
图4为本发明实施例的基于RFS的集成CNN模型算法流程图；
图5为采用不同方法对IndianPines(印第安纳松树地)高光谱数据集的分类结果，其中，(a)为IndianPines(印第安纳松树地)高光谱数据集的真实地物分布示意图，(b)为传统随机森林(Random forest，RF)算法的分类结果示意图，(c)为传统CNN算法的分类结果示意图；(d)为传统集成CNN(Ensemble CNN，ECNN)算法的分类结果示意图，(e)为采用本发明所提具有增强特征子空间的均衡训练样本集合Sbalanced进行训练的RF算法(ERFS+RF)的分类结果示意图，(f)为采用本发明所提具有增强特征子空间的均衡训练样本集合Sbalanced进行训练的CNN算法(ERFS+CNN)分类结果示意图，(g)为采用本发明所提基于增强随机特征子空间集成CNN方法分类结果示意图。
图6为采用不同方法对University of Pavia(帕维亚大学)高光谱数据集的分类结果；其中，(a)为University ofPavia(帕维亚大学)高光谱数据集的真实地物分布示意图，(b)为传统随机森林算法的分类结果示意图，(c)为传统CNN算法的分类结果示意图，(d)为传统集成CNN算法的分类结果示意图，(e)为采用本发明所提具有增强特征子空间的均衡训练样本集合Sbalanced进行训练的RF算法(ERFS+RF)的分类结果示意图，(f)为采用本发明所提具有增强特征子空间的均衡训练样本集合Sbalanced进行训练的CNN算法(ERFS+CNN)的分类结果示意图，(g)为采用本发明所提基于增强随机特征子空间集成CNN方法的分类结果示意图。
具体实施方式
下面将结合实施例对本发明的实施方案进行详细描述，但是本领域的技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限制本发明的范围。
实施例1
参考图1，本发明提供的一种基于EECNN算法的多类不平衡高光谱图像分类方法，包括以下步骤：
步骤1，获取待训练高光谱图像和待分类高光谱图像；分别对所述待训练高光谱图像和待分类高光谱图像进行光谱-空间像素块划分，对应得到原始数据集S和待分类样本集；从原始数据集中每类按比例随机抽取像素块形成原始训练集Strain；
其中，待训练高光谱图像包含L种地物类别，其像素数为M1×M2，波段数为N；待分类高光谱图像中的地物类别包含于待训练高光谱图像中；
具体地，参照图2，为本发明的一种基于光谱-空间像素块的训练、测试样本集构建方法示意图；首先，将包含M×M个像素的N波段高光谱图像划分为M×M个大小为m×m×N的像素块作为原始数据集S，即取每个像素点周围m×m-1个相邻像素点作为空间邻域信息以构成光谱-空间像素块；对于图像边缘像素点，在一个或多个方向没有领域像素点，故其缺少的邻域信息用0元素填充，以保证每个像素块大小一致；其次，由于高光谱图像中包含多类别像素点，统计每个类别的像素点个数即每类样本数目，除背景类别外，随机抽取每类样本中a％作为训练样本集Strain，每类剩余的1-a％的样本作为测试集Stest，保证了训练集和测试集的独立性。
步骤2，将原始训练集Strain中每类训练样本数目记作Nl，1≤Nl≤L，记最大类样本数目为Nmax；对Strain中每类样本分别进行随机过采样处理，得到人工训练集Sc，使得每类对应的人工训练样本和原始训练样本的样本数之和分别等于最大类样本数Nmax；
具体地，参照图3，基于随机过采样(ROS)的平衡训练集生成方法，统计原始训练集Strain中每类训练样本数目Nl，对每类训练样本进行ROS处理，即对Strain中每类训练样本进行随机抽取并复制，从而得到包含大量重复样本的人工补充训练集Sc，其中对每类训练样本进行ROS的比例为(Nmax-Nl)/Nl×100％，以使得每类训练样本总数与最大类训练样本数相同，即有N′i＝Nmax。
步骤3，将人工训练集Sc中每个样本沿波段维进行随机特征选择(random featureselection，RFS)，得到A个大小为m×m×n的随机特征子空间fa，1≤a≤A，1≤n≤N；对每个随机特征子空间fa分别进行相应的空间变换，得到具有增强随机特征子空间的增强样本集Sca；
具体地，参照图3，基于随机特征子空间的平衡训练集生成算法，首先，选取ROS所得含大量重复样本的人工训练集Sc中的样本
对其沿波段维进行A次RFS以获得A个大小为m×m×n的随机特征子空间fa(1≤a≤A)，其中n为所含波段个数，且1≤n≤N；然后，对每个fa随机做一种空间变换如：水平翻转、垂直翻转、对角翻转和不同角度旋转等，每个fa的空间变变换方式不同；最终，按照样本
原有的波段顺序合成空间变换后的A个fa得到增强人工样本
对Sc中所有的样本逐一进行上述处理后，消除了大量的重复样本且增加了Sc中样本的多样性，得到增强人工训练集Sca。
步骤4，混合Sca和Strain得到平衡训练样本集Sbalanced；对平衡训练样本集Sbalanced中的每个训练样本在波段维进行随机特征选择，得到E个大小分别为m×m×nf的特征子空间fe，1≤e≤E；对待分类样本集中的每个样本在波段维进行相同的随机特征选择，得到E个大小分别为m×m×nf的特征子空间fe′；
其中，1≤nf≤N，每个训练样本和待分类样本的第e个随机特征子空间所包含的波段及其顺序均相同；
具体地，首先，直接混合人工增强训练集Sca和原始训练集Strain得到类别分布均衡且多样化的增强均衡训练样本集Sbalanced；然后，对Sbalanced中每个训练样本沿波段维做相同的RFS以得到E个大小分别为m×m×nf(1≤nf≤N)的特征子空间fe(1≤e≤E)，且每个样本的第e个随机特征子空间所包含的波段及其排列顺序均相同；最后，对测试集中每个样本做与处理训练样本中相同的RFS以分别得到E个随机特征子空间，从而使后续每个子分类器在处理各个训练样本时提取固定波段的特征，确保了算法的稳定性。
对测试样本做上述相同的RFS以使得其特征子空间的波段及其排列顺序与训练样本的fe相一致。
步骤5，构建集成CNN模型，将每个特征子空间fe作为集成CNN模型中每个子分类器的输入数据，对集成CNN模型的每个子分类器分别进行训练，得到训练完的集成CNN模型；将每个特征子空间fe′输入所述训练完的集成CNN模型的每个子分类器，采用多数投票法获取最终预测类别。
具体地，参照图4，基于RFS的集成CNN模型算法流程图；首先设计独立的深层CNN模型作为集成算法的子分类器，每个子分类器的输入为步骤4中所得大小为m×m×nf的随机特征子空间，每个子分类器独立学习并且输出一个预测类别标签Pe∈(1，2，...，L)，其中1≤e≤E。每个子分类器的训练过程，选取交叉熵损失函数(categorical_crossentropy)为模型损失函数，选择Adam作为模型优化器；设置模型训练批次大小(batch_size)为25，训练轮次(epochs)为35。
然后，将每个样本按照对应随机特征子空间输入到集成CNN模型的相应子分类器中进行自动特征提取并得到独立预测结果Pe；最终，采用多数投票方法得到集成模型的最终预测标签P，即统计E个子分类器的预测结果中每类预测标签的个数，取其中个数最多的预测类别标签为最终预测结果P。
实施例2
参考图3，本发明还提供一种基于增强随机特征子空间的平衡训练集生成算法，包括以下步骤：
步骤1，获取待训练高光谱图像，对所述待训练高光谱图像进行光谱-空间像素块划分，得到原始数据集S；从原始数据集中每类按比例随机抽取像素块形成原始训练集Strain；
其中，待训练高光谱图像的像素数为M1×M2，波段数为N；
步骤2，将原始训练集Strain中每类训练样本数目记作Nl，1≤Nl≤L，记最大类样本数目为Nmax；对Strain中每类样本分别进行随机过采样处理，得到人工训练集Sc，使得每类对应的人工训练样本和原始训练样本的样本数之和分别等于最大类样本数Nmax；
步骤3，将人工训练集Sc中每个样本沿波段维进行随机特征选择，得到A个大小为m×m×n的随机特征子空间fa，1≤a≤A，1≤n≤N；对每个随机特征子空间fa分别进行相应的空间变换，得到具有增强随机特征子空间的增强样本集Sca；混合Sca和Strain得到平衡训练样本集Sbalanced。
实施例3
参考图4，本发明还提供了一种集成CNN分类模型，包括，多个并列设置的CNN和多数投票层，每个CNN为一个子分类器；多个CNN的输出经过多数投票层进行投票选择，输出预测类别。
仿真实验
通过在两种公共高光谱数据集上的实验对本发明方法作进一步验证说明。
(一)实验数据及模型参数设置
1.Indian Pines数据集的实验中，定义原始数据集的不平衡比例(Imbalanceratio，IR)为最大类样本数目与最小类样本数目之比，即IR＝Nmax/Nmin，可得其IR＝123，设置其空间信息大小m＝25，集成算法分类器个数为20个，每个随机特征子空间所包含波段数nf＝20，从整个样本集S中随机抽取每类样本的5％作为原始训练集Strain，其余为测试集Stest，所采用CNN模型结构如下表1。
表1为Indian Pines数据集实验中CNN结构
2.University ofPavia数据集的实验中，其IR＝19.83，设置其空间信息大小m＝15，集成算法分类器个数为20个，每个随机特征子空间所包含波段数nf＝40，从整个样本集S中随机抽取每类样本的5％作为原始训练集Strain，其余为测试集Stest，所采用CNN模型结构如下表2。
表2为University ofPavia数据集实验中CNN结构
(二)实验结果及其分析
在上述实验设置的基础上，对两个高光谱数据集分别使用本发明所提基于EECNN算法的多类不平衡高光谱图像分类方法进行实验验证，并采用传统RF算法、CNN算法、ECNN算法，以及采用本发明所提基于增强随机特征子空间的均衡训练样本进行模型训练的ERFS+RF算法和ERFS+CNN算法作为对比算法，从而更直观地评价本发明所提方法的优越性。采用整体分类精度(Overallaccuracy，OA)、平均分类精度(average accuracy，AA)以及Kappa系数作为分类效果的评价指标，其中，各项指标的取值越高，则分类效果越好；每种分类方法进行十次独立重复实验后取各项指标的均值作为该方法的最终实验结果以保证实验的可靠性。
在Indian Pines数据集的实验中，上述几种分类方法的实验结果如下表3所示；由表3及图5(a)～图5(g)中真实地物分布示意图与6种方法分类结果效果图可知，其中每种颜色代表一种地物类别，共计16种地物类别且各类别样本数目分布严重不平衡；其中M1＝M2＝145，N＝200，即图像大小为145*145像素，包含200个波段。本发明所提基于EECNN算法的多类不平衡高光谱图像分类方法在样本分布极度不均(IR＝123)的Indian Pines数据集的分类中取得了最佳的分类效果，其中OA和AA分别比其他五种算法高出1.41％～21.89％和0.89％～19.75％；此外，采用本发明所生成的增强平衡训练集进行训练的ERFS+RF算法和ERFS+CNN算法相比传统RF和CNN算法的分类效果有着明显的提升。
表3为Indian Pines数据集实验结果
在University of Pavia数据集的实验中，上述几种分类方法的实验结果如下表4所示；由表4及图6(a)～图6(g)中真实地物分布示意图与6种方法分类结果效果图，其中每种颜色代表一种地物类别，共计9种地物类别且各类别样本数目分布不平衡；其中M1＝610，M2＝340，N＝103，即图像大小为610*340像素，包含103个波段。由图6可知，本发明所提基于EECNN算法的多类不平衡高光谱图像分类方法在样本分布不均(IR＝19.83)的UniversityofPavia数据集的分类中取得了最佳的分类效果，其中OA和AA分别比其他五种算法高出2.04％～11.81％和0.25％～10.40％；此外，采用本发明所生成的增强平衡训练集进行训的ERFS+RF算法和ERFS+CNN算法相比传统RF和CNN算法的分类效果有着明显的提升。
表4为University of Pavia数据集实验结果
综上所述，仿真实验验证了本发明的正确性，有效性和可靠性，并相比现有方法的实验效果具有较大的优越性。
虽然，本说明书中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (10)
1.基于EECNN算法的多类不平衡高光谱图像分类方法，其特征在于，包括以下步骤：
步骤1，获取待训练高光谱图像和待分类高光谱图像；分别对所述待训练高光谱图像和待分类高光谱图像进行光谱-空间像素块划分，对应得到原始数据集S和待分类样本集；从原始数据集中每类按比例随机抽取像素块形成原始训练集Strain；
其中，待训练高光谱图像包含L种地物类别，其像素数为M1×M2，波段数为N；待分类高光谱图像中的地物类别包含于待训练高光谱图像中；
步骤2，将原始训练集Strain中每类训练样本数目记作Nl，1≤Nl≤L，记最大类样本数目为Nmax；对Strain中每类样本分别进行随机过采样处理，得到人工训练集Sc，使得每类对应的人工训练样本和原始训练样本的样本数之和分别等于最大类样本数Nmax；
步骤3，将人工训练集Sc中每个样本沿波段维进行随机特征选择，得到A个大小为m×m×n的随机特征子空间fa，1≤a≤A，1≤n≤N；对每个随机特征子空间fa分别进行相应的空间变换，得到具有增强随机特征子空间的增强样本集Sca；
步骤4，混合Sca和Strain得到平衡训练样本集Sbalanced；对平衡训练样本集Sbalanced中的每个训练样本在波段维进行随机特征选择，得到E个大小分别为m×m×nf的特征子空间fe，1≤e≤E；对待分类样本集中的每个样本在波段维进行相同的随机特征选择，得到E个大小分别为m×m×nf的特征子空间fe′；
其中，1≤nf≤N，每个训练样本和待分类样本的第e个随机特征子空间所包含的波段及其顺序均相同；
步骤5，构建集成CNN模型，将每个特征子空间fe作为集成CNN模型中每个子分类器的输入数据，对集成CNN模型的每个子分类器分别进行训练，得到训练完的集成CNN模型；将每个特征子空间fe′输入所述训练完的集成CNN模型的每个子分类器，采用多数投票法获取最终预测类别。
2.根据权利要求1所述的基于EECNN算法的多类不平衡高光谱图像分类方法，其特征在于，所述原始数据集S中每类未抽取到的像素块作为测试样本，形成测试集Stest；在训练完成后，采用测试集Stest对训练完的集成CNN模型进行测试。
3.根据权利要求1所述的基于EECNN算法的多类不平衡高光谱图像分类方法，其特征在于，所述光谱-空间像素块划分具体为：将高光谱图像分割为M1×M2个大小为m×m×N的光谱-空间像素块；其中，m×m为空间特征大小；原始数据集S和待分类样本集中的每个样本对应一个大小为m×m×N的光谱-空间像素块。
4.根据权利要求1所述的基于EECNN算法的多类不平衡高光谱图像分类方法，其特征在于，所述随机过采样处理具体为：对原始训练集Strain中的每类训练样本进行随机抽取并复制，生成每类训练样本对应的人工生成样本，从而生成人工训练集Sc。
5.根据权利要求1所述的基于EECNN算法的多类不平衡高光谱图像分类方法，其特征在于，每个随机特征子空间fa对应进行一种空间变换，且每个fa对应的空间变换不同，所述空间变换包含水平翻转、垂直翻转和不同角度的旋转。
6.根据权利要求1所述的基于EECNN算法的多类不平衡高光谱图像分类方法，其特征在于，所述集成CNN模型包括E个并列设置的CNN和多数投票层，每个CNN为一个子分类器；E个CNN的输出经过多数投票层进行投票选择，输出预测类别。
7.根据权利要求7所述的基于EECNN算法的多类不平衡高光谱图像分类方法，其特征在于，所述对集成CNN模型的每个子分类器分别进行训练，具体为：
首先，设置集成CNN模型训练批次大小和最大训练轮次，初始化模型参数；
然后，将每个特征子空间fe作为集成CNN模型中每个子分类器的输入数据，每轮次训练结束计算交叉熵损失函数，并采用Adam优化器对集成CNN模型的模型参数进行优化更新，直到达到最大训练轮次即完成集成CNN模型的训练。
8.根据权利要求1所述的基于EECNN算法的多类不平衡高光谱图像分类方法，其特征在于，所述采用多数投票法获取最终预测类别，具体为：将每个子分类器的预测结果Pe看作一票，统计所有子分类器对样本的分类票数，将票数最多的预测结果作为该样本的最终预测结果。
9.基于增强随机特征子空间的平衡训练集生成算法，其特征在于，包括以下步骤：
步骤1，获取待训练高光谱图像，对所述待训练高光谱图像进行光谱-空间像素块划分，得到原始数据集S；从原始数据集中每类按比例随机抽取像素块形成原始训练集Strain；
其中，待训练高光谱图像的像素数为M1×M2，波段数为N；
步骤2，将原始训练集Strain中每类训练样本数目记作Nl，1≤Nl≤L，记最大类样本数目为Nmax；对Strain中每类样本分别进行随机过采样处理，得到人工训练集Sc，使得每类对应的人工训练样本和原始训练样本的样本数之和分别等于最大类样本数Nmax；
步骤3，将人工训练集Sc中每个样本沿波段维进行随机特征选择，得到A个大小为m×m×n的随机特征子空间fa，1≤a≤A，1≤n≤N；对每个随机特征子空间fa分别进行相应的空间变换，得到具有增强随机特征子空间的增强样本集Sca；混合Sca和Strain得到平衡训练样本集Sbalanced。
10.一种集成CNN分类模型，其特征在于，包括多个并列设置的CNN和多数投票层，每个CNN为一个子分类器；多个CNN的输出经过多数投票层进行投票选择，输出预测类别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110284437.2A CN112949738B (zh) | 2021-03-17 | 2021-03-17 | 基于eecnn算法的多类不平衡高光谱图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110284437.2A CN112949738B (zh) | 2021-03-17 | 2021-03-17 | 基于eecnn算法的多类不平衡高光谱图像分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112949738A true CN112949738A (zh) | 2021-06-11 |
| CN112949738B CN112949738B (zh) | 2024-03-05 |
Family
ID=76230349
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110284437.2A Active CN112949738B (zh) | 2021-03-17 | 2021-03-17 | 基于eecnn算法的多类不平衡高光谱图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112949738B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114140501A (zh) * | 2022-01-30 | 2022-03-04 | 南昌工程学院 | 目标跟踪方法、装置及可读存储介质 |
| CN114202673A (zh) * | 2021-12-13 | 2022-03-18 | 深圳壹账通智能科技有限公司 | 证件分类模型的训练方法、证件分类方法、装置和介质 |
| CN114298177A (zh) * | 2021-12-16 | 2022-04-08 | 广州瑞多思医疗科技有限公司 | 一种适用于深度学习训练数据的扩充增强方法、系统及可读存储介质 |
| CN117593649A (zh) * | 2024-01-18 | 2024-02-23 | 中国人民解放军火箭军工程大学 | 一种不平衡高光谱图像集成分类方法、系统及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014176641A1 (en) * | 2013-05-03 | 2014-11-06 | National Ict Australia Limited | Image clustering for estimation of illumination spectra |
| WO2016091017A1 (zh) * | 2014-12-09 | 2016-06-16 | 山东大学 | 一种高光谱图像分类中光谱向量互相关特征的抽取方法 |
| CN108985365A (zh) * | 2018-07-05 | 2018-12-11 | 重庆大学 | 基于深度子空间切换集成学习的多源异构数据融合方法 |
| CN110298396A (zh) * | 2019-06-25 | 2019-10-01 | 北京工业大学 | 基于深度学习多特征融合的高光谱图像分类方法 |
| CN111414863A (zh) * | 2020-03-23 | 2020-07-14 | 国家海洋信息中心 | 一种增强型集成遥感影像分类方法 |
-
2021
- 2021-03-17 CN CN202110284437.2A patent/CN112949738B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014176641A1 (en) * | 2013-05-03 | 2014-11-06 | National Ict Australia Limited | Image clustering for estimation of illumination spectra |
| WO2016091017A1 (zh) * | 2014-12-09 | 2016-06-16 | 山东大学 | 一种高光谱图像分类中光谱向量互相关特征的抽取方法 |
| CN108985365A (zh) * | 2018-07-05 | 2018-12-11 | 重庆大学 | 基于深度子空间切换集成学习的多源异构数据融合方法 |
| CN110298396A (zh) * | 2019-06-25 | 2019-10-01 | 北京工业大学 | 基于深度学习多特征融合的高光谱图像分类方法 |
| CN111414863A (zh) * | 2020-03-23 | 2020-07-14 | 国家海洋信息中心 | 一种增强型集成遥感影像分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| 宋相法;曹志伟;郑逢斌;焦李成;: "基于随机子空间核极端学习机集成的高光谱遥感图像分类", 计算机科学, no. 03 * |
| 谷雨;徐英;郭宝峰;: "融合空谱特征和集成超限学习机的高光谱图像分类", 测绘学报, no. 09 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114202673A (zh) * | 2021-12-13 | 2022-03-18 | 深圳壹账通智能科技有限公司 | 证件分类模型的训练方法、证件分类方法、装置和介质 |
| CN114298177A (zh) * | 2021-12-16 | 2022-04-08 | 广州瑞多思医疗科技有限公司 | 一种适用于深度学习训练数据的扩充增强方法、系统及可读存储介质 |
| CN114140501A (zh) * | 2022-01-30 | 2022-03-04 | 南昌工程学院 | 目标跟踪方法、装置及可读存储介质 |
| CN117593649A (zh) * | 2024-01-18 | 2024-02-23 | 中国人民解放军火箭军工程大学 | 一种不平衡高光谱图像集成分类方法、系统及电子设备 |
| CN117593649B (zh) * | 2024-01-18 | 2024-05-10 | 中国人民解放军火箭军工程大学 | 一种不平衡高光谱图像集成分类方法、系统及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112949738B (zh) | 2024-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
| CN110321963B (zh) | 基于融合多尺度多维空谱特征的高光谱图像分类方法 | |
| CN108491849B (zh) | 基于三维稠密连接卷积神经网络的高光谱图像分类方法 | |
| CN110399909B (zh) | 一种基于标签约束弹性网图模型的高光谱图像分类方法 | |
| CN112949738A (zh) | 基于eecnn算法的多类不平衡高光谱图像分类方法 | |
| CN111199214B (zh) | 一种残差网络多光谱图像地物分类方法 | |
| CN110348399B (zh) | 基于原型学习机制和多维残差网络的高光谱智能分类方法 | |
| Du et al. | Spatial and spectral unmixing using the beta compositional model | |
| Kim et al. | Color–texture segmentation using unsupervised graph cuts | |
| CN104484681B (zh) | 基于空间信息和集成学习的高光谱遥感影像分类方法 | |
| CN107358260B (zh) | 一种基于表面波cnn的多光谱图像分类方法 | |
| CN105608474A (zh) | 基于高分辨率影像的区域自适应耕地提取方法 | |
| CN104268593A (zh) | 一种小样本情况下多稀疏表示的人脸识别方法 | |
| CN108960404B (zh) | 一种基于图像的人群计数方法及设备 | |
| CN107832797B (zh) | 基于深度融合残差网的多光谱图像分类方法 | |
| CN108710893B (zh) | 一种基于特征融合的数字图像相机源模型分类方法 | |
| CN110232404A (zh) | 一种基于机器学习的工业产品表面瑕疵识别方法及装置 | |
| CN109829425B (zh) | 一种农田景观小尺度地物分类方法及系统 | |
| CN105740912A (zh) | 基于核范数正则化的低秩图像特征提取的识别方法及系统 | |
| CN109446894A (zh) | 基于概率分割及高斯混合聚类的多光谱图像变化检测方法 | |
| CN115311502A (zh) | 基于多尺度双流架构的遥感图像小样本场景分类方法 | |
| CN104881682A (zh) | 一种基于保局映射与主成分分析的图像分类方法 | |
| Chen et al. | SuperBF: Superpixel-based bilateral filtering algorithm and its application in feature extraction of hyperspectral images | |
| CN112200123A (zh) | 联合稠密连接网络和样本分布的高光谱开放集分类方法 | |
| Neagoe et al. | CNN hyperspectral image classification using training sample augmentation with generative adversarial networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |