CN113191259B - 用于高光谱图像分类的动态数据扩张方法及图像分类方法 - Google Patents

用于高光谱图像分类的动态数据扩张方法及图像分类方法 Download PDF

Info

Publication number
CN113191259B
CN113191259B CN202110473836.3A CN202110473836A CN113191259B CN 113191259 B CN113191259 B CN 113191259B CN 202110473836 A CN202110473836 A CN 202110473836A CN 113191259 B CN113191259 B CN 113191259B
Authority
CN
China
Prior art keywords
sample
hyperspectral image
samples
original
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110473836.3A
Other languages
English (en)
Other versions
CN113191259A (zh
Inventor
高红民
张骏鹏
曹雪莹
陈忠昊
张亦严
李臣明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202110473836.3A priority Critical patent/CN113191259B/zh
Publication of CN113191259A publication Critical patent/CN113191259A/zh
Application granted granted Critical
Publication of CN113191259B publication Critical patent/CN113191259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了图像分类技术领域的一种用于高光谱图像分类的动态数据扩张方法及图像分类方法，提升了模型对少类别样本的拟合程度、模型分类性能，减少了模型干扰。包括：基于动态扩张数据选择算法，对训练样本集中符合设定条件的样本进行样本扩张，获得原始样本和扩张样本；基于暹罗结构，获取损失函数、原始样本和扩张样本之间的平均相似指数，并配合随机梯度下降法，迭代训练。

Description

用于高光谱图像分类的动态数据扩张方法及图像分类方法
技术领域
本发明属于图像分类技术领域，具体涉及一种用于高光谱图像分类的动态数据扩张方法及图像分类方法。
背景技术
高光谱图像(HSI，hyperspectral image)拥有上百个几乎连续的谱段，提供了丰富的光谱信息。由于不同类别的地物反射出的光谱具有不同的特征，并且HSI又恰好拥有丰富的光谱信息，所以可以利用其光谱特征来进行地物的分类。HSI分类被广泛地应用于农业统计、矿物侦察、军事监控等行业。
近年来，深度学习方法(CNN)在高光谱图像分类中的应用非常广泛。在这些深度学习结构中，CNN由于具有局部感知，权值共享等特征，被广泛应用于HSI的特征提取任务当中。然而，在目前许多用深度学习进行HSI分类的算法中，研究往往局限于分类器(即深度学习模型)本身，忽视了HSI自身的数据分布特征。首先，HSI这不同于一般的彩色图片分类，彩色图片往往更加容易获取和标注，而HSI数据无法直观的判断像素类别，并且不易获取，同时实际应用中，人工标注训练样本的过程往往是繁琐耗时的，只能获得有限的训练样本。其次，由于地物分布的随机性以及不可预见性，HSI数据无法保证不同类别的像素数量分布均匀。例如在印第安纳印度松树(IP，Indian pines)数据集中，样本最少的燕麦类别仅存在20个，而样本最多的大豆薄荷混合类别却有2455个。在帕维亚大学(PU，Pavia University)数据集中，样本最多的草地类别数量是最少的阴影样本数量的20多倍。由此可见HSI样本分布不平衡的现象是一种普遍现象。而普通的彩色图像数据集，如CIFAR(豪萨语)100数据集，每一类的样本数量都被人为设置成相等的。HSI数据的样本类别数量不平衡会导致深度学习模型对每种类别的拟合程度不同，使得模型对数量少的类别不易识别。再者，由于DA(DataAugmentation,DA，数据扩张)是对原始样本采用一定的变换生成额外样本的，而深度学习模型往往对于微小的变化较为敏感，因此DA会导致原始样本和额外样本之间产生一定的“距离”，干扰深度学习模型的结果，这一点在很多HSI分类算法中常常被忽视了。
发明内容
为解决现有技术中的不足，本发明提供一种用于高光谱图像分类的动态数据扩张方法及图像分类方法，提升了模型对少类别样本的拟合程度、模型分类性能，减少了模型干扰。
为达到上述目的，本发明所采用的技术方案是：
第一方面，提供一种用于高光谱图像分类的动态数据扩张方法，包括：基于动态扩张数据选择算法，对训练样本集中符合设定条件的样本进行样本扩张，获得原始样本和扩张样本；基于暹罗结构，获取损失函数、原始样本和扩张样本之间的平均相似指数，并配合随机梯度下降法，迭代训练。
进一步地，所述动态扩张数据选择算法的运行过程为：C1：根据Ybatch统计Xbatch中每种类别的数量，更新cnt中的值；C2：对cnt按照每个元素的第二个值进行升序排序；C3：找到cnt中第一个第二个值不为0的元素，更新index的值；C4：遍历Ybatch、Xbatch中的元素，如果某一元素对应的标签等于cnt[index][0]，则将其加入XDA、YDA；C5：重复C3、C4步，直至XDA、YDA的长度等于n；C6：对XDA进行卷积数据变换；C7：对XDA、YDA和Ybatch、Xbatch进行合并得到Xnew、Ynew，算法结束；其中，一个批中的样本为Xbatch∈Rm×M×N×C，其对应的标签为Ybatch∈Rm×1，M表示数据块的长，N表示数据块的宽，C表示数据块的通道数，R表示实数，m表示原始样本的总数量，，计划扩张的样本的数量为n，满足1≤n≤m，XDA表示存放计划扩张的样本的列表，YDA表示存放XDA的标签的列表，Xnew表示新样本和原始样本合并之后的数据块集合，Ynew表示新样本和原始样本合并之后的标签集合，cnt为初值为[yp,0]长度为P的列表，其中yp为每种类别的编号，cnt用来统计Xbatch中每种类别的数量，其初始下标index设置为0。
进一步地，所述基于暹罗结构，获取损失函数、原始样本和扩张样本之间的平均相似指数，并配合随机梯度下降法，迭代训练，具体为：总体采用三条模型支路共享权值；由选择到的需要进行扩张的原始数据XDA，其经过卷积变换生成了扩张后的样本，输入到权值共享的网络模型，产生柔性最大值传输函数分类结果，这个结果与直接将XDA输入模型得到的原始结果计算产生了平均相似指数；同时经过卷积变换的XDA和原始batch合并产生了Xnew，输入到模型中产生了类别交叉熵损失函数；最后将平均相似指数和损失函数线性相加，进行梯度下降优化；最终的损失函数被定义为：
Figure GDA0003780529150000031
其中，Ytrue指的是Xnew的真实标签的热编码数组，Ypredict指Xnew的预测soft-max值，α是一个常数，Saverage指计划扩张样本和原始样本的平均相似指数。
第二方面，提供一种高光谱图像分类方法，包括：采集高光谱图像并对高光谱图像进行预处理，获取高光谱图像数据集；将高光谱图像数据集输入第一方面所述的用于高光谱图像分类的动态数据扩张方法训练的分类模型中，得到分类结果。
进一步地，所述对高光谱图像数据进行预处理，包括：A1、获取高光谱图像每个波段的数据Bi，求得该波段数据平均值Avei和标准差Si，其中i代表波段编号；A2、按照下式计算得到高光谱图像每个波段数据的归一化值Ni：
Ni＝(Bi-Avei)/Si (2)；
A3、将步骤A1中高光谱图像的波段和步骤A2中得到的所有归一化后的波段重新组合为归一化后的高光谱图像R'；A4、将步骤A3得到的高光谱图像R'进行去冗余波段的处理得到预处理后的高光谱图像数据集R。
进一步地，所述分类模型的训练方法，包括：采集高光谱图像并对高光谱图像进行预处理，获取高光谱图像数据集；将高光谱图像数据集划分为训练样本集和测试样本集；基于动态扩张数据选择算法，对训练样本集中符合设定条件的样本进行样本扩张，获得原始样本和扩张样本；基于暹罗结构，获取损失函数、原始样本和扩张样本之间的平均相似指数，并配合随机梯度下降法，迭代训练；使用测试样本集对训练后的分类模型进行测试。
进一步地，所述将高光谱图像数据集划分为训练样本集和测试样本集，具体为：对高光谱图像数据集以每个待分类像素点为中心，获取立方体邻域块；从获得的所有邻域块中每类选取设定量的邻域块及其中心像素点对应的类别标签作为训练样本集，其余的邻域块及其中心像素点对应的类别标签作为测试样本集。
进一步地，所述动态扩张数据选择算法的运行过程为：C1：根据Ybatch统计Xbatch中每种类别的数量，更新cnt中的值；C2：对cnt按照每个元素的第二个值进行升序排序；C3：找到cnt中第一个第二个值不为0的元素，更新index的值；
C4：遍历Ybatch、Xbatch中的元素，如果某一元素对应的标签等于cnt[index][0]，则将其加入XDA、YDA；C5：重复C3、C4步，直至XDA、YDA的长度等于n；C6：对XDA进行卷积数据变换；C7：对XDA、YDA和Ybatch、Xbatch进行合并得到Xnew、Ynew，算法结束；其中，一个批中的样本为Xbatch∈Rm×M×N×C，其对应的标签为Ybatch∈Rm×1，M表示数据块的长，N表示数据块的宽，C表示数据块的通道数，R表示实数，m表示原始样本的总数量，计划扩张的样本的数量为n，满足1≤n≤m，XDA表示存放计划扩张的样本的列表，YDA表示存放XDA的标签的列表，Xnew表示新样本和原始样本合并之后的数据块集合，Ynew表示新样本和原始样本合并之后的标签集合，cnt为初值为[yp,0]长度为P的列表，其中yp为每种类别的编号，cnt用来统计Xbatch中每种类别的数量，其初始下标index设置为0。
进一步地，所述基于暹罗结构，获取损失函数、原始样本和扩张样本之间的平均相似指数，并配合随机梯度下降法，迭代训练，具体为：总体采用三条模型支路共享权值；由选择到的需要进行扩张的原始数据XDA，其经过卷积变换生成了扩张后的样本，输入到权值共享的网络模型，产生柔性最大值传输函数分类结果，这个结果与直接将XDA输入模型得到的原始结果计算产生了平均相似指数；同时经过卷积变换的XDA和原始batch合并产生了Xnew，输入到模型中产生了类别交叉熵损失函数；最后将平均相似指数和损失函数线性相加，进行梯度下降优化；最终的损失函数被定义为：
Figure GDA0003780529150000051
其中，Ytrue指的是Xnew的真实标签的热编码数组，Ypredict指Xnew的预测soft-max值，α是一个常数，Saverage指计划扩张样本和原始样本的平均相似指数。
进一步地，所述平均相似指数为：
Figure GDA0003780529150000052
其中，m表示原始样本的总数量，i表示类别编号，j表示样本编号，Yj (i)表示原始样本经过网络之后的第j个样本第i个类别的soft-max值，Yj'(i)表示原始样本对应的扩张样本经过网络之后的第j个样本第i个类别的soft-max值。
与现有技术相比，本发明所达到的有益效果：
(1)本发明通过设计一种动态样本选择算法，使得模型能够在训练时在每一个批中动态地选择需要进行扩张的原始样本，平衡模型对于不同类别的拟合程度，从而改善模型对于某些数量较小的类别的拟合程度，提升模型的综合分类结果，解决了HSI样本类别分布不均匀的问题；
(2)本发明通过定义相似性指数这一参数来衡量扩张样本和原始样本之间的相似程度；同时采用了暹罗结构，结合随机梯度下降法(SGD，Stochastic gradient descent)，通过训练迭代，减小了扩张样本和原始样本之间的差异，削弱了DA样本对于模型的干扰，使得模型更易于向原始样本拟合；同时为了能够更加灵活的进行扩张，本发明采用卷积操作对原始样本进行扩张，配合暹罗结构，能够动态地更新卷积核的参数，从而产生更接近原始样本的扩张样本；进一步减少由于差异带来的干扰；
(3)本发明通过用于高光谱图像分类的动态数据扩张方法训练的分类模型对高光谱图像进行分类，通过使用动态扩张数据选择方法平衡模型对少类别样本的拟合程度，并基于暹罗结构，减少模型干扰，从而提高了分类精度，保证了良好稳定的分类效果。
附图说明
图1是本发明实施例中对图像分类方法进行训练的主要流程示意图；
图2是本发明实施例中在训练阶段实施的模型流程图；
图3是本发明实施例中在测试阶段实施的模型流程图；
图4是IP(Indian pines)数据集在3D-CNN上的结果对比图(左为常规，右为本实施例)；
图5是PU(Pavia University)数据集在3D-CNN上的结果对比图(左为常规，右为本实施例)；
图6是IP(Indian pines)数据集在Resnet上的结果对比图(左为常规，右为本实施例)；
图7是PU(Pavia University)数据集在Resnet上的结果对比图(左为常规，右为本实施例)；
图8是IP(Indian pines)数据集在DCPN上的结果对比图(左为常规，右为本实施例)；
图9是PU(Pavia University)数据集在DCPN上的结果对比图(左为常规，右为本实施例)；
图10是IP(Indian pines)数据集在MVN上的结果对比图(左为常规，右为本实施例)；
图11是PU(Pavia University)数据集在MVN上的结果对比图(左为常规，右为本实施例)；
图12是IP(Indian pines)数据集在DFFN上的结果对比图(左为常规，右为本实施例)；
图13是PU(Pavia University)数据集在DFFN上的结果对比图(左为常规，右为本实施例)；
图14是IP数据集、PU数据集地物信息类别的对比图(左为IP数据集地物信息，右为PU数据集地物信息)。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例一：
一种用于高光谱图像分类的动态数据扩张方法，包括：基于动态扩张数据选择算法，对训练样本集中符合设定条件的样本进行样本扩张，获得原始样本和扩张样本；基于暹罗结构，获取损失函数、原始样本和扩张样本之间的平均相似指数，并配合随机梯度下降法(Stochastic Gradient Descent,SGD)，迭代训练。
动态扩张数据选择算法的运行过程为：
C1：根据Ybatch统计Xbatch中每种类别的数量，更新cnt中的值；
C2：对cnt按照每个元素的第二个值进行升序排序；
C3：找到cnt中第一个第二个值不为0的元素，更新index的值；
C4：遍历Ybatch、Xbatch中的元素，如果某一元素对应的标签等于cnt[index][0]，则将其加入XDA、YDA；
C5：重复C3、C4步，直至XDA、YDA的长度等于n；
C6：对XDA进行卷积数据变换；
C7：对XDA、YDA和Ybatch、Xbatch进行合并得到Xnew、Ynew，算法结束；
其中，一个批中的样本为Xbatch∈Rm×M×N×C，其对应的标签为Ybatch∈Rm×1，M表示数据块的长，N表示数据块的宽，C表示数据块的通道数，R表示实数，m表示原始样本的总数量，计划扩张的样本的数量为n，满足1≤n≤m，XDA表示存放计划扩张的样本的列表，YDA表示存放XDA的标签的列表，Xnew表示新样本和原始样本合并之后的数据块集合，Ynew表示新样本和原始样本合并之后的标签集合，cnt为初值为[yp,0]长度为P的列表，其中yp为每种类别的编号，cnt用来统计Xbatch中每种类别的数量，其初始下标index设置为0。
基于暹罗结构，获取损失函数、原始样本和扩张样本之间的平均相似指数，并配合随机梯度下降法，迭代训练，具体为：总体采用三条模型支路共享权值；由选择到的需要进行扩张的原始数据XDA，其经过卷积变换生成了扩张后的样本，输入到权值共享的网络模型，产生柔性最大值传输函数分类结果，这个结果与直接将XDA输入模型得到的原始结果计算产生了平均相似指数；同时经过卷积变换的XDA和原始batch合并产生了Xnew，输入到模型中产生了类别交叉熵损失函数；最后将平均相似指数和损失函数线性相加，进行梯度下降优化；最终的损失函数被定义为：
Figure GDA0003780529150000091
其中，Ytrue指的是Xnew的真实标签的热编码数组，Ypredict指Xnew的预测soft-max值，α是一个常数，Saverage指计划扩张样本和原始样本的平均相似指数。
本实施例通过设计一种动态样本选择算法，使得模型能够在训练时在每一个批中动态地选择需要进行扩张的原始样本，平衡模型对于不同类别的拟合程度，从而改善模型对于某些数量较小的类别的拟合程度，提升模型的综合分类结果，解决了HSI样本类别分布不均匀的问题；通过定义相似性指数这一参数来衡量扩张样本和原始样本之间的相似程度；同时采用了暹罗结构，结合随机梯度下降法(SGD，Stochastic gradient descent)，通过训练迭代，减小了扩张样本和原始样本之间的差异，削弱了DA样本对于模型的干扰，使得模型更易于向原始样本拟合；同时为了能够更加灵活的进行扩张，本发明采用卷积操作对原始样本进行扩张，配合暹罗结构，能够动态地更新卷积核的参数，从而产生更接近原始样本的扩张样本；进一步减少由于差异带来的干扰。
实施例二：
基于实施例一所述的用于高光谱图像分类的动态数据扩张方法，本实施例提供一种高光谱图像分类方法，包括：采集高光谱图像并对高光谱图像进行预处理，获取高光谱图像数据集；将高光谱图像数据集输入第一方面所述的用于高光谱图像分类的动态数据扩张方法训练的分类模型中，得到分类结果。
如图1～图3所示，分类模型的训练方法，包括：
S1、采集高光谱图像并对高光谱图像进行预处理，获取高光谱图像数据集；
S2、将高光谱图像数据集划分为训练样本集和测试样本集；
S3、选择分类器，训练网络，在当前批次中使用动态扩张数据选择算法；基于动态扩张数据选择算法，对训练样本集中符合设定条件的样本进行样本扩张，获得原始样本和扩张样本；
S4、基于暹罗结构，获取损失函数、原始样本和扩张样本之间的平均相似指数，并配合随机梯度下降法，迭代训练；
S5、使用测试样本集对训练后的分类模型进行测试，得到分类结果。
采集高光谱图像并对高光谱图像进行预处理，获取高光谱图像数据集，包括：
A1、获取高光谱图像每个波段的数据Bi，求得该波段数据平均值Avei和标准差Si，其中i代表波段编号；
A2、按照下式计算得到高光谱图像每个波段数据的归一化值Ni：
Ni＝(Bi-Avei)/Si (2)；
A3、将步骤A1中高光谱图像的波段和步骤A2中得到的所有归一化后的波段重新组合为归一化后的高光谱图像R'；
A4、将步骤A3得到的高光谱图像R'通过PCA技术进行去冗余波段的处理得到预处理后的含有30个波段的高光谱图像数据集R。
将高光谱图像数据集划分为训练样本集和测试样本集，具体为：
B1、对高光谱图像数据集以每个待分类像素点为中心，获取9×9×30立方体邻域块；
B2、从获得的所有邻域块中每类选取设定量的邻域块及其中心像素点对应的类别标签作为训练样本集，其余的邻域块及其中心像素点对应的类别标签作为测试样本集。IP(Indian Pines)数据集的训练样本比例设置为10％，PU(Pavia University)数据集的训练样本比例设置为1％。
动态扩张数据选择算法的运行过程为：
C1：根据Ybatch统计Xbatch中每种类别的数量，更新cnt中的值；
C2：对cnt按照每个元素的第二个值进行升序排序；
C3：找到cnt中第一个第二个值不为0的元素，更新index的值；
C4：遍历Ybatch、Xbatch中的元素，如果某一元素对应的标签等于cnt[index][0]，则将其加入XDA、YDA；
C5：重复C3、C4步，直至XDA、YDA的长度等于n；
C6：对XDA进行卷积数据变换；
C7：对XDA、YDA和Ybatch、Xbatch进行合并得到Xnew、Ynew，算法结束；
其中，一个批(batch)中的样本为Xbatch∈Rm×M×N×C，其对应的标签为Ybatch∈Rm×1，M表示数据块的长，N表示数据块的宽，C表示数据块的通道数，R表示实数，m表示原始样本的总数量，计划扩张(Data Augmentation,DA)的样本的数量为n，满足1≤n≤m，取为n＝4,m＝16，XDA表示存放计划扩张的样本的列表，YDA表示存放XDA的标签的列表，Xnew表示新样本和原始样本合并之后的数据块集合，Ynew表示新样本和原始样本合并之后的标签集合，cnt为初值为[yp,0]长度为P的列表，对于IP数据集，P＝16，对于PU数据集，P＝9；其中，yp为每种类别的编号，cnt用来统计Xbatch中每种类别的数量，其初始下标index设置为0。
基于暹罗结构，获取损失函数、原始样本和扩张样本之间的平均相似指数，并配合随机梯度下降法，迭代训练，具体为：总体采用三条模型支路共享权值；由步骤S3的动态扩张数据选择算法选择到的需要进行扩张的原始数据XDA，其经过卷积变换生成了扩张后的样本，输入到权值共享的网络模型，产生柔性最大值传输函数(soft-max)分类结果，这个结果与直接将XDA输入模型得到的原始结果计算产生了平均相似指数；同时经过卷积变换的XDA和原始batch合并产生了Xnew，输入到模型中产生了类别交叉熵损失函数；最后将平均相似指数和损失函数线性相加，进行梯度下降优化；最终的损失函数被定义为：
Figure GDA0003780529150000121
其中，Ytrue指的是Xnew的真实标签的热编码(one-hot)数组，Ypredict指Xnew的预测soft-max值，α是一个常数，取为0.1，Saverage指计划扩张样本(DA样本)和原始样本的平均相似指数。
平均相似度的定义如下：将原始样本数据块记为x∈RM×N×C，其中M、N、C分别表示数据块的长、宽、通道数。新样本记为x'∈RM×N×C。令样本类别数为P。假定分类模型为一个CNN网络，且最后一层为对应样本类别数的soft-max层，则分类模型可被定义为一个函数y＝f(x)∈RP×1，其输出为模型的soft-max结果，经过一个最大参数(argmax)层即可得到最终的类别。令y为原始样本的soft-max结果，y′对应新样本的soft-max结果。参考类别交叉熵，则x与的x'相似指数定义为：
Figure GDA0003780529150000131
S0越大表示y与y'的差异越大。对于一组数量为m的原始样本及其一一对应的新样本的soft-max结果Y,Y'∈RP×m，两组数据的平均相似指数定义为：
Figure GDA0003780529150000132
其中，m表示原始样本的总数量，i表示类别编号，j表示样本编号，Yj (i)表示原始样本经过网络之后的第j个样本第i个类别的soft-max值，Yj'(i)表示原始样本对应的扩张样本经过网络之后的第j个样本第i个类别的soft-max值。
使用测试样本集对训练后的分类模型进行测试，得到分类结果；具体为：将步骤S2中得到的测试样本集输入步骤S3、S4中训练得到的网络，产生argmax结果。生成分类指标以及结果图。分类指标采用OA(Overall Accuracy)、AA(Average Accuracy)和Kappa系数。
如图4～图14所示，为了验证本发明方法的效果，基于上述技术方案，本实施例进行了仿真实验，具体的结果和分析如下：
1.实验图像
本实施例中将使用IP(Indian pines)、PU(University of Pavia)这二个基准数据集，在5个常用模型上分别使用常规方法和本发明进行对比实验以验证本发明的有效性和可靠性。
印第安纳松树(IP,Indian Pines)数据集是美国的红外成像光谱仪(AVIRIS)在印第安纳州西北部获取的图像，空间尺寸为145像素*145像素。AVIRIS成像光谱仪成像波长范围为0.4-2.5μm，是在连续的220个波段对地物进行成像。一般使用剔除了20个波段后剩下的200个波段作为研究的对象。该光谱成像仪所成的图像的空间分辨率约为20m，包含地物的像素总共只有10249个，这些像素中共包含16类地物。
帕维亚大学集(PU,University of Pavia)数据集。PU数据是由德国的机载反射光学光谱成像仪(ROSIS-03，Reflective Optics Spectrographic Imaging System)对意大利东北部的帕维亚城所成的像。图像空间尺寸为610像素*340像素，并且成像仪波长为0.43-0.86μm，所成图像的空间分辨率为13m。在实验中，移除12个由于强噪声和水汽干扰的频段，一般使用剩下103个光谱波段所组成的图像，包含地物的像素总共只有42776个，这些像素中共包含9类地物如道路、数目，屋顶等。表1是IP数据集、PU数据集地物信息类别。
表1 IP数据集、PU数据集地物信息类别
Figure GDA0003780529150000141
2.实验方法及相关参数设置
实验环境为谷歌云平台。评价指标方面，选取总体精度(OA,overall accuracy)、平均精度(AA,average accuracy)和Kappa系数(KA,Kappa coefficient)3个指标。所有数据取5次实验数据下的平均值。
在训练集和测试集的划分中，分别在IP数据集、PU数据集上随机选取10％、1％、，并将剩余的90％和99％的样本作为测试样本。2个数据集的实验中，Batch大小设置为16，反向传播算法采用Adam(Adaptive moment estimation,Adam)，学习率设置为3×10-4。
3.实验结果对比
表2 IP数据集测试结果
Figure GDA0003780529150000151
表3 PU数据集测试结果
Figure GDA0003780529150000152
参考表2、表3和图4～图13，可知，本发明提出的基于暹罗结构用于高光谱图像分类的动态数据扩张方法优于常规做法。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (6)

1.一种用于高光谱图像分类的动态数据扩张方法，其特征是，包括：
基于动态扩张数据选择算法，对训练样本集中符合设定条件的样本进行样本扩张，获得原始样本和扩张样本；
基于暹罗结构，获取损失函数、原始样本和扩张样本之间的平均相似指数，并配合随机梯度下降法，迭代训练；
所述动态扩张数据选择算法的运行过程为：
C1：根据Ybatch统计Xbatch中每种类别的数量，更新cnt中的值；
C2：对cnt按照每个元素的第二个值进行升序排序；
C3：找到cnt中第一个第二个值不为0的元素，更新index的值；
C4：遍历Ybatch、Xbatch中的元素，如果某一元素对应的标签等于cnt[index][0]，则将其加入XDA、YDA；
C5：重复C3、C4步，直至XDA、YDA的长度等于n；
C6：对XDA进行卷积数据变换；
C7：对XDA、YDA和Ybatch、Xbatch进行合并得到Xnew、Ynew，算法结束；
其中，一个批中的样本为Xbatch∈Rm×M×N×C，其对应的标签为Ybatch∈Rm×1，M表示数据块的长，N表示数据块的宽，C表示数据块的通道数，R表示实数，m表示原始样本的总数量，计划扩张的样本的数量为n，满足1≤n≤m，XDA表示存放计划扩张的样本的列表，YDA表示存放XDA的标签的列表，Xnew表示新样本和原始样本合并之后的数据块集合，Ynew表示新样本和原始样本合并之后的标签集合，cnt为初值为[yp,0]长度为P的列表，其中yp为每种类别的编号，cnt用来统计Xbatch中每种类别的数量，其初始下标index设置为0；
所述基于暹罗结构，获取损失函数、原始样本和扩张样本之间的平均相似指数，并配合随机梯度下降法，迭代训练，具体为：
总体采用三条模型支路共享权值；由选择到的需要进行扩张的原始数据XDA，其经过卷积变换生成了扩张后的样本，输入到权值共享的网络模型，产生柔性最大值传输函数分类结果，这个结果与直接将XDA输入模型得到的原始结果计算产生了平均相似指数；同时经过卷积变换的XDA和原始batch合并产生了Xnew，输入到模型中产生了类别交叉熵损失函数；最后将平均相似指数和损失函数线性相加，进行梯度下降优化；最终的损失函数被定义为：
Figure FDA0003780529140000021
其中，Ytrue指的是Xnew的真实标签的热编码数组，Ypredict指Xnew的预测soft-max值，α是一个常数，Saverage指计划扩张样本和原始样本的平均相似指数。
2.一种高光谱图像分类方法，其特征是，包括：
采集高光谱图像并对高光谱图像进行预处理，获取高光谱图像数据集；
将高光谱图像数据集输入基于权利要求1所述的用于高光谱图像分类的动态数据扩张方法训练的分类模型中，得到分类结果。
3.根据权利要求2所述的高光谱图像分类方法，其特征是，所述对高光谱图像数据进行预处理，包括：
A1、获取高光谱图像每个波段的数据Bi，求得该波段数据平均值Avei和标准差Si，其中i代表波段编号；
A2、按照下式计算得到高光谱图像每个波段数据的归一化值Ni：
Ni＝(Bi-Avei)/Si (2)；
A3、将步骤A1中高光谱图像的波段和步骤A2中得到的所有归一化后的波段重新组合为归一化后的高光谱图像R'；
A4、将步骤A3得到的高光谱图像R'进行去冗余波段的处理得到预处理后的高光谱图像数据集R。
4.根据权利要求2所述的高光谱图像分类方法，其特征是，所述分类模型的训练方法，包括：
采集高光谱图像并对高光谱图像进行预处理，获取高光谱图像数据集；
将高光谱图像数据集划分为训练样本集和测试样本集；
基于动态扩张数据选择算法，对训练样本集中符合设定条件的样本进行样本扩张，获得原始样本和扩张样本；
基于暹罗结构，获取损失函数、原始样本和扩张样本之间的平均相似指数，并配合随机梯度下降法，迭代训练；
使用测试样本集对训练后的分类模型进行测试。
5.根据权利要求4所述的高光谱图像分类方法，其特征是，所述将高光谱图像数据集划分为训练样本集和测试样本集，具体为：
对高光谱图像数据集以每个待分类像素点为中心，获取立方体邻域块；
从获得的所有邻域块中每类选取设定量的邻域块及其中心像素点对应的类别标签作为训练样本集，其余的邻域块及其中心像素点对应的类别标签作为测试样本集。
6.根据权利要求4所述的高光谱图像分类方法，其特征是，所述平均相似指数为：
Figure FDA0003780529140000031
其中，m表示原始样本的总数量，i表示类别编号，j表示样本编号，Yj (i)表示原始样本经过网络之后的第j个样本第i个类别的soft-max值，Yj'(i)表示原始样本对应的扩张样本经过网络之后的第j个样本第i个类别的soft-max值。
CN202110473836.3A 2021-04-29 2021-04-29 用于高光谱图像分类的动态数据扩张方法及图像分类方法 Active CN113191259B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110473836.3A CN113191259B (zh) 2021-04-29 2021-04-29 用于高光谱图像分类的动态数据扩张方法及图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110473836.3A CN113191259B (zh) 2021-04-29 2021-04-29 用于高光谱图像分类的动态数据扩张方法及图像分类方法

Publications (2)

Publication Number Publication Date
CN113191259A CN113191259A (zh) 2021-07-30
CN113191259B true CN113191259B (zh) 2022-10-04

Family

ID=76980832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110473836.3A Active CN113191259B (zh) 2021-04-29 2021-04-29 用于高光谱图像分类的动态数据扩张方法及图像分类方法

Country Status (1)

Country Link
CN (1) CN113191259B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298396A (zh) * 2019-06-25 2019-10-01 北京工业大学 基于深度学习多特征融合的高光谱图像分类方法
CN112232280A (zh) * 2020-11-04 2021-01-15 安徽大学 基于自编码器与3d深度残差网络的高光谱图像分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298396A (zh) * 2019-06-25 2019-10-01 北京工业大学 基于深度学习多特征融合的高光谱图像分类方法
CN112232280A (zh) * 2020-11-04 2021-01-15 安徽大学 基于自编码器与3d深度残差网络的高光谱图像分类方法

Also Published As

Publication number Publication date
CN113191259A (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
CN110516596B (zh) 基于Octave卷积的空谱注意力高光谱图像分类方法
CN111368896B (zh) 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法
US20200250428A1 (en) Shadow and cloud masking for remote sensing images in agriculture applications using a multilayer perceptron
CN112052755B (zh) 基于多路注意力机制的语义卷积高光谱图像分类方法
CN106203523B (zh) 基于梯度提升决策树半监督算法融合的高光谱图像分类方法
CN108280396B (zh) 基于深度多特征主动迁移网络的高光谱图像分类方法
Audebert et al. Generative adversarial networks for realistic synthesis of hyperspectral samples
CN108460391B (zh) 基于生成对抗网络的高光谱图像无监督特征提取方法
CN108764138B (zh) 一种基于多维多粒度级联森林的高原地区云雪分类方法
CN107832797B (zh) 基于深度融合残差网的多光谱图像分类方法
CN111222545B (zh) 基于线性规划增量学习的图像分类方法
CN108764018A (zh) 一种基于卷积神经网络的多任务车辆再识别方法及装置
Lin et al. Deep transfer learning for hyperspectral image classification
CN114266961A (zh) 一种整合高光谱和多频段全极化sar影像的沼泽植被堆栈集成学习分类方法
CN115240072A (zh) 一种基于多方向多尺度光谱-空间残差卷积神经网络的高光谱多类变化检测方法
CN116310466A (zh) 基于局部无关区域筛选图神经网络的小样本图像分类方法
Song et al. Multi-source remote sensing image classification based on two-channel densely connected convolutional networks.
Sehree et al. Olive trees cases classification based on deep convolutional neural network from unmanned aerial vehicle imagery
CN114863173A (zh) 一种面向土地资源审计的自互注意力高光谱图像分类方法
CN1252588C (zh) 高光谱遥感图像联合加权随机分类方法
CN116563649B (zh) 基于张量映射网络的高光谱图像轻量化分类方法及装置
CN111199251B (zh) 一种基于加权邻域的多尺度高光谱图像分类方法
CN116977744A (zh) 基于对比学习与子空间的小样本跨域高光谱图像分类方法
CN116704378A (zh) 一种基于自生长卷积神经网络的国土测绘数据分类方法
CN113191259B (zh) 用于高光谱图像分类的动态数据扩张方法及图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant