CN111860124A - 基于空谱胶囊生成对抗网络的遥感图像分类方法 - Google Patents

基于空谱胶囊生成对抗网络的遥感图像分类方法 Download PDF

Info

Publication number
CN111860124A
CN111860124A CN202010500467.8A CN202010500467A CN111860124A CN 111860124 A CN111860124 A CN 111860124A CN 202010500467 A CN202010500467 A CN 202010500467A CN 111860124 A CN111860124 A CN 111860124A
Authority
CN
China
Prior art keywords
spectrum
false
sample
true
spe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010500467.8A
Other languages
English (en)
Other versions
CN111860124B (zh
Inventor
王佳宁
郭思颖
李林昊
黄润虎
杨攀泉
焦李成
尚荣华
李阳阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010500467.8A priority Critical patent/CN111860124B/zh
Publication of CN111860124A publication Critical patent/CN111860124A/zh
Application granted granted Critical
Publication of CN111860124B publication Critical patent/CN111860124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于空谱胶囊生成对抗网络模型的遥感图像分类方法。该方法的主要步骤为：1、创建生成对抗网络模型；2、确定样本集；3、采用步骤2的样本集训练生成对抗网络模型；4、模型准确性验证；5、向训练后的生成对抗网络模型中输入待分类高光谱遥感图像，获得分类结果。本方法充分利用了光谱信息和空间信息，能够准确建模样本相对位置等细节特征，使得分类精度以及分类效率低大大提升。

Description

基于空谱胶囊生成对抗网络的遥感图像分类方法
技术领域
本发明属于图像信息处理技术，特别涉及一种基于空谱胶囊生成对抗网络的遥感图像分类方法。
背景技术
高光谱图像是由光谱成像仪采集的高维图像，包含了上百个光谱通道，由此每一个像素点为连续而高维的光谱曲线，可以根据需要选择或提取特定波段来突出目标特征。高光谱成像仪同时探测目标的二维几何空间信息与一维光谱信息，因此高光谱数据具有“图像立方体”的结构，体现出“图谱合一”的特点和优势。目前，高光谱图像已广泛应用于农业、军事、天文等领域。
高光谱遥感图像最突出的特点是能够将空间图像维信息与光谱维信息进行有效的融合。因此根据高光谱遥感数据的特点和应用需要，进行有针对性的空谱特征提取，能够更加有效的提高高光谱遥感技术在实际应用中的效果。此外，在地质勘查与灾害响应应用中，高光谱遥感图像需要相关专家大面积走访进行标定，因此实际应用中可用的有标记样本十分有限。因此高维的光谱特征、少量的有标记样本和高度相关的空间特性，为高光谱遥感图像分类带来了一系列挑战。早期的高光谱图像分类方法仅关注图像的光谱信息。然而，在高光谱图像中不同的物体可能表现出相似的光谱特征，仅利用光谱信息的分类算法会产生较多的离散错分点，造成整个分类结果不平滑。
近年来深度模型算法在高光谱图像分类中得到了越来越多的关注。卷积神经网络在深度模型中表现出了优异性能，然而，在这种直接基于卷积神经网络的方案下，利用在图像中不同位置检测到的特征之间的关系的能力是相当有限的。如果输入数据呈现旋转、倾斜或任何向其他方向变化，卷积神经网络可能表现出较差的性能，因为它们无法准确地建模这种空间关系，所以无法识别场景中一个对象相对于另一个对象的位置。
为了对数据中的不变性进行建模，残差网络定义了基于残差块的卷积神经网络，允许从更深的网络结构学习空谱特征。密集连接卷积神经网络定义了一种体系结构，其中每一层都将来自前几层的所有特征映射连接起来作为输入。胶囊网络是一种新型网络结构，弥补了卷积神经网络的缺陷，增强了识别能力。胶囊网络将数据关系编码成向量(而不是标量),使用向量神经元代替标量神经元，向量的模表示特征存在的概率，方向表示特征的姿态信息(位置、颜色、方向等)。
虽然胶囊网络能很好的提取信息，但它通常有大量的参数。首先，每个胶囊输出向量而不是标量。其次，胶囊层之间有附加参数，用于计算两层胶囊之间的耦合系数。因此如何在不影响精度的情况下减小参数量，加快训练速度，也是一个需要解决的问题。
发明内容
为了解决卷积神经网络未综合利用光谱信息和空间信息，从而无法准确建模样本相对位置等细节特征，导致分类精度差，以及胶囊网络参数量较大导致的分类效率低的问题，本发明提出了一种基于空谱胶囊生成对抗网络模型的遥感图像分类方法。
本发明的原理性内容介绍：
本方法对高光谱遥感图像处理分为两个部分，光谱信息处理和空谱信息处理。
图像光谱信息的处理过程中，真实样本是从每个像素点提取的只包含光谱信息的一维向量。噪声经过光谱生成器被生成为长度等于原始光谱通道数的一维向量，该向量作为假样本，和真实样本都输入到光谱判别器，光谱判别器是一维的胶囊网络，输出表示真假的活动向量和表示预测类标的活动向量，其长度和方向分别表示物体存在的估计概率和物体的姿态参数。
和光谱信息的处理过程类似，在空谱信息的处理过程中，真实样本是从每个像素点提取的空间块，此空间块不仅包含该像素点的光谱信息，还包含空间信息，以对其空间关系建模。噪声经过空谱生成器的一系列反卷积生成和真实样本尺度相同的空间块作为假样本，真假样本均输入至判别器，空谱判别器是二维的胶囊网络，和一维胶囊网络相同，输出表示真假的活动向量和表示预测类标的活动向量；将光谱和空谱判别器的输出相加，得到整个模型对输入样本的真假预测值和类标预测值。
本发明的具体技术方案如下：
本发明提供了一种基于空谱胶囊生成对抗网络的遥感图像分类方法，其具体实现步骤是：
步骤1：创建生成对抗网络模型；
步骤1.1：搭建生成器；
采用四个全连接层构成光谱生成器，并设置每个全连接层的参数；
采用按照数据处理逻辑依次设置一个全连接层、四个反卷积层构成空谱生成器，并设置每层的参数；
步骤1.2：搭建具有胶囊网络结构的判别器；判别器包括光谱判别器和空谱判别器；
光谱判别器和空谱判别器均包括按照数据处理逻辑依次设置的卷积层、PrimaryCaps层、非线性激活层、DigitCaps层、输出层，分别设置光谱判别器和空谱判别器中各层的参数；
其中，在所有使用偶数卷积核的卷积操作之前，都对特征图进行了对称填充，同时空谱判别器的PrimaryCaps层使用了八度卷积；
步骤2：确定样本集；
步骤2.1：以标准高光谱遥感图像中每个带有标签的像素为中心，分别划定1*1*n_channels和a*a*n_channels大小的空间块；将多个 1*1*n_channels大小的空间块记为真实光谱样本集X_spe，将多个a*a *n_channels大小的空间块记为真实空谱样本集X_spa；
其中，1*1表示任意一个像素点，a*a表示以任意像素点为中心获得的空间邻域块的行数和列数，n_channels表示标准高光谱遥感图像的通道数；
所述标准高光谱遥感图像为帕维亚大学遥感图像数据集 (PaviaUniversity,PaviaU)或帕维亚中心遥感图像数据集(Pavia Center,PaviaC)或肯尼迪航天中心遥感图像数据集(Kennedy Space Center,KSC)；
步骤2.2：在真实光谱样本集X_spe中，随机选取一部分作为真实光谱训练样本X_train_spe，其余部分作为真实光谱测试样本 X_test_spe；
在真实空谱样本集X_spa中，随机选取一部分作为真实空谱训练样本X_train_spa，其余部分作为真实空谱测试样本X_test_spa；
步骤3：采用步骤2的样本集训练生成对抗网络模型
步骤3.1：训练生成器
步骤3.1.1：利用Numpy随机函数采样生成200维高斯噪声向量，将高斯噪声向量分别通过光谱生成器和空谱生成器进行非线性映射，从而分别生成假光谱样本G(Z)_Spe和假空谱样本G(Z)_Spa；
步骤3.1.2：利用光谱判别器对假光谱样本G(Z)_Spe进行非线性映射，输出对假光谱样本真假的预测结果，记为true_G(Z)_Spe，以及假光谱样本类标的预测结果，记为label_G(Z)_Spe；
利用空谱判别器对假空谱样本G(Z)_Spa进行分类，输出对假空谱样本真假的预测结果，记为true_G(Z)_Spa，以及假空谱样本类标的预测结果，记为label_G(Z)_Spa；
将上面两部分样本真假的预测结果true_G(Z)_Spe和 true_G(Z)_Spa相加，作为整个模型对假样本真假的预测结果 true_G(Z)_all；
将上面两部分样本类标的预测结果label_G(Z)_Spe和label_G(Z)_Spa相加，作为整个模型对假样本类标的预测结果 label_G(Z)_all；
步骤3.1.3：利用分类损失函数计算假样本类标的预测结果的损失值A，利用均方误差损失函数计算假样本真假的预测结果的损失值 B，这两部分损失值加起来，作为总损失值C；
步骤3.1.4：利用总损失值C对光谱生成器和空谱生成器进行反向传播训练；
步骤3.2：训练判别器
步骤3.2.1：利用光谱判别器对真实光谱训练样本X_train_spe进行非线性映射，输出对真实光谱训练样本真假的预测结果，记为 true_Spe，以及真实光谱训练样本类标的预测结果，记为label_Spe；
利用空谱判别器对真实空谱训练样本X_train_spa进行分类，输出对真实空谱训练样本真假的预测结果，记为true_Spa，和真实空谱训练样本类标的预测结果，记为label_Spa；
将上面两部分样本真假的预测结果true_Spe和true_Spa相加，作为整个模型对真实训练样本真假的预测结果true_all；
将上面两部分样本类标的预测结果label_Spe和label_Spa相加，作为整个模型对真实训练样本类标的预测结果label_all；
步骤3.2.2：利用分类损失函数计算真实样本类标的预测结果的损失值A1，利用均方误差损失函数计算真实样本真假的预测结果的损失值B1，这两部分损失值加起来，作为总损失值C1；
步骤3.2.3：利用总损失值C1对光谱判别器和空谱判别器进行反向传播训练；
步骤3.2.4：利用光谱判别器对假光谱样本G(Z)_Spe进行非线性映射，输出对假光谱样本真假的预测结果，记为true_G(Z)_Spe_1，以及假光谱样本类标的预测结果，记为label_G(Z)_Spe_1；
利用空谱判别器对假空谱样本进行分类，输出对假空谱样本真假的预测结果，记为true_G(Z)_Spa_1，和假空谱样本类标的预测结果，记为label_G(Z)_Spa_1；
将上面两部分样本真假的预测结果true_G(Z)_Spe_1和 true_G(Z)_Spa_1相加，作为整个模型对假样本真假的预测结果 true_G(Z)_all_1；
将上面两部分样本类标的预测结果label_Spe和label_Spa相加，作为整个模型对假样本类标的预测结果label_G(Z)_all_1；
步骤3.2.5：利用分类损失函数计算假样本类标的预测结果的损失值A2，利用均方误差损失函数计算假样本真假的预测结果的损失值B2，这两部分损失值加起来，作为总损失值C2；
步骤3.2.6：利用总损失值C2对光谱判别器和空谱判别器进行反向传播训练；
步骤3.3：每训练一次生成器，就训练三次判别器，即执行一次步骤3.1，就要执行三次步骤3.2；
步骤3.4：按照步骤3.3迭代处理1000次以上，完成模型的训练；
步骤4：模型准确性验证
将真实光谱测试样本Xtest_spe和真实空谱测试样本Xtest_spa 输入到训练好的模型中，输出测试样本的预测标签，使其与已知测试样本的标签进行对比，若对比结果满足要求，则认为训练后的生成对抗网络模型满足使用要求；
步骤5：向训练后的生成对抗网络模型中输入待分类高光谱遥感图像，获得分类结果。
进一步地，所述步骤4中对比结果包括总体精度OA，平均精度 AA，卡帕系数KAPPA；
总体精度OA表示正确分类的样本占所有样本的比例，值越大，说明分类效果越好；
平均精度AA表示每一类分类精度的平均值，值越大，说明分类效果越好；
卡帕系数Kappa表示混淆矩阵中不同的权值，值越大，说明分类效果越好。
进一步地，为了利用偶数卷积核的优越性能，并且防止因为偶数卷积核没有中心点而造成的特征偏移，所述光谱判别器和空谱判别器中卷积层、PrimaryCaps层、非线性激活层、DigitCaps层的处理过程中，需要对特征图进行对称填充，具体做法是：规定特征图的通道数为4的倍数，在以上各层进行图像处理时先将图像在通道方向上等分成4组，各个组分别向左和上、上和右、右和下、下和左方向补一行 /列的0，再将四组特征图拼接，最后用偶数卷积核卷积。
进一步地，为了减小参数量，在空谱判别器的PrimaryCaps层使用八度卷积(OctConv)，即，在卷积过程中，根据混合特征映射的频率将输入图像分解为高频和低频两个分量。为了减少空间冗余，将平滑变化的低频特征下采样，存储在低分辨率的空间块中。不同的卷积核分别用于高频和低频特征。更新同一频率的特征，交换不同频率的特征；换言之，新的高频特征图是通过将原始高频部分的卷积和通过上采样获得的低频部分相加得到的，而新的低频特征图是通过原高频部分下采样与原低频部分的卷积相加得到。
本发明与现有技术相比具有以下优点：
1、本发明采用生成对抗网络(GAN)代替传统CNN来提取特征，能有效缓解过拟合的问题。这也使得本发明可以在样本数量较少的情况下，也能取得较好的分类效果。
2、本发明中的光谱判别器和空谱判别器均使用CapsNet结构，保存样本的姿态参数，提高模型的泛化性能。
3、本发明分别对遥感图像的光谱信息和空间信息进行处理，有效的利用遥感图像的光谱信息和空间信息，提高分类精度。
4、本发明的空谱判别器，普通卷积层使用多尺度卷积提取多尺度的空间特征。
5、本发明的空谱判别器中，PrimaryCaps层用八度卷积(OctConv)，不仅提升模型分类精度，而且降低CapsNet的参数量。
6、本发明中对特征图对称填充并使用偶数卷积核卷积，既防止了特征偏移，又利用了偶数卷积核的巨大潜力。
附图说明
图1为本发明方法的实现流程框图；
图2是遥感图像在对抗网络模型中具体的处理过程图；
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在有没做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
基本概念
生成对抗网络包含生成器和判别器。生成器和判别器以对抗的方式训练，生成器尝试生成尽可能真实的假样本，判别器尝试对真实样本和生成器生成的假样本进行判断。在这场对抗性的博弈中，双方都希望得到最优的结果(即判别器希望准确判断样本真假，生成器希望生成与真实数据分布最相似的假样本)。通过两个网络的对抗和竞争，当使用有限的训练样本时，判别器的训练过程不会立即陷入过拟合状态，而是持续有效地进行。此外，生成器生成的样本还可作为虚拟样本，正确使用虚拟样本可以提高分类性能。生成对抗网络的生成器网络可以视为一种正则化方法，可缓解过拟合现象。因此生成对抗网络可以解决训练样本不足，模型过拟合的问题。
相对于卷积神经网络，胶囊网络是另一种对复杂数据进行编码的方法。将数据关系编码成向量而不是标量，其长度和方向分别表示物体存在的估计概率和物体的姿态参数(如位置、颜色、方向等)。通过胶囊网络，详细的姿态信息将在整个网络中被保存。因此，胶囊网络可以在不同的视觉任务中使用相同简单一致的架构。
胶囊网络对于分类的损失函数
Figure RE-GDA0002655545090000111
式中，如果样本属于第i类，则Ti＝1，此时第一项被激活，否则Ti＝0，此时第二项被激活。α+和α-是限制限制向量Vi (l)的长度在一个小范围内的边界。λ是正则化参数，缩小了其他类对本类活动向量的影响。
基于以上描述，本发明针对帕维亚大学遥感图像数据集(PaviaU) 给出一个具体实例，用以证明本发明方法的实施效果(也可采用肯尼迪航天中心遥感图像数据集(KSC)或帕维亚中心遥感图像数据集 (Pavia Center)进行)，具体实施流程如图1所示：
步骤1：创建图2所示的生成对抗网络模型
步骤1.1：搭建生成器；
采用四个全连接层构成光谱生成器，并设置每个全连接层的参数；
采用按照数据处理逻辑依次设置一个全连接层、四个反卷积层构成空谱生成器，并设置每层的参数；
步骤1.2：搭建具有胶囊网络结构的判别器；判别器包括光谱判别器和空谱判别器；
光谱判别器和空谱判别器均包括按照数据处理逻辑依次设置的卷积层、PrimaryCaps层、非线性激活层、DigitCaps层、输出层，分别设置光谱判别器和空谱判别器中各层的参数；
其中，所有的卷积操作都使用了偶数卷积核(例如：4*4，6*6)，并且对特征图进行对称填充，同时空谱判别器的PrimaryCaps层使用了八度卷积；
其中，非线性激活层是对向量做非线性变换，相当于标准化操作，公式为:
Figure RE-GDA0002655545090000121
其中，
Figure RE-GDA0002655545090000122
表示输入向量，
Figure RE-GDA0002655545090000123
表示输出向量，对
Figure RE-GDA0002655545090000124
经过公式(2) 的运算操作，公式(2)的前一项改变向量的模，将大小压缩至0到 1之间，后一项保持了向量的方向，这样也就保存了数据的细微信息。
步骤2：确定样本集；
步骤2.1：将KSC数据集作为标准高光谱遥感图像，以标准高光谱遥感图像中每个带有标签的像素为中心，分别划定1*1*n_channels 和a*a*n_channels大小的空间块；将多个1*1*n_channels大小的空间块计为真实光谱样本集X_spe，将多个a*a*n_channels大小的空间块计为真实空谱样本集X_spa；
其中，1*1表示一个像素点，a*a表示以某个像素点为中心获得的空间邻域块的行数和列数，例如设定a＝9，9*9就是以某个像素点为中心，向左、右分别取4列，向上、下分别取4行得到9*9的空间邻域块，n_channels表示高光谱遥感图像的通道数；
步骤2.2：在真实光谱样本集X_spe中，随机选取一部分作为真实光谱训练样本Xtrain_spe，其余作为真实光谱测试样本Xtest_spe；
在真实空谱X_spa样本集中，随机选取一部分作为真实空谱训练样本Xtrain_spa，其余部分作为真实空谱测试样本Xtest_spa(采用不同数据集，比例不同，在PaviaU数据集中，每类选取40个样本训练)；
步骤3：训练生成对抗网络模型
步骤3.1.1：利用Numpy随机函数采样生成200维高斯噪声向量，将高斯噪声向量分别通过光谱生成器和空谱生成器进行非线性映射，从而分别生成假光谱样本G(Z)_Spe和假空谱样本G(Z)_Spa；
其中，假光谱样本G(Z)_Spe与真实光谱训练样本Xtrain_spe的大小相同；假空谱样本G(Z)_Spa与真实空谱训练样本Xtrain_spa的大小相同；
假样本的具体生成过程是：
首先将标签进行embedding操作，每个标签都映射成一个200 维向量，将这个向量和200维的噪声相乘，由一个全连接层映射成 512维的向量。对于光谱生成器，经过3个卷积层，通道数由512到 256再到128再到n_channels，就产生了假光谱样本G(Z)_Spe。
对于空谱生成器，先将512维向量重塑成1*1*512的空间块，再经过4个卷积核4*4，步长2的反卷积，最终输出9*9*n_channels的假空谱样本G(Z)_Spa。
步骤3.1.2：利用光谱判别器对假光谱样本G(Z)_Spe进行非线性映射，输出对假光谱样本真假的预测结果，记为true_G(Z)_Spe，以及假光谱样本类标的预测结果，记为label_G(Z)_Spe；
利用空谱判别器对假空谱样本G(Z)_Spa进行分类，输出对假空谱样本真假的预测结果，记为true_G(Z)_Spa，以及假空谱样本类标的预测结果，记为label_G(Z)_Spa；
将上面两部分样本真假的预测结果true G(Z)_Spe和true_G(Z) Spa相加，作为整个模型对假样本真假的预测结果trueG(Z)_all；
将上面两部分样本类标的预测结果label_G(Z)_Spe和 label_G(Z)Spa相加，作为整个模型对假样本类标的预测结果 label_G(Z)_all；
步骤3.1.3：利用分类损失函数计算假样本类标的预测结果的损失值A，利用均方误差损失函数计算假样本真假的预测结果的损失值 B，这两部分损失值加起来，作为总损失值C；
步骤3.1.4：利用总损失值C对光谱生成器和空谱生成器进行反向传播训练；
步骤3.2：训练判别器
步骤3.2.1：利用光谱判别器对真实光谱训练样本X train_spe进行非线性映射，输出对真实光谱训练样本真假的预测结果，记为 true_Spe，以及真实光谱训练样本类标的预测结果，记为label_Spe；
利用空谱判别器对真实空谱训练样本X train_spa进行分类，输出对真实空谱训练样本真假的预测结果，记为true_Spa，和真实空谱训练样本类标的预测结果，记为label_Spa；
将上面两部分样本真假的预测结果true_Spe和true_Spa相加，作为整个模型对真实训练样本真假的预测结果true_all；
将上面两部分样本类标的预测结果label_Spe和label_Spa相加，作为整个模型对真实训练样本类标的预测结果label_all；
步骤3.2.2：利用分类损失函数计算真实样本类标的预测结果的损失值A1，利用均方误差损失函数计算真实样本真假的预测结果的损失值B1，这两部分损失值加起来，作为总损失值C1；
步骤3.2.3：利用总损失值C1对光谱判别器和空谱判别器进行反向传播训练；
步骤3.2.4：利用光谱判别器对假光谱样本G(Z)_Spe进行非线性映射，输出对假光谱样本真假的预测结果，记为true_G(Z)_Spe_1，以及假光谱样本类标的预测结果，记为label_G(Z)_Spe_1；
利用空谱判别器对假空谱样本进行分类，输出对假空谱样本真假的预测结果，记为true_G(Z)_Spa_1，和假空谱样本类标的预测结果，记为label_G(Z)_Spa_1；
将上面两部分样本真假的预测结果true_G(Z)_Spe_1和 true_G(Z)_Spa_1相加，作为整个模型对假样本真假的预测结果 true_G(Z)_all_1；
将上面两部分样本类标的预测结果label_G(Z)_Spa_1和 label_G(Z)_Spa_1相加，作为整个模型对假样本类标的预测结果 label_G(Z)_all_1；
步骤3.2.5：利用分类损失函数计算假样本类标的预测结果的损失值A2，利用均方误差损失函数计算假样本真假的预测结果的损失值B2，这两部分损失值加起来，作为总损失值C2；
步骤3.2.6：利用总损失值C2对光谱判别器和空谱判别器进行返向传播训练；
步骤3.3：每训练一次生成器，就训练三次判别器，即执行一次步骤3.1，就要执行三次步骤3.2；
步骤3.4：按照步骤3.3迭代处理1000次以上，完成模型的训练；
需要补充说明的是：在上述判别器训练过程中：
对于光谱判别器，输入大小为1*1*n_channels的样本，经过卷积层的点卷积提取特征，得到1*1*128的特征图，再到PrimaryCaps 层，输出8个长度为32的一维胶囊单元，这些胶囊单元经过动态路由，映射到输出的一个表示真假的1*16的向量，和一个表示类标的n_classes*16的矩阵；
对于空谱判别器，输入大小为9*9*n_channels的样本，经过卷积层，分别用1*1，4*4，6*6的卷积核提取多尺度特征，得到 9*9*n_channels的特征图，再到PrimaryCaps层，PrimaryCaps层使用了八度卷积(OctConv)，输出32个长度为4*4*8的三维胶囊单元，这些胶囊单元经过动态路由，映射到输出的一个表示真假的1*16的向量，和一个表示类标的n_classes*16的矩阵。
两个判别器都输出一个1*16的向量表示真假，和一个 n_classes*16的矩阵表示预测类标，该矩阵包含了n_classes个1*16 的向量，分别计算每个向量的模，模最大的向量的下标即为预测的类标；
为了融合光谱模型和空谱模型，由于两个判别器都分别输出1 个预测真假的向量和n_classes(表示数据的类别数)个预测类标的向量，将两部分的表示真假的向量相加乘以1/2，表示整个模型输出的预测真假的向量，这个向量的长度代表样本是真实样本的概率。同理，将两部分的表示类别的向量相加乘以1/2，表示整个模型输出的预测类标的矩阵，这个向量的长度代表样本属于这一类的概率。该矩阵包含了n_classes个1*16的向量，分别计算每个向量的模，模最大的向量的下标即为预测的类标；
基于以上所述的模型，损失函数对应的也分为两部分：分类损失函数和判别真假的损失函数。
分类损失函数是公式(1)所述的胶囊网络的损失函数。
判别真假样本的损失函数是传统生成对抗网络的损失函数，表示为：
mGinmDaxV(D,G)＝Ex～p(x)[log(D(x))]+Ez～p(z)[log(1-D(G(z)))](3)
其中，E(*)表示分布函数的期望值，p(x)表示真实数据的分布， x表示真实数据的样本，p(z)表示噪声的分布，z表示噪声样本，G表示生成器，D表示鉴别器。
步骤4：将真实光谱测试样本X_test_spe和真实空谱测试样本 X_test_spa输入到训练好的模型中，输出测试样本的预测标签，使其与已知测试样本的标签进行对比，对比的结果包括总体精度OA，平均精度AA，卡帕系数KAPPA，由于该结果满足要求(如表1所示)，则认为通过该模型可获得准确的遥感图像分类结果，可用于对高光谱遥感图像进行准确分类。
试验验证
表1是本发明和各种现有技术分类结果的定量分析表。将本发明和两个现有技术(SVM和CNN)对PaviaU数据集，在相同训练样本数的情况下，对他们分类的总体精度OA、平均精度AA、卡帕系数KAPPA做了分析评价。
Figure RE-GDA0002655545090000181
由上表可知，在PaviaU数据集上，SVM的分类效果最差，主要因为SVM只提取了高光谱图像的光谱信息而没有考虑空间信息，使得分类准确性不高。相比之下CNN考虑了空间信息，分类结果稍有改善。但在CNN中，样本数目相对于参数数目过少，导致网络过拟合，因此依然存在样本错分较多的情况。本发明在每个类的分类准确性均优于传统分类器SVM和CNN，达到了较好的分类效果。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.一种基于空谱胶囊生成对抗网络的遥感图像分类方法，其特征在于，包括以下实现步骤：
步骤1：创建生成对抗网络模型；
步骤1.1：搭建生成器；
采用四个全连接层构成光谱生成器，并设置每个全连接层的参数；
采用按照数据处理逻辑依次设置一个全连接层、四个反卷积层构成空谱生成器，并设置每层的参数；
步骤1.2：搭建具有胶囊网络结构的判别器；判别器包括光谱判别器和空谱判别器；
光谱判别器和空谱判别器均包括按照数据处理逻辑依次设置的卷积层、PrimaryCaps层、非线性激活层、DigitCaps层、输出层，分别设置光谱判别器和空谱判别器中各层的参数；
其中，在所有使用偶数卷积核的卷积操作之前，都对特征图进行了对称填充，同时空谱判别器的PrimaryCaps层使用了八度卷积；
步骤2：确定样本集；
步骤2.1：以标准高光谱遥感图像中每个带有标签的像素为中心，分别划定1*1*n_channels和a*a*n_channels大小的空间块；将多个1*1*n_channels大小的空间块记为真实光谱样本集X_spe，将多个a*a*n_channels大小的空间块记为真实空谱样本集X_spa；
其中，1*1表示任意一个像素点，a*a表示以任意像素点为中心获得的空间邻域块的行数和列数，n_channels表示标准高光谱遥感图像的通道数；所述标准高光谱遥感图像为帕维亚大学遥感图像数据集或帕维亚中心遥感图像数据集或肯尼迪航天中心遥感图像数据集；
步骤2.2：在真实光谱样本集X_spe中，随机选取一部分作为真实光谱训练样本Xtrain_spe，其余部分作为真实光谱测试样本Xtest_spe；
在真实空谱样本集X_spa中，随机选取一部分作为真实空谱训练样本Xtrain_spa，其余部分作为真实空谱测试样本Xtest_spa；
步骤3：采用步骤2的样本集训练生成对抗网络模型
步骤3.1：训练生成器
步骤3.1.1：利用Numpy随机函数采样生成200维高斯噪声向量，将高斯噪声向量分别通过光谱生成器和空谱生成器进行非线性映射，从而分别生成假光谱样本G(Z)_Spe和假空谱样本G(Z)_Spa；
步骤3.1.2：利用光谱判别器对假光谱样本G(Z)_Spe进行非线性映射，输出对假光谱样本真假的预测结果，记为true_G(Z)_Spe，以及假光谱样本类标的预测结果，记为label_G(Z)_Spe；
利用空谱判别器对假空谱样本G(Z)_Spa进行分类，输出对假空谱样本真假的预测结果，记为true_G(Z)_Spa，以及假空谱样本类标的预测结果，记为label_G(Z)_Spa；
将上面两部分样本真假的预测结果true_G(Z)_Spe和true_G(Z)_Spa相加，作为整个模型对假样本真假的预测结果true_G(Z)_all；
将上面两部分样本类标的预测结果label_G(Z)_Spe和label_G(Z)_Spa相加，作为整个模型对假样本类标的预测结果label_G(Z)_all；
步骤3.1.3：利用分类损失函数计算假样本类标的预测结果的损失值A，利用均方误差损失函数计算假样本真假的预测结果的损失值B，这两部分损失值加起来，作为总损失值C；
步骤3.1.4：利用总损失值C对光谱生成器和空谱生成器进行反向传播训练；
步骤3.2：训练判别器
步骤3.2.1：利用光谱判别器对真实光谱训练样本X_train_spe进行非线性映射，输出对真实光谱训练样本真假的预测结果，记为true_Spe，以及真实光谱训练样本类标的预测结果，记为label_Spe；
利用空谱判别器对真实空谱训练样本X_train_spa进行分类，输出对真实空谱训练样本真假的预测结果，记为true_Spa，和真实空谱训练样本类标的预测结果，记为label_Spa；
将上面两部分样本真假的预测结果true_Spe和true_Spa相加，作为整个模型对真实训练样本真假的预测结果true_all；
将上面两部分样本类标的预测结果label_Spe和label_Spa相加，作为整个模型对真实训练样本类标的预测结果label_all；
步骤3.2.2：利用分类损失函数计算真实样本类标的预测结果的损失值A1，利用均方误差损失函数计算真实样本真假的预测结果的损失值B1，这两部分损失值加起来，作为总损失值C1；
步骤3.2.3：利用总损失值C1对光谱判别器和空谱判别器进行反向传播训练；
步骤3.2.4：利用光谱判别器对假光谱样本G(Z)_Spe进行非线性映射，输出对假光谱样本真假的预测结果，记为true_G(Z)_Spe_1，以及假光谱样本类标的预测结果，记为label_G(Z)_Spe_1；
利用空谱判别器对假空谱样本进行分类，输出对假空谱样本真假的预测结果，记为true_G(Z)_Spa_1，和假空谱样本类标的预测结果，记为label_G(Z)_Spa_1；
将上面两部分样本真假的预测结果true_G(Z)_Spe_1和true_G(Z)_Spa_1相加，作为整个模型对假样本真假的预测结果true_G(Z)_all_1；
将上面两部分样本类标的预测结果label_Spe和label_Spa相加，作为整个模型对假样本类标的预测结果label_G(Z)_all_1；
步骤3.2.5：利用分类损失函数计算假样本类标的预测结果的损失值A2，利用均方误差损失函数计算假样本真假的预测结果的损失值B2，这两部分损失值加起来，作为总损失值C2；
步骤3.2.6：利用总损失值C2对光谱判别器和空谱判别器进行反向传播训练；
步骤3.3：每训练一次生成器，就训练三次判别器，即执行一次步骤3.1，就要执行三次步骤3.2；
步骤3.4：按照步骤3.3迭代处理1000次以上，完成模型的训练；
步骤4：模型准确性验证
将真实光谱测试样本X_test_spe和真实空谱测试样本X_test_spa输入到训练好的模型中，输出测试样本的预测标签，使其与已知测试样本的标签进行对比，若对比结果满足要求，则认为训练后的生成对抗网络模型满足使用要求；
步骤5：向训练后的生成对抗网络模型中输入待分类高光谱遥感图像，获得分类结果。
2.根据权利要求1所述的基于空谱胶囊生成对抗网络模型的遥感图像分类方法，其特征在于：
所述步骤4中对比结果包括总体精度OA，平均精度AA，卡帕系数KAPPA；
总体精度OA表示正确分类的样本占所有样本的比例，值越大，说明分类效果越好；
平均精度AA表示每一类分类精度的平均值，值越大，说明分类效果越好；
卡帕系数KAPPA表示混淆矩阵中不同的权值，值越大，说明分类效果越好。
3.根据权利要求1或2所述的基于空谱胶囊生成对抗网络模型的遥感图像分类方法，其特征在于：
所述对特征图进行对称填充的具体做法是：规定特征图的通道数为4的倍数，在以上各层进行图像处理时先将图像在通道方向上等分成4组，各个组分别向左和上、上和右、右和下、下和左方向补一行/列的0，再将四组特征图拼接，最后用偶数卷积核卷积。
4.根据权利要求3所述的基于空谱胶囊生成对抗网络模型的遥感图像分类方法，其特征在于：空谱判别器的PrimaryCaps层使用八度卷积具体是：在卷积过程中，根据混合特征映射的频率将输入图像分解为高频和低频两个分量，将平滑变化的低频特征下采样，存储在低分辨率的空间块中，不同的卷积核分别用于高频和低频特征，更新同一频率的特征，交换不同频率的特征。
CN202010500467.8A 2020-06-04 2020-06-04 基于空谱胶囊生成对抗网络的遥感图像分类方法 Active CN111860124B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010500467.8A CN111860124B (zh) 2020-06-04 2020-06-04 基于空谱胶囊生成对抗网络的遥感图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010500467.8A CN111860124B (zh) 2020-06-04 2020-06-04 基于空谱胶囊生成对抗网络的遥感图像分类方法

Publications (2)

Publication Number Publication Date
CN111860124A true CN111860124A (zh) 2020-10-30
CN111860124B CN111860124B (zh) 2024-04-02

Family

ID=72985414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010500467.8A Active CN111860124B (zh) 2020-06-04 2020-06-04 基于空谱胶囊生成对抗网络的遥感图像分类方法

Country Status (1)

Country Link
CN (1) CN111860124B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613536A (zh) * 2020-12-08 2021-04-06 燕山大学 一种基于smote和深度学习的近红外光谱柴油牌号识别方法
CN113378680A (zh) * 2021-06-01 2021-09-10 厦门大学 一种拉曼光谱数据的智能建库方法
CN113435243A (zh) * 2021-05-14 2021-09-24 西安电子科技大学 一种高光谱真实下采样模糊核估计方法
CN114399440A (zh) * 2022-01-13 2022-04-26 马上消费金融股份有限公司 图像处理方法、图像处理网络训练方法、装置及电子设备
CN115270997A (zh) * 2022-09-20 2022-11-01 中国人民解放军32035部队 基于迁移学习的火箭目标姿态稳定判别方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016091017A1 (zh) * 2014-12-09 2016-06-16 山东大学 一种高光谱图像分类中光谱向量互相关特征的抽取方法
CN109145992A (zh) * 2018-08-27 2019-01-04 西安电子科技大学 协作生成对抗网络和空谱联合的高光谱图像分类方法
CN109948693A (zh) * 2019-03-18 2019-06-28 西安电子科技大学 基于超像素样本扩充和生成对抗网络高光谱图像分类方法
CN109961096A (zh) * 2019-03-19 2019-07-02 大连理工大学 一种多模高光谱图像迁移分类方法
US20190294758A1 (en) * 2018-03-26 2019-09-26 Uchicago Argonne, Llc Identification and localization of rotational spectra using recurrent neural networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016091017A1 (zh) * 2014-12-09 2016-06-16 山东大学 一种高光谱图像分类中光谱向量互相关特征的抽取方法
US20190294758A1 (en) * 2018-03-26 2019-09-26 Uchicago Argonne, Llc Identification and localization of rotational spectra using recurrent neural networks
CN109145992A (zh) * 2018-08-27 2019-01-04 西安电子科技大学 协作生成对抗网络和空谱联合的高光谱图像分类方法
CN109948693A (zh) * 2019-03-18 2019-06-28 西安电子科技大学 基于超像素样本扩充和生成对抗网络高光谱图像分类方法
CN109961096A (zh) * 2019-03-19 2019-07-02 大连理工大学 一种多模高光谱图像迁移分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张鹏强;刘冰;余旭初;谭熊;杨帆;周增华;: "面向高光谱影像分类的生成式对抗网络", 测绘通报, no. 03 *
毕晓君;潘梦迪;: "基于生成对抗网络的机载遥感图像超分辨率重建", 智能系统学报, no. 01 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613536A (zh) * 2020-12-08 2021-04-06 燕山大学 一种基于smote和深度学习的近红外光谱柴油牌号识别方法
CN113435243A (zh) * 2021-05-14 2021-09-24 西安电子科技大学 一种高光谱真实下采样模糊核估计方法
CN113378680A (zh) * 2021-06-01 2021-09-10 厦门大学 一种拉曼光谱数据的智能建库方法
CN113378680B (zh) * 2021-06-01 2022-06-28 厦门大学 一种拉曼光谱数据的智能建库方法
CN114399440A (zh) * 2022-01-13 2022-04-26 马上消费金融股份有限公司 图像处理方法、图像处理网络训练方法、装置及电子设备
CN115270997A (zh) * 2022-09-20 2022-11-01 中国人民解放军32035部队 基于迁移学习的火箭目标姿态稳定判别方法及相关装置

Also Published As

Publication number Publication date
CN111860124B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
CN110135267B (zh) 一种大场景sar图像细微目标检测方法
Sun et al. Spectral–spatial feature tokenization transformer for hyperspectral image classification
CN110135366B (zh) 基于多尺度生成对抗网络的遮挡行人重识别方法
CN110378381B (zh) 物体检测方法、装置和计算机存储介质
CN109816012B (zh) 一种融合上下文信息的多尺度目标检测方法
CN111860124B (zh) 基于空谱胶囊生成对抗网络的遥感图像分类方法
CN112446270B (zh) 行人再识别网络的训练方法、行人再识别方法和装置
CN111199214B (zh) 一种残差网络多光谱图像地物分类方法
CN108108751B (zh) 一种基于卷积多特征和深度随机森林的场景识别方法
CN109344618B (zh) 一种基于深度森林的恶意代码分类方法
CN113191489B (zh) 二值神经网络模型的训练方法、图像处理方法和装置
CN111353531A (zh) 基于奇异值分解和空谱域注意力机制高光谱图像分类方法
CN111311702B (zh) 一种基于BlockGAN的图像生成和识别模块及方法
WO2022152009A1 (zh) 目标检测方法、装置、设备以及存储介质
Wu et al. A deep residual convolutional neural network for facial keypoint detection with missing labels
EP3872761A2 (en) Analysing objects in a set of frames
Gao et al. Robust template matching via hierarchical convolutional features from a shape biased CNN
Ge et al. Adaptive hash attention and lower triangular network for hyperspectral image classification
CN117131376A (zh) 一种基于视变换结合生成对抗网络进行持续学习的高光谱跨域鲁棒异常检测方法、系统、设备及介质
CN115311502A (zh) 基于多尺度双流架构的遥感图像小样本场景分类方法
Wang et al. Multi‐scale pedestrian detection based on self‐attention and adaptively spatial feature fusion
Sima et al. Composite kernel of mutual learning on mid-level features for hyperspectral image classification
CN116953702A (zh) 基于演绎范式的旋转目标检测方法及装置
US20230029163A1 (en) Wafer map analysis system using neural network and method of analyzing wafer map using the same
CN116188956A (zh) 一种深度伪造人脸图像检测的方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant