CN111709318B - 一种基于生成对抗网络的高分辨率遥感图像分类方法 - Google Patents

一种基于生成对抗网络的高分辨率遥感图像分类方法 Download PDF

Info

Publication number
CN111709318B
CN111709318B CN202010466429.5A CN202010466429A CN111709318B CN 111709318 B CN111709318 B CN 111709318B CN 202010466429 A CN202010466429 A CN 202010466429A CN 111709318 B CN111709318 B CN 111709318B
Authority
CN
China
Prior art keywords
training
class
sample
remote sensing
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010466429.5A
Other languages
English (en)
Other versions
CN111709318A (zh
Inventor
石程
吕志勇
杨秀红
尤珍臻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202010466429.5A priority Critical patent/CN111709318B/zh
Publication of CN111709318A publication Critical patent/CN111709318A/zh
Application granted granted Critical
Publication of CN111709318B publication Critical patent/CN111709318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Abstract

本发明公开了一种基于生成对抗网络的高分辨率遥感图像分类方法，具体步骤为：输入高分辨率遥感图像及其类标图像，在高分辨遥感图像上选择训练样本集和测试样本集；构造均值混淆矩阵和相应的训练类别对，分别对每一个训练类别对，构造训练样本对，并对训练样本对进行合成，得到图像块；搭建生成对抗网络并构造生成器和判别器损失函数；输入图像块，分别对生成器和判别器损失函数交替训练；根据训练好的生成器生成混合样本；将混合样本加入训练样本集；根据新的训练样本集训练深度卷积神经网络，输入测试样本集到深度卷积神经网络中，输出预测类标，完成分类。本发明能够有效提高分类边界的分类精度，可用于到环境监测、城市规划以及防灾减灾。

Description

一种基于生成对抗网络的高分辨率遥感图像分类方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于生成对抗网络的高分辨率遥感图像分类方法。
背景技术
自从1972年第一颗用于观测地球资源的卫星被发射升空之后，许多国家发现从空间采集的图像在发展规划和项目评估方面具有广泛的应用前景，我国也设立了高分专项工程，并从2010年以来，已经发射了9颗高分系列卫星。这些高分卫星为我们传输回了大量的高分辨率遥感图像，所以对海量的高分辨率遥感图像进行自动化的处理任务迫在眉睫。
高分辨率遥感图像处理的一个主要内容就是地物目标分类。分类是一种描述地物目标或种类的分析技术，其主要任务是对数据体的每个像素点赋予一个类别标记以产生专题地图的一种过程，它是人们从遥感影像上提取有用信息的重要途径之一。分类后产生的专题地图可以清晰地反映出地物的空间分布，便于人们从中认识和发现其规律，使高分辨率遥感图像具有真正的使用价值并有效的投入到实际应用中。
传统的高分辨率遥感图像分类方法是目视解译，目视技术利用了人类优秀的思维能力来定性评价图像中的空间模式。这种方法存在一定的缺点，它需要图像目视判读者具有丰富的地学知识和目视判读经验，并且劳动强度大，需要花费大量的时间。另外光谱特性不是都可以用目视解译的方法全面评定的。为了提高分类的质量和效率，从上世纪70年代起，人们开始重视由计算机自动获取遥感图像中专题信息的方法研究。当时主要是利用传统的统计模式识别方法进行遥感计算机解译，分类精度不能够令人满意，随着遥感影像不断的发展变化，对分类算法也在不断的提出新的要求，因此改进现有分类算法，寻找新的方法一直是遥感应用研究中的热点之一。
目前，市场上使用较多的分类方法大多属于全监督学习分类技术。传统的监督学习算法只对大量的已标注样本进行学习，建立模型来预测未标注样本的输出。飞速发展的遥感数据收集和存储技术使得获取大量的未标注样本非常容易，而获取大量的已标注样本却非常困难。在遥感领域，样本标注需要花费大量的人力物力，且目视解译容易标注出错。为了尽可能准确的识别出未标注样本，提高分类精度，需要对大量样本进行人工标注，提高目视解译准确率，非常耗时耗力。因此当前高分辨率遥感图像分类研究中最关注的问题是如何结合少量的“昂贵的”已标注样本和大量的“廉价的”未标注样本来提高高分辨率遥感图像的分类精度，这种技术被称为半监督分类。
半监督分类技术通常采用归纳-演绎式的两步骤：首先利用少量已标记样本对分类模型进行初始学习，然后利用大量未标记样本对模型进行进一步的修正，最后利用修正后的模型预测未标注样本。常用的半监督学习方法有自我学习、基于图的半监督学习、协同训练，但是现有的半监督学习方法通常性能不太稳定。
近几年来，基于对抗生成网络的样本生成方法在高分辨率遥感图像上得到了有效地应用。不同于传统的半监督分类技术，对抗生成网络是根据标记样本的分布，构造出新的样本，以提高分类器的分类性能。该类方法能够突破传统半监督学习方法性能不稳定的问题，但是仍然存在不足：在高分辨率遥感图像分类中，绝大多数的标记样本都是容易被正确分类的样本，称为“简单样本”，少量的标记样本位于分类边界，也是最容易被错误分类的样本，称为“难样本”。传统的生成对抗网络生成的样本与标记样本具有相同的分布，也就是说生成了大量的简单样本，这些样本并没有提高分类器在分类边界的分类能力，因此对于分类精度的提高有限。
发明内容
本发明针对上述已有技术的不足，提出一种基于生成对抗网络的高分辨率遥感图像分类方法，根据有限的标记样本，对现有的生成对抗网络进行改进，提高分类器在分类边界的分类精度以解决现有技术在分类边界分类精度不高的问题，提高高分辨率遥感图像的分类精度。该方法可用于气象监测、环境监测、土地利用、城市规划以及防灾减灾。
为实现上述目的，本发明所采用的技术方案是：
一种基于生成对抗网络的高分辨率遥感图像分类方法，包括如下步骤：
步骤1：输入高分辨率遥感图像和该图像中每个像素的真实类标图像，选择训练样本集和测试样本集；
步骤2：根据训练样本集，利用5折交叉验证法，用深度卷积神经网络进行分类，得到均值混淆矩阵；
步骤3：根据均值混淆矩阵构造M组训练类别对，其中M为高分辨率遥感图像的类别数，分别对每一个训练类别对，执行步骤4-步骤8；
步骤4：分别对每一个训练类别对，构造训练样本对xA(i)和xB(i)，i＝1，...，100，设置对应的临时类标为lA(i)和lB(i)，其中，lA(i)＝0，lB(i)＝1；分别将每一个训练样本对按照光谱维数方向组合成一个图像块；
步骤5：搭建生成对抗网络，并构造生成器和判别器损失函数；
步骤6：输入图像块，分别对生成器和判别器的损失函数交替进行训练，直到达到预先设定的迭代次数；
步骤7：根据步骤6，将训练样本对xA(i)和xB(i)按照光谱维数方向组合成一个图像块，并将图像块输入到训练好的生成器中，生成最终的混合样本gAB(i)；
步骤8：将最终的混合样本gAB(i)的类标指定为训练样本xA(i)在真实类标图上的真实类标，将最终生成的所有混合样本gAB(i)，i＝1，...，100加入训练样本集合中；
步骤9：根据更新的训练样本集合，对步骤2中构造的深度卷积神经网络再次进行训练，并将测试样本集内的样本输入到训练好的深度卷积神经网络中，输出测试样本的预测标签，获得分类结果。
进一步地，所述步骤1的具体做法为：
步骤1.1：以高分辨率遥感图像中的每个有标签的像素为中心，划定一个27×27个像素大小的空间窗；
步骤1.2：将每个空间窗内所有的像素组成一个数据立方体；
步骤1.3：将所有的数据立方体组成高光谱图像的样本集；
步骤1.4：在高分辨率遥感图像的样本集中，分别对每一类随机选取100个样本，组成高分辨率遥感图像的训练样本集；将剩余样本组成高分辨率遥感图像的测试样本集。
进一步地，所述步骤2的具体做法为：
步骤2.1：将训练样本集等分为5个子集，轮流将每个子集做一次验证子集，其余的4组子集结合起来作为训练子集，这样会得到5个组合，分别对每一个组合，执行步骤2.2-步骤2.4；
步骤2.2：构造一个4层的三维深度卷积神经网络，并将训练子集作为该三维深度卷积神经网络的输入，对该网络进行训练，得到训练好的三维深度卷积神经网络；
步骤2.3：将验证子集的样本输入到步骤2.2中训练好的三维深度卷积神经网络，根据网络中训练好的参数值，得到验证子集内每一个样本的预测类标；
步骤2.4：根据验证子集内每一个样本的预测类标和真实类标，计算混淆矩阵；
步骤2.5：计算5个混淆矩阵的均值，得到均值混淆矩阵。
进一步地，所述步骤3中的根据均值混淆矩阵构造M组训练类别对的具体做法为：分别对均值混淆矩阵的第k行，将第k个数值对应的列号设置为A类的类别，将同一行的除了第k个数值之外其余最大数值对应的列号设置为对应的B类的类别，A类和B类被认为是一个训练样本对，总共可以获得M个训练样本对。
进一步地，所述步骤4中的构造训练样本对，是分别对每一个训练类别对，分别从A类样本和B类样本中不重复的随机选择一个样本，构成训练样本对xA(i)和xB(i)，i＝1，...，100，并设置对应的临时类标lA(i)和lB(i)，其中lA(i)＝0，lB(i)＝1。
进一步地，所述步骤5的具体做法为：
步骤5.1：搭建生成对抗网络：
搭建一个由卷积层和逆卷积层构成的生成器，并设置每层参数；
搭建一个由2个卷积层、2个下采样层，一个全连接层和一个分类层构成的判别器，并设置每层参数；
将生成器和判别器组成生成对抗网络；
步骤5.2：用生成器生成样本：
将步骤4得到的训练样本对xA(i)和xB(i)按照光谱维数方向组合成一个图像块，作为生成器的输入，生成混合样本gAB(i)，i＝1，...，100，并设gAB的临时类标为lA(i)，与训练样本xA(i)的类标相同；
步骤5.3：用鉴别器分类样本：
分别将训练样本xB(i)和混合样本gAB(i)作为判别器的输入，分别输出xB(i)和gAB(i)的预测标签l′B(i)和l′AB(i)，i＝1，...，100；
步骤5.4：构造生成器和判别器的损失函数：
分别对生成的混合样本gAB(i)与训练样本xA(i)均方根误差，混合样本gAB(i)与训练样本xB(i)的均方根误差，以及混合样本gAB(i)的预测标签l′AB(i)和训练样本xA(i)的临时类标lA(i)的交叉熵，三项加权和作为生成器的损失函数；
生成器的损失函数LG计算公式如下：
Figure BDA0002513227310000061
其中f(·)表示交叉熵函数，λ1和λ2表示调节参数，本发明中，λ1和λ2的值均设为0.5；
分别计算训练样本xB(i)的预测标签l′B(i)和临时类标lB(i)的交叉熵，以及生成的混合样本gAB(i)的预测标签l′AB(i)和训练样本xA(i)的临时类标lA(i)的交叉熵，并将两个交叉熵的和作为鉴别器的损失函数LD；
判别器的损失函数LD计算公式如下：
Figure BDA0002513227310000071
进一步地，所述步骤6交替训练生成器和判别器的具体做法为：
步骤6.1：利用梯度下降法，用生成器的损失函数训练生成器；
步骤6.2：利用梯度下降法，用鉴别器的损失函数训练鉴别器；
步骤6.3：重复执行步骤6.1和步骤6.2，直到达到预先设定的迭代次数，停止迭代。
本发明与现有技术相比，具有如下有益效果：
本发明克服了传统的生成对抗网络中仅能生成与标记样本同分布的样本的局限，设计了一种改进的生成对抗网络，用来生成靠近分类分界的混合样本，提高分类器在分类边界的分类精度。
附图说明
图1是本发明的一种基于生成对抗网络的高分辨率遥感图像分类方法流程框图；
图2是本发明实施例使用高分辨率遥感图像及其对应的类标图像；
图3是本发明中深度卷积神经网络的结构图；
图4是本发明中根据混淆矩阵选择样本对的示意图；
图5是本发明中搭建的生成对抗网络示意图；
图6是用本发明和现有技术对图2的分类结果对比图。
具体实施方式
以下参照附图，对本发明的技术方案和效果做进一步详细描述。
如图1所示，本发明的实现步骤如下：
步骤1：输入高分辨率遥感图像和该图像中每个像素的真实类标图像，选择训练样本集和测试样本集，图2(a)为输入的高分辨率遥感图像，图2(b)为2(a)对应的类标图像。
步骤1.1：以高分辨率遥感图像中的每个有标签像素为中心，划定一个27×27个像素大小的空间窗；
步骤1.2：将每个空间窗内所有的像素组成一个数据立方体；
步骤1.3：将所有的数据立方体组成高光谱图像的样本集；
步骤1.4：在高分辨率遥感图像的样本集中，分别对每一类随机选取100个样本，组成高分辨率遥感图像的训练样本集；将剩余样本组成高分辨率遥感图像的测试样本集。
步骤2：根据训练样本集内的样本，利用5折交叉验证法，得到均值混淆矩阵。
步骤2.1：将训练样本集等分为5个子集，轮流将每个子集做一次验证子集，其余的4组子集结合起来作为训练子集，这样会得到5个组合，分别对每一个组合，执行步骤2.2-步骤2.4。
步骤2.2：构造一个如图3所示的4层的三维深度卷积神经网络，并将训练子集作为该三维深度卷积神经网络的输入，对该网络采用梯度下降法进行训练，得到训练好的网络，深度卷积神经网络参数如表1所示。
表1深度卷积神经网络参数
Figure BDA0002513227310000081
Figure BDA0002513227310000091
步骤2.3：将验证子集的样本输入到步骤2.2中训练好的深度卷积神经网络，根据网络中训练好的参数值，得到验证子集内每一个样本的预测类标。
步骤2.4：根据验证子集内每一个样本的预测类标和真实类标，计算混淆矩阵。
步骤2.5：计算5个混淆矩阵的均值，得到均值混淆矩阵。
步骤3：训练类别对构造。
根据图4所示的均值混淆矩阵构造方法，按照如下步骤构造M个训练类别对，其中M为高分辨率遥感图像的类别数：
分别对均值混淆矩阵的第k行，将第k个数值对应的列号设置为A类的类别，将同一行的除了第k个数值之外其余最大数值对应的列号设置为对应的B类的类别。A类和B类被认为是一个训练样本对，总共可以获得M个训练样本对。分别对每一个训练类别对，执行步骤4-步骤8。
混淆矩阵主要用于比较预测类标和真实类标的差异，可以把分类结果的精度显示在一个混淆矩阵里面。混淆矩阵的一个示意图如图4所示，混淆矩阵的行数和列数均为分类的类别数，通过混淆矩阵中元素C(i，j)表示预测类标是第i类的样本而在真实类标图上属于第j类的样本数目，在混淆矩阵中可以看出混淆矩阵的对角线上的数字表示每一类分类正确的样本数，其余位置的数字表示分类错误的样本数。
步骤4：训练样本对构造。
对每一个训练类别对，分别从A类样本和B类样本中不重复的随机选择一个训练样本，构成训练样本对xA(i)和xB(i)，i＝1，...，100，并设置对应的临时类标lA(i)和lB(i)，本发明中，lA(i)＝0，lB(i)＝1，并分别将每一个训练样本对按照光谱维数方向组合成一个图像块。
步骤5：搭建生成对抗网络，并构造生成器和判别器损失函数。
步骤5.1：搭建生成对抗网络
搭建一个7层的卷积层和逆卷积层构成的生成器，并设置每层参数。
搭建一个由2个卷积层、2个下采样层，一个全连接层和一个分类层构成的4层判别器，并设置每层参数，判别器在本发明中是一个二分类的分类器。
将生成器和判别器组合成对抗生成网络，生成器和判别器的网络结构如图5所示，生成器和判别器参数设置如表2所示。
表2本发明中生成对抗网络的参数
Figure BDA0002513227310000101
Figure BDA0002513227310000111
步骤5.2：用生成器生成样本
将步骤4得到的训练样本对xA(i)和xB(i)按照光谱维数方向组合成一个图像块，作为生成器的输入，生成混合样本gAB(i)，i＝1，...，100，并设gAB的临时类标为lA(i)，与训练样本xA(i)的临时类标相同。
步骤5.3：用鉴别器分类样本
分别将训练样本xB(i)和混合样本gAB(i)作为判别器的输入，分别输出xB(i)和gAB(i)的预测标签l′B(i)和l′AB(i)，i＝1，...，100。
步骤5.4：构造生成对抗网络的损失函数
分别对生成的混合样本gAB(i)与训练样本xA(i)均方根误差，混合样本gAB(i)与训练样本xB(i)的均方根误差，以及混合样本gAB(i)的预测标签l′AB(i)和训练样本xA(i)的临时类标lA(i)的交叉熵，三项加权和作为生成器的损失函数；
生成器的损失函数LG计算公式如下：
Figure BDA0002513227310000112
其中f(·)表示交叉熵函数，λ1和λ2表示调节参数。本发明中，λ1和λ2的值均设为0.5。
分别计算训练样本xB(i)的预测标签l′B(i)和临时类标lB(i)的交叉熵，以及生成的混合样本gAB(i)的预测标签l′AB(i)和训练样本xA(i)的临时类标lA(i)的交叉熵，并将两个交叉熵的和作为鉴别器的损失函数LD；
判别器的损失函数LD计算公式如下：
Figure BDA0002513227310000121
步骤6：生成器和判别器损失函数的训练
步骤6.1：利用梯度下降法，最小化生成器的损失函数
Figure BDA0002513227310000122
对生成器进行训练。
步骤6.2：利用梯度下降法，最小化鉴别器的损失函数
Figure BDA0002513227310000123
对鉴别器进行训练。
步骤6.3：重复执行步骤6.1和步骤6.2，直到达到预先设定的迭代次数，停止迭代，完成训练，本发实施例中迭代次数设置为100次。
步骤7：根据步骤6，将训练样本对xA(i)和xB(i)按照光谱维数方向组合成一个图像块，并将图像块输入到训练好的生成器中，生成最终的混合样本gAB(i)。
步骤8：将最终的混合样本gAB(i)的类标指定为训练样本xA(i)在真实类标图上的真实类标，将最终生成的所有混合样本gAB(i)，i＝1，...，100加入训练样本集合中。
步骤9：根据更新的训练样本集合，对步骤2中构造的深度卷积神经网络再次进行训练，并将测试样本集内的样本输入到训练好的深度卷积神经网络中，输出测试样本的预测标签，获得分类结果。
本发明的效果可以用下列的仿真实验进一步说明：
(1)仿真条件
本发明的仿真的硬件条件为：windows XP，SPI，CPU Pentium(R)4，基本频率为2.4GHZ；软件平台为：MatlabR2016a，pytorch；
如图2(a)所示，仿真选用的图片来源是Pavia University的高分辨率遥感图像，该图像中共有9类地物，图2(b)为图2(a)对应的类标图像；本发明中，分别对每一类随机选择100个像素点作为初始训练样本。
仿真方法分别用本发明方法和现有的CNNs、TSVM和SemiSAE方法。
(2)仿真内容及结果
仿真，用本发明和所述现有的三种方法对图2(a)进行分类仿真，结果如图6，其中：
图6(a)是用CNNs方法的分类结果图；
图6(b)是用TSVM方法的分类结果图；
图6(c)是用SemiSAE方法的分类结果图；
图6(d)是用本发明方法的分类结果图。
从图6(a)-6(d)的分类结果图可见，本发明的分类方法精度和分类效果更好。表3显示了本发明的分类方法与其他三种分类方法在精度方面的指标值，也显示本发明得到的分类精度更好。
表3为本发明方法与现有的方法分类结果的精度对比
Figure BDA0002513227310000131
Figure BDA0002513227310000141
以上实验结果表明：与现有技术的技术相比，本发明在解分类边界精度较低方面，具有明显的优势，有效提高有限训练样本下的高分辨率遥感图像的分类精度。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (7)

1.一种基于生成对抗网络的高分辨率遥感图像分类方法，其特征在于，包括如下步骤：
步骤1：输入高分辨率遥感图像和该图像中每个像素的真实类标图像，选择训练样本集和测试样本集；
步骤2：根据训练样本集，利用5折交叉验证法，用深度卷积神经网络进行分类，得到均值混淆矩阵；
步骤3：根据均值混淆矩阵构造M组训练类别对，其中M为高分辨率遥感图像的类别数，分别对每一个训练类别对，执行步骤4-步骤8；
步骤4：分别对每一个训练类别对，构造训练样本对xA(i)和xB(i)，i＝1，...，100，设置对应的临时类标为lA(i)和lB(i)，其中，lA(i)＝0，lB(i)＝1；分别将每一个训练样本对按照光谱维数方向组合成一个图像块；
步骤5：搭建生成对抗网络，并构造生成器和判别器损失函数；
步骤6：输入图像块，分别对生成器和判别器的损失函数交替进行训练，直到达到预先设定的迭代次数；
步骤7：根据步骤6，将训练样本对xA(i)和xB(i)按照光谱维数方向组合成一个图像块，并将图像块输入到训练好的生成器中，生成最终的混合样本gAB(i)；
步骤8：将最终的混合样本gAB(i)的类标指定为训练样本xA(i)在真实类标图上的真实类标，将最终生成的所有混合样本gAB(i)，i＝1，...，100加入训练样本集合中；
步骤9：根据更新的训练样本集合，对步骤2中构造的深度卷积神经网络再次进行训练，并将测试样本集内的样本输入到训练好的深度卷积神经网络中，输出测试样本的预测标签，获得分类结果。
2.根据权利要求1所述的一种基于生成对抗网络的高分辨率遥感图像分类方法，其特征在于，所述步骤1的具体做法为：
步骤1.1：以高分辨率遥感图像中的每个有标签的像素为中心，划定一个27×27个像素大小的空间窗；
步骤1.2：将每个空间窗内所有的像素组成一个数据立方体；
步骤1.3：将所有的数据立方体组成高光谱图像的样本集；
步骤1.4：在高分辨率遥感图像的样本集中，分别对每一类随机选取100个样本，组成高分辨率遥感图像的训练样本集；将剩余样本组成高分辨率遥感图像的测试样本集。
3.根据权利要求1所述的一种基于生成对抗网络的高分辨率遥感图像分类方法，其特征在于，所述步骤2的具体做法为：
步骤2.1：将训练样本集等分为5个子集，轮流将每个子集做一次验证子集，其余的4组子集结合起来作为训练子集，这样会得到5个组合，分别对每一个组合，执行步骤2.2-步骤2.4；
步骤2.2：构造一个4层的三维深度卷积神经网络，并将训练子集作为该三维深度卷积神经网络的输入，对该网络进行训练，得到训练好的三维深度卷积神经网络；
步骤2.3：将验证子集的样本输入到步骤2.2中训练好的三维深度卷积神经网络，根据网络中训练好的参数值，得到验证子集内每一个样本的预测类标；
步骤2.4：根据验证子集内每一个样本的预测类标和真实类标，计算混淆矩阵；
步骤2.5：计算5个混淆矩阵的均值，得到均值混淆矩阵。
4.根据权利要求1所述的一种基于生成对抗网络的高分辨率遥感图像分类方法，其特征在于，所述步骤3中的根据均值混淆矩阵构造M组训练类别对的具体做法为：分别对均值混淆矩阵的第k行，将第k个数值对应的列号设置为A类的类别，将同一行的除了第k个数值之外其余最大数值对应的列号设置为对应的B类的类别，A类和B类被认为是一个训练样本对，总共可以获得M个训练样本对。
5.根据权利要求1所述的一种基于生成对抗网络的高分辨率遥感图像分类方法，其特征在于，所述步骤4中的构造训练样本对，是分别对每一个训练类别对，分别从A类样本和B类样本中不重复的随机选择一个样本，构成训练样本对xA(i)和xB(i)，i＝1，...，100，并设置对应的临时类标lA(i)和lB(i)，其中lA(i)＝0，lB(i)＝1。
6.根据权利要求1所述的一种基于生成对抗网络的高分辨率遥感图像分类方法，其特征在于，所述步骤5的具体做法为：
步骤5.1：搭建生成对抗网络：
搭建一个由卷积层和逆卷积层构成的生成器，并设置每层参数；
搭建一个由2个卷积层、2个下采样层，一个全连接层和一个分类层构成的判别器，并设置每层参数；
将生成器和判别器组成生成对抗网络；
步骤5.2：用生成器生成样本：
将步骤4得到的训练样本对xA(i)和xB(i)按照光谱维数方向组合成一个图像块，作为生成器的输入，生成混合样本gAB(i)，i＝1，...，100，并设gAB的临时类标为lA(i)，与训练样本xA(i)的临时类标相同；
步骤5.3：用鉴别器分类样本：
分别将训练样本xB(i)和混合样本gAB(i)作为判别器的输入，分别输出xB(i)和gAB(i)的预测标签l′B(i)和l′AB(i)，i＝1，...，100；
步骤5.4：构造生成器和判别器的损失函数：
分别对生成的混合样本gAB(i)与训练样本xA(i)均方根误差，混合样本gAB(i)与训练样本xB(i)的均方根误差，以及混合样本gAB(i)的预测标签l′AB(i)和训练样本xA(i)的临时类标lA(i)的交叉熵，三项加权和作为生成器的损失函数；
生成器的损失函数LG计算公式如下：
Figure FDA0002513227300000041
其中f(·)表示交叉熵函数，λ1和λ2表示调节参数，λ1和λ2的值均设为0.5；
分别计算训练样本xB(i)的预测标签l′B(i)和临时类标lB(i)的交叉熵，以及生成的混合样本gAB(i)的预测标签l′AB(i)和训练样本xA(i)的临时类标lA(i)的交叉熵，并将两个交叉熵的和作为鉴别器的损失函数LD；
判别器的损失函数LD计算公式如下：
Figure FDA0002513227300000042
7.根据权利要求1所述的一种基于生成对抗网络的高分辨率遥感图像分类方法，其特征在于，所述步骤6交替训练生成器和判别器的具体做法为：
步骤6.1：利用梯度下降法，用生成器的损失函数训练生成器；
步骤6.2：利用梯度下降法，用鉴别器的损失函数训练鉴别器；
步骤6.3：重复执行步骤6.1和步骤6.2，直到达到预先设定的迭代次数，停止迭代。
CN202010466429.5A 2020-05-28 2020-05-28 一种基于生成对抗网络的高分辨率遥感图像分类方法 Active CN111709318B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010466429.5A CN111709318B (zh) 2020-05-28 2020-05-28 一种基于生成对抗网络的高分辨率遥感图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010466429.5A CN111709318B (zh) 2020-05-28 2020-05-28 一种基于生成对抗网络的高分辨率遥感图像分类方法

Publications (2)

Publication Number Publication Date
CN111709318A CN111709318A (zh) 2020-09-25
CN111709318B true CN111709318B (zh) 2023-03-24

Family

ID=72538144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010466429.5A Active CN111709318B (zh) 2020-05-28 2020-05-28 一种基于生成对抗网络的高分辨率遥感图像分类方法

Country Status (1)

Country Link
CN (1) CN111709318B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949699A (zh) * 2021-02-09 2021-06-11 国家卫星气象中心(国家空间天气监测预警中心) 一种遥感图像分类模型建立与验证方法、系统及电子设备
CN113807400B (zh) * 2021-08-17 2024-03-29 西安理工大学 一种基于对抗攻击的高光谱图像分类方法、系统和设备
CN115001559B (zh) * 2022-03-17 2023-04-18 中国科学院计算技术研究所 一种适用于卫星网络的用户终端分布模型构建方法
CN115984635B (zh) * 2023-03-21 2023-07-07 自然资源部第一海洋研究所 多源遥感数据分类模型训练方法、分类方法和电子设备
CN117237952B (zh) * 2023-11-15 2024-02-09 山东大学 基于免疫地形图的染色病理切片细胞分布标注方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764173A (zh) * 2018-05-31 2018-11-06 西安电子科技大学 基于多类生成对抗网络的高光谱图像分类方法
CN109145992A (zh) * 2018-08-27 2019-01-04 西安电子科技大学 协作生成对抗网络和空谱联合的高光谱图像分类方法
CN110097103A (zh) * 2019-04-22 2019-08-06 西安电子科技大学 基于生成对抗网络的半监督图像分类方法
CN110689086A (zh) * 2019-10-08 2020-01-14 郑州轻工业学院 基于生成式对抗网络的半监督高分遥感图像场景分类方法
WO2020029356A1 (zh) * 2018-08-08 2020-02-13 杰创智能科技股份有限公司 一种基于生成对抗网络的脸部变化预测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764173A (zh) * 2018-05-31 2018-11-06 西安电子科技大学 基于多类生成对抗网络的高光谱图像分类方法
WO2020029356A1 (zh) * 2018-08-08 2020-02-13 杰创智能科技股份有限公司 一种基于生成对抗网络的脸部变化预测方法
CN109145992A (zh) * 2018-08-27 2019-01-04 西安电子科技大学 协作生成对抗网络和空谱联合的高光谱图像分类方法
CN110097103A (zh) * 2019-04-22 2019-08-06 西安电子科技大学 基于生成对抗网络的半监督图像分类方法
CN110689086A (zh) * 2019-10-08 2020-01-14 郑州轻工业学院 基于生成式对抗网络的半监督高分遥感图像场景分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
结合ERDAS的基于BPNN遥感图像分类;刘伟;《兵工自动化》;20060815(第04期);全文 *
面向高光谱影像分类的生成式对抗网络;张鹏强等;《测绘通报》;20200325(第03期);全文 *

Also Published As

Publication number Publication date
CN111709318A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
CN111709318B (zh) 一种基于生成对抗网络的高分辨率遥感图像分类方法
Ulmas et al. Segmentation of satellite imagery using u-net models for land cover classification
CN110245709B (zh) 基于深度学习和自注意力的3d点云数据语义分割方法
CN108564109B (zh) 一种基于深度学习的遥感图像目标检测方法
CN106909924B (zh) 一种基于深度显著性的遥感影像快速检索方法
CN112070078B (zh) 基于深度学习的土地利用分类方法及系统
CN110852227A (zh) 高光谱图像深度学习分类方法、装置、设备及存储介质
CN107358142A (zh) 基于随机森林构图的极化sar图像半监督分类方法
CN106529508A (zh) 基于局部和非局部多特征语义高光谱图像分类方法
CN106683102B (zh) 基于脊波滤波器和卷积结构学习模型的sar图像分割方法
CN103063202A (zh) 基于遥感影像的蓝藻生物量时空变化监测与可视化方法
CN104182767B (zh) 主动学习和邻域信息相结合的高光谱图像分类方法
CN113011397B (zh) 基于遥感图像4D-FractalNet的多因素蓝藻水华预测方法
CN114092697B (zh) 注意力融合全局和局部深度特征的建筑立面语义分割方法
CN110298348A (zh) 遥感影像建筑物样本区域提取方法及系统、存储介质、设备
CN114677522B (zh) 基于建筑图斑和深度学习的建筑结构类型预测方法及系统
CN113807278A (zh) 一种基于深度学习的土地利用分类及变化预测方法
CN112084860A (zh) 目标对象检测、火力发电厂检测方法和装置
CN111738052A (zh) 基于深度学习的多特征融合高光谱遥感地物分类方法
Hui et al. Classification of wetland from TM imageries based on decision tree
Zhang et al. Evaluating the generalization ability of convolutional neural networks for built-up area extraction in different cities of China
CN111222576B (zh) 一种高分辨率遥感图像分类方法
CN113591608A (zh) 一种基于深度学习的高分辨率遥感影像不透水面提取方法
Wenzel et al. Facade interpretation using a marked point process
Vaidya et al. Classifying heterogeneous urban form into local climate zones using supervised learning and greedy clustering incorporating Landsat dataset

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant