CN110287800A - 一种基于sgse-gan的遥感图像场景分类方法 - Google Patents

一种基于sgse-gan的遥感图像场景分类方法 Download PDF

Info

Publication number
CN110287800A
CN110287800A CN201910455833.XA CN201910455833A CN110287800A CN 110287800 A CN110287800 A CN 110287800A CN 201910455833 A CN201910455833 A CN 201910455833A CN 110287800 A CN110287800 A CN 110287800A
Authority
CN
China
Prior art keywords
remote sensing
network
sensing images
image
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910455833.XA
Other languages
English (en)
Other versions
CN110287800B (zh
Inventor
王鑫
李可
宁晨
吕国芳
张香梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201910455833.XA priority Critical patent/CN110287800B/zh
Publication of CN110287800A publication Critical patent/CN110287800A/zh
Application granted granted Critical
Publication of CN110287800B publication Critical patent/CN110287800B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于SGSE‑GAN的遥感图像场景分类方法，首先，针对带标签遥感图像场景数据匮乏导致分类效果欠佳的问题，提出了一种新的显著性引导的对称增强型生成对抗网络(称之为SGSE‑GAN)，用于遥感图像数据增强，以生成与原始遥感图像分布极为相似的遥感合成图像；其次，针对小样本带标签原始遥感图像和合成的带标签遥感图像，设计一种改进的深度学习模型I‑VGG19，即在经典的深度卷积神经网络VGG19中嵌入若干归一化层，以提升模型训练的速度和特征提取的准确性；最后，将提取得到的深度特征输入到支持向量机分类器中，实现遥感图像的分类。

Description

一种基于SGSE-GAN的遥感图像场景分类方法
技术领域
本发明属于图像处理领域，尤其涉及一种基于SGSE-GAN的遥感图像场景分类方法。
背景技术
遥感图像的分类任务，综合了遥感图像处理和分析、模式识别、机器学习等多个领域的知识，是遥感图像解译的重要基础，为遥感图像的应用(如精确制导、海情监控、应急减灾和交通监管等)提供了不可或缺的分析数据，因此对其深入研究具有很高的理论意义和实用价值。近年来，由于卫星传感技术的快速发展，遥感图像分辨率日益提升，遥感图像的像素或超像素仅仅包含地物底层信息，不能对图像高层语义内容进行描述，导致了传统的“面向像素”和“面向对象”的分类方法无法满足遥感图像高层次内容解译的需求。因此，“面向场景”的遥感图像分类引起了国内外研究学者的广泛关注，并成为了遥感领域的一个活跃的研究课题，目前所取得的研究成果基本上实现了从地物底层特征到高层场景语义理解上的跨越。
近十年来，以卷积神经网络(Convolutional Neural Network,CNN)为代表的深度学习方法在自然语言处理、图像识别、目标检测等任务上取得了突破性的进展。尤其在许多极具挑战性的图像识别和检测数据集上，其性能均大幅度地超越了传统方法，展现出强大的特征表达能力。随着深度学习在图像处理领域研究的不断深入，人们发现深度学习也可以有效应用于遥感图像的分类任务中。
综上，现有的遥感图像场景分类方法，存在的诸多局限性主要表现在：
(1)遥感图像数据集匮乏。由于遥感图像的特殊性，其高昂的价格使得获取大量可供训练的数据集本身就是一项耗时耗力的工程，正确标注多时相、多地区的遥感图像数据更是一件很难完成的任务。训练数据的缺乏使得利用深度学习进行遥感图像分类的准确率受限。
(2)深度神经网络训练困难。训练深度神经网络需要在稳定的硬件环境中进行数月的实验，并且要经历大量的训练和调优过程。迁移学习虽然能一定程度上解决这一问题，但是针对一个具体的视觉任务，要取得很好的效果，即便采用迁移学习的方式，也需要一定数量的样本。
发明内容
发明目的：针对现有技术中存在的问题，本发明提供一种基于SGSE-GAN的遥感图像场景分类方法。该方法可以避免传统基于深度学习的遥感图像场景分类方法，由于数据集的缺乏和网络训练过程困难而导致的分类性能不高的问题，通过提出的显著性引导的对称增强生成对抗网络增强遥感图像数据集、迁移学习的方式降低网络训练难度，能有效提升分类准确率。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于SGSE-GAN的遥感图像场景分类方法，该方法的具体步骤如下：
(1)基于显著性引导的对称增强型生成对抗网络，实现遥感图像数据增强，具体步骤包括：
(1.1)设置带标签的原始遥感数据集和通过仿真软件合成的虚假遥感图像数据集；
(1.2)在传统生成对抗网络的基础上，进行对称增强型生成对抗网络模型的构建，该网络中含有两个镜像对称的生成对抗网络，共享两个生成器，并各自自带一个判别器；
(1.3)基于构建好的对称增强型生成对抗网络，在生成器的编码器和判别器的卷积层之后嵌入显著性引导机制，通过显著性机制引导其中生成器和判别器的特征提取过程；
(1.4)将原始遥感数据集中的遥感图像样本X和通过仿真软件合成的虚假遥感图像样本Y输入提出的显著性引导的对称增强型生成对抗网络中，训练该网络；
(1.5)网络达到收敛之后，提取生成器生成的遥感图像，与对应输入网络中的原始遥感图像合并归为一类，得到新的遥感图像数据集，实现遥感图像的数据增强。
(2)基于步骤(1)得到的新的遥感图像数据集和改进的深度学习模型I-VGG19，进行遥感图像的特征提取，具体步骤包括：
(2.1)基于原始的VGG19深度卷积神经网络，在卷积层1_2、卷积层2_2、卷积层3_4、卷积层4_4和卷积层5_4之后嵌入若干归一化层，构建I-VGG19深度模型。
(2.2)基于步骤(1.5)中的新的遥感场景图像数据集，对改进的I-VGG19模型进行训练。
(2.3)基于步骤(2.2)中训练好的I-VGG19网络，进行遥感图像的特征提取。
(3)将步骤(2.3)中提取的特征向量输入支持向量机中，训练分类器，并实现遥感场景图像的分类。
其中，步骤(1.2)中的，在传统生成对抗网络的基础上，进行对称增强生成对抗网络模型的构建方法如下：
目前流行的生成对抗网络主要包含两个部分：生成器与判别器。生成器通过输入随机噪声产生虚假样本，判别器通过输入真实的训练数据和生成模型生成的训练数据来判断输入数据的真假。生成器和判别器不断进行对抗，使网络最终达到均衡，即生成器生成的图像接近于真实图像分布，而判别器识别不出真假图像。由这种方式生成的图像较为随机，导致数据增强效果不理想。
为此，本发明在目前流行的生成对抗网络基础上，构建了一种对称增强型生成对抗网络模型。该模型由两个镜像对称的生成对抗网络组成，它们共享两个生成器，并各自自带一个判别器。其中，生成器由编码器、转换器、解码器组成。编码器的主要作用是利用卷积神经网络从输入图像中提取特征；转化器的作用是通过组合图像的不相近特征，将图像X的特征向量转换为图像Y的特征向量；解码器的主要作用是利用反卷积层完成从特征向量中还原出低级特征的工作，最后得到生成图像。判别器由卷积神经网络组成，需要从图像中提取特征，再通过添加产生一维输出的卷积层来确定提取的特征是否属于特定类别。
该网络的实际工作原理如图2所示。网络包括两个对称的生成对抗网络，从步骤(1.1)中的原始遥感数据集中取出一张图像X，通过仿真软件合成的虚假遥感图像数据集中取出一张图像Y，将两张图像输入网络中。输入图像X经过生成器G之后得到生成图像G(X)，G(X)经过生成器F之后得到生成图像F(G(X))，通过输入图像X和生成图像F(G(X))计算生成器的一部分损失函数，判别器DX的损失函数由输入图像X和生成图像F(Y)计算得到。输入图像Y经过生成器F之后，得到生成图像F(Y)，F(Y)经过生成器G之后得到生成图像G(F(Y))，通过输入图像Y和生成图像G(F(Y))计算生成器的另一部分损失函数，判别器DY的损失函数由输入图像Y和生成图像G(X)计算得到。计算得到损失函数之后，采取合适的优化算法更新生成器和判别器的参数，最小化网络损失函数，使得网络中的生成图像F(Y)和F(G(X))与原始图像X分布相同，生成图像G(X)和G(F(Y))与原始图像Y分布相同。综上，网络整体输入为X和Y两张图像，经对称增强型生成对抗网络之后，得到生成器和判别器的损失函数用于后续的训练过程。
依据上述模型的构建，最终对称增强型生成对抗网络的网络损失将包括四部分组成：两个生成器产生的损失和两个判别器产生的损失。
设真实遥感场景图像为X，合成的遥感场景图像为Y，从X到Y的判别器DY的损失函数表示如下：
其中，G表示网络中的一个生成器，X是一张带标签的原始遥感图像、Y是一张通过仿真软件合成的虚假遥感图像，E表示该函数的数学期望，pdata(X)表示输入原始遥感图像的分布，pdata(Y)表示输入合成遥感图像的分布。
在从图像Y映射至图像X的过程中，判别器DX的损失函数为：
其中，F表示网络中另外一个生成器。
两个生成器的损失函数分别为和
其中，||·||1表示·的L1范数。
其中，步骤(1.3)中的，基于构建好的对称增强型生成对抗网络，在模型中嵌入显著性引导模块，通过显著性机制引导其中生成器和判别器的特征提取过程，方法如下：
目前流行的生成对抗网络主要通过卷积操作提取图像中特征，但是卷积操作受卷积核局部感受野的限制，往往无法获取图像的全局信息，生成的图像无法捕捉遥感图像的空间结构信息。
为此，本发明提出设计显著性机制，并将其分别引入提出的对称增强型生成对抗网络中的生成器和判别器中的卷积层之后，对卷积进行优化。在该机制引导下，生成器在生成图像过程中，对每个像素的细节信息与其他像素信息进行协调，从而有助于获取图像全局空间信息。而判别器在该机制引导下，将能够更准确地对全局图像结构执行复杂的几何约束。
在生成器中，是在编码器之后嵌入显著性引导机制；在判别器中，是在卷积层之后嵌入显著性引导机制。在两个生成器和两个判别器中都用到了显著性引导。编码器也是由卷积层组成的，编码器的卷积层得到特征图之后，按照下面所说的显著性引导机制的步骤对其进行操作。具体过程如下：
第一，将原始遥感图像输入生成器和判别器中，经过生成器和判别器中的卷积层提取得到特征图k，k经过三个1×1的卷积映射，得到f(k)、g(k)和h(k)：
f(k)＝Wfk
g(k)＝Wgk
h(k)＝Whk
其中，k的尺寸为C×H×W，Wf和Wg均为的卷积核，其中，Wh为1×1×C的卷积核；则f(k)和g(k)输出的尺寸均为h(k)输出的尺寸为C×H×W。
第二，计算原图像中第j个像素块对第i个像素块的影响，得到显著性矩阵：
sij＝f(ki)Tg(kj)
其中，ki表示特征图上第i个像素的所有位置信息，kj表示特征图上第j个像素的所有位置信息。
第三，将上述显著性矩阵进行归一化，归一化后的矩阵的第i行第j列的元素表示在合成图像的第j个像素块时，第i个像素块对其的影响：
其中，N＝H×W，表示任一通道上所有像素的数目。
第四，用得到的显著性矩阵指导卷积层提取得到的特征图，特征图上的第j个像素经显著性矩阵指导后的输出为：
最后，根据下列公式更新输出的特征图：
yj＝γ0×oj+kj
其中，yj表示输出特征图上第j个像素的值，γ0表示oj的权重，是一个需要学习的参数，kj表示原始输入特征图上的第j个像素。在初始阶段，γ0为0，之后随着学习，γ0逐渐增大，该显著性模块会将经显著性机制指导过的特征图加在原始的特征图上，从而强调了需要施加显著性机制的特征图。在生成器中，yj作为生成器中转换器的输入，通过生成器生成新的图像；在判别器中，yj作为图像特征，通过判别器将该图像判别为某一类别。
其中，步骤(1.4)中的，将原始遥感图像样本和通过仿真软件合成的虚假遥感图像样本输入提出的显著性引导的对称增强型生成对抗网络中，训练该网络方法如下：
真实情况下，通过卫星采集到的遥感图像会受到光照、天气等因素的影响，得到的数据复杂多样。为模拟真实情况下得到的遥感图像，本发明将原始带标签遥感图像样本和通过仿真软件合成的带有不同情况光照和天气影响的带标签遥感图像样本，同时输入提出的显著性引导的对称增强型生成对抗网络中，目的是合成更加复杂多样的、接近真实场景下的遥感图像。
通过显著性引导的对称增强型生成对抗网络的整体损失函数为：
其中，L(G,F,DX,DY)表示提出网络的整体损失函数，LGAN(G,DY,X,Y)表示判别器DY的损失函数，LGAN(F,DX,Y,X)表示判别器DX的损失函数。G、F分别表示网络中的两个生成器，X是一张带标签的原始遥感图像、Y是一张通过仿真软件合成的虚假遥感图像。pdata(X)表示输入原始遥感图像的分布，pdata(Y)表示输入合成遥感图像的分布，||·||表示·的L1范数。
训练显著性引导的对称增强型生成对抗网络的过程就是网络不断学习优化参数，最小化整体网络损失函数的过程。在本发明中，采用深度学习中常用的Adam优化算法训练网络模型，最终的目的是最小化整体损失函数，即找到一组找到G*和F*，使得：
其中，步骤(1.5)中的，网络达到收敛之后，提取生成器生成的遥感图像。针对原始数据集中的每一类遥感图像，将通过提出的网络生成的遥感图像加入到原始遥感图像数据集中，与原始遥感图像数据集合并，实现遥感图像的数据增强，方法如下：
显著性引导的对称增强型生成对抗网络经步骤(1.4)中的训练之后，网络逐步达到收敛。在网络逐渐收敛之后，提取显著性引导的对称增强型生成对抗网络的输出，即生成器合成的遥感图像。将生成器合成的每类遥感图像加入到原始遥感图像数据集中，实现遥感图像的数据增强。
然后，将合成的遥感图像和原始遥感图像合并成为新的遥感图像数据集。在合成的新的遥感图像数据集中，将每类遥感图像以8：1：1的比例随机划分为训练集Train、验证集Val和测试集Test。其中，训练集Train用于I-VGG19深度卷积神经网络进行遥感图像分类的训练；验证集Val用于验证网络的收敛程度；最终在测试集Test上测试网络的分类效果。
其中，步骤(2.1)中的，基于原始的VGG19深度卷积神经网络，在其中嵌入若干归一化层，构建I-VGG19深度模型，方法如下：
传统的VGG19卷积神经网络深度很深，训练时间较长。为加快网络收敛的速度，并提高模型在遥感图像数据集上的特征提取的精度，本发明设计了一种改进的深度学习模型I-VGG19，在原始VGG19每组卷积之后，加入了批归一化。该批归一化分为两步：
首先，对每个特征进行独立的归一化，使得第l层卷积层(卷积1_2、卷积2_2、卷积3_4、卷积4_4、卷积5_4中的任意一层)输入的每个特征呈现均值为0，方差为1的分布。考虑一个批的训练过程，假设一个批包含m个训练样本，则第l层第j个神经元zj归一化后的结果为：
其中，μj表示第l层神经元的均值，表示第l层神经元的方差，ε是为了防止方差为0产生无效计算而引入的参数，指的是第l层中，第i个训练样本(遥感图像)的第j个神经元。
其次，上述的归一化操作虽然让每一层网络的输入数据分布都变得稳定，但却导致了数据表达能力的缺失。因此，为恢复数据本身的表达能力，引入了两个可学习的参数γ和β，针对规范化后的数据进行线性变换，即：
最终，提出的改进I-VGG19网络模型的具体结构如下：
(a)在I-VGG19网络的输入层中，将每一张遥感场景图像进行归一化；
(b)在卷积1_1和卷积1_2层中，均有64个卷积核，卷积核大小均为3×3，滑动步长stride＝1，padding＝1；在卷积1_2之后，加入一个批归一化层；池化层1的池化方法为最大化池化，窗口大小为2×2，滑动步长stride＝2，padding＝0；
(c)在卷积2_1和卷积2_2层中，均有128个卷积核，卷积核大小均为3×3，滑动步长stride＝1，padding＝1；在卷积2_2之后，加入一个批归一化层；池化层2的池化方法为最大化池化，窗口大小为2×2，滑动步长stride＝2，padding＝0；
(d)在卷积3_1、卷积3_2、卷积3_3和卷积3_4层中，均有256个卷积核，卷积核大小均为3×3，滑动步长stride＝1，padding＝1；在卷积3_4之后，加入一个批归一化层；池化层3的池化方法为最大化池化，窗口大小为2×2，滑动步长stride＝2，padding＝0；
(e)在卷积4_1、卷积4_2、卷积4_3和卷积4_4层中，均有512个卷积核，卷积核大小均为3×3，滑动步长stride＝1，padding＝1；在卷积4_4之后，加入一个批归一化层；池化层4的池化方法为最大化池化，窗口大小为2×2，滑动步长stride＝2，padding＝0；
(f)在卷积5_1、卷积5_2、卷积5_3和卷积5_4层中，均有512个卷积核，卷积核大小均为3×3，滑动步长stride＝1，padding＝1；在卷积5_4之后，加入一个批归一化层；池化层5的池化方法为最大化池化，窗口大小为2×2，滑动步长stride＝2，padding＝0；
(g)在网络最后有三个全连接层，前两个全连接层的输出为4096维的特征，最后一个全连接层的输出为分类类别。假设遥感图像数据集共有21类，则最后一个全连接层的输出则为0～20的整数，本发明选取的遥感图像数据集共有21类，类别分为农田、飞机场、沙滩、建筑和森林等。
其中，步骤(2.2)中的基于步骤(1.5)中的新的遥感场景图像数据集，对改进的I-VGG19模型训练，方法如下：
首先，使用训练集Train训练上述I-VGG19预训练模型，即将新的遥感图像数据集输入深度卷积神经网络I-VGG19中进行网络的训练；计算网络在训练集Train和验证集Val上的分类准确率；在网络逐步收敛之后，结束训练。
其中，步骤(2.3)中的，基于步骤(2.2)中训练好的I-VGG19网络，进行遥感图像的特征提取，方法如下：
在网络训练好的基础上，提取I-VGG19第二层全连接层的输出，得到训练集Train、验证集Val和测试集Test中每张遥感图像样本的特征向量。
其中，步骤(3)中的，训练支持向量机分类器，并实现遥感图像的分类方法如下：
将步骤(2.3)中提取得到的训练集Train和验证集Val中遥感图像样本的特征向量输入支持向量机分类器中，训练分类器。最后将测试集Test中每张遥感图像样本的特征向量输入构造好的支持向量机分类器中，得到分类结果，实现遥感图像的分类。先输入Train训练网络，再输入Val验证网络是否收敛，是否过拟合。
有益效果：与现有技术相比，本发明的技术方案具有以下有益技术效果：
(1)本发明的方法将原始遥感图像数据集输入到提出的显著性引导的对称增强生成对抗网络中，能通过网络很好地学习到图像的全局特征，生成和原始遥感图像分布极为相似的、稳定的合成图像，实现遥感图像的数据增强。利用增强后的数据集、通过深度学习网络提取图像特征，能有效提升分类准确率。
(2)本方法针对深度大型网络训练困难的问题，采用迁移学习的方式，在已经训练好的VGG19预训练模型上加入了批归一化层，通过对预训练模型进行微调，避免了直接训练网络的开销，且能得到一个更优拟合的深度卷积神经网络I-VGG19。
附图说明
图1为本发明实施的框架图；
图2为提出的显著性引导的对称增强型生成对抗网络结构图；
图3为提出的I-VGG19网络结构图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
如图1所示，本发明提出的一种基于SGSE-GAN的遥感图像场景分类方法，该方法的具体步骤如下：
(1)基于显著性引导的对称增强型生成对抗网络，实现遥感图像数据增强，具体步骤包括：
(1.1)设置带标签的原始遥感数据集和通过仿真软件合成的虚假遥感图像数据集；
(1.2)在传统生成对抗网络的基础上，进行对称增强型生成对抗网络模型的构建，该网络中含有两个镜像对称的生成对抗网络，共享两个生成器，并各自自带一个判别器；
(1.3)基于构建好的对称增强型生成对抗网络，在生成器的编码器和判别器的卷积层之后嵌入显著性引导机制，通过显著性机制引导其中生成器和判别器的特征提取过程；
(1.4)将原始遥感数据集中的遥感图像样本X和通过仿真软件合成的虚假遥感图像样本Y输入提出的显著性引导的对称增强型生成对抗网络中，训练该网络；
(1.5)网络达到收敛之后，提取生成器生成的遥感图像，与对应输入网络中的原始遥感图像合并归为一类，得到新的遥感图像数据集，实现遥感图像的数据增强。
(2)基于步骤(1)得到的新的遥感图像数据集和改进的深度学习模型I-VGG19，进行遥感图像的特征提取，具体步骤包括：
(2.1)基于原始的VGG19深度卷积神经网络，在卷积层1_2、卷积层2_2、卷积层3_4、卷积层4_4和卷积层5_4之后嵌入若干归一化层，构建I-VGG19深度模型。
(2.2)基于步骤(1.5)中的新的遥感场景图像数据集，对改进的I-VGG19模型进行训练。
(2.3)基于步骤(2.2)中训练好的I-VGG19网络，进行遥感图像的特征提取。
(3)将步骤(2.3)中提取的特征向量输入支持向量机中，训练分类器，并实现遥感场景图像的分类。
其中，步骤(1.2)中的，在传统生成对抗网络的基础上，进行对称增强生成对抗网络模型的构建方法如下：
目前流行的生成对抗网络主要包含两个部分：生成器与判别器。生成器通过输入随机噪声产生虚假样本，判别器通过输入真实的训练数据和生成模型生成的训练数据来判断输入数据的真假。生成器和判别器不断进行对抗，使网络最终达到均衡，即生成器生成的图像接近于真实图像分布，而判别器识别不出真假图像。由这种方式生成的图像较为随机，导致数据增强效果不理想。
为此，本发明在目前流行的生成对抗网络基础上，构建了一种对称增强型生成对抗网络模型。该模型由两个镜像对称的生成对抗网络组成，它们共享两个生成器，并各自自带一个判别器。其中，生成器由编码器、转换器、解码器组成。编码器的主要作用是利用卷积神经网络从输入图像中提取特征；转化器的作用是通过组合图像的不相近特征，将图像X的特征向量转换为图像Y的特征向量；解码器的主要作用是利用反卷积层完成从特征向量中还原出低级特征的工作，最后得到生成图像。判别器由卷积神经网络组成，需要从图像中提取特征，再通过添加产生一维输出的卷积层来确定提取的特征是否属于特定类别。
该网络的实际工作原理如图2所示。网络包括两个对称的生成对抗网络，从步骤(1.1)中的原始遥感数据集中取出一张图像X，通过仿真软件合成的虚假遥感图像数据集中取出一张图像Y，将两张图像输入网络中。输入图像X经过生成器G之后得到生成图像G(X)，G(X)经过生成器F之后得到生成图像F(G(X))，通过输入图像X和生成图像F(G(X))计算生成器的一部分损失函数，判别器DX的损失函数由输入图像X和生成图像F(Y)计算得到。输入图像Y经过生成器F之后，得到生成图像F(Y)，F(Y)经过生成器G之后得到生成图像G(F(Y))，通过输入图像Y和生成图像G(F(Y))计算生成器的另一部分损失函数，判别器DY的损失函数由输入图像Y和生成图像G(X)计算得到。计算得到损失函数之后，采取合适的优化算法更新生成器和判别器的参数，最小化网络损失函数，使得网络中的生成图像F(Y)和F(G(X))与原始图像X分布相同，生成图像G(X)和G(F(Y))与原始图像Y分布相同。综上，网络整体输入为X和Y两张图像，经对称增强型生成对抗网络之后，得到生成器和判别器的损失函数用于后续的训练过程。
依据上述模型的构建，最终对称增强型生成对抗网络的网络损失将包括四部分组成：两个生成器产生的损失和两个判别器产生的损失。
设真实遥感场景图像为X，合成的遥感场景图像为Y，从X到Y的判别器DY的损失函数表示如下：
其中，G表示网络中的一个生成器，X是一张带标签的原始遥感图像、Y是一张通过仿真软件合成的虚假遥感图像，E表示该函数的数学期望，pdata(X)表示输入原始遥感图像的分布，pdata(Y)表示输入合成遥感图像的分布。
在从图像Y映射至图像X的过程中，判别器DX的损失函数为：
其中，F表示网络中另外一个生成器。
两个生成器的损失函数分别为和
其中，||·||1表示·的L1范数。
其中，步骤(1.3)中的，基于构建好的对称增强型生成对抗网络，在模型中嵌入显著性引导模块，通过显著性机制引导其中生成器和判别器的特征提取过程，方法如下：
目前流行的生成对抗网络主要通过卷积操作提取图像中特征，但是卷积操作受卷积核局部感受野的限制，往往无法获取图像的全局信息，生成的图像无法捕捉遥感图像的空间结构信息。
为此，本发明提出设计显著性机制，并将其分别引入提出的对称增强型生成对抗网络中的生成器和判别器中的卷积层之后，对卷积进行优化。在该机制引导下，生成器在生成图像过程中，对每个像素的细节信息与其他像素信息进行协调，从而有助于获取图像全局空间信息。而判别器在该机制引导下，将能够更准确地对全局图像结构执行复杂的几何约束。
在生成器中，是在编码器之后嵌入显著性引导机制；在判别器中，是在卷积层之后嵌入显著性引导机制。在两个生成器和两个判别器中都用到了显著性引导。编码器也是由卷积层组成的，编码器的卷积层得到特征图之后，按照下面所说的显著性引导机制的步骤对其进行操作。具体过程如下：
第一，将原始遥感图像输入生成器和判别器中，经过生成器和判别器中的卷积层提取得到特征图k，k经过三个1×1的卷积映射，得到f(k)、g(k)和h(k)：
f(k)＝Wfk
g(k)＝Wgk
h(k)＝Whk
其中，k的尺寸为C×H×W，Wf和Wg均为的卷积核，其中，Wh为1×1×C的卷积核；则f(k)和g(k)输出的尺寸均为h(k)输出的尺寸为C×H×W。
第二，计算原图像中第j个像素块对第i个像素块的影响，得到显著性矩阵：
sij＝f(ki)Tg(kj)
其中，ki表示特征图上第i个像素的所有位置信息，kj表示特征图上第j个像素的所有位置信息。
第三，将上述显著性矩阵进行归一化，归一化后的矩阵的第i行第j列的元素表示在合成图像的第j个像素块时，第i个像素块对其的影响：
其中，N＝H×W，表示任一通道上所有像素的数目。
第四，用得到的显著性矩阵指导卷积层提取得到的特征图，特征图上的第j个像素经显著性矩阵指导后的输出为：
最后，根据下列公式更新输出的特征图：
yj＝γ0×oj+kj
其中，yj表示输出特征图上第j个像素的值，γ0表示oj的权重，是一个需要学习的参数，kj表示原始输入特征图上的第j个像素。在初始阶段，γ0为0，之后随着学习，γ0逐渐增大，该显著性模块会将经显著性机制指导过的特征图加在原始的特征图上，从而强调了需要施加显著性机制的特征图。在生成器中，yj作为生成器中转换器的输入，通过生成器生成新的图像；在判别器中，yj作为图像特征，通过判别器将该图像判别为某一类别。
其中，步骤(1.4)中的，将原始遥感图像样本和通过仿真软件合成的虚假遥感图像样本输入提出的显著性引导的对称增强型生成对抗网络中，训练该网络方法如下：
真实情况下，通过卫星采集到的遥感图像会受到光照、天气等因素的影响，得到的数据复杂多样。为模拟真实情况下得到的遥感图像，本发明将原始带标签遥感图像样本和通过仿真软件合成的带有不同情况光照和天气影响的带标签遥感图像样本，同时输入提出的显著性引导的对称增强型生成对抗网络中，目的是合成更加复杂多样的、接近真实场景下的遥感图像。
通过显著性引导的对称增强型生成对抗网络的整体损失函数为：
其中，L(G,F,DX,DY)表示提出网络的整体损失函数，LGAN(G,DY,X,Y)表示判别器DY的损失函数，LGAN(F,DX,Y,X)表示判别器DX的损失函数。G、F分别表示网络中的两个生成器，X是一张带标签的原始遥感图像、Y是一张通过仿真软件合成的虚假遥感图像。pdata(X)表示输入原始遥感图像的分布，pdata(Y)表示输入合成遥感图像的分布，||·||表示·的L1范数。
训练显著性引导的对称增强型生成对抗网络的过程就是网络不断学习优化参数，最小化整体网络损失函数的过程。在本发明中，采用深度学习中常用的Adam优化算法训练网络模型，最终的目的是最小化整体损失函数，即找到一组找到G*和F*，使得：
其中，步骤(1.5)中的，网络达到收敛之后，提取生成器生成的遥感图像。针对原始数据集中的每一类遥感图像，将通过提出的网络生成的遥感图像加入到原始遥感图像数据集中，与原始遥感图像数据集合并，实现遥感图像的数据增强，方法如下：
显著性引导的对称增强型生成对抗网络经步骤(1.4)中的训练之后，网络逐步达到收敛。在网络逐渐收敛之后，提取显著性引导的对称增强型生成对抗网络的输出，即生成器合成的遥感图像。将生成器合成的每类遥感图像加入到原始遥感图像数据集中，实现遥感图像的数据增强。
然后，将合成的遥感图像和原始遥感图像合并成为新的遥感图像数据集。在合成的新的遥感图像数据集中，将每类遥感图像以8：1：1的比例随机划分为训练集Train、验证集Val和测试集Test。其中，训练集Train用于I-VGG19深度卷积神经网络进行遥感图像分类的训练；验证集Val用于验证网络的收敛程度；最终在测试集Test上测试网络的分类效果。
其中，步骤(2.1)中的，基于原始的VGG19深度卷积神经网络，在其中嵌入若干归一化层，构建I-VGG19深度模型，方法如下：
传统的VGG19卷积神经网络深度很深，训练时间较长。为加快网络收敛的速度，并提高模型在遥感图像数据集上的特征提取的精度，本发明设计了一种改进的深度学习模型I-VGG19，在原始VGG19每组卷积之后，加入了批归一化。该批归一化分为两步：
首先，对每个特征进行独立的归一化，使得第l层卷积层(卷积1_2、卷积2_2、卷积3_4、卷积4_4、卷积5_4中的任意一层)输入的每个特征呈现均值为0，方差为1的分布。考虑一个批的训练过程，假设一个批包含m个训练样本，则第l层第j个神经元zj归一化后的结果为：
其中，μj表示第l层神经元的均值，表示第l层神经元的方差，ε是为了防止方差为0产生无效计算而引入的参数，指的是第l层中，第i个训练样本(遥感图像)的第j个神经元。
其次，上述的归一化操作虽然让每一层网络的输入数据分布都变得稳定，但却导致了数据表达能力的缺失。因此，为恢复数据本身的表达能力，引入了两个可学习的参数γ和β，针对规范化后的数据进行线性变换，即：
最终，提出的改进I-VGG19网络模型的具体结构如下：
(a)在I-VGG19网络的输入层中，将每一张遥感场景图像进行归一化；
(b)在卷积1_1和卷积1_2层中，均有64个卷积核，卷积核大小均为3×3，滑动步长stride＝1，padding＝1；在卷积1_2之后，加入一个批归一化层；池化层1的池化方法为最大化池化，窗口大小为2×2，滑动步长stride＝2，padding＝0；
(c)在卷积2_1和卷积2_2层中，均有128个卷积核，卷积核大小均为3×3，滑动步长stride＝1，padding＝1；在卷积2_2之后，加入一个批归一化层；池化层2的池化方法为最大化池化，窗口大小为2×2，滑动步长stride＝2，padding＝0；
(d)在卷积3_1、卷积3_2、卷积3_3和卷积3_4层中，均有256个卷积核，卷积核大小均为3×3，滑动步长stride＝1，padding＝1；在卷积3_4之后，加入一个批归一化层；池化层3的池化方法为最大化池化，窗口大小为2×2，滑动步长stride＝2，padding＝0；
(e)在卷积4_1、卷积4_2、卷积4_3和卷积4_4层中，均有512个卷积核，卷积核大小均为3×3，滑动步长stride＝1，padding＝1；在卷积4_4之后，加入一个批归一化层；池化层4的池化方法为最大化池化，窗口大小为2×2，滑动步长stride＝2，padding＝0；
(f)在卷积5_1、卷积5_2、卷积5_3和卷积5_4层中，均有512个卷积核，卷积核大小均为3×3，滑动步长stride＝1，padding＝1；在卷积5_4之后，加入一个批归一化层；池化层5的池化方法为最大化池化，窗口大小为2×2，滑动步长stride＝2，padding＝0；
(g)在网络最后有三个全连接层，前两个全连接层的输出为4096维的特征，最后一个全连接层的输出为分类类别。假设遥感图像数据集共有21类，则最后一个全连接层的输出则为0～20的整数，本发明选取的遥感图像数据集共有21类，类别分为农田、飞机场、沙滩、建筑和森林等。
其中，步骤(2.2)中的基于步骤(1.5)中的新的遥感场景图像数据集，对改进的I-VGG19模型训练，方法如下：
首先，使用训练集Train训练上述I-VGG19预训练模型，即将新的遥感图像数据集输入深度卷积神经网络I-VGG19中进行网络的训练；计算网络在训练集Train和验证集Val上的分类准确率；在网络逐步收敛之后，结束训练。
其中，步骤(2.3)中的，基于步骤(2.2)中训练好的I-VGG19网络，进行遥感图像的特征提取，方法如下：
在网络训练好的基础上，提取I-VGG19第二层全连接层的输出，得到训练集Train、验证集Val和测试集Test中每张遥感图像样本的特征向量。
其中，步骤(3)中的，训练支持向量机分类器，并实现遥感图像的分类方法如下：
将步骤(2.3)中提取得到的训练集Train和验证集Val中遥感图像样本的特征向量输入支持向量机分类器中，训练分类器。最后将测试集Test中每张遥感图像样本的特征向量输入构造好的支持向量机分类器中，得到分类结果，实现遥感图像的分类。先输入Train训练网络，再输入Val验证网络是否收敛，是否过拟合。

Claims (10)

1.一种基于SGSE-GAN的遥感图像场景分类方法，其特征在于，该方法的具体步骤如下：
(1)构建基于显著性引导的对称增强型生成对抗网络，实现遥感图像数据增强，获得新的遥感图像数据集；
(2)基于步骤(1)得到的新的遥感图像数据集和改进的深度学习模型I-VGG19，进行遥感图像的特征提取；
(3)将步骤(2)中提取的特征向量输入支持向量机中，训练分类器，并实现遥感场景图像的分类。
2.根据权利要求1所述的一种基于SGSE-GAN的遥感图像场景分类方法，其特征在于，步骤(1)的具体方法如下：
(1.1)设置带标签的原始遥感数据集和通过仿真软件合成的遥感图像数据集；
(1.2)在传统生成对抗网络的基础上，进行对称增强型生成对抗网络模型的构建，该网络中含有两个镜像对称的生成对抗网络，共享两个生成器，并各自自带一个判别器；
(1.3)基于构建好的对称增强型生成对抗网络，在生成器的编码器和判别器的卷积层之后嵌入显著性引导机制，通过显著性机制引导其中生成器和判别器的特征提取过程；
(1.4)将原始遥感数据集中的遥感图像样本X和通过仿真软件合成的遥感图像样本Y输入提出的显著性引导的对称增强型生成对抗网络中，训练该网络；
(1.5)网络达到收敛之后，提取生成器生成的遥感图像，与对应输入网络中的原始遥感图像合并归为一类，得到新的遥感图像数据集，实现遥感图像的数据增强。
3.根据权利要求1或2所述的一种基于SGSE-GAN的遥感图像场景分类方法，其特征在于，其中，步骤(1.2)中的，对称增强生成对抗网络模型数据处理方法如下：
从步骤(1.1)中的原始遥感数据集中取出一张图像X，通过仿真软件合成的遥感图像数据集中取出一张图像Y，将两张图像输入网络中，输入图像X经过生成器G之后得到生成图像G(X)，G(X)经过生成器F之后得到生成图像F(G(X))，通过输入图像X和生成图像F(G(X))计算生成器的一部分损失函数，判别器DX的损失函数由输入图像X和生成图像F(Y)计算得到；输入图像Y经过生成器F之后，得到生成图像F(Y)，F(Y)经过生成器G之后得到生成图像G(F(Y))，通过输入图像Y和生成图像G(F(Y))计算生成器的另一部分损失函数，判别器DY的损失函数由输入图像Y和生成图像G(X)计算得到，计算得到损失函数之后，采取合适的优化算法更新生成器和判别器的参数，最小化网络损失函数，使得网络中的生成图像F(Y)和F(G(X))与原始图像X分布相同，生成图像G(X)和G(F(Y))与原始图像Y分布相同，综上，网络整体输入为X和Y两张图像，经对称增强型生成对抗网络之后，得到生成器和判别器的损失函数用于后续的训练过程；
(1.2.3)依据上述构建的模型，最终对称增强型生成对抗网络的网络损失函数将包括四部分组成：两个生成器产生的损失和两个判别器产生的损失函数；
设真实遥感场景图像为X，合成的遥感场景图像为Y，从X到Y的判别器DY的损失函数表示如下：
其中，G表示网络中的一个生成器，X是一张带标签的原始遥感图像、Y是一张通过仿真软件合成的遥感图像，E表示该函数的数学期望，pdata(X)表示输入原始遥感图像的分布，pdata(Y)表示输入合成遥感图像的分布；
在从图像Y映射至图像X的过程中，判别器DX的损失函数为：
其中，F表示网络中另外一个生成器；
两个生成器的损失函数分别为：和
其中，||·||1表示·的L1范数。
4.根据权利要求3所述的一种基于SGSE-GAN的遥感图像场景分类方法，其特征在于，其中，步骤(1.3)中的，基于构建好的对称增强型生成对抗网络，在模型中嵌入显著性引导模块，通过显著性机制引导其中生成器和判别器的特征提取过程，方法如下：在上述提出的对称增强型生成对抗网络中的生成器和判别器中的卷积层之后加入显著性机制对卷积层进行优化，具体过程如下：
第一，将原始遥感图像和由仿真软件合成的遥感图像输入生成器和判别器中，经过生成器和判别器中的卷积层提取得到特征图k，k经过三个1×1的卷积映射，得到f(k)、g(k)和h(k)：
f(k)＝Wfk
g(k)＝Wgk
h(k)＝Whk
其中，k的尺寸为C×H×W，Wf和Wg均为的卷积核，其中，Wh为1×1×C的卷积核；则f(k)和g(k)输出的尺寸均为h(k)输出的尺寸为C×H×W；
第二，计算图像X和图像Y中第j个像素块对第i个像素块的影响，得到显著性矩阵：
sij＝f(ki)Tg(kj)
其中，ki表示特征图上第i个像素，kj表示特征图上第j个像素；
第三，将上述显著性矩阵进行归一化，归一化后的矩阵的第i行第j列的元素表示在合成图像的第j个像素块时，第i个像素块对其的影响：
其中，N＝H×W，表示任一通道上所有像素的数目；
第四，用得到的显著性矩阵指导卷积层提取得到的特征图，特征图上的第j个像素经显著性矩阵指导后的输出为：
最后，根据下列公式更新输出的特征图：
yj＝γ0×oj+kj
其中，yj表示输出特征图上第j个像素的值，γ0表示oj的权重，是一个需要学习的参数，kj表示原始输入特征图上的第j个像素，在初始阶段，γ0为0，之后随着学习，γ0逐渐增大，将经显著性机制指导过的特征图和原始的特征图相加，从而强调了需要施加显著性机制的特征图，在生成器中，yj作为生成器中转换器的输入，通过生成器生成新的图像；在判别器中，yj作为图像特征，通过判别器将该图像判别为某一类别。
5.根据权利要求4所述的一种基于SGSE-GAN的遥感图像场景分类方法，其特征在于，其中，步骤(1.4)中的，将原始遥感图像样本和通过仿真软件合成的遥感图像样本输入提出的显著性引导的对称增强型生成对抗网络中，训练该网络方法如下：
(1.4.1)将原始带标签遥感图像样本和通过仿真软件合成的带标签遥感图像样本，同时输入上述构建的显著性引导的对称增强型生成对抗网络中；
(1.4.2)通过显著性引导的对称增强型生成对抗网络的整体损失函数为：
其中，L(G,F,DX,DY)表示提出网络的整体损失函数，LGAN(G,DY,X,Y)表示判别器DY的损失函数，LGAN(F,DX,Y,X)表示判别器DX的损失函数，G、F分别表示网络中的两个生成器，X是一张带标签的原始遥感图像、Y是一张通过仿真软件合成的遥感图像，pdata(X)表示输入原始遥感图像的分布，pdata(Y)表示输入合成遥感图像的分布，||·||表示·的L1范数；
(1.4.3)训练显著性引导的对称增强型生成对抗网络的过程就是网络不断学习优化参数，最小化整体网络损失函数的过程，采用Adam优化算法训练网络模型，最小化整体损失函数，即找到一组G*和F*，使得：
6.根据权利要求5所述的一种基于SGSE-GAN的遥感图像场景分类方法，其特征在于，其中，步骤(1.5)中的，网络达到收敛之后，提取生成器生成的遥感图像。针对原始数据集中的每一类遥感图像，将通过提出的网络生成的遥感图像加入到原始遥感图像数据集中，与原始遥感图像数据集合并，实现遥感图像的数据增强，方法如下：
(1.5.1)显著性引导的对称增强型生成对抗网络经步骤(1.4)中的训练之后，网络逐步达到收敛，在网络逐渐收敛之后，提取显著性引导的对称增强型生成对抗网络的输出，即生成器合成的遥感图像，将生成器合成的每类遥感图像加入到原始遥感图像数据集中，和原始遥感图像数据集进行合并，实现遥感图像的数据增强；
(1.5.2)将合成的遥感图像和原始遥感图像合并成为新的遥感图像数据集，在合成的新的遥感图像数据集中，将每类遥感图像以一定比例随机划分为训练集Train、验证集Val和测试集Test，其中，训练集Train用于I-VGG19深度卷积神经网络进行遥感图像分类的训练；验证集Val用于验证网络的收敛程度；最终在测试集Test上测试网络的分类效果。
7.根据权利要求6所述的一种基于SGSE-GAN的遥感图像场景分类方法，其特征在于，步骤(2)中，基于步骤(1)得到的新的遥感图像数据集和改进的深度学习模型I-VGG19，进行遥感图像的特征提取，具体步骤包括：
(2.1)基于原始的VGG19深度卷积神经网络，在卷积层1_2、卷积层2_2、卷积层3_4、卷积层4_4和卷积层5_4之后嵌入若干归一化层，构建I-VGG19深度模型；
(2.2)基于步骤(1.5)中的新的遥感场景图像数据集，对改进的I-VGG19模型进行训练；
(2.3)基于步骤(2.2)中训练好的I-VGG19网络，进行遥感图像的特征提取。
8.根据权利要求7所述的一种基于SGSE-GAN的遥感图像场景分类方法，其特征在于，步骤(2.1)中的，基于原始的VGG19深度卷积神经网络，在其中嵌入若干归一化层，构建I-VGG19深度模型，方法如下：
首先，对每个特征进行独立的归一化，使得第l层卷积层输入的每个特征呈现均值为0，方差为1的分布，考虑一个批的训练过程，假设一个批包含m个训练样本，则第l层第j个神经元zj归一化后的结果为：
其中，μj表示第l层神经元的均值，表示第l层神经元的方差，ε是为了防止方差为0产生无效计算而引入的参数，指的是第l层中，第i个训练样本的第j个神经元；
其次，引入了两个可学习的参数γ和β，针对规范化后的数据进行线性变换，即：
最终，提出的改进I-VGG19网络模型的具体结构如下：
(a)在I-VGG19网络的输入层中，将每一张遥感场景图像进行归一化；
(b)在卷积1_1和卷积1_2层中，均有64个卷积核，卷积核大小均为3×3，滑动步长stride＝1，padding＝1；在卷积1_2之后，加入一个批归一化层；池化层1的池化方法为最大化池化，窗口大小为2×2，滑动步长stride＝2，padding＝0；
(c)在卷积2_1和卷积2_2层中，均有128个卷积核，卷积核大小均为3×3，滑动步长stride＝1，padding＝1；在卷积2_2之后，加入一个批归一化层；池化层2的池化方法为最大化池化，窗口大小为2×2，滑动步长stride＝2，padding＝0；
(d)在卷积3_1、卷积3_2、卷积3_3和卷积3_4层中，均有256个卷积核，卷积核大小均为3×3，滑动步长stride＝1，padding＝1；在卷积3_4之后，加入一个批归一化层；池化层3的池化方法为最大化池化，窗口大小为2×2，滑动步长stride＝2，padding＝0；
(e)在卷积4_1、卷积4_2、卷积4_3和卷积4_4层中，均有512个卷积核，卷积核大小均为3×3，滑动步长stride＝1，padding＝1；在卷积4_4之后，加入一个批归一化层；池化层4的池化方法为最大化池化，窗口大小为2×2，滑动步长stride＝2，padding＝0；
(f)在卷积5_1、卷积5_2、卷积5_3和卷积5_4层中，均有512个卷积核，卷积核大小均为3×3，滑动步长stride＝1，padding＝1；在卷积5_4之后，加入一个批归一化层；池化层5的池化方法为最大化池化，窗口大小为2×2，滑动步长stride＝2，padding＝0；
(g)在网络最后有三个全连接层，前两个全连接层的输出为4096维的特征，最后一个全连接层的输出为分类类别。
9.根据权利要求8所述的一种基于SGSE-GAN的遥感图像场景分类方法，其特征在于，其中，步骤(2.2)中的基于步骤(1.5)中的新的遥感场景图像数据集，对改进的I-VGG19模型训练，方法如下：使用训练集Train训练上述I-VGG19预训练模型，即将新的遥感图像数据集输入深度卷积神经网络I-VGG19中进行网络的训练，计算网络在训练集Train和验证集Val上的分类准确率，在网络逐步收敛之后，结束训练；步骤(2.3)中的基于步骤(2.2)中训练好的I-VGG19网络，进行遥感图像的特征提取，方法如下：在网络训练好的基础上，提取I-VGG19第二层全连接层的输出，得到训练集Train、验证集Val和测试集Test中每张遥感图像样本的特征向量。
10.根据权利要求9所述的一种基于SGSE-GAN的遥感图像场景分类方法，其特征在于，步骤(3)中的，训练支持向量机分类器，并实现遥感图像的分类方法如下：将步骤(2.3)中提取得到的训练集Train和验证集Val中遥感图像样本的特征向量输入支持向量机分类器中，训练分类器，最后将测试集Test中每张遥感图像样本的特征向量输入构造好的支持向量机分类器中，得到分类结果。
CN201910455833.XA 2019-05-29 2019-05-29 一种基于sgse-gan的遥感图像场景分类方法 Active CN110287800B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910455833.XA CN110287800B (zh) 2019-05-29 2019-05-29 一种基于sgse-gan的遥感图像场景分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910455833.XA CN110287800B (zh) 2019-05-29 2019-05-29 一种基于sgse-gan的遥感图像场景分类方法

Publications (2)

Publication Number Publication Date
CN110287800A true CN110287800A (zh) 2019-09-27
CN110287800B CN110287800B (zh) 2022-08-16

Family

ID=68002879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910455833.XA Active CN110287800B (zh) 2019-05-29 2019-05-29 一种基于sgse-gan的遥感图像场景分类方法

Country Status (1)

Country Link
CN (1) CN110287800B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751869A (zh) * 2019-10-12 2020-02-04 南京摄星智能科技有限公司 一种基于对抗鉴别式迁移法的拟态环境与战场态势策略转移技术
CN110781932A (zh) * 2019-10-14 2020-02-11 国家广播电视总局广播电视科学研究院 一种多类别图像转换与对比的超高清片源色域检测方法
CN111047525A (zh) * 2019-11-18 2020-04-21 宁波大学 Sar遥感图像到光学遥感图像的翻译方法
CN111062403A (zh) * 2019-12-26 2020-04-24 哈尔滨工业大学 基于一维组卷积神经网络的高光谱遥感数据深度光谱特征提取方法
CN111161191A (zh) * 2019-12-31 2020-05-15 华南理工大学 一种图像增强方法
CN111191654A (zh) * 2019-12-30 2020-05-22 重庆紫光华山智安科技有限公司 道路数据生成方法、装置、电子设备及存储介质
CN111210517A (zh) * 2020-01-09 2020-05-29 浙江大学 一种基于神经网络的多风格地形的生成方法
CN111353539A (zh) * 2020-02-29 2020-06-30 武汉大学 一种基于双路注意力卷积神经网络的宫颈oct图像分类方法及系统
CN111390648A (zh) * 2020-03-31 2020-07-10 江麓机电集团有限公司 基于对抗神经网络的车刀磨损判定方法
CN111814707A (zh) * 2020-07-14 2020-10-23 中国科学院空天信息创新研究院 一种作物叶面积指数反演方法及装置
CN111832404A (zh) * 2020-06-04 2020-10-27 中国科学院空天信息创新研究院 一种基于特征生成网络的小样本遥感地物分类方法及系统
CN111860235A (zh) * 2020-07-06 2020-10-30 中国科学院空天信息创新研究院 高低层特征融合的注意力遥感图像描述的生成方法及系统
CN111931553A (zh) * 2020-06-03 2020-11-13 西安电子科技大学 遥感数据增强生成对抗网络方法、系统、存储介质及应用
CN112215268A (zh) * 2020-09-27 2021-01-12 浙江工业大学 一种灾害天气卫星云图分类方法和装置
CN112232156A (zh) * 2020-09-30 2021-01-15 河海大学 一种基于多头注意力生成对抗网络的遥感场景分类方法
CN112487999A (zh) * 2020-12-02 2021-03-12 西安邮电大学 一种基于CycleGAN的遥感图像鲁棒特征提取方法
CN113326873A (zh) * 2021-05-19 2021-08-31 云南电网有限责任公司电力科学研究院 一种基于数据增强的电力设备分合闸状态自动分类方法
CN113642456A (zh) * 2021-08-11 2021-11-12 福州大学 一种基于拼图引导的深度特征融合的高分辨率遥感图像场景分类方法
CN113808022A (zh) * 2021-09-22 2021-12-17 南京信息工程大学 一种基于端侧深度学习的手机全景拍摄与合成方法
CN114202679A (zh) * 2021-12-01 2022-03-18 昆明理工大学 一种基于gan网络的异源遥感图像自动化标注方法
CN114764880A (zh) * 2022-04-02 2022-07-19 武汉科技大学 多成分gan重建的遥感图像场景分类方法
US11403349B2 (en) * 2018-11-09 2022-08-02 Accenture Global Solutions Limited Dark web content analysis and identification
CN114972959A (zh) * 2022-07-28 2022-08-30 吉林大学 深度学习中样本生成和类内排序损失的遥感图像检索方法
CN117272303A (zh) * 2023-09-27 2023-12-22 四川大学 一种基于遗传对抗的恶意代码样本变体生成方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160358024A1 (en) * 2015-06-03 2016-12-08 Hyperverge Inc. Systems and methods for image processing
CN108830296A (zh) * 2018-05-18 2018-11-16 河海大学 一种改进的基于深度学习的高分遥感影像分类方法
CN109165682A (zh) * 2018-08-10 2019-01-08 中国地质大学（武汉） 一种融合深度特征和显著性特征的遥感图像场景分类方法
CN109190620A (zh) * 2018-09-03 2019-01-11 苏州科达科技股份有限公司 车牌样本生成方法、系统、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160358024A1 (en) * 2015-06-03 2016-12-08 Hyperverge Inc. Systems and methods for image processing
CN108830296A (zh) * 2018-05-18 2018-11-16 河海大学 一种改进的基于深度学习的高分遥感影像分类方法
CN109165682A (zh) * 2018-08-10 2019-01-08 中国地质大学（武汉） 一种融合深度特征和显著性特征的遥感图像场景分类方法
CN109190620A (zh) * 2018-09-03 2019-01-11 苏州科达科技股份有限公司 车牌样本生成方法、系统、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHEN X Y: "Vehicle detection in satellite images by hybrid deep convolutional neural networks", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》 *
周敏等: "遥感图像飞机目标分类的卷积神经网络方法", 《中国图象图形学报》 *

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11768866B2 (en) * 2018-11-09 2023-09-26 Accenture Global Solutions Limited Dark web content analysis and identification
US11403349B2 (en) * 2018-11-09 2022-08-02 Accenture Global Solutions Limited Dark web content analysis and identification
US20220342941A1 (en) * 2018-11-09 2022-10-27 Accenture Global Solutions Limited Dark web content analysis and identification
CN110751869B (zh) * 2019-10-12 2021-11-05 南京星耀智能科技有限公司 一种基于对抗鉴别式迁移法的拟态环境与战场态势策略转移技术
CN110751869A (zh) * 2019-10-12 2020-02-04 南京摄星智能科技有限公司 一种基于对抗鉴别式迁移法的拟态环境与战场态势策略转移技术
CN110781932A (zh) * 2019-10-14 2020-02-11 国家广播电视总局广播电视科学研究院 一种多类别图像转换与对比的超高清片源色域检测方法
CN110781932B (zh) * 2019-10-14 2022-03-11 国家广播电视总局广播电视科学研究院 一种多类别图像转换与对比的超高清片源色域检测方法
CN111047525A (zh) * 2019-11-18 2020-04-21 宁波大学 Sar遥感图像到光学遥感图像的翻译方法
CN111062403A (zh) * 2019-12-26 2020-04-24 哈尔滨工业大学 基于一维组卷积神经网络的高光谱遥感数据深度光谱特征提取方法
CN111191654A (zh) * 2019-12-30 2020-05-22 重庆紫光华山智安科技有限公司 道路数据生成方法、装置、电子设备及存储介质
CN111161191B (zh) * 2019-12-31 2023-06-20 华南理工大学 一种图像增强方法
CN111161191A (zh) * 2019-12-31 2020-05-15 华南理工大学 一种图像增强方法
CN111210517A (zh) * 2020-01-09 2020-05-29 浙江大学 一种基于神经网络的多风格地形的生成方法
CN111353539A (zh) * 2020-02-29 2020-06-30 武汉大学 一种基于双路注意力卷积神经网络的宫颈oct图像分类方法及系统
CN111390648B (zh) * 2020-03-31 2021-12-28 江麓机电集团有限公司 基于对抗神经网络的车刀磨损判定方法
CN111390648A (zh) * 2020-03-31 2020-07-10 江麓机电集团有限公司 基于对抗神经网络的车刀磨损判定方法
CN111931553A (zh) * 2020-06-03 2020-11-13 西安电子科技大学 遥感数据增强生成对抗网络方法、系统、存储介质及应用
CN111931553B (zh) * 2020-06-03 2024-02-06 西安电子科技大学 遥感数据增强生成对抗网络方法、系统、存储介质及应用
CN111832404A (zh) * 2020-06-04 2020-10-27 中国科学院空天信息创新研究院 一种基于特征生成网络的小样本遥感地物分类方法及系统
CN111832404B (zh) * 2020-06-04 2021-05-18 中国科学院空天信息创新研究院 一种基于特征生成网络的小样本遥感地物分类方法及系统
CN111860235A (zh) * 2020-07-06 2020-10-30 中国科学院空天信息创新研究院 高低层特征融合的注意力遥感图像描述的生成方法及系统
CN111814707A (zh) * 2020-07-14 2020-10-23 中国科学院空天信息创新研究院 一种作物叶面积指数反演方法及装置
CN111814707B (zh) * 2020-07-14 2022-09-23 中国科学院空天信息创新研究院 一种作物叶面积指数反演方法及装置
CN112215268A (zh) * 2020-09-27 2021-01-12 浙江工业大学 一种灾害天气卫星云图分类方法和装置
CN112232156A (zh) * 2020-09-30 2021-01-15 河海大学 一种基于多头注意力生成对抗网络的遥感场景分类方法
CN112487999A (zh) * 2020-12-02 2021-03-12 西安邮电大学 一种基于CycleGAN的遥感图像鲁棒特征提取方法
CN113326873A (zh) * 2021-05-19 2021-08-31 云南电网有限责任公司电力科学研究院 一种基于数据增强的电力设备分合闸状态自动分类方法
CN113326873B (zh) * 2021-05-19 2024-07-23 云南电网有限责任公司电力科学研究院 一种基于数据增强的电力设备分合闸状态自动分类方法
CN113642456A (zh) * 2021-08-11 2021-11-12 福州大学 一种基于拼图引导的深度特征融合的高分辨率遥感图像场景分类方法
CN113642456B (zh) * 2021-08-11 2023-08-11 福州大学 基于拼图引导的深度特征融合的遥感图像场景分类方法
CN113808022B (zh) * 2021-09-22 2023-05-30 南京信息工程大学 一种基于端侧深度学习的手机全景拍摄与合成方法
CN113808022A (zh) * 2021-09-22 2021-12-17 南京信息工程大学 一种基于端侧深度学习的手机全景拍摄与合成方法
CN114202679A (zh) * 2021-12-01 2022-03-18 昆明理工大学 一种基于gan网络的异源遥感图像自动化标注方法
CN114764880A (zh) * 2022-04-02 2022-07-19 武汉科技大学 多成分gan重建的遥感图像场景分类方法
CN114764880B (zh) * 2022-04-02 2024-04-26 武汉科技大学 多成分gan重建的遥感图像场景分类方法
CN114972959A (zh) * 2022-07-28 2022-08-30 吉林大学 深度学习中样本生成和类内排序损失的遥感图像检索方法
CN117272303A (zh) * 2023-09-27 2023-12-22 四川大学 一种基于遗传对抗的恶意代码样本变体生成方法及系统

Also Published As

Publication number Publication date
CN110287800B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN110287800A (zh) 一种基于sgse-gan的遥感图像场景分类方法
WO2022160771A1 (zh) 基于自适应多尺度特征提取模型的高光谱图像分类方法
CN111539469B (zh) 一种基于视觉自注意力机制的弱监督细粒度图像识别方法
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
CN111898736B (zh) 基于属性感知的高效行人重识别方法
CN110689086A (zh) 基于生成式对抗网络的半监督高分遥感图像场景分类方法
CN110443143A (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN109033938A (zh) 一种基于可区分性特征融合的人脸识别方法
CN107330444A (zh) 一种基于生成对抗网络的图像自动文本标注方法
CN109102024A (zh) 一种用于物体精细识别的层次语义嵌入模型及其实现方法
CN110097000A (zh) 基于局部特征聚合描述符和时序关系网络的视频行为识别方法
CN107292813A (zh) 一种基于生成对抗网络的多姿态人脸生成方法
CN109299716A (zh) 神经网络的训练方法、图像分割方法、装置、设备及介质
CN106845499A (zh) 一种基于自然语言语义的图像目标检测方法
CN109753567A (zh) 一种结合标题与正文注意力机制的文本分类方法
CN110246141A (zh) 一种基于联合角点池化的复杂交通场景下车辆图像分割方法
CN106599800A (zh) 一种基于深度学习的人脸微表情识别方法
CN110321862B (zh) 一种基于紧致三元损失的行人再识别方法
Ma et al. Unsupervised domain adaptation augmented by mutually boosted attention for semantic segmentation of VHR remote sensing images
CN110276402A (zh) 一种基于深度学习语义边界增强的盐体识别方法
CN110490136A (zh) 一种基于知识蒸馏的人体行为预测方法
CN114821640A (zh) 基于多流多尺度膨胀时空图卷积网络的骨架动作识别方法
CN110060273A (zh) 基于深度神经网络的遥感影像滑坡测图方法
CN110363770A (zh) 一种边缘引导式红外语义分割模型的训练方法及装置
CN110334584A (zh) 一种基于区域全卷积网络的手势识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant