CN111767800A - 遥感影像场景分类得分融合方法、系统、设备及存储介质 - Google Patents

遥感影像场景分类得分融合方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN111767800A
CN111767800A CN202010487800.6A CN202010487800A CN111767800A CN 111767800 A CN111767800 A CN 111767800A CN 202010487800 A CN202010487800 A CN 202010487800A CN 111767800 A CN111767800 A CN 111767800A
Authority
CN
China
Prior art keywords
wave band
scene classification
remote sensing
training
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010487800.6A
Other languages
English (en)
Other versions
CN111767800B (zh
Inventor
刘应斌
刘亦书
韩政卓
陈聪慧
丁利旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN202010487800.6A priority Critical patent/CN111767800B/zh
Publication of CN111767800A publication Critical patent/CN111767800A/zh
Application granted granted Critical
Publication of CN111767800B publication Critical patent/CN111767800B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种遥感影像场景分类得分融合方法、系统、设备及存储介质，所述方法包括：利用生成对抗网络在卫星影像数据集上训练，得到从RGB波段信息到目标合成波段信息的生成对抗网络模型；将生成对抗网络模型迁移到航拍影像数据集上，利用生成对抗网络模型为航拍影像数据集生成合成波段；将合成波段逐一替换R波段、G波段和B波段；利用卷积神经网络为多种波段组合方式训练多个场景分类模型；提取每个场景分类模型输出的分类概率，对多个场景分类模型进行得分融合。本发明能够有效提高高分辨率遥感影像场景分类的准确率。

Description

遥感影像场景分类得分融合方法、系统、设备及存储介质
技术领域
本发明涉及一种遥感影像场景分类得分融合方法、系统、设备及存储介质，属于深度学习和遥感影像分类领域。
背景技术
遥感影像场景分类对计算机制图、城乡土地规划、地表覆盖物检测有着重要的意义。传统的遥感影像场景分类方法的关键在于手工特征的设计，这高度依赖于研究人员的专业知识和经验，选择的手工特征是否适合场景分类，直接决定了最终结果的好坏。
近年来随着计算机软硬件的发展，基于深度学习的遥感影像场景分类方法受到了越来越多学者的关注，其中的卷积神经网络(convolution neural network)是深度学习的典型代表，由于其端到端的特性和超高的分类准确率，使得遥感影像的场景分类研究取得了巨大的进展。
卷积神经网络的输入需要大量带标签的样本，当样本量较小的时，网络很容易出现过拟合[1]。当样本量较小时，一般的做法是利用迁移学习，将在大规模数据库上训练得到的模型用于微调小样本的数据库[2]。另一种做法是生成更多的训练样本，通过对数据进行随机裁剪、翻转、颜色偏移等来扩大训练库的容量。随着生成对抗网络的出现，也有学者利用生成对抗网络来生成和训练数据相同分布的数据[3]。
目前，基于卷积神经网络的遥感影像场景分类方法大多是围绕高分辨率遥感影像进行的[4]-[8]，这些数据库的具体信息如表1所示。
表1 公开遥感影像数据库
Figure BDA0002519877360000011
Figure BDA0002519877360000021
目前的遥感影像场景分类主要针对具有高空间分辨率的航拍或卫星影像。影像的空间分辨率越高，其所包含的纹理、结构、颜色信息越丰富，通常分类准确率也越高。然而遥感影像中的地物在光谱上具有异物同谱和同谱异物的特点，即不同地物在同一光谱波段上存在相似性。高分辨率遥感影像大多只包含R、G、B三个光谱通道，较少的光谱通道较难对地物作出准确判定。多光谱遥感数据通常具有非常多的光谱通道，然而多光谱数据的空间分辨率较低，从而丢失了大量的纹理、结构和颜色信息。
参考文献如下：
[1]Liu Y，Huang C.Scene classification via triplet networks[J].IEEEJournal of Selected Topics in Applied Earth Observations and Remote Sensing，2017，11(1):220-237.
[2]Penatti O AB，Nogueira K，Dos Santos J A.Do deep features generalizefrom everyday objects to remote sensing and aerial scenes domains？[C]//Proceedings of the IEEE conference on computer vision and pattern recognitionworkshops.2015:44-51.
[3]俞彬.基于生成对抗网络的图像类别不平衡问题数据扩充方法[D].华南理工大学，2018.
[4]Cheng G，Yang C，Yao X，et al.When deep learning meets metriclearning:Remote sensing image scene classification via learningdiscriminative CNNs[J].IEEE transactions on geoscience and remote sensing，2018，56(5):2811-2821.
[5]Liu Y，Zhong Y，Qin Q.Scene classification based on multiscaleconvolutional neural network[J].IEEE Transactions on Geoscience and RemoteSensing，2018，56(12):7109-7121.]
[6]Liu Y，Liu Y，Ding L.Scene classification based on two-stage deepfeature fusion[J].IEEE Geoscience and Remote Sensing Letters，2017，15(2):183-186.
[7]Liu Y，Suen C Y，Liu Y，et al.Scene classification using hierarchicalWasserstein CNN[J].IEEE Transactions on Geoscience and Remote Sensing，2018，57(5):2494-2509.
[8]Liu Y，Liu Y，Ding L.Scene Classification by Coupling ConvolutionalNeural Networks With Wasserstein Distance[J].IEEE Geoscience and RemoteSensing Letters，2018，16(5):722-726.
[9]Yang Y，Newsam S.Bag-of-visual-words and spatial extensions forland-use classification[C]//Proceedings of the 18th SIGSPATIAL internationalconference on advances in geographic information systems.ACM，2010:270-279.]
[10]Chaudhuri B，Demir B，Chaudhuri S，et al.Multilabel remote sensingimage retrieval using a semisupervised graph-theoretic method[J].IEEETransactions on Geoscience and Remote Sensing，2017，56(2):1144-1158.
[11]Shao W，Yang W，Xia G S.Extreme value theory-based calibration forthe fusion of multiple features in high-resolution satellite sceneclassification[J].International Journal of Remote Sensing，2013，34(23):8588-8602.
[12]Zou Q，Ni L，Zhang T，et al.Deep learning based feature selectionfor remote sensing scene classification[J].IEEE Geoscience and Remote SensingLetters，2015，12(11):2321-2325.
[13]Zhao B，Zhong Y，Xia G S，et al.Dirichlet-derived multiple topicscene classification model for high spatial resolution remote sensing imagery[J].IEEE Transactions on Geoscience and Remote Sensing，2015，54(4):2108-2123.
[14]Xia G S，Hu J，Hu F，et al.AID:A benchmark data set for performanceevaluation of aerial scene classification[J].IEEE Transactions on Geoscienceand Remote Sensing，2017，55(7):3965-3981.
[15]Cheng G，Han J，Lu X.Remote sensing image scene classification:Benchmark and state of the art[J].Proceedings of the IEEE，2017，105(10):1865-1883.
[16]Li H，Tao C，Wu Z，et al.Rsi-cb:A large scale remote sensing imageclassification benchmark via crowdsource data[J].arXiv preprint arXiv:1705.10450，2017.
[17]Helber P，Bischke B，Dengel A，et al.Eurosat:A novel dataset anddeep learning benchmark for land use and land cover classification[J].IEEEJournal of Selected Topics in Applied Earth Observations and Remote Sensing，2019，12(7):2217-2226.
[18]Zhou W，Newsam S，Li C，et al.PatternNet:A benchmark dataset forperformance evaluation of remote sensing image retrieval[J].ISPRS journal ofphotogrammetry and remote sensing，2018，145:197-209.
[19]Sumbul G，Charfuelan M，Demir B，et al.BigEarthNet:A Large-ScaleBenchmark Archive For Remote Sensing Image Understanding[J].arXiv preprintarXiv:1902.06148，2019.
[20]Basu S，Ganguly S，Mukhopadhyay S，et al.Deepsat:a learningframework for satellite imagery[C]//Proceedings of the 23rd SIGSPATIALinternational conference on advances in geographic information systems.ACM，2015:37.
[21]Laban N，Abdellatif B，Ebied H M，et al.Performance enhancement ofsatellite image classification using a convolutional neural network[C]//International Conference on Advanced Intelligent Systems andInformatics.Springer，Cham，2017:673-682.
发明内容
有鉴于此，本发明提供了一种遥感影像场景分类得分融合方法、系统、设备及存储介质，其能够有效提高高分辨率遥感影像场景分类的准确率。
本发明的第一个目的在于提供一种遥感影像场景分类得分融合方法。
本发明的第二个目的在于提供一种遥感影像场景分类得分融合系统。
本发明的第三个目的在于提供一种计算机设备。
本发明的第四个目的在于提供一种存储介质。
本发明的第一个目的可以通过采取如下技术方案达到：
一种遥感影像场景分类得分融合方法，所述方法包括：
利用生成对抗网络在卫星影像数据集上训练，得到从RGB波段信息到目标合成波段信息的生成对抗网络模型；
将生成对抗网络模型迁移到航拍影像数据集上，利用生成对抗网络模型为航拍影像数据集生成合成波段；
将合成波段逐一替换R波段、G波段和B波段，利用卷积神经网络为多种波段组合方式训练多个场景分类模型；
提取每个场景分类模型输出的分类概率，对多个场景分类模型进行得分融合。
进一步的，所述利用卷积神经网络为多种波段组合方式训练多个场景分类模型，具体包括：
按照R波段、G波段和合成波段的顺序进行组合，按照R波段、合成波段和B波段的顺序进行组合，以及按照合成波段、G波段和B波段的顺序进行组合，利用卷积神经网络为这三种波段组合方式训练多个场景分类模型。
进一步的，所述合成波段在进行组合之前，对合成波段进行反归一化，并将反归一化结果进行取整。
进一步的，所述利用生成对抗网络在卫星影像数据集上训练，得到从RGB波段信息到目标合成波段信息的生成对抗网络模型，具体包括：
对卫星影像数据集的RGB波段信息和目标合成波段信息进行预处理；
将预处理后的RGB波段信息和目标合成波段信息输入生成对抗网络进行训练，得到从RGB波段信息到目标合成波段信息的生成对抗网络模型。
进一步的，所述对卫星影像数据集的RGB波段信息和目标合成波段信息进行预处理，具体包括：
对卫星影像数据集的RGB波段和目标合成波段归一化为-1到1之间。
进一步的，所述目标合成波段的空间分辨率为大于或等于20m的空间分辨率。
进一步的，所述对多个场景分类模型进行得分融合，具体包括：
将多个场景分类模型的分类概率向量进行拼接，并输入支持向量机，得到融合结果；
或将多个场景分类模型的分类概率按照不同的权重拼接，然后输入支持向量机，得到融合结果；
或将多个场景分类模型的分类概率按照不同的权重相加，得到融合结果；
其中，所述支持向量机的核函数选用高斯径向基核。
本发明的第二个目的可以通过采取如下技术方案达到：
一种遥感影像场景分类得分融合系统，所述系统包括：
第一训练模块，用于利用生成对抗网络在卫星影像数据集上训练，得到从RGB波段信息到目标合成波段信息的生成对抗网络模型；
生成模块，用于将生成对抗网络模型迁移到航拍影像数据集上，利用生成对抗网络模型为航拍影像数据集生成合成波段；
第二训练模块，用于将合成波段逐一替换R波段、G波段和B波段，利用卷积神经网络为多种波段组合方式训练多个场景分类模型；
融合模块，用于提取每个场景分类模型输出的分类概率，对多个场景分类模型进行得分融合。
本发明的第三个目的可以通过采取如下技术方案达到：
一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的遥感影像场景分类得分融合方法。
本发明的第四个目的可以通过采取如下技术方案达到：
一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的遥感影像场景分类得分融合方法。
本发明相对于现有技术具有如下的有益效果：
本发明利用生成对抗网络在卫星影像数据集上训练，将训练得到的生成对抗网络模型迁移到航拍影像数据集，为其生成合成波段，利用卷积神经网络为多种波段组合方式训练多个场景分类模型，提取每个场景分类模型输出的分类概率，对多个场景分类模型进行得分融合，能够有效提高高分辨率遥感影像场景分类的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例1的遥感影像场景分类得分融合方法的流程图。
图2为本发明实施例1的遥感影像场景分类得分融合方法的框架图。
图3为本发明实施例1的遥感影像场景分类得分融合方法的数据流图。
图4为本发明实施例1的生成对抗网络的结构图。
图5a～图5b为本发明实施例1的生成对抗网络的损失与训练轮次关系图。
图6为本发明实施例1的真实的卫星影像数据集的近红外图像。
图7为本发明实施例1的合成的卫星影像数据集的近红外图像。
图8为本发明实施例1的生成合成波段的数据流图。
图9为本发明实施例1的航拍影像数据集的45类RGB影像图。
图10为本发明实施例1的航拍影像数据集的45类合成近红外影像。
图11为本发明实施例2的遥感影像场景分类得分融合系统的结构框图。
图12为本发明实施例3的计算机设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1～图3所示，本实施例提供了一种遥感影像场景分类得分融合方法，该方法包括以下步骤：
S101、利用生成对抗网络在卫星影像数据集上训练，得到从RGB波段信息到目标合成波段信息的生成对抗网络模型。
遥感影像场景数据库主要包括空间辨率较高但光谱分辨率较低的航拍影像数据(AID、NWPU等等)和空间分辨率较低但光谱分辨率较高的卫星影像数据(EuroSat、BigEatrhNet等等)，高空间分辨率的遥感影像数据库通常只有R、G、B三个波段，较难解决地物的异物同谱和同谱异物问题。高光谱分辨率的遥感影像数据库，如EuroSat采样自哨兵2A卫星，共12个波段，最高空间分辨率10m，最低空间分辨率仅有60m。低空间分辨率丢失了影像中大量的纹理、颜色、结构等细节信息，制约着场景分类模型的最终分类精度。
本实施例采用EuroSat数据集作为卫星影像数据集，EuroSat数据集包含了27000幅Sentinel-2A卫星的多光谱数据，每幅影像的长宽为64个像素，共12个波段，囊括了34个欧洲国家的工业区、居民区、年度作物、永久作物、河流、海洋和湖泊、草本植被、高速公路、牧场、森林等10个场景类。这些数据覆盖了全年的各个时段，具有高度的类间相似性和类内多样性。
本实施例采用NWPU数据集作为航拍影像数据集，具体采用的是NWPU-RESISC45数据集，NWPU-RESISC45数据集是由西北工业大学创建的公开遥感图像场景分类数据库。该数据集包含了长宽为256个像素的31500幅图像，涵盖45个场景类，每个类有700幅图像。这45个场景类包括飞机，机场，棒球场，篮球场，沙滩，桥梁，常绿阔叶灌丛，教堂，圆形农田，云，商业区，密集住宅区，沙漠，森林，高速公路，高尔夫球场，操场，港口，工业区，交叉口，岛，湖，草地，中等密度住宅区，活动房屋公园，山脉，立交桥，宫殿，停车场，铁路，火车站，矩形农田，河流，环形交通枢纽，跑道，海冰，船舶，雪山，稀疏住宅区，体育馆，储水箱，网球场，梯田，火力发电站和湿地。
生成对抗网络(Generative Adversarial Network，简称GAN)是一种生成目标数据分布的深度学习方法，其基本思想源自博弈论的二人零和博弈。生成对抗网络的结构如图4所示，由一个生成器和一个判别器构成，通过对抗学习的方式来训练(参见王坤峰，苟超，段艳杰等.生成式对抗网络GAN的研究进展与展望[J].2017.)。生成器在网络的训练过程中不断生成近似于真实数据的假数据，随后通过判别器判断真假，在生成器和判别器不断博弈的过程中，判别器判别真假数据的能力越来越强，生成器为了骗过判别器，制造假数据的能力不断提高，最终整个网络的状态到达纳什平衡，训练停止。
生成器的目的是生成与真实数据相同分布的数据，因此生成器损失的作用就是要把假数据的分布朝真数据分布的方向偏移，其公式如下：
Figure BDA0002519877360000081
其中，y是样本的标签，对于生成器而言，其生成的标签为1，
Figure BDA0002519877360000085
是网络的输出值，N是minibatch的值。除此之外，本发明还使用了特征空间的VGG特征匹配损失和像素空间的L1损失，前者按照0.4，0.6，1.0的权重计算生成数据和真实数据在VGG网络最后3层卷积特征图的语义空间的L1范数，其公式如下：
Figure BDA0002519877360000082
其中，RealVGG是真实样本在VGG网络卷积层中的特征，FakeVGG是生成样本在VGG网络卷积层中的特征。
L1损失的作用是在像素空间中约束生成数据和真实数据的差异，其公式如下：
Figure BDA0002519877360000083
其中Real指真实数据，Fake指生成数据。
判别器要对生成器生成的数据判断真假，生成器生成的数据为假，真实数据为真，其公式为：
Figure BDA0002519877360000084
当y为1时，表示输入的是真实数据，当y为0时，表示输入的是生成器合成的假数据。
该步骤S101具体包括：
S1011、对卫星影像数据集的RGB波段信息和目标合成波段信息进行预处理。
EuroSat数据集是Sentinel-2A拍摄的多光谱遥感影像，其中R、G、B和NIR波段的空间分辨率为10m，其余波段的空间分辨都在20m或者50m。高的空间分辨率能够更加清晰的显示地物的边界、纹理、颜色和形状信息，考虑到不同波段的涵盖的信息不同并尽可能降低波段之间的信息冗余，最终确定的目标合成波段(即额外的光谱波段)为植物红边波段、近红外波段和短波红外波段。
为了使生成对抗网络更快收敛，需要对卫星影像数据集的RGB波段信息和目标合成波段信息进行预处理，具体包括：对卫星影像数据集的RGB波段和目标合成波段归一化为-1到1之间。
S1012、将预处理后的RGB波段信息和目标合成波段信息输入生成对抗网络进行训练，得到从RGB波段信息到目标合成波段信息的生成对抗网络模型。
具体地，将预处理后的RGB波段信息和目标合成波段信息输入生成对抗网络，新增像素空间的L1损失和语义空间的特征匹配损失，使用生成对抗网络为RGB波段信息拟合出植物红边波段、近红外波段和短波红外波段，训练得到从RGB波段信息到目标合成波段信息的生成对抗网络模型；其中，生成对抗网络的batchsize设置为8，学习率为0.0002，动量为0.5，生成器损失、判别器损失、VGG Loss的权重都为1.0，L1Loss的权重为100，用Adam优化器对训练集迭代200个epoch，网络中各损失训练进行的关系如图5a～5b所示。
对于生成器损失和判别器损失，两者在相互竞争的过程中都不收敛，当生成器损失下降时，判别器损失升高，说明生成器生成的图像越来越逼真，判别器对于生成数据的判别能力开始下降。同理，当判别器损失下降时，生成器损失开始上升，说明生成器生成的图像很容易被判别器鉴别，VGG特征匹配损失是衡量生成图像和真实图像通过VGG网络后两者的特征相似程度，可以反应出合成数据和真实数据在高层特征空间的匹配程度，该数值越低则说明两者所包含的内容越一致。L1损失则是衡量合成数据和真实数据在像素空间的相似程度，损失越小说明合成图和真实图越相似。可以看出随着网络训练的进行，特征匹配损失和L1损失都不断下降，最后稳定在一个较小的数值。图6和图7是真实的EuroSat数据集的近红外波段和生成对抗网络合成的EuroSat数据集的近红外波段，从视觉上看两者之间基本看不出差别。
空间分辨率对场景分类至关重要，为了确保合成波段与RGB波段组合后仍然能有良好的分类的性能，目标合成波段应该有较高的空间分辨率，本实施例的目标合成波段的空间分辨率为大于或等于20m的空间分辨率。
S102、将生成对抗网络模型迁移到航拍影像数据集上，利用生成对抗网络模型为航拍影像数据集生成合成波段。
如图8所示，将训练得到的生成对抗网络模型迁移到NWPU-RESISC45数据集上，使用NWPU-RESISC45数据集的RGB影像，为其生成新的合成波段，具体地，对NWPU-RESISC45数据集的RGB影像归一化为-1到1之间，然后输入生成对抗网络模型，生成新的合成波段，迁移的结果如图9和图10所示；为了尽可能的涵盖更多的光谱信息，合成的多个波段在光谱上应该保持足够的距离。
S103、将合成波段逐一替换R波段、G波段和B波段，利用卷积神经网络为多种波段组合方式训练多个场景分类模型。
本实施例以卷积神经网络(Convolutional Neural Network，简称CNN)作为场景分类网络，卷积神经网络是近几年发展起来并引起广泛重视的一种高效智能算法，它是一种前馈神经网络，可以响应神经元的周围部分单元，对于大型图像处理有出色的表现。卷积层、池化层、激活函数、全连接层和损失函数是组成卷积神经网络的基本结构单元，大多数的网络都是由这些部分堆叠而成的有向无环图结构。
卷积层是网络中最重要的部分，它起到了提取数据特征的作用。浅层卷积层提取图像的低级特征，如颜色、纹理和边界特征，随着网络加深，卷积层提取的特征越来越抽象，特征的表达能力也越强。卷积层特征的提取依靠多个被称为卷积核的滑动窗口，每个卷积核对上层输入执行卷积运算并生成特征图。令输入表示为I，卷积核为W，则卷积层对应的计算公式为：
Figure BDA0002519877360000101
其中，n为卷积核的宽度和高度，bias为偏置项。
池化层又称为下采样层，其主要作用是对网络生成的特征图进行降维，减少网络中的参数。池化层中也使用了滑动窗口，但滑动窗口中不含参数。常用的池化方法有平均值池化和最大值池化，其计算方式为分别计算滑动窗口中所有像素的平均值和取像素的最大值作为该滑动窗口的输出。
激活函数在网络的学习中起到了举足轻重的作用，它将网络从线性空间映射到非线性空间，从而能够完成更加复杂的任务。常用的激活函数有Sigmoid、Tanh、ReLU、Softmax等，其中ReLU激活函数又称为线性整流函数，它的出现很大程度上解决了深度卷积神经网络在训练过程中梯度消失的问题，其计算公式如下：
Figure BDA0002519877360000102
其中，x表示上层输入，ReLU激活函数是分段函数，它对正数进行激活，对负数进行抑制，且激活值的导数恒为1。
全连接层由人工神经元线性堆叠而成，每一个神经元都与上层输入的每一个神经元连接。全连接层由于本身全连接的性质，通常是网络中参数量最大的部分，同时也是网络中深层特征抽象的一部分。全连接层的特征包含丰富的信息，可直接用于支持向量机等分类器。
损失函数是网络要学习的目标，也是衡量网络学习性能的指标，指导网络的整个训练过程。不同的损失函数对应着不同的学习任务，在Caffe框架中常见的二分类任务的损失函数为SigmoidCrossEntropyLoss，多分类任务的损失为SoftmaxLoss，回归任务则使用欧式距离损失等。
AlexNet(参见Krizhevsky A，Sutskever I，Hinton G E.Imagenetclassification with deep convolutional neural networks[C]//Advances in neuralinformation processing systems.2012:1097-1105.)是2012年ImageNet LSVRC大赛的冠军，是具有历史意义的一个网络结构。AlexNet首次使用ReLU函数作为网络的激活函数，并在网络中嵌入局部响应归一化层，大大提高了网络的分类准确率。
GoogleNet(参见Szegedy C，Liu W，Jia Y，et al.Going deeper withconvolutions[C]//Proceedings of the IEEE conference on computer vision andpattern recognition.2015:1-9.)是2014年ImageNet LSVRC大赛的冠军，它对网络宽度进行扩展，使用不同大小的卷积核进行特征提取，多个卷积核并行排列组成一个Inception结构的模块，网络通过多个Inception模块堆叠而成。
VGGNet(参见Simonyan K，Zisserman A.Very deep convolutional networksfor large-scale image recognition[J].arXiv preprint arXiv:1409.1556，2014.)对网络深度进行扩展，并在2014年的ImageNet大赛上取得了分类项目的第2名和定位项目的第1名。VGGNet由5层卷积，3层全连接构成，层与层之间使用最大值池化，激活函数采用ReLU激活函数。VGGNet结构简洁，使用多个3x3的小卷积核来代替一个大的卷积核，大大减少了参数量，同时其层数很深，特征图的通道数多，能够提取出更多的信息。
ResNet(参见He K，Zhang X，Ren S，et al.Deep residual learning for imagerecognition[C]//Proceedings of the IEEE conference on computer vision andpattern recognition.2016:770-778.)的提出是卷积神经网络图像处理任务的一件里程碑事件，在2015年的ImageNet大赛上，ResNet在5个赛道都取得了第1名的成绩，它首次引入了残差学习的概念，使用残差块解决了深度神经网络难训练的问题。残差学习是一种短路连接，相比于直接学习图像特征，残差学习要更容易一些。
DenseNet(参见Huang G，Liu Z，Van Der Maaten L，et al.Densely connectedconvolutional networks[C]//Proceedings of the IEEE conference on computervision and pattern recognition.2017:4700-4708.)与ResNet都是通过短路连接来优化网络的训练，不同的是DenseNet连接方式为密集连接，当前层和之前的所有层都进行连接。在DenseNet中，损失函数对网络的每一层直接可见，这样的好处是在梯度反向传播的过程中，网络浅层的梯度不会出现梯度消失的问题，更加利于网络的训练，同时随着网络的层数越来越深，网络的学习能力也越来越强。
为了确定最终的场景分类网络，本实施例使用AlexNet、GoogleNet、VGG-16、ResNet-50和DenseNet等5个网络对NWPU-RESISC45数据集的RGB影像进行场景分类性能对比，其中训练集设置为全数据集的20％，测试集为全数据集的80％，学习率设置为0.001，使用随机梯度下降法进行20000次迭代，每组实验重复5次，最终的分类准确率为5次实验的平均值。各个网络分类准确率如表2所示，实验结果表明，AlexNet的性能最低，测试集的分类准确率为83.21％，DenseNet的性能最好，分类准确率为94.01％，因此最终确定场景分类网络为DenseNet。
表2 五个网络对NWPU-RESISC45数据集的RGB影像分类准确率
Figure BDA0002519877360000121
用三个合成波段取代RGB波段中某个波段进行波段组合，组合方式为：1)按照R波段、G波段和合成波段的顺序进行组合；2)按照R波段、合成波段和B波段的顺序进行组合；3)按照合成波段、G波段和B波段的顺序进行组合，对于合成波段，在进行组合之前，对合成波段进行反归一化，并将反归一化结果进行取整；使用DenseNet对三种波段组合方式的数据进行分类，得到多个分类模型，网络参数配置与RGB分类实验相同。
如表3所示，用合成波段替换掉RGB中任意一个波段进行场景分类，与使用真实的RGB相比，准确率都有一定程度的下降，这是因为合成波段与真实波段存在一定的误差；表3显示无论用何种合成波段进行何种方式的波段组合，其分类准确率下降都控制在1个百分点以内，这说明“基专家”们的分类性能都差距不大，这是接下来进行模型融合的基础。
表3 DenseNet的不同波段组合分类准确率
Figure BDA0002519877360000122
S104、提取每个场景分类模型输出的分类概率，对多个场景分类模型进行得分融合。
单模型分类系统很容易受到噪声，特征性能的影响，而多模型分类系统从一定程度上可以克服这些不足。多模型分类系统通过在数据层、特征层、得分层和判别层融合多种信息，能够有效提高分类系统的性能。
数据层的融合通常可以合并多源数据，提高训练数据的容量和多样性，如将不同传感器拍摄的遥感影像进行合并成一个新的遥感影像。
特征层的融合指合并特征向量或特征图，这些特征可以通过多个传感器获得也可以通过不同算法提取不同特征进行合并。如果特征是同质的(例如利用sift算子提取Landsat影像和Modis影像的旋转平移不变特征)，可以将不同特征进行加权求和从而形成一个新的特征。如果特征不是同质的(如利用sift算子提取的特征和hog算子提取的特征，可以将不同特征拼接成一个长的特征。特征层的融合属于早融合，因为特征中包含着丰富的信息)，通常可以取得更好的识别的结果。然而特征融合通常难以执行，模型之间的特征空间关系和特征的选择是制约特征融合取得有效性的重要原因，如果拼接后的特征维度过高，还会引起“维度灾难”，使得网络无法有效的进行学习。
多个模型可以看成多个专家，针对场景分类，每个专家都会给出测试数据各场景类的概率分布，在单模型分类系统中，最后的分类结果则为概率最大对应的场景类。得分层融合将各场景类的概率看作得分，对专家们进行加权求和得到总得分，最后的结果由这个总得分来确定。得分层融合的效果仅次于特征层融合，也是模型融合常用的方法之一。
判别层融合是将多个模型输出的最终结果进行融合，常用的方法是投票决策，投票法通过统计每个模型输出的结果，将票数最多的场景类作为最后的分类结果。
本实施例提取每个场景分类模型最后一层输出的分类概率，采用了多模型概率向量拼接、基于权重的概率融合和基于权重的得分融合的任一种对多个场景分类模型进行得分融合，将这三种策略与单个RGB模型的融合策略进行对比，如表4所示。
表4 不同融合策略分类准确率对比
Figure BDA0002519877360000131
1)多模型概率向量拼接
将多个场景分类模型的分类概率向量进行拼接，并输入支持向量机，得到融合结果；具体地，由于拼接的是概率向量，故不再对数据提前进行标准化，首先将10个不同波段组合下的场景分类模型的输出分类概率按行拼接，组成450维的向量，输入支持向量机分类器；支持向量机最终的分类准确率为0.9468，相比于单个RGB模型的0.9401提高了0.67个百分点。
2)基于权重的概率融合
将多个场景分类模型的分类概率按照不同的权重拼接，然后输入支持向量机，得到融合结果；具体地，不同波段组合模型的分类性能各不相同，RGB模型使用的是真实的RGB信息，故性能要优于任意波段组合，将不同场景分类模型的输出概率乘以一个权重系数，并将这些概率拼接起来；其中，RGB模型的权重为0.7，其余波段组合模型的权重为0.2，将融合后的概率输入支持向量机，最终的分类准确率为0.9501，分类准确率比单个RGB模型提高了1个百分点。
3)基于权重的得分融合
将多个场景分类模型的分类概率按照不同的权重相加，得到融合结果；具体地，多个场景分类模型可以看成是多个专家，每个专家都会对每一幅图像给出一个结果。这些专家有强有弱，强专家在投票时占的权重高，弱专家在投票时占的权重低；同样给RGB专家设置的权重为0.7，其余专家设置的权重为0.2；对多个模型的输出概率进行加权求和，最终的结果直接由求和后的结果指出；10个模型最终融合后的结果为0.9502，相比于单个RGB模型提高了1.01个百分点。
上述多模型概率向量拼接和基于权重的概率融合这两种融合策略中，支持向量机的输入是不同波段组合形式下场景分类模型最后一层输出的分类概率拼接在一起的向量，对比了线性核和高斯径向基核对于最终融合结果的影响，最终确定选用高斯径向基核作为支持向量机的核函数。
将本实施例的方法与传统方法、国内外学者提出的方法进行比较，如表5所示，基于手工特征的遥感图像场景分类方法表现最差，其中GIST算子的分类准确率最低，仅17.88％。将手工特征进行重编码后生成的中级特征更加有利于图像的场景分类，BoVW和LLC编码都比原始的手工特征提高了近20％的分类准确率。深度学习的方法表现最好，比中级编码特征的分类准确率高30％，有些方法的分类准确率甚至超过了90％。原始NWPU数据只包含RGB波段的信息，其中微调VGGNet-16准确率为90.36％，Triplet networks准确率为92.33％，Inception-V3-CapsNet的准确率为92.6％。本实施例为NWPU数据集中生成额外的植物红边波段、近红外波段和短波红外波段，将合成波段分别与RGB波段进行组合，通过得分融合的方式叠加不同波段组合下的信息。模型融合后的准确率为95.02％，比微调VGGNet-16提高了4.7个百分点，比Siamese Resnet50提高了2.8个百分点，比Inception-v3-CapsNet提高了2.4个百分点，该方法能够有效提高高分辨率遥感影像场景分类的准确率。
Figure BDA0002519877360000151
表5中提到的参考文献如下：
[15]Cheng G，Han J，Lu X.Remote sensing image scene classification:Benchmark and state of the art[J].Proceedings of the IEEE，2017，105(10):1865-1883.
[22]Yu Y，Liu F.A two-stream deep fusion framework for high-resolutionaerial scene classification[J].Computational intelligence and neuroscience，2018，2018.
[23]Cheng G，Li Z，Yao X，et al.Remote sensing image sceneclassification using bag of convolutional features[J].IEEE Geoscience andRemote Sensing Letters，2017，14(10):1735-1739.
[24]Han W，Feng R，Wang L，et al.A semi-supervised generative frameworkwith deep learning features for high-resolution remote sensing image sceneclassification[J].ISPRS Journal of Photogrammetry and Remote Sensing，2018，145:23-43.
[25]He N，Fang L，Li S，et al.Remote sensing scene classification usingmultilayer stacked covariance pooling[J].IEEE Transactions on Geoscience andRemote Sensing，2018，56(12):6899-6910.
[26]Cheng G，Yang C，Yao X，et al.When deep learning meets metriclearning:Remote sensing image scene classification via learningdiscriminative CNNs[J].IEEE transactions on geoscience and remote sensing，2018，56(5):2811-2821.
[27]Liu X，Zhou Y，Zhao J，et al.Siamese Convolutional Neural Networksfor Remote Sensing Scene Classification[J].IEEE Geoscience and Remote SensingLetters，2019.
[28]Liu Y，Huang C.Scene classification via triplet networks[J].IEEEJournal of Selected Topics in Applied Earth Observations and Remote Sensing，2017，11(1):220-237.
[29]Li J，Lin D，Wang Y，et al.Deep Discriminative RepresentationLearning with Attention Map for Scene Classification[J].arXiv preprint arXiv:1902.07967，2019.
[30]Xie J，He N，Fang L，et al.Scale-Free Convolutional Neural Networkfor Remote Sensing Scene Classification[J].IEEE Transactions on Geoscienceand Remote Sensing，2019.
[31]Zhang W，Tang P，Zhao L.Remote Sensing Image Scene ClassificationUsing CNN-CapsNet[J].Remote Sensing，2019，11(5):494.
本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读取存储介质中。
应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
实施例2：
如图11所示，本实施例提供了一种遥感影像场景分类得分融合系统，该系统包括第一训练模块1101、生成模块1102、第二训练模块1103和融合模块1104，各个模块的具体功能如下：
所述第一训练模块1101，用于利用生成对抗网络在卫星影像数据集上训练，得到从RGB波段信息到目标合成波段信息的生成对抗网络模型。
所述生成模块1102，用于将生成对抗网络模型迁移到航拍影像数据集上，利用生成对抗网络模型为航拍影像数据集生成合成波段。
所述第二训练模块1103，用于将合成波段逐一替换R波段、G波段和B波段，利用卷积神经网络为多种波段组合方式训练多个场景分类模型。
所述融合模块1104，用于提取每个场景分类模型输出的分类概率，对多个场景分类模型进行得分融合。
本实施例中各个模块的具体实现可以参见上述实施例1，在此不再一一赘述；需要说明的是，本实施例提供的系统仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配给不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
可以理解，上述系统所使用的术语“第一”、“第二”等可用于描述各种模块，但这些模块不受这些术语限制。这些术语仅用于将第一个模块与另一个模块区分。举例来说，在不脱离本发明的范围的情况下，可以将第一训练模块称为第二训练模块，且类似地，可将第二训练模块称为第一训练模块，第一训练模块和第二训练模块两者都是训练模块，但其不是同一训练模块。
实施例3：
如图12所示，本实施例提供了一种计算机设备，该计算机设备可以是服务器、计算机等，包括通过系统总线1201连接的处理器1202、存储器、输入装置1203、显示器1204和网络接口1205。其中，处理器1102用于提供计算和控制能力，存储器包括非易失性存储介质1206和内存储器1207，该非易失性存储介质1206存储有操作系统、计算机程序和数据库，该内存储器1207为非易失性存储介质1206中的操作系统和计算机程序的运行提供环境，计算机程序被处理器1202执行时，实现上述实施例1的遥感影像场景分类得分融合方法，如下：
利用生成对抗网络在卫星影像数据集上训练，得到从RGB波段信息到目标合成波段信息的生成对抗网络模型；
将生成对抗网络模型迁移到航拍影像数据集上，利用生成对抗网络模型为航拍影像数据集生成合成波段；
将合成波段逐一替换R波段、G波段和B波段，利用卷积神经网络为多种波段组合方式训练多个场景分类模型；
提取每个场景分类模型输出的分类概率，对多个场景分类模型进行得分融合。
实施例4：
本实施例提供一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的遥感影像场景分类得分融合方法，如下：
利用生成对抗网络在卫星影像数据集上训练，得到从RGB波段信息到目标合成波段信息的生成对抗网络模型；
利用生成对抗网络在卫星影像数据集上训练，得到从RGB波段信息到目标合成波段信息的生成对抗网络模型；
将生成对抗网络模型迁移到航拍影像数据集上，利用生成对抗网络模型为航拍影像数据集生成合成波段；
将合成波段逐一替换R波段、G波段和B波段，利用卷积神经网络为多种波段组合方式训练多个场景分类模型；
提取每个场景分类模型输出的分类概率，对多个场景分类模型进行得分融合。
本实施例所述的存储介质可以是磁盘、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、U盘、移动硬盘等介质。
综上所述，本发明通过生成对抗网络，为高分辨率遥感影像合成额外的光谱波段，并使用生成合成波段和其本身的R、G、B波段进行遥感影像的场景分类；为了充分使用场景分类模型中的权值，并在保证分类准确率的前提下加快生成对抗网络收敛，卷积神经网络通过将合成波段逐一替换R、G、B波段，重新组织为三波段的输入数据，并对场景分类模型中的权值进行微调；由于采用合成波段逐一替换R、G、B波段的方式，对于每种波段组合方式，分别学习其对应的场景分类模型，最后使用得分融合的方式，将多种波段组合的信息进行融合，从而得到众多合成波段和其真实R、G、B波段的最终分类结果。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (10)

1.一种遥感影像场景分类得分融合方法，其特征在于，所述方法包括：
利用生成对抗网络在卫星影像数据集上训练，得到从RGB波段信息到目标合成波段信息的生成对抗网络模型；
将生成对抗网络模型迁移到航拍影像数据集上，利用生成对抗网络模型为航拍影像数据集生成合成波段；
将合成波段逐一替换R波段、G波段和B波段，利用卷积神经网络为多种波段组合方式训练多个场景分类模型；
提取每个场景分类模型输出的分类概率，对多个场景分类模型进行得分融合。
2.根据权利要求1所述的遥感影像场景分类得分融合方法，其特征在于，所述利用卷积神经网络为多种波段组合方式训练多个场景分类模型，具体包括：
按照R波段、G波段和合成波段的顺序进行组合，按照R波段、合成波段和B波段的顺序进行组合，以及按照合成波段、G波段和B波段的顺序进行组合，利用卷积神经网络为这三种波段组合方式训练多个场景分类模型。
3.根据权利要求2所述的遥感影像场景分类得分融合方法，其特征在于，所述合成波段在进行组合之前，对合成波段进行反归一化，并将反归一化结果进行取整。
4.根据权利要求1-3任一项所述的遥感影像场景分类得分融合方法，其特征在于，所述利用生成对抗网络在卫星影像数据集上训练，得到从RGB波段信息到目标合成波段信息的生成对抗网络模型，具体包括：
对卫星影像数据集的RGB波段信息和目标合成波段信息进行预处理；
将预处理后的RGB波段信息和目标合成波段信息输入生成对抗网络进行训练，得到从RGB波段信息到目标合成波段信息的生成对抗网络模型。
5.根据权利要求4所述的遥感影像场景分类得分融合方法，其特征在于，所述对卫星影像数据集的RGB波段信息和目标合成波段信息进行预处理，具体包括：
对卫星影像数据集的RGB波段和目标合成波段归一化为-1到1之间。
6.根据权利要求4所述的遥感影像场景分类得分融合方法，其特征在于，所述目标合成波段的空间分辨率为大于或等于20m的空间分辨率。
7.根据权利要求1-3任一项所述的遥感影像场景分类得分融合方法，其特征在于，所述对多个场景分类模型进行得分融合，具体包括：
将多个场景分类模型的分类概率向量进行拼接，并输入支持向量机，得到融合结果；
或将多个场景分类模型的分类概率按照不同的权重拼接，然后输入支持向量机，得到融合结果；
或将多个场景分类模型的分类概率按照不同的权重相加，得到融合结果；
其中，所述支持向量机的核函数选用高斯径向基核。
8.一种遥感影像场景分类得分融合系统，其特征在于，所述系统包括：
第一训练模块，用于利用生成对抗网络在卫星影像数据集上训练，得到从RGB波段信息到目标合成波段信息的生成对抗网络模型；
生成模块，用于将生成对抗网络模型迁移到航拍影像数据集上，利用生成对抗网络模型为航拍影像数据集生成合成波段；
第二训练模块，用于将合成波段逐一替换R波段、G波段和B波段，利用卷积神经网络为多种波段组合方式训练多个场景分类模型；
融合模块，用于提取每个场景分类模型输出的分类概率，对多个场景分类模型进行得分融合。
9.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-7任一项所述的遥感影像场景分类得分融合方法。
10.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-7任一项所述的遥感影像场景分类得分融合方法。
CN202010487800.6A 2020-06-02 2020-06-02 遥感影像场景分类得分融合方法、系统、设备及存储介质 Active CN111767800B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010487800.6A CN111767800B (zh) 2020-06-02 2020-06-02 遥感影像场景分类得分融合方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010487800.6A CN111767800B (zh) 2020-06-02 2020-06-02 遥感影像场景分类得分融合方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111767800A true CN111767800A (zh) 2020-10-13
CN111767800B CN111767800B (zh) 2023-09-05

Family

ID=72719901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010487800.6A Active CN111767800B (zh) 2020-06-02 2020-06-02 遥感影像场景分类得分融合方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111767800B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364979A (zh) * 2020-11-05 2021-02-12 哈尔滨工业大学 一种基于GoogLeNet的红外图像识别方法
CN113326896A (zh) * 2021-06-25 2021-08-31 国网上海市电力公司 一种基于多类型传感器的融合感知方法
CN113344119A (zh) * 2021-06-28 2021-09-03 南京邮电大学 工业物联网复杂环境下的小样本烟雾监测方法
CN113344030A (zh) * 2021-05-11 2021-09-03 淮阴工学院 一种基于判决相关分析的遥感图像特征融合方法及系统
CN113361546A (zh) * 2021-06-18 2021-09-07 合肥工业大学 融合非对称卷积和注意力机制的遥感图像特征提取方法
CN113936165A (zh) * 2021-09-07 2022-01-14 上海商涌科技有限公司 Ct图像的处理方法、终端及计算机存储介质
CN114092813A (zh) * 2021-11-25 2022-02-25 中国科学院空天信息创新研究院 一种工业园区图像提取方法、模型、电子设备和存储介质
CN116721301A (zh) * 2023-08-10 2023-09-08 中国地质大学（武汉） 目标场景分类模型训练方法、分类方法、设备及存储介质
CN116859247A (zh) * 2023-07-26 2023-10-10 哈尔滨工业大学 基于多源迁移学习的电动汽车锂电池soh估算方法
CN116977868A (zh) * 2023-06-07 2023-10-31 珠江水利委员会珠江水利科学研究院 一种基于特征匹配的影像乘积融合方法、系统及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180336471A1 (en) * 2017-05-19 2018-11-22 Mehdi Rezagholizadeh Semi-supervised regression with generative adversarial networks
CN110287869A (zh) * 2019-06-25 2019-09-27 吉林大学 基于深度学习的高分辨率遥感影像农作物分类方法
CN110689086A (zh) * 2019-10-08 2020-01-14 郑州轻工业学院 基于生成式对抗网络的半监督高分遥感图像场景分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180336471A1 (en) * 2017-05-19 2018-11-22 Mehdi Rezagholizadeh Semi-supervised regression with generative adversarial networks
CN110287869A (zh) * 2019-06-25 2019-09-27 吉林大学 基于深度学习的高分辨率遥感影像农作物分类方法
CN110689086A (zh) * 2019-10-08 2020-01-14 郑州轻工业学院 基于生成式对抗网络的半监督高分遥感图像场景分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈德海;潘韦驰;丁博文;黄艳国;: "重校准特征融合对抗域适应的遥感影像场景分类", 计算机应用与软件, no. 05, pages 151 - 156 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364979B (zh) * 2020-11-05 2022-07-12 哈尔滨工业大学 一种基于GoogLeNet的红外图像识别方法
CN112364979A (zh) * 2020-11-05 2021-02-12 哈尔滨工业大学 一种基于GoogLeNet的红外图像识别方法
CN113344030B (zh) * 2021-05-11 2023-11-03 淮阴工学院 一种基于判决相关分析的遥感图像特征融合方法及系统
CN113344030A (zh) * 2021-05-11 2021-09-03 淮阴工学院 一种基于判决相关分析的遥感图像特征融合方法及系统
CN113361546A (zh) * 2021-06-18 2021-09-07 合肥工业大学 融合非对称卷积和注意力机制的遥感图像特征提取方法
CN113326896A (zh) * 2021-06-25 2021-08-31 国网上海市电力公司 一种基于多类型传感器的融合感知方法
CN113344119A (zh) * 2021-06-28 2021-09-03 南京邮电大学 工业物联网复杂环境下的小样本烟雾监测方法
CN113936165A (zh) * 2021-09-07 2022-01-14 上海商涌科技有限公司 Ct图像的处理方法、终端及计算机存储介质
CN113936165B (zh) * 2021-09-07 2024-06-07 上海商涌科技有限公司 Ct图像的处理方法、终端及计算机存储介质
CN114092813B (zh) * 2021-11-25 2022-08-05 中国科学院空天信息创新研究院 一种工业园区图像提取方法、系统、电子设备和存储介质
CN114092813A (zh) * 2021-11-25 2022-02-25 中国科学院空天信息创新研究院 一种工业园区图像提取方法、模型、电子设备和存储介质
CN116977868A (zh) * 2023-06-07 2023-10-31 珠江水利委员会珠江水利科学研究院 一种基于特征匹配的影像乘积融合方法、系统及存储介质
CN116977868B (zh) * 2023-06-07 2024-03-01 珠江水利委员会珠江水利科学研究院 一种基于特征匹配的影像乘积融合方法、系统及存储介质
CN116859247A (zh) * 2023-07-26 2023-10-10 哈尔滨工业大学 基于多源迁移学习的电动汽车锂电池soh估算方法
CN116721301B (zh) * 2023-08-10 2023-10-24 中国地质大学（武汉） 目标场景分类模型训练方法、分类方法、设备及存储介质
CN116721301A (zh) * 2023-08-10 2023-09-08 中国地质大学（武汉） 目标场景分类模型训练方法、分类方法、设备及存储介质

Also Published As

Publication number Publication date
CN111767800B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN111767800A (zh) 遥感影像场景分类得分融合方法、系统、设备及存储介质
Tong et al. Channel-attention-based DenseNet network for remote sensing image scene classification
Han et al. A semi-supervised generative framework with deep learning features for high-resolution remote sensing image scene classification
Chen et al. Remote sensing scene classification via multi-branch local attention network
Wang et al. RSNet: The search for remote sensing deep neural networks in recognition tasks
Wang et al. Remote sensing scene classification via multi-stage self-guided separation network
Xue et al. Remote sensing scene classification based on multi-structure deep features fusion
Guo et al. Global-local attention network for aerial scene classification
Ma et al. Multi-layers feature fusion of convolutional neural network for scene classification of remote sensing
CN104680173B (zh) 一种遥感图像场景分类方法
CN105678284B (zh) 一种固定位人体行为分析方法
Xu et al. Remote sensing image scene classification based on global–local dual-branch structure model
Luo et al. Learning high-level features by fusing multi-view representation of MLS point clouds for 3D object recognition in road environments
Zhang et al. Unsupervised spatial-spectral cnn-based feature learning for hyperspectral image classification
Mei et al. Remote sensing scene classification using sparse representation-based framework with deep feature fusion
CN104298974A (zh) 一种基于深度视频序列的人体行为识别方法
Zhang et al. Efficiently utilizing complex-valued PolSAR image data via a multi-task deep learning framework
Yang et al. SAGN: Semantic-aware graph network for remote sensing scene classification
Li et al. A novel deep feature fusion network for remote sensing scene classification
Li et al. Incorporating open source data for Bayesian classification of urban land use from VHR stereo images
Liu et al. Hyperspectral image classification based on convolutional neural network and dimension reduction
Jia et al. Collaborative contrastive learning for hyperspectral and LiDAR classification
CN113033460A (zh) 一种基于孪生网络的联合损失遥感图像分类方法
Li et al. An object-oriented CNN model based on improved superpixel segmentation for high-resolution remote sensing image classification
Zhu et al. A weakly pseudo-supervised decorrelated subdomain adaptation framework for cross-domain land-use classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant