CN113222068B - 基于邻接矩阵指导标签嵌入的遥感图像多标签分类方法 - Google Patents

基于邻接矩阵指导标签嵌入的遥感图像多标签分类方法 Download PDF

Info

Publication number
CN113222068B
CN113222068B CN202110617141.8A CN202110617141A CN113222068B CN 113222068 B CN113222068 B CN 113222068B CN 202110617141 A CN202110617141 A CN 202110617141A CN 113222068 B CN113222068 B CN 113222068B
Authority
CN
China
Prior art keywords
label
embedding
remote sensing
network
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110617141.8A
Other languages
English (en)
Other versions
CN113222068A (zh
Inventor
张向荣
单守平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110617141.8A priority Critical patent/CN113222068B/zh
Publication of CN113222068A publication Critical patent/CN113222068A/zh
Application granted granted Critical
Publication of CN113222068B publication Critical patent/CN113222068B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于邻接矩阵指导标签嵌入的遥感图像多标签分类方法，实现步骤为：获取训练样本集、测试样本集、邻接矩阵和标签向量矩阵；构建基于邻接矩阵指导标签嵌入的遥感图像多标签分类模型；对基于邻接矩阵指导标签嵌入的遥感图像多标签分类模型进行迭代训练；获取多标签图像分类结果。本发明通过邻接矩阵和嵌入向量余弦相似度矩阵的最小均方误差损失对标签向量矩阵嵌入过程进行约束，充分考虑了邻接矩阵这一先验信息，提高了多标签图像分类的mF1值；通过引入标签和图像协同嵌入方法，对标签和特征图中每一个像素之间的响应关系进行联合建模，减少了遥感图像背景对于多标签图像分类的影响，进而提高了多标签图像分类的mF1值。

Description

基于邻接矩阵指导标签嵌入的遥感图像多标签分类方法
技术领域
本发明属于图像处理技术领域，涉及一种图像多标签分类方法，具体涉及一种基于邻接矩阵指导标签嵌入的遥感图像多标签分类方法，可用于城市制图，场景理解及图像检索。
背景技术
遥感图像是由高空传感器对地表进行扫描和拍摄捕获的图像，具有全天性、视角广、少遮挡等优良的特性，在军事、民生等领域得到了广泛的应用。根据遥感图像中目标类别数目的多少可以将遥感图像分为单标签遥感图像和多标签遥感图像。如果单幅遥感图像包含一个及以上的目标类别，称这种图像为多标签遥感图像。遥感图像多标签分类是指对遥感图像中存在的多个目标类别进行分类，最终得到遥感图像中存在的所有目标类别的标签信息，被广泛应用于城市制图、场景理解等领域。
表征遥感图像多标签分类的指标主要是基于精准率和召回率的平均F1值mF1。mF1是准确率和召回率的加权调和平均数，其核心思想是在尽可能地提高准确率和召回率的同时，也希望两者之间的差异尽可能小。
遥感图像多标签分类方法分为传统的遥感图像多标签分类方法和基于深度学习的遥感图像多标签分类方法。相比于传统方法，基于深度学习的遥感图像多标签分类方法的mF1值高，算法复杂性低，因此得到了广泛关注。根据所给的监督信息的不同，基于深度学习的遥感图像多标签分类方法可分为两类：基于强监督的遥感图像多标签分类方法和基于弱监督的遥感图像多标签分类方法。相比于基于强监督的遥感图像多标签分类方法，基于弱监督的遥感图像多标签分类方法只利用图像类别标签进行多标签分类，而不使用额外的目标位置信息。基于弱监督的遥感图像多标签分类方法一般过程为：首先，对遥感图像进行特征提取；其次，通过不同的标签嵌入方法，对多标签进行嵌入操作，利用提取到的特征和嵌入得到标签嵌入特征进行关联学习；最后对关联学习得到的图像和标签之间的关联特征对遥感图像进行多标签分类。基于弱监督的遥感图像多标签分类方法具有训练效率高以及标签成本低等优点，是当前遥感图像多标签分类领域的研究热点。
图像多标签分类任务面临着两个主要的挑战。其中一个挑战是如何挖掘多标签之间的依赖关系；另一个挑战是如何对标签和图像进行跨模态语义信息的关联学习。例如，Renchun You等人于2020年在《Proceedings of the AAAI Conference on ArtificialIntelligence》会议上发表了一篇题为“Cross-modality attention with semanticgraph embedding for multi-label classification”的文章，卷号为34，公开了一种跨模态注意力图嵌入图像多标签分类方法，该方法利用标签图建模标签之间的语义关系并对标签进行嵌入操作；然后将学习到的标签嵌入和图像特征一起输入跨模态注意力模块，得到具有标签相关性的特征图。最后将标签相关性的特征图输入多标签分类器进行分类，得到分类结果。该方法解决了图像多标签分类任务中多模态联合建模的问题，但是没有考虑标签之间的局部依赖关系，此外，由于遥感图像存在背景复杂、目标尺度差异大等特点，该方法难以对多标签和图像区域进行精确的关联，且仅适用于自然图像。
为了充分挖掘多标签之间的依赖关系，并对标签和遥感图像进行跨模态语义信息的关联学习，Yuansheng Hua等人于2019年《IEEE Transactions on Geoscience andRemote Sensing》期刊上发表了一篇题为“Relation Network for Multilabel AerialImage Classification”的文章，卷号为58，公开了一种基于关系网络的遥感影像多标签分类方法，该方法利用标签的特征学习模块提取和标签相关的的高级特征然后使用注意力区域提取模块定位这些特征中的语义区域，不需要生成候选区域就可以直接产生标签特有的特征，在遥感影像多标签数据集上的mF1值相较于对比算法有效的提升。但是其存在的不足之处在于：由于该方法只考虑了标签和图像块之间的相应关系，忽略了数据中隐含的标签依赖关系，使得获得的标签特征向量缺乏先验信息的指导，此外，该方法无法对多标签和遥感图像进行像素级的关联学习，影响了分类精度的进一步提升。
发明内容
本发明的目的在于克服上述现有技术存在的不足，提出了一种基于邻接矩阵指导标签嵌入的遥感影像多标签分类方法，旨在提高遥感影像多标签分类的mF1值。
为实现上述目的，本发明采取的技术方案包括如下步骤：
(1)获取训练样本集、测试样本集、邻接矩阵和标签向量矩阵：
(1a)获取包含C个目标类别的S幅光学遥感图像X＝{Xs|1≤s≤S}，每幅光学遥感图像Xs至少包含一个目标类别
Figure BDA0003098407710000031
每个目标类别包含在P幅光学遥感图像中，其中，S≥1500，C≥2，Xs表示第s幅光学遥感图像，P≥2，
Figure BDA0003098407710000032
时，表示Xs中包含第l个目标类别，
Figure BDA0003098407710000033
时，表示Xs中不包含第l个目标类别；
(1b)对每幅光学遥感图像Xs包含的目标进行标注，得到多标签集合L＝{Ll|0≤l≤C-1}，并对标注目标的每幅光学遥感图像进行归一化处理，再将S幅经过归一化处理后的半数以上遥感图像及其对应的标签作为训练样本集，将其余遥感图像及其对应的标签作为测试样本集；
(1c)遍历训练样本集中每幅光学遥感图像对应的标签中存在的目标类别，统计目标类别中存在的每一个标签出现的总次数，并计算当每幅光学遥感图像中的目标类别数大于1时Ys中存在的标签对出现的总次数，然后构建标签共现次数矩阵B＝{Bij|0≤i≤C-1,0≤j≤C-1}，再对B进行列归一化，得到邻接矩阵
Figure BDA0003098407710000034
其中，Bij表示标签Li和标签Lj在训练样本集中同时出现的次数，j≠i，Bii表示标签Li在训练样本集中出现的次数，
Figure BDA0003098407710000036
表示实数域；
(1d)通过在预训练的GloVe词典中所查询的多标签集合L中每一个标签对应的标签向量表示，构建大小为C×r的标签向量矩阵
Figure BDA0003098407710000035
(2)构建基于邻接矩阵指导标签嵌入的遥感图像多标签分类模型M：
(2a)构建包括并行分布的标签嵌入网络Me和在公开的ImageNet数据集上预训练的图像语义特征提取及嵌入网络Mf，以及与Mf和Me的输出端依次级联的标签图像协同嵌入网络Mfe和多标签分类网络Mcls的遥感图像多标签分类模型M，其中Mf包含多个卷积层和一个或多个池化层；Me包含多个第一全连接层；Mfe包含多个第二全连接层；Mcls包含一个或多个第三全连接层；
(2b)定义遥感图像多标签分类模型M的损失函数
Figure BDA0003098407710000041
Figure BDA0003098407710000042
Figure BDA0003098407710000043
Figure BDA0003098407710000044
Figure BDA0003098407710000045
Figure BDA0003098407710000046
其中
Figure BDA0003098407710000047
表示多标签分类网络Mcls的多标签交叉熵损失函数，λ1表示
Figure BDA0003098407710000048
在
Figure BDA0003098407710000049
中的加权因子，
Figure BDA00030984077100000410
表示Mcls对于训练样本第c个标签的预测结果，yc表示训练样本对应的标签，σ(·)表示sigmoid函数，log(·)表示对数函数，∑(·)表示求和函数；
Figure BDA00030984077100000411
表示标签嵌入网络Me的标签距离度量损失函数，λ2表示
Figure BDA00030984077100000412
在
Figure BDA00030984077100000413
中的加权因子，
Figure BDA00030984077100000414
表示训练样本标签中包含标签Li，
Figure BDA00030984077100000415
表示训练样本标签中包含标签Lj，
Figure BDA00030984077100000416
表示训练样本标签中不包含标签Lk，
Figure BDA00030984077100000417
表示训练样本中标签Li的嵌入向量和标签Lj的嵌入向量之间的欧氏距离，
Figure BDA00030984077100000418
表示训练样本中标签Li的嵌入向量和标签Lk的嵌入向量的欧氏距离，n表示批处理mini-batch的大小；
Figure BDA00030984077100000419
表示Me的最小均方误差损失函数，λ3表示
Figure BDA00030984077100000420
在
Figure BDA00030984077100000421
中的加权因子，w表示用于放松相似度度量限制的指示函数，τ表示用于忽略邻接矩阵噪声的常数，ei和ej分别表示标签Li和标签Lj的嵌入向量，||·||表示取模操作，(·)T表示转置操作；
(3)对基于邻接矩阵指导标签嵌入的遥感图像多标签分类模型M进行迭代训练：
(3a)初始化迭代次数为t，最大迭代次数为T，T≥80，当前邻接矩阵指导标签嵌入的遥感图像多标签分类模型为Mt，当前图像语义特征提取及嵌入网络
Figure BDA0003098407710000051
的网络参数为
Figure BDA0003098407710000052
当前标签嵌入网络
Figure BDA0003098407710000053
的网络参数为
Figure BDA0003098407710000054
当前标签图像协同嵌入网络
Figure BDA0003098407710000055
的网络参数为
Figure BDA0003098407710000056
当前多标签分类网络
Figure BDA0003098407710000057
的网络参数为
Figure BDA0003098407710000058
Figure BDA0003098407710000059
的学习速率为αf，
Figure BDA00030984077100000510
和
Figure BDA00030984077100000511
网络参数的学习速率为αg，并令Mt＝M，
Figure BDA00030984077100000512
t＝0；
(3b)将无放回随机选取训练样本集的R幅训练图像作为图像语义特征提取及嵌入网络
Figure BDA00030984077100000513
的输入进行特征图提取，得到宽度、高度和通道数分别为W、H和D的每幅训练图像的特征图
Figure BDA00030984077100000514
并对Fcnn进行嵌入操作，得到Fcnn对应的嵌入特征图
Figure BDA00030984077100000515
其中，1≤R≤S，r1表示F的通道数；
(3c)将标签向量矩阵G作为标签嵌入网络
Figure BDA00030984077100000516
的输入，构建标签向量嵌入矩阵E′，并计算E′中每一行与其他各行标签嵌入向量之间的余弦相似度，构建嵌入向量余弦相似度矩阵
Figure BDA00030984077100000517
然后通过邻接矩阵A和H′之间的最小均方误差损失对G嵌入过程进行约束，实现邻接矩阵A对标签嵌入的指导，得到标签嵌入矩阵
Figure BDA00030984077100000518
(3d)标签图像协同嵌入网络
Figure BDA00030984077100000519
对标签嵌入矩阵E和嵌入特征图F进行对应元素乘积，然后对乘积结果进行嵌入操作，得到每个标签Li关于F的注意力图
Figure BDA00030984077100000520
并将
Figure BDA00030984077100000521
与F进行乘积操作，得到标签相关的特征响应向量
Figure BDA00030984077100000522
(3e)多标签分类网络
Figure BDA00030984077100000523
对标签相关的特征响应向量
Figure BDA00030984077100000524
进行多标签分类，并通过分类结果计算每幅训练图像中每一个标签存在的概率；
(3f)采用基于邻接矩阵指导标签嵌入的遥感图像多标签分类模型Mt的损失函数
Figure BDA00030984077100000525
并通过R幅训练图像及其对应的标签、步骤(3c)和(3e)的输出结果以及邻接矩阵A，计算Mt的损失值Qtotal；
(3g)采用链式求导方法，通过损失值Qtotal分别计算Mt中的网络参数
Figure BDA00030984077100000526
Figure BDA0003098407710000061
和
Figure BDA0003098407710000062
的梯度
Figure BDA0003098407710000063
和
Figure BDA0003098407710000064
并采用梯度下降法，通过
Figure BDA0003098407710000065
Figure BDA0003098407710000066
和
Figure BDA0003098407710000067
对
Figure BDA0003098407710000068
和
Figure BDA0003098407710000069
进行更新；
(3h)判断t≥T是否成立，若是，得到训练好的遥感图像多标签分类模型M*，否则，令t＝t+1，并执行步骤(3b)；
(4)获取多标签图像分类结果：
将测试样本集作为训练好的遥感图像多标签分类模型M*的输入，图像语义特征提取及嵌入网络
Figure BDA00030984077100000610
得到每一幅测试图像的嵌入特征图，标签嵌入网络
Figure BDA00030984077100000611
得到每一幅测试图像的标签嵌入矩阵，标签图像协同嵌入网络
Figure BDA00030984077100000612
得到每一幅测试图像中和类别相关的特征响应向量，多标签分类网络
Figure BDA00030984077100000613
对每个类别相关的特征响应向量进行多标签分类，计算每一幅测试图像中每一个标签存在的概率，并选择其中大于阈值的目标类别作为每幅测试图像中的多标签标注，得到所有测试图像的多标签分类结果。
本发明与现有技术相比，具有以下优点：
1.本发明在对遥感图像多标签分类模型进行训练，以及获取多标签图像分类结果的过程中，标签嵌入网络通过邻接矩阵和嵌入向量余弦相似度矩阵的最小均方误差损失对标签向量矩阵嵌入过程进行约束，得到标签嵌入矩阵，由于在标签嵌入过程中充分考虑了邻接矩阵这一全局标签依赖先验信息，使得标签嵌入向量在嵌入空间中能够保持原有的标签依赖关系，消除了标签嵌入向量难以表征标签依赖关系的不利因素，与现有技术相比，有效提高了多标签图像分类的mF1值。
2.本发明采用的标签图像协同嵌入网络对标签嵌入矩阵和图像嵌入特征图进行对应元素乘积，得到每个标签关于图像嵌入特征图的注意力图，并将注意力图与图像嵌入特征图进行乘积操作，得到标签相关的特征响应向量，由于在对标签嵌入向量和图像特征嵌入向量的相关性建模中计算了标签和特征图中每一个像素之间的响应关系，使得标签图像协同嵌入网络能够学习到标签和图像之间更加精细的响应关系，减少了遥感图像背景对于多标签图像分类的影响，与现有方法相比，进一步提高了多标签图像分类的mF1值。
附图说明
图1为本发明的实现流程图；
图2为本发明仿真实验所采用的遥感图像；
图3为本发明和现有技术分类精度的仿真结果对比图。
具体实施方式
以下结合附图和具体实施例，对本发明作进一步详细描述。
参照图1，本发明包括如下步骤。
步骤1)获取训练样本集、测试样本集、邻接矩阵和标签向量矩阵：
(1a)获取包含C个目标类别的S幅光学遥感图像X＝{Xs|1≤s≤S}，每幅光学遥感图像Xs至少包含一个目标类别
Figure BDA0003098407710000071
每个目标类别包含在P幅光学遥感图像中，其中，S≥100，C≥2，Xs表示第s幅光学遥感图像，P≥2，
Figure BDA0003098407710000072
时，表示Xs中包含第l个目标类别，
Figure BDA0003098407710000073
时，表示Xs中不包含第l个目标类别。其中，S＝2100，C＝17。
(1b)对每幅光学遥感图像Xs包含的目标进行标注，得到多标签集合L＝{Ll|0≤l≤C-1}，并对标注目标的每幅光学遥感图像减去ImageNet数据集中的图像均值再除以图像方差进行归一化处理，再将S幅经过归一化处理后的80％遥感图像及其对应的标签作为训练样本集，将其余遥感图像及其对应的标签作为测试样本集。
(1c)遍历训练样本集中每幅光学遥感图像对应的标签中存在的目标类别，统计目标类别中存在的每一个标签出现的总次数，并计算当每幅光学遥感图像中的目标类别数大于1时Ys中存在的标签对出现的总次数，然后构建标签共现次数矩阵B＝{Bij|0≤i≤C-1,0≤j≤C-1}，再对B进行列归一化，得到邻接矩阵
Figure BDA0003098407710000074
其中，Bij表示标签共现次数矩阵B的非对角线元素，表示标签Li和标签Lj在训练样本集中同时出现的次数，j≠i，Bii表示标签共现次数矩阵B的对角线元素，其表示标签Li在训练样本集中出现的次数，
Figure BDA0003098407710000075
表示实数域；
(1d)通过在预训练的GloVe词典中所查询的多标签集合L中每一个标签对应的标签向量表示，构建大小为C×r的向量矩阵
Figure BDA0003098407710000081
其中，r＝300；
步骤2)构建基于邻接矩阵指导标签嵌入的遥感图像多标签分类模型M：
(2a)构建包括并行分布的标签嵌入网络Me和在公开的ImageNet数据集上预训练的图像语义特征提取及嵌入网络Mf，相比于随机初始化的方法，使用ImageNet预训练网络参数的方法能够加快特征提取及嵌入网络的收敛速度，以及与Mf和Me的输出端依次级联的标签图像协同嵌入网络Mfe和多标签分类网络Mcls的遥感图像多标签分类模型M，其中Mf包含多个卷积层和一个或多个池化层；Me包含多个第一全连接层；Mfe包含多个第二全连接层；Mcls包含一个或多个第三全连接层。
在本实施例中，图像语义特征提取及嵌入网络Mf包括五十一个卷积层和一个池化层，其中第二个卷积层到四十八个卷积层可以分成四组，Mf的结构关系为：第一卷积层→池化层→第一组卷积层→第二组卷积层→第三组卷积层→第四组卷积层→第二卷积层→第三卷积层，其中具体参数为：
第一卷积层的卷积核大小为7×7，卷积核数量为64，步长为2；
池化层是最大池化层，大小为3×3，步长为2；
第一组卷积层包括三组重复堆叠的组合卷积层，每个组合卷积层包括：一个卷积核大小为1×1，卷积核数量为64，步长为1。一个卷积核大小为3×3，卷积核数量为64，步长为1。一个卷积核大小为1×1，卷积核数量为256，步长为1；
第二组卷积层包括四组重复堆叠的组合卷积层，每个组合卷积层包括：一个卷积核大小为1×1，卷积核数量为128，步长为1。一个卷积核大小为3×3，卷积核数量为128，步长为2。一个卷积核大小为1×1，卷积核数量为512，步长为1；
第三组卷积层包括六组重复堆叠的组合卷积层，每个组合卷积层包括：一个卷积核大小为1×1，卷积核数量为256，步长为1。一个卷积核大小为3×3，卷积核数量为256，步长为2。一个卷积核大小为1×1，卷积核数量为1024，步长为1；
第四组卷积层包括三组重复堆叠的组合卷积层，每个组合卷积层包括：一个卷积核大小为1×1，卷积核数量为512，步长为1。一个卷积核大小为3×3，卷积核数量为512，步长为2。一个卷积核大小为1×1，卷积核数量为2048，步长为1；
第二卷积层包括一个卷积核大小为1×1，卷积核数量为150，步长为1；
第三卷积层包括一个卷积核大小为1×1，卷积核数量为300，步长为1；
在本实施例中，标签嵌入网络Me包含两个第一全连接层，具体参数为：
第一个第一全连接层的大小为300×150，第二个第一全连接层的大小为150×300。
在本实施例中，标签图像协同嵌入网络Mfe包括两个第二全连接层，具体参数为：
第一个第二全连接层的大小是300×300，第二个第二全连接层大小为300×1。
在本实施例中，多标签分类网络Mcls包含一个第三全连接层，大小为300×1。
(2b)定义遥感图像多标签分类模型M的损失函数
Figure BDA0003098407710000091
Figure BDA0003098407710000092
Figure BDA0003098407710000093
Figure BDA0003098407710000094
Figure BDA0003098407710000095
Figure BDA0003098407710000096
其中
Figure BDA0003098407710000097
表示多标签分类网络Mcls的多标签交叉熵损失函数，λ1表示
Figure BDA0003098407710000098
在
Figure BDA0003098407710000101
中的加权因子，
Figure BDA0003098407710000102
表示Mcls对于训练样本第c个标签的预测结果，yc表示训练样本对应的标签，σ(·)表示sigmoid函数，log(·)表示对数函数，∑(·)表示求和函数；
Figure BDA0003098407710000103
表示标签嵌入网络Me的标签距离度量损失函数，λ2表示
Figure BDA0003098407710000104
在
Figure BDA0003098407710000105
中的加权因子，
Figure BDA0003098407710000106
表示训练样本标签中包含标签Li，
Figure BDA0003098407710000107
表示训练样本标签中包含标签Lj，
Figure BDA0003098407710000108
表示训练样本标签中不包含标签Lk，
Figure BDA0003098407710000109
表示训练样本中标签Li的嵌入向量和标签Lj的嵌入向量之间的欧氏距离，
Figure BDA00030984077100001010
表示训练样本中标签Li的嵌入向量和标签Lk的嵌入向量的欧氏距离，n表示批处理mini-batch的大小；
Figure BDA00030984077100001011
表示Me的最小均方误差损失函数，λ3表示
Figure BDA00030984077100001012
在
Figure BDA00030984077100001013
中的加权因子，w表示用于放松相似度度量限制的指示函数，τ表示用于忽略邻接矩阵噪声的常数，ei和ej分别表示标签Li和标签Lj的嵌入向量，||·||表示取模操作，(·)T表示转置操作；
步骤3)对基于邻接矩阵指导标签嵌入的遥感图像多标签分类模型M进行迭代训练：
(3a)初始化迭代次数为t，最大迭代次数为T，T≥80，当前邻接矩阵指导标签嵌入的遥感图像多标签分类模型为Mt，当前图像语义特征提取及嵌入网络
Figure BDA00030984077100001014
的网络参数为
Figure BDA00030984077100001015
当前标签嵌入网络
Figure BDA00030984077100001016
的网络参数为
Figure BDA00030984077100001017
当前标签图像协同嵌入网络
Figure BDA00030984077100001018
的网络参数为
Figure BDA00030984077100001019
当前多标签分类网络
Figure BDA00030984077100001020
的网络参数为
Figure BDA00030984077100001021
Figure BDA00030984077100001022
的学习速率为αf，
Figure BDA00030984077100001023
和
Figure BDA00030984077100001024
网络参数的学习速率为αg，并令Mt＝M，
Figure BDA00030984077100001025
T≥80，并令t＝0，αf＝0.001，αg＝0.01。
(3b)将无放回随机选取训练样本集的R幅训练图像作为图像语义特征提取及嵌入网络
Figure BDA00030984077100001026
的输入进行特征图提取，根据卷积层中包含的卷积核数量的大小对每幅训练图像进行相应的卷积操作，得到与卷积核数量相同的多维特征图
Figure BDA00030984077100001027
Fcnn的宽度、高度和通道数分别为W、H和D，并对Fcnn进行嵌入操作，得到Fcnn对应的嵌入特征图
Figure BDA0003098407710000111
其中，r1表示F的通道数。在本实施例中，R＝8，W＝14，H＝14，D＝2048，r1＝300。
(3c)将标签向量矩阵G作为标签嵌入网络
Figure BDA0003098407710000112
的输入，构建标签向量嵌入矩阵E′，并计算E′中每一行与其他各行标签嵌入向量之间的余弦相似度，构建嵌入向量余弦相似度矩阵
Figure BDA0003098407710000113
然后通过邻接矩阵A和H′之间的最小均方误差损失对G嵌入过程进行约束，实现邻接矩阵A对标签嵌入的指导，得到标签嵌入矩阵
Figure BDA0003098407710000114
这种邻接矩阵指导嵌入方法充分考虑了全局标签依赖先验信息，约束标签嵌入向量在嵌入空间中能够保持原有的标签依赖关系，消除了标签嵌入向量难以表征标签依赖关系的不利因素。
(3d)标签图像协同嵌入网络
Figure BDA0003098407710000115
对标签嵌入矩阵E和嵌入特征图F进行对应元素乘积，然后对乘积结果进行嵌入操作，得到每个标签Li关于F的注意力图
Figure BDA0003098407710000116
并将
Figure BDA0003098407710000117
与F进行乘积操作，得到标签相关的特征响应向量
Figure BDA0003098407710000118
其具体步骤为：
(3d1)嵌入特征图
Figure BDA0003098407710000119
和标签嵌入矩阵
Figure BDA00030984077100001110
大小不一致，需要对两者进行通道复制操作，将F进行转置和复制C次之后得到
Figure BDA00030984077100001111
并将E进行转置和复制W×H次后得到
Figure BDA00030984077100001112
(3d2)将
Figure BDA00030984077100001113
和
Figure BDA00030984077100001114
按照对应元素进行乘积操作，然后通过正切函数对乘积进行非线性处理，最后通过标签图像协同嵌入网络两个第一全连接层和softmax层得到标签关于嵌入特征图F的注意力图
Figure BDA00030984077100001115
fi,wh＝UT(tanh(fwh⊙ei))+b
αi,wh＝fc(fi,wh)
Figure BDA00030984077100001116
(3d3)将标签关于特征图的注意力图
Figure BDA00030984077100001117
和嵌入特征图F相乘再沿着长宽维度加和即可得到标签相关的特征响应向量
Figure BDA00030984077100001118
其计算公式为：
Figure BDA00030984077100001119
(3e)多标签分类网络
Figure BDA0003098407710000121
对标签相关的特征响应向量
Figure BDA0003098407710000122
进行多标签分类，并通过分类结果计算每幅训练图像中每一个标签存在的概率。其具体步骤为：
(3e1)将标签相关的特征响应向量
Figure BDA0003098407710000123
通过一个第三全连接层得到
Figure BDA0003098407710000124
(3e2)将
Figure BDA0003098407710000125
通过一个softmax函数进行归一化将
Figure BDA0003098407710000126
的值限制在0～1之间，计算得到每个标签存在的概率
Figure BDA0003098407710000127
(3f)采用基于邻接矩阵指导标签嵌入的遥感图像多标签分类模型Mt的损失函数
Figure BDA0003098407710000128
并通过R幅训练图像及其对应的标签、步骤(3c)和(3e)的输出结果以及邻接矩阵A，计算Mt的损失值Qtotal，具体实现步骤为：
(3f1)标签嵌入网络使用最小均方误差损失函数
Figure BDA0003098407710000129
通过最小化嵌入向量之间的余弦相似度矩阵和标签邻接矩阵A之间的均方误差，得到损失值为Qmse，其计算公式为：
Figure BDA00030984077100001210
(3f2)标签距离度量机制的损失函数
Figure BDA00030984077100001211
通过计算每一个训练批次中标签组合的共现情况，得到损失值为Qld，该损失函数可以在嵌入空间中拉近经常一起出现的嵌入向量之间的距离，同时拉远没有一起出现的嵌入向量之间的距离，其计算公式为：
Figure BDA00030984077100001212
其中，n＝8。
(3f3)多标签分类网络使用交叉熵损失函数
Figure BDA00030984077100001213
通过计算每幅训练图像中对于标签存在的预测概率和该幅图像对应标签之间的交叉熵，得到损失值为Qce，其计算公式为；
Figure BDA00030984077100001214
其中，yc表示训练图像中标签Lc是否存在的真实类标，
Figure BDA0003098407710000131
表示图像多标签分类网络预测标签Lc存在的概率值。
(3f4)计算A的损失值Qtotal：
Qtotal＝λ1Qle+λ2Qld+λ3Qmse。
在本实例中，λ1＝1，λ2＝10，λ3＝1。
(3g)采用链式求导方法，通过损失值Qtotal分别计算Mt中的网络参数
Figure BDA0003098407710000132
Figure BDA0003098407710000133
和
Figure BDA0003098407710000134
的梯度
Figure BDA0003098407710000135
和
Figure BDA0003098407710000136
并采用梯度下降法，通过
Figure BDA0003098407710000137
Figure BDA0003098407710000138
和
Figure BDA0003098407710000139
对
Figure BDA00030984077100001310
和
Figure BDA00030984077100001311
进行更新：
(3g1)通过链式求导方法，通过损失值Qtotal分别计算
Figure BDA00030984077100001312
的网络参数
Figure BDA00030984077100001313
的网络参数
Figure BDA00030984077100001314
的网络参数
Figure BDA00030984077100001315
和
Figure BDA00030984077100001316
的网络参数
Figure BDA00030984077100001317
的梯度
Figure BDA00030984077100001318
和
Figure BDA00030984077100001319
其计算公式为：
Figure BDA00030984077100001320
Figure BDA00030984077100001321
Figure BDA00030984077100001322
Figure BDA00030984077100001323
其中
Figure BDA00030984077100001324
表示求偏导函数，
Figure BDA00030984077100001325
表示
Figure BDA00030984077100001326
的输出值，
Figure BDA00030984077100001327
表示
Figure BDA00030984077100001328
的输出值，
Figure BDA00030984077100001329
表示
Figure BDA00030984077100001330
的输出值，
Figure BDA00030984077100001331
表示
Figure BDA00030984077100001332
的输出值。
(3g2)采用梯度下降法，通过
Figure BDA00030984077100001333
和
Figure BDA00030984077100001334
对网络参数
Figure BDA00030984077100001335
Figure BDA00030984077100001336
和
Figure BDA00030984077100001337
进行更新，其更新公式为：
Figure BDA00030984077100001338
Figure BDA0003098407710000141
Figure BDA0003098407710000142
Figure BDA0003098407710000143
其中，
Figure BDA0003098407710000144
表示
Figure BDA0003098407710000145
的参数
Figure BDA0003098407710000146
的更新值，
Figure BDA0003098407710000147
表示
Figure BDA0003098407710000148
的参数
Figure BDA0003098407710000149
的更新值，
Figure BDA00030984077100001410
表示
Figure BDA00030984077100001411
的参数
Figure BDA00030984077100001412
的更新值，
Figure BDA00030984077100001413
表示
Figure BDA00030984077100001414
的参数
Figure BDA00030984077100001415
的更新值。
(3h)判断t≥T是否成立，若是，得到训练好的遥感图像多标签分类模型M*，否则，令t＝t+1，并执行步骤(3b)。
步骤4)获取多标签图像分类结果：
将测试样本集作为训练好的遥感图像多标签分类模型M*的输入，图像语义特征提取及嵌入网络
Figure BDA00030984077100001416
得到每一幅测试图像的嵌入特征图，标签嵌入网络
Figure BDA00030984077100001417
得到每一幅测试图像的标签嵌入矩阵，标签图像协同嵌入网络
Figure BDA00030984077100001418
得到每一幅测试图像中和类别相关的特征响应向量，多标签分类网络
Figure BDA00030984077100001419
对每个类别相关的特征响应向量进行多标签分类，计算每一幅测试图像中每一个标签存在的概率，并选择其中大于阈值的目标类别作为每幅测试图像中的多标签标注，得到所有测试图像的多标签分类结果。
以下结合仿真实验，对本发明的技术效果进一步说明：
1.仿真条件及内容：
仿真实验采用公共的UCM遥感影像多标签数据集，该数据集包含1680张训练样本集，420张测试样本集。
仿真所用的处理器为
Figure BDA00030984077100001420
Xeon(R)CPU E5-2678v3，内存容量为128.00GB，GPU为12G的GeForce GTX1080Ti，仿真平台为Ubuntu16.04操作系统，使用Pytorch深度学习框架，采用Python语言实现。
仿真所使用的测试图像如图2所示，图2所示的光学遥感图像包含了“土壤”、“建筑”、“球场”、“草地”、“道路”、“树木”共六个标签，其中“球场”位于遥感图像的右下角，而且只有小部分区域出现在遥感图像中。
对本发明和现有的基于关系网络的遥感影像多标签分类方法的分类精度进行对比仿真，其结果如图3所示。
2.仿真结果分析：
图3(a)为现有技术多标签分类仿真结果图，图3(b)为本发明多标签分类仿真结果图。从图3(a)的结果看出，现有技术多标签分类的仿真结果中没有预测到图3(a)虚线框区域中的“球场”标签；从图3(b)可以看出，尽管测试图像中“球场”标签的区域并不完整，但是本发明采用的标签图像协同嵌入网络在对标签嵌入向量和图像特征嵌入向量的相关性建模中考虑了标签和特征图中每一个像素之间的响应关系，能够学习到标签和图像之间更加精细的响应关系，因此，本发明能够完全预测到所有的标签，大幅提高了遥感影像多标签图像分类精度。将本发明的在整个数据集测试集上的仿真结果与真实标注结果进行比对，仿真结果表明，本发明的多标签分类的mF1值由86.76％提高到87.04％。
以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (2)

1.一种基于邻接矩阵指导标签嵌入的遥感图像多标签分类方法，其特征在于，包括如下步骤：
(1)获取训练样本集、测试样本集、邻接矩阵和标签向量矩阵：
(1a)获取包含C个目标类别的S幅光学遥感图像X＝{Xs|1≤s≤S}，每幅光学遥感图像Xs至少包含一个目标类别Ys＝{Ys l∈{0,1}|0≤l≤C-1}，每个目标类别包含在P幅光学遥感图像中，其中，S≥1500，C≥2，Xs表示第s幅光学遥感图像，P≥2，Ys l＝1时，表示Xs中包含第l个目标类别，Ys l＝0时，表示Xs中不包含第l个目标类别；
(1b)对每幅光学遥感图像Xs包含的目标进行标注，得到多标签集合L＝{Ll|0≤l≤C-1}，并对标注目标的每幅光学遥感图像进行归一化处理，再将S幅经过归一化处理后的半数以上遥感图像及其对应的标签作为训练样本集，将其余遥感图像及其对应的标签作为测试样本集；
(1c)遍历训练样本集中每幅光学遥感图像对应的标签中存在的目标类别，统计目标类别中存在的每一个标签出现的总次数，并计算当每幅光学遥感图像中的目标类别数大于1时Ys中存在的标签对出现的总次数，然后构建标签共现次数矩阵B＝{Bij|0≤i≤C-1,0≤j≤C-1}，再对B进行列归一化，得到邻接矩阵
Figure FDA0003098407700000011
其中，Bij表示标签Li和标签Lj在训练样本集中同时出现的次数，j≠i，Bii表示标签Li在训练样本集中出现的次数，
Figure FDA0003098407700000012
表示实数域；
(1d)通过在预训练的GloVe词典中所查询的多标签集合L中每一个标签对应的标签向量表示，构建大小为C×r的标签向量矩阵
Figure FDA0003098407700000013
(2)构建基于邻接矩阵指导标签嵌入的遥感图像多标签分类模型M：
(2a)构建包括并行分布的标签嵌入网络Me和在公开的ImageNet数据集上预训练的图像语义特征提取及嵌入网络Mf，以及与Mf和Me的输出端依次级联的标签图像协同嵌入网络Mfe和多标签分类网络Mcls的遥感图像多标签分类模型M，其中Mf包含多个卷积层和一个或多个池化层；Me包含多个第一全连接层；Mfe包含多个第二全连接层；Mcls包含一个或多个第三全连接层；
(2b)定义遥感图像多标签分类模型M的损失函数
Figure FDA0003098407700000021
Figure FDA0003098407700000022
Figure FDA0003098407700000023
Figure FDA0003098407700000024
Figure FDA0003098407700000025
Figure FDA0003098407700000026
其中
Figure FDA0003098407700000027
表示多标签分类网络Mcls的多标签交叉熵损失函数，λ1表示
Figure FDA0003098407700000028
在
Figure FDA0003098407700000029
中的加权因子，
Figure FDA00030984077000000210
表示Mcls对于训练样本第c个标签的预测结果，yc表示训练样本对应的标签，σ(·)表示sigmoid函数，log(·)表示对数函数，∑(·)表示求和函数；
Figure FDA00030984077000000211
表示标签嵌入网络Me的标签距离度量损失函数，λ2表示
Figure FDA00030984077000000212
在
Figure FDA00030984077000000213
中的加权因子，
Figure FDA00030984077000000214
表示训练样本标签中包含标签Li，
Figure FDA00030984077000000215
表示训练样本标签中包含标签Lj，
Figure FDA00030984077000000216
表示训练样本标签中不包含标签Lk，
Figure FDA00030984077000000217
表示训练样本中标签Li的嵌入向量和标签Lj的嵌入向量之间的欧氏距离，
Figure FDA00030984077000000218
表示训练样本中标签Li的嵌入向量和标签Lk的嵌入向量的欧氏距离，n表示批处理mini-batch的大小；
Figure FDA0003098407700000031
表示Me的最小均方误差损失函数，λ3表示
Figure FDA0003098407700000032
在
Figure FDA0003098407700000033
中的加权因子，w表示用于放松相似度度量限制的指示函数，τ表示用于忽略邻接矩阵噪声的常数，ei和ej分别表示标签Li和标签Lj的嵌入向量，||·||表示取模操作，(·)T表示转置操作；
(3)对基于邻接矩阵指导标签嵌入的遥感图像多标签分类模型M进行迭代训练：
(3a)初始化迭代次数为t，最大迭代次数为T，T≥80，当前邻接矩阵指导标签嵌入的遥感图像多标签分类模型为Mt，当前图像语义特征提取及嵌入网络
Figure FDA0003098407700000034
的网络参数为
Figure FDA0003098407700000035
当前标签嵌入网络
Figure FDA0003098407700000036
的网络参数为
Figure FDA0003098407700000037
当前标签图像协同嵌入网络
Figure FDA0003098407700000038
的网络参数为
Figure FDA0003098407700000039
当前多标签分类网络
Figure FDA00030984077000000310
的网络参数为
Figure FDA00030984077000000311
Figure FDA00030984077000000312
的学习速率为αf，
Figure FDA00030984077000000313
和
Figure FDA00030984077000000314
网络参数的学习速率为αg，并令Mt＝M，
Figure FDA00030984077000000315
t＝0；
(3b)将无放回随机选取训练样本集的R幅训练图像作为图像语义特征提取及嵌入网络
Figure FDA00030984077000000316
的输入进行特征图提取，得到宽度、高度和通道数分别为W、H和D的每幅训练图像的特征图
Figure FDA00030984077000000317
并对Fcnn进行嵌入操作，得到Fcnn对应的嵌入特征图
Figure FDA00030984077000000318
其中，1≤R≤S，r1表示F的通道数；
(3c)将标签向量矩阵G作为标签嵌入网络
Figure FDA00030984077000000319
的输入，构建标签向量嵌入矩阵E′，并计算E′中每一行与其他各行标签嵌入向量之间的余弦相似度，构建嵌入向量余弦相似度矩阵
Figure FDA00030984077000000320
然后通过邻接矩阵A和H′之间的最小均方误差损失对G嵌入过程进行约束，实现邻接矩阵A对标签嵌入的指导，得到标签嵌入矩阵
Figure FDA00030984077000000321
(3d)标签图像协同嵌入网络
Figure FDA00030984077000000322
对标签嵌入矩阵E和嵌入特征图F进行对应元素乘积，然后对乘积结果进行嵌入操作，得到每个标签Li关于F的注意力图
Figure FDA00030984077000000323
并将
Figure FDA00030984077000000324
与F进行乘积操作，得到标签相关的特征响应向量
Figure FDA00030984077000000325
(3e)多标签分类网络
Figure FDA00030984077000000428
对标签相关的特征响应向量
Figure FDA0003098407700000041
进行多标签分类，并通过分类结果计算每幅训练图像中每一个标签存在的概率；
(3f)采用基于邻接矩阵指导标签嵌入的遥感图像多标签分类模型Mt的损失函数
Figure FDA0003098407700000042
并通过R幅训练图像及其对应的标签、步骤(3c)和(3e)的输出结果以及邻接矩阵A，计算Mt的损失值Qtotal；
(3g)采用链式求导方法，通过损失值Qtotal分别计算Mt中的网络参数
Figure FDA0003098407700000043
Figure FDA0003098407700000044
和
Figure FDA0003098407700000045
的梯度
Figure FDA0003098407700000046
和
Figure FDA0003098407700000047
并采用梯度下降法，通过
Figure FDA0003098407700000048
Figure FDA0003098407700000049
和
Figure FDA00030984077000000410
对
Figure FDA00030984077000000411
和
Figure FDA00030984077000000412
进行更新；
(3h)判断t≥T是否成立，若是，得到训练好的遥感图像多标签分类模型M*，否则，令t＝t+1，并执行步骤(3b)；
(4)获取多标签图像分类结果：
将测试样本集作为训练好的遥感图像多标签分类模型M*的输入，图像语义特征提取及嵌入网络
Figure FDA00030984077000000413
得到每一幅测试图像的嵌入特征图，标签嵌入网络
Figure FDA00030984077000000414
得到每一幅测试图像的标签嵌入矩阵，标签图像协同嵌入网络
Figure FDA00030984077000000415
得到每一幅测试图像中和类别相关的特征响应向量，多标签分类网络
Figure FDA00030984077000000416
对每个类别相关的特征响应向量进行多标签分类，计算每一幅测试图像中每一个标签存在的概率，并选择其中大于阈值的目标类别作为每幅测试图像中的多标签标注，得到所有测试图像的多标签分类结果。
2.根据权利要求1所述的基于邻接矩阵指导标签嵌入的遥感图像多标签分类方法，其特征在于，步骤(3g)中所述的采用链式求导方法，计算Mt中的网络参数
Figure FDA00030984077000000417
和
Figure FDA00030984077000000418
的梯度
Figure FDA00030984077000000419
和
Figure FDA00030984077000000420
并采用梯度下降法，通过
Figure FDA00030984077000000421
和
Figure FDA00030984077000000422
对
Figure FDA00030984077000000423
和
Figure FDA00030984077000000424
进行更新，其中：
采用链式求导方法，计算Mt中的网络参数
Figure FDA00030984077000000425
和
Figure FDA00030984077000000426
的梯度
Figure FDA00030984077000000427
Figure FDA0003098407700000051
和
Figure FDA0003098407700000052
的计算公式为：
Figure FDA0003098407700000053
Figure FDA0003098407700000054
Figure FDA0003098407700000055
Figure FDA0003098407700000056
采用梯度下降法，通过
Figure FDA0003098407700000057
和
Figure FDA0003098407700000058
对网络参数
Figure FDA0003098407700000059
和
Figure FDA00030984077000000510
进行更新的公式为：
Figure FDA00030984077000000511
Figure FDA00030984077000000512
Figure FDA00030984077000000513
Figure FDA00030984077000000514
其中，
Figure FDA00030984077000000515
表示求偏导函数，
Figure FDA00030984077000000516
表示
Figure FDA00030984077000000517
的输出值，
Figure FDA00030984077000000518
表示
Figure FDA00030984077000000519
的输出值，
Figure FDA00030984077000000520
表示
Figure FDA00030984077000000521
的输出值，
Figure FDA00030984077000000522
表示
Figure FDA00030984077000000523
的输出值；
Figure FDA00030984077000000524
表示
Figure FDA00030984077000000525
的参数
Figure FDA00030984077000000526
的更新值，
Figure FDA00030984077000000527
表示
Figure FDA00030984077000000528
的参数
Figure FDA00030984077000000529
的更新值，
Figure FDA00030984077000000530
表示
Figure FDA00030984077000000531
的参数
Figure FDA00030984077000000532
的更新值，
Figure FDA00030984077000000533
表示
Figure FDA00030984077000000534
的参数
Figure FDA00030984077000000535
的更新值。
CN202110617141.8A 2021-06-03 2021-06-03 基于邻接矩阵指导标签嵌入的遥感图像多标签分类方法 Active CN113222068B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110617141.8A CN113222068B (zh) 2021-06-03 2021-06-03 基于邻接矩阵指导标签嵌入的遥感图像多标签分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110617141.8A CN113222068B (zh) 2021-06-03 2021-06-03 基于邻接矩阵指导标签嵌入的遥感图像多标签分类方法

Publications (2)

Publication Number Publication Date
CN113222068A CN113222068A (zh) 2021-08-06
CN113222068B true CN113222068B (zh) 2022-12-27

Family

ID=77082510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110617141.8A Active CN113222068B (zh) 2021-06-03 2021-06-03 基于邻接矩阵指导标签嵌入的遥感图像多标签分类方法

Country Status (1)

Country Link
CN (1) CN113222068B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449821B (zh) * 2021-08-31 2021-12-31 浙江宇视科技有限公司 融合语义和图像特征的智能训练方法、装置、设备及介质
CN115601584A (zh) * 2022-09-14 2023-01-13 北京联合大学（Cn） 一种遥感场景图像多标签分类方法和装置、存储介质
CN115861847B (zh) * 2023-02-24 2023-05-05 耕宇牧星(北京)空间科技有限公司 可见光遥感图像目标智能辅助标注方法
CN117132218B (zh) * 2023-07-17 2024-03-19 杭州逍邦网络科技有限公司 工作流管理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697469A (zh) * 2018-12-26 2019-04-30 西北工业大学 一种基于一致性约束的自学习小样本遥感图像分类方法
CN109840531A (zh) * 2017-11-24 2019-06-04 华为技术有限公司 训练多标签分类模型的方法和装置
CN110210534A (zh) * 2019-05-21 2019-09-06 河海大学 基于多包融合的高分遥感图像场景多标签分类方法
CN111461258A (zh) * 2020-04-26 2020-07-28 武汉大学 耦合卷积神经网络和图卷积网络的遥感影像场景分类方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878296B2 (en) * 2018-04-12 2020-12-29 Discovery Communications, Llc Feature extraction and machine learning for automated metadata analysis
CN109711481B (zh) * 2019-01-02 2021-09-10 京东方艺云科技有限公司 用于画作多标签识别的神经网络、相关方法、介质和设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840531A (zh) * 2017-11-24 2019-06-04 华为技术有限公司 训练多标签分类模型的方法和装置
CN109697469A (zh) * 2018-12-26 2019-04-30 西北工业大学 一种基于一致性约束的自学习小样本遥感图像分类方法
CN110210534A (zh) * 2019-05-21 2019-09-06 河海大学 基于多包融合的高分遥感图像场景多标签分类方法
CN111461258A (zh) * 2020-04-26 2020-07-28 武汉大学 耦合卷积神经网络和图卷积网络的遥感影像场景分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Learning Semantic-Specific Graph Representation for Multi-Label Image Recognition;Tianshui Chen 等;《2019 IEEE/CVF International Conference on Computer Vision (ICCV)》;20200227;全文 *
Multi-Label Image Recognition With Graph Convolutional Networks;Zhao-Min Chen 等;《2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;20200109;全文 *
基于卷积神经网络的多光谱图像多标签场景分类;李一松;《电子设计工程》;20181231;第26卷(第23期);全文 *

Also Published As

Publication number Publication date
CN113222068A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN113222068B (zh) 基于邻接矩阵指导标签嵌入的遥感图像多标签分类方法
Liu et al. Scene classification based on multiscale convolutional neural network
CN111738124B (zh) 基于Gabor变换和注意力的遥感图像云检测方法
CN109508655B (zh) 基于孪生网络的不完备训练集的sar目标识别方法
CN110598029B (zh) 基于注意力转移机制的细粒度图像分类方法
CN108960330B (zh) 基于快速区域卷积神经网络的遥感图像语义生成方法
CN112966114B (zh) 基于对称图卷积神经网络的文献分类方法和装置
CN110929080B (zh) 基于注意力和生成对抗网络的光学遥感图像检索方法
CN111814685B (zh) 基于双支路卷积自编码器的高光谱图像分类方法
CN111680176A (zh) 基于注意力与双向特征融合的遥感图像检索方法及系统
CN111931505A (zh) 一种基于子图嵌入的跨语言实体对齐方法
CN113988147B (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
CN113283524A (zh) 一种基于对抗攻击的深度神经网络近似模型分析方法
CN113408663B (zh) 融合模型构建方法、融合模型使用方法、装置和电子设备
Diao et al. Multi-label remote sensing image classification with deformable convolutions and graph neural networks
Lu et al. An iterative classification and semantic segmentation network for old landslide detection using high-resolution remote sensing images
CN115424275A (zh) 一种基于深度学习技术的渔船船牌号识别方法及系统
CN114882279A (zh) 基于直推式半监督深度学习的多标签图像分类方法
CN113673629A (zh) 基于多图卷积网络的开集域适应遥感图像小样本分类方法
CN109670552B (zh) 一种图像分类方法、装置、设备及可读存储介质
CN113821571A (zh) 基于bert和改进pcnn的食品安全关系抽取方法
Bousias Alexakis et al. Evaluation of semi-supervised learning for CNN-based change detection
Chen et al. End-to-End Learning of Graph Similarity
US20230342589A1 (en) Ensemble machine learning with reservoir neural networks
CN113537458B (zh) 一种有理式函数神经网络构建方法、系统及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant