CN115100532A - 小样本遥感图像目标检测方法和系统 - Google Patents

小样本遥感图像目标检测方法和系统 Download PDF

Info

Publication number
CN115100532A
CN115100532A CN202210921934.3A CN202210921934A CN115100532A CN 115100532 A CN115100532 A CN 115100532A CN 202210921934 A CN202210921934 A CN 202210921934A CN 115100532 A CN115100532 A CN 115100532A
Authority
CN
China
Prior art keywords
remote sensing
small sample
sensing image
network
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210921934.3A
Other languages
English (en)
Other versions
CN115100532B (zh
Inventor
贺广均
张昊东
邓岳
金世超
冯鹏铭
梁银川
鲁俊喆
王勇
常江
杨志才
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Satellite Information Engineering
Original Assignee
Beijing Institute of Satellite Information Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Satellite Information Engineering filed Critical Beijing Institute of Satellite Information Engineering
Priority to CN202210921934.3A priority Critical patent/CN115100532B/zh
Publication of CN115100532A publication Critical patent/CN115100532A/zh
Application granted granted Critical
Publication of CN115100532B publication Critical patent/CN115100532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种小样本遥感图像目标检测方法和系统，所述小样本遥感图像目标检测方法包括：利用基础训练网络训练基类数据，其中，所述基础训练网络包括针对遥感图像建立的知识图谱；利用微调训练网络训练小样本数据，所述小样本数据包括经所述基础训练网络训练后的基类数据和新类数据。本发明的基础训练网络上训练完成的基类数据与新类数据一起构成微调训练网络的样本数据集，使得基础训练阶段训练好的网络可以通过微调训练很好地泛化到当前遥感图像小样本目标检测任务中，且知识图谱的知识输入可以为网络提供先验知识，可以在样本数量少、样本获取难度大的情况下，高效地训练出具备良好性能的目标检测网络。

Description

小样本遥感图像目标检测方法和系统
技术领域
本发明涉及遥感图像目标检测领域，具体涉及一种小样本遥感图像目标检测方法和系统。
背景技术
小样本目标检测是目标检测的一个子领域，是指在仅与少数具有监督信息的新数据训练样本情况下训练模型，实现对新数据的目标检测任务。在细致的检测需求下，数据驱动的模型数据集的获取与标注困难、图像质量差，带来目标检测网络的检测效果不准确、不稳定的问题愈加显著。
近年来，基于元学习(Meta-Leaning)的学习方法在小样本学习任务中较为流行。
元学习小样本目标检测领域是近几年研究发展的新领域。该领域基于元学习的思想背景，成功将元学习的方法迁移到了小样本目标检测的领域当中。Meta R-CNN是元学习目标检测网络的代表性检测模型，该模型利用元学习的思想，将目标检测框架Faster R-CNN很好的迁移到了小样本目标检测领域当中，获取了不错的检测性能。DCNet在Meta R-CNN的基础上，为模型引入稠密关系蒸馏模块（DRD）以及上下文感知特征聚合模块（CFA），提升了网络性能。
知识图谱作为一种新型的知识表示方法，在自然语言处理中受到广泛关注。知识图谱可以有效的组织和表示知识，使知识在高级应用中得到有效利用，近年来，知识图谱的推理成为一个热门的研究课题，因为它可以从已有的数据中获得新的知识和结论。目前已经开发了大量的知识图谱，包括YAGO、WordNet等。将知识图谱引入目标检测的网络中，为网络引入丰富的先验知识，能够有效的提升网络的检测能力。小样本目标检测网络FADI从WordNet中获取类与类之间的近似关系，将新类与基础训练中的类建立联系，实现新类到基础类的映射，在小样本目标检测中取得了不错的检测效果。
现有的元学习小样本目标检测技术存在以下一些问题：
首先，现有的元学习网络更关注于网络本身结构设计的精巧性，期望只依赖于网络本身对数据特征的提取能力，实现更好的目标检测效果。这种研究思路不可置否，随着网络结构的不断优化，网络本身对小样本的学习能力会不断增强。但是，只寄托于优化网络结构来学习知识的思路，忽略了先验知识带给网络学习的帮助，即使网络有良好的自我学习能力，先验知识的输入也是必不可少的。
其次，现有的元学习网络在查询集和支撑集之间的信息蒸馏和信息交互上还不够充分，在蒸馏时，仅仅通过简单地矩阵运算来蒸馏两者的相似关系，而没有监督来确保蒸馏的准确性；在交互时，则直接将所有类的特征向量加到查询集的特征上，而不去考虑查询集真正需要从支撑集获取到哪些类的特征。事实上，查询集和支撑集在信息蒸馏时，如果没有相应的监督来确保蒸馏的准确性，这种信息蒸馏也许有一定程度的蒸馏效果，但其蒸馏结果具有极大的随机性，不能作为可信的模块，在神经网络中承担相应的任务；在信息交互时，如果不加考虑的直接将支撑集上所有类的特征向量加到查询集的特征上，会造成查询集的特征紊乱，原本不属于查询集所属类的特征将会作为干扰项，干扰网络对该查询集数据的检测分类，降低网络检测性能。
再次，现有的元学习网络在微调阶段，抛弃了基础训练通过丰富的数据集训练出的更好的分类层，选择重新初始化分类全连接层的权重，对新类重新学习并分类，这样的操作丢失了基础训练中丰富的分类信息。事实上，在微调阶段，基础训练中的分类层权重不失为一种丰富的先验知识，合理的引入基础训练的分类层权重，可以有效提升最终的检测效果。
最后，目前的遥感图像小样本目标检测在引入先验知识的领域中发展还不够充分，需要更多的遥感目标先验知识，同时需要良好的知识结合算法。
发明内容
有鉴于此，本发明旨在提出一种小样本遥感图像目标检测方法和系统，可以在样本数量少、样本获取难度大的情况下，高效地训练出具备良好性能的目标检测网络。
第一方面，本发明的第一实施例提供一种小样本遥感图像目标检测方法，所述小样本遥感图像目标检测方法包括：
S100，利用基础训练网络训练基类数据，其中，所述基础训练网络包括针对遥感图像建立的知识图谱；
S200，利用微调训练网络训练小样本数据，所述小样本数据包括经所述基础训练网络训练后的基类数据和新类数据。
根据本发明的一个优选实施例，S100包括：
S110，在所述基础训练网络中对输入的查询集和支撑集进行信息蒸馏与交互；
S120，根据所述知识图谱对所述基础训练网络融入先验知识。
根据本发明的一个优选实施例，S110包括：
S111，对所述查询集特征和所述支撑集特征以并行的卷积得到各自的Vaule和Key；
S112，计算所述查询集Key和所述支撑集各类Key的相似度得分，其中，所述查询集Key和所述支撑集第i类Key的相似度得分
Figure 100002_DEST_PATH_IMAGE001
与归一化之后的最终得分
Figure 100002_DEST_PATH_IMAGE002
分别为：
Figure 100002_DEST_PATH_IMAGE003
Figure 100002_DEST_PATH_IMAGE004
其中，
Figure 270808DEST_PATH_IMAGE005
为所述查询集
Figure 100002_DEST_PATH_IMAGE006
，
Figure 17178DEST_PATH_IMAGE007
为所述支撑集第
Figure 100002_DEST_PATH_IMAGE008
类对应的
Figure 561423DEST_PATH_IMAGE006
，
Figure 148262DEST_PATH_IMAGE009
为检测目标的类别数；
S113，将所述支撑集的
Figure 371433DEST_PATH_IMAGE005
与所述查询集的
Figure 100002_DEST_PATH_IMAGE010
的转置矩阵相乘，并归一化，得到关系蒸馏矩阵：
Figure 652985DEST_PATH_IMAGE011
其中，Sim是关系蒸馏矩阵；
S114，将所述支撑集的
Figure 100002_DEST_PATH_IMAGE012
与所述关系蒸馏矩阵Sim矩阵相乘，得到蒸馏后的支撑集
Figure 848474DEST_PATH_IMAGE012
：
Figure 747160DEST_PATH_IMAGE013
S115，将蒸馏后的支撑集的Vaule根据相似度得分进行类别筛选，舍弃相似度得分低的类；
S116，将筛选后的支撑集Vaule和查询集Value整合，输出整合后的查询集特征。
根据本发明的一个优选实施例，在S112中，所述相似度得分采用信息蒸馏损失函数进行监督;
其中，所述信息蒸馏损失函数采用多分类交叉熵损失函数，计算公式为：
Figure 100002_DEST_PATH_IMAGE014
其中，
Figure 51103DEST_PATH_IMAGE015
为所述查询集输入网络的样本个数，
Figure 100002_DEST_PATH_IMAGE016
为所述查询集第
Figure 404855DEST_PATH_IMAGE008
个样本在第
Figure 517167DEST_PATH_IMAGE017
类的真实标签值，
Figure 100002_DEST_PATH_IMAGE018
为所述查询集第
Figure 914651DEST_PATH_IMAGE008
个样本的
Figure 987780DEST_PATH_IMAGE006
与所述支撑集第j类对应的Key的最终相似度得分。
根据本发明的一个优选实施例，S120包括：
S121，根据所述信息蒸馏与交互中输出的相似度得分进行子图筛选，其中，舍弃相似度得分低的类及其类间关系后余下的部分为子图；
S122，将分类层得分与子图矩阵相乘，推理出最终分类层得分，实现分类预测。
根据本发明的一个优选实施例，所述S100中建立知识图谱包括：
S131，将遥感目标的每一类属性知识作为描述各类遥感目标的一个特征维度，构成特征空间；
S132，将每一类目标的属性知识分别映射到特征空间中，构成每一类目标的特征分布；
S133，对每一类目标的特征分布计算JS散度。
根据本发明的一个优选实施例，S200包括：
S211，获取所述新类的标签，在所述知识图谱中查询出与所述新类最邻近的基类标签；
S212，将所述基类标签作为伪标签输出，并将所述基类从所述知识图谱中去除；
S213，重复S211和S212，响应于所有新类均完成映射时停止。
根据本发明的一个优选实施例，S200还包括：
S221，根据所述基类数据和所述新类数据的分类层预测不同类别的得分，其中，所述基类数据的分类层用于预测所述基类各个类别的得分，所述新类数据的分类层用于预测所述新类各个类别以及背景部分的得分；
S222，选取所述基类数据和所述新类数据的分类层预测的得分中最高的类别为最终预测结果。
第二方面，本发明的第二实施例提供一种利用如第一方面中任一项所述的小样本遥感图像目标检测方法的小样本遥感图像目标检测系统，所述小样本遥感图像目标检测系统包括：
信息蒸馏与交互模块，用于对在基础训练网络中输入的查询集和支撑集进行信息蒸馏与交互；
感兴趣特征分离模块，用于筛选及分离出用于目标分类的特征；
知识图推理模块，用于为所述基础训练网络融入所述知识图谱的先验知识。
本发明实施例的基础训练网络上训练完成的基类数据与新类数据一起构成微调训练网络的样本数据集，使得基础训练阶段训练好的网络可以通过微调训练很好地泛化到当前遥感图像小样本目标检测任务中，且知识图谱的知识输入可以为网络提供先验知识，可以在样本数量少、样本获取难度大的情况下，高效地训练出具备良好性能的目标检测网络。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的小样本遥感图像目标检测方法的流程示意图；
图2是本发明实施例的小样本遥感图像目标检测方法的模型示意图；
图3是本发明实施例的小样本遥感图像目标检测方法的一个子流程的示意图；
图4是本发明实施例的小样本遥感图像目标检测系统的结构示意图；
图5是本发明实施例的小样本遥感图像目标检测方法的又一个子流程的示意图；
图6是本发明实施例的信息蒸馏与交互模块的示意图；
图7是本发明实施例的感兴趣特征分离模块的示意图；
图8是本发明实施例的小样本遥感图像目标检测方法的又一个子流程的示意图；
图9是本发明实施例的知识图推理模块的示意图；
图10是本发明实施例的小样本遥感图像目标检测方法的又一个子流程的示意图；
图11是本发明实施例的知识图谱的示意图；
图12是本发明实施例的小样本遥感图像目标检测方法的又一个子流程的示意图；
图13是本发明实施例的第一步微调阶段网络的部分结构示意图；
图14是本发明实施例的小样本遥感图像目标检测方法的又一个子流程的示意图；
图15是本发明实施例的第二步微调阶段网络的部分结构示意图。
附图标记及变量说明：
Figure 394490DEST_PATH_IMAGE019
：用于储存查询集或支撑集特征信息的特征；
Figure 696728DEST_PATH_IMAGE006
：用于衡量查询集与支撑集特征相似关系的特征;
Figure DEST_PATH_IMAGE020
：查询集特征和支撑集特征的通道数(两通道数相等，均为
Figure 999534DEST_PATH_IMAGE020
);
Figure 294380DEST_PATH_IMAGE021
：检测目标的类别数；
Figure DEST_PATH_IMAGE022
：查询集特征和支撑集特征的特征图长度(两长度相等，均为
Figure 708044DEST_PATH_IMAGE022
)；
Figure 404735DEST_PATH_IMAGE023
：查询集特征和支撑集特征的特征图宽度(两宽度相等，均为
Figure 81704DEST_PATH_IMAGE023
)；
Figure DEST_PATH_IMAGE024
：回归任务对应的全连接特征提取层；
Figure 581956DEST_PATH_IMAGE025
：基类分类任务对应的全连接特征提取层；
Figure DEST_PATH_IMAGE026
：新类分类任务对应的全连接特征提取层；
Figure DEST_PATH_IMAGE027
：属性知识关于该类的特征分布；
Figure DEST_PATH_IMAGE028
：分布
Figure DEST_PATH_IMAGE029
和分布
Figure DEST_PATH_IMAGE030
的JS散度。
具体实施方式
此说明书实施方式的描述应与相应的附图相结合，附图应作为完整的说明书的一部分。在附图中，实施例的形状或是厚度可扩大，并以简化或是方便标示。再者，附图中各结构的部分将以分别描述进行说明，值得注意的是，图中未示出或未通过文字进行说明的元件，为所属技术领域中的普通技术人员所知的形式。
如图1所示，是本发明第一实施例的小样本遥感图像目标检测方法。本实施例的方法依照元学习的网络策略，将目标检测网络的训练分为基础训练阶段和微调训练阶段两个阶段。本实施例的小样本遥感图像目标检测方法包括：
S100，利用基础训练网络训练基类数据，其中，所述基础训练网络包括针对遥感图像建立的知识图谱；
S200，利用微调训练网络训练小样本数据，所述小样本数据包括经所述基础训练网络训练后的基类数据和新类数据。
本发明的基础训练网络上训练完成的基类数据与新类数据一起构成微调训练网络的样本数据集，使得基础训练阶段训练好的网络可以通过微调训练很好地泛化到当前遥感图像小样本目标检测任务中，且知识图谱的知识输入可以为网络提供先验知识，尤其是相比现有技术中，微调训练阶段仅输入新类数据集而未有效利用基础训练阶段的数据集，以及未采用知识图谱为网络引入先验知识，本实施例可以在样本数量少、样本获取难度大的情况下，高效地训练出具备良好性能的目标检测网络。
如图2所示，在本实施例中，基础训练阶段输入的数据集划分为查询集（Query）和支撑集（Support）两种数据集。其中，查询集在目标检测网络中作为网络的预测目标数据集，与常规的目标检测所输入的数据集相同，每次输入一批次数量的图片。支撑集则在目标检测网络中为查询集数据集提供类数据支撑，例如，在每次训练中，同时输入C个类（C为全部检测目标的类别个数）的图片数据，每一类数据包括该类的一批次数量的图片。在训练阶段，查询集通过查询自身与支撑集的类相似关系，实现自身的分类检测任务。在基础训练阶段，网络利用大量的与期望的检测目标有联系且易获取的基类数据集（包括查询集和支撑集）对模型进行训练，提升模型的泛化能力；在微调训练阶段，网络在基础数据集的类别基础上，添入期望的检目标作为新类，一起构成小样本数据集。所述小样本数据集同样的分为查询集和支撑集，载入模型，对模型进行微调，实现最终的小样本目标检测任务。
如图3所示，本实施例的方法中，S100还包括：
S110，在所述基础训练网络中对输入的查询集和支撑集进行信息蒸馏与交互；
S120，根据所述知识图谱对所述基础训练网络融入先验知识。
以下结合本发明第二实施例的训练网络结构来对第一实施例的方法进行具体的说明：
如图4所示，是本发明第二实施例的小样本遥感图像目标检测系统的结构示意图，上述第一实施例的方法可以基于本实施例的系统实现，所述系统包括信息蒸馏与交互模块、感兴趣特征分离模块和知识图推理模块。其中，信息蒸馏与交互模块用于对在基础训练网络中输入的查询集和支撑集进行信息蒸馏与交互，感兴趣特征分离模块用于筛选及分离出用于目标分类的特征，知识图推理模块用于为所述基础训练网络融入所述知识图谱的先验知识。另外，本实施例在基础训练阶段采用的是Faster R-CNN框架，应理解，这不用于限制本发明其他实施例中所采用的框架类型。
如图4所示，具体来讲，查询集和支撑集首先经过权重共享的特征提取器，提取初步的图像特征，然后经过信息蒸馏与交互模块，蒸馏查询集和支撑集之间的特征联系，并实现信息交互，输出交互后的查询集特征。交互后的查询集特征将被分别送入感兴趣区域提取模块(RPN)和区域池化模块(RoIAlign)。感兴趣区域提取模块接收交互后的查询集特征，输出当前图像的候选检测框，区域池化模块则同时接收交互后的查询集特征以及感兴趣区域提取模块输出的候选检测框，为每一个候选检测框，输出三种不同尺度下池化的特征图。之后，感兴趣特征分离模块接收每一个候选检测框的池化特征图，聚合4×4、8×8、12×12三种不同尺度的池化特征，输出该候选检测框用于目标分类的特征和用于检测框回归的特征。用于目标分类的特征将被送入网络的分类层以输出各个检测框的分类得分，并通过知识图推理模块，根据知识图谱间的类间关系，为各个类的预测予以推理增强，将增强后的得分作为新的分类得分，实现分类预测；用于检测框回归的特征将被送入回归层，实现检测框的回归任务。
如图5和图6所示，在本实施例中，信息蒸馏与交互模块在稠密关系蒸馏模块（DRD）的基础上，进行了改进。具体来讲，步骤S110包括：
S111，对所述查询集特征和所述支撑集特征以并行的卷积得到各自的Vaule和Key；
S112，计算所述查询集Key和所述支撑集各类Key的相似度得分，其中，所述查询集Key和所述支撑集第i类Key的相似度得分
Figure DEST_PATH_IMAGE031
与归一化之后的最终得分
Figure DEST_PATH_IMAGE032
分别为：
Figure 625742DEST_PATH_IMAGE003
Figure DEST_PATH_IMAGE033
,
其中，
Figure DEST_PATH_IMAGE034
为所述查询集
Figure 645781DEST_PATH_IMAGE006
，
Figure DEST_PATH_IMAGE035
为所述支撑集第
Figure 821548DEST_PATH_IMAGE008
类对应的
Figure 90986DEST_PATH_IMAGE006
，
Figure 784136DEST_PATH_IMAGE009
为检测目标的类别数；
其中，所述相似度得分采用信息蒸馏损失函数进行监督，所述信息蒸馏损失函数采用多分类交叉熵损失函数，计算公式为：
Figure 580054DEST_PATH_IMAGE014
其中，
Figure 457880DEST_PATH_IMAGE015
为所述查询集输入网络的样本个数，
Figure 951965DEST_PATH_IMAGE016
为所述查询集第
Figure 183226DEST_PATH_IMAGE008
个样本在第
Figure 692705DEST_PATH_IMAGE017
类的真实标签值，
Figure DEST_PATH_IMAGE036
为所述查询集第
Figure 429848DEST_PATH_IMAGE008
个样本的
Figure 657567DEST_PATH_IMAGE006
与所述支撑集第j类对应的Key的最终相似度得分
S113，将所述支撑集的
Figure 567885DEST_PATH_IMAGE034
与所述查询集的
Figure DEST_PATH_IMAGE037
的转置矩阵相乘，并归一化，得到关系蒸馏矩阵：
Figure 72816DEST_PATH_IMAGE011
其中，Sim是关系蒸馏矩阵；
S114，将所述支撑集的
Figure 587717DEST_PATH_IMAGE012
与所述关系蒸馏矩阵Sim矩阵相乘，得到蒸馏后的支撑集
Figure 37153DEST_PATH_IMAGE012
：
Figure DEST_PATH_IMAGE038
S115，将蒸馏后的支撑集的Vaule根据相似度得分进行类别筛选，舍弃相似度得分低的类；
S116，将筛选后的支撑集Vaule和查询集Value整合，输出整合后的查询集特征。
由此，本发明实施例通过信息蒸馏与交互模块对查询集和支撑集进行信息蒸馏与交互，且采取信息蒸馏损失函数进行监督，可以有效提高蒸馏的准确性。
如图4和图7所示，在本实施例中，感兴趣特征分离模块由g1(Fc)和g2(Fc)组成，其中的全连接层部分均由两个连续的全连接层构成。
如图8和图9所示，在本实施例中，S120包括：
S121，根据所述信息蒸馏与交互中输出的相似度得分进行子图筛选，其中，舍弃相似度得分低的类及其类间关系后余下的部分为子图；
S122，将分类层得分与子图矩阵相乘，推理出最终分类层得分，实现分类预测。
如图10和图11所示，在本实施例中，知识图谱包含的是类与类之间的相似度数值，建立知识图谱的方法包括：
S131，将遥感目标的每一类属性知识作为描述各类遥感目标的一个特征维度，构成特征空间；
例如，选择颜色、平均长度、平均宽度、发动机个数等属性知识，则特征空间的维度分别为颜色、平均长度、平均宽度、发动机个数等。
S132，将每一类目标的属性知识分别映射到特征空间中，构成每一类目标的特征分布；
例如，飞机颜色的灰度值为240，平均长度为8米，平均高度为4米，发动机个数为4，映射到特征空间后的特征分布为（240，8，4，4，……）。
S133，对每一类目标的特征分布计算JS散度。以此反映各个目标间的关联程度。
在微调训练阶段，模型在基础训练框架的基础上，采用FADI网络的微调方法，根据自身所用遥感目标知识图谱，提出了知识图映射模块（未图示），针对基础训练阶段中训练好的网络，实现两阶段微调。
如图12和图13所示，在本实施例中，在第一步微调时，网络利用知识图映射模块给出伪标签，将新类初步分离。具体来讲，将g2(Fc)替换为权重初始化的g2’(Fc)，并将其余网络权重全部冻结（不进行梯度反向传播），在训练时，将新类通过g2’(Fc)及其之后的分类层部分分类到伪标签所述的类当中，实现新类的初步分离。
本实施例创新性地引入知识图映射模块（未图示），利用建立好的遥感目标知识图谱，为微调训练提供伪标签。包括：
S211，获取所述新类的标签，在所述知识图谱中查询出与所述新类最邻近的基类标签；
S212，将所述基类标签作为伪标签输出，并将所述基类从所述知识图谱中去除；
S213，重复S211和S212，响应于所有新类均完成映射时停止。
如图14和图15所示，在本实施例中，第二步微调时，第一步微调被替换的g2(Fc)模块与g2’(Fc)模块并行，分别对应基类和新类的分类层，彻底将新类分离到自己的对应类别中。选取最终预测结果的方法包括：
S221，根据所述基类数据和所述新类数据的分类层预测不同类别的得分，其中，所述基类数据的分类层用于预测所述基类各个类别的得分，所述新类数据的分类层用于预测所述新类各个类别以及背景部分的得分；
S222，选取所述基类数据和所述新类数据的分类层预测的得分中最高的类别为最终预测结果。
换言之，基类的分类层只用于预测基类各个类别的得分，新类的分类层则只用于预测新类各个类别以及背景部分的得分，网络的最终预测结果通过两分类层给出的各个类的得分，选取得分最高的一类，作为该检测框对应的类别目标。更近一步，为了满足纠缠类的彻底分离，引入FADI网络为解缠提出的新的损失函数
Figure 688845DEST_PATH_IMAGE039
，监督网络训练。
根据本发明实施例的小样本遥感图像目标检测方法和系统，基础训练阶段训练好的检测网络可以通过微调训练很好的泛化到当前遥感图像小样本目标检测任务当中，且网络根据知识图谱的知识输入，可以更快更好的完成知识学习与训练，检测效果进一步提升，使得网络通过小样本的遥感图像数据集的学习训练，就可以胜任相应的目标检测任务，为遥感图像小样本目标检测领域提供了一种新的研究思路和方法指导，具有重要意义
在本发明所提供的实施例中，应该理解到，所揭露的装置（系统或设备）和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个模块或组件可以重组，或可以集成到另一个系统，或一些特征可以忽略，或不执行。可以根据实际的需要选择其中的部分或全部模块或扩展模块来实现本发明的目的。另外，在本发明各实施例中的各功能模块可以全部集成在一个处理单元中，也可以是各模块分别单独作为一个单元，也可以两个或两个以上模块集成在一个单元中；上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种小样本遥感图像目标检测方法，其特征在于，所述小样本遥感图像目标检测方法包括：
S100，利用基础训练网络训练基类数据，其中，所述基础训练网络包括针对遥感图像建立的知识图谱；
S200，利用微调训练网络训练小样本数据，所述小样本数据包括经所述基础训练网络训练后的基类数据和新类数据。
2.根据权利要求1所述的小样本遥感图像目标检测方法，其特征在于，S100包括：
S110，在所述基础训练网络中对输入的查询集和支撑集进行信息蒸馏与交互；
S120，根据所述知识图谱对所述基础训练网络融入先验知识。
3.根据权利要求2所述的小样本遥感图像目标检测方法，其特征在于，
S110包括：
S111，对所述查询集特征和所述支撑集特征以并行的卷积得到各自的Vaule和Key；
S112，计算所述查询集Key和所述支撑集各类Key的相似度得分，其中，所述查询集Key和所述支撑集第i类Key的相似度得分
Figure DEST_PATH_IMAGE001
与归一化之后的最终得分
Figure DEST_PATH_IMAGE002
分别为：
Figure DEST_PATH_IMAGE003
Figure DEST_PATH_IMAGE004
其中，
Figure DEST_PATH_IMAGE005
为所述查询集
Figure DEST_PATH_IMAGE006
，
Figure DEST_PATH_IMAGE007
为所述支撑集第
Figure DEST_PATH_IMAGE008
类对应的
Figure 685925DEST_PATH_IMAGE006
，
Figure DEST_PATH_IMAGE009
为检测目标的类别数；
S113，将所述支撑集的
Figure 930961DEST_PATH_IMAGE005
与所述查询集的
Figure DEST_PATH_IMAGE010
的转置矩阵相乘，并归一化，得到关系蒸馏矩阵：
Figure DEST_PATH_IMAGE011
其中，Sim是关系蒸馏矩阵；
S114，将所述支撑集的
Figure DEST_PATH_IMAGE012
与所述关系蒸馏矩阵Sim矩阵相乘，得到蒸馏后的支撑集
Figure 989660DEST_PATH_IMAGE012
：
Figure DEST_PATH_IMAGE013
S115，将蒸馏后的支撑集的Vaule根据相似度得分进行类别筛选，舍弃相似度得分低的类；
S116，将筛选后的支撑集Vaule和查询集Value整合，输出整合后的查询集特征。
4.根据权利要求3所述的小样本遥感图像目标检测方法，其特征在于，在S112中，所述相似度得分采用信息蒸馏损失函数进行监督;
其中，所述信息蒸馏损失函数采用多分类交叉熵损失函数，计算公式为：
Figure DEST_PATH_IMAGE014
其中，
Figure DEST_PATH_IMAGE015
为所述查询集输入网络的样本个数，
Figure DEST_PATH_IMAGE016
为所述查询集第
Figure 853710DEST_PATH_IMAGE008
个样本在第
Figure DEST_PATH_IMAGE017
类的真实标签值，
Figure DEST_PATH_IMAGE018
为所述查询集第
Figure 481132DEST_PATH_IMAGE008
个样本的
Figure 38015DEST_PATH_IMAGE006
与所述支撑集第j类对应的Key的最终相似度得分。
5.根据权利要求2所述的小样本遥感图像目标检测方法，其特征在于，S120包括：
S121，根据所述信息蒸馏与交互中输出的相似度得分进行子图筛选，其中，舍弃相似度得分低的类及其类间关系后余下的部分为子图；
S122，将分类层得分与子图矩阵相乘，推理出最终分类层得分，实现分类预测。
6.根据权利要求1-5中任一项所述的小样本遥感图像目标检测方法，其特征在于，S100中建立知识图谱包括：
S131，将遥感目标的每一类属性知识作为描述各类遥感目标的一个特征维度，构成特征空间；
S132，将每一类目标的属性知识分别映射到特征空间中，构成每一类目标的特征分布；
S133，对每一类目标的特征分布计算JS散度。
7.根据权利要求6所述的小样本遥感图像目标检测方法，其特征在于，S200包括：
S211，获取所述新类的标签，在所述知识图谱中查询出与所述新类最邻近的基类标签；
S212，将所述基类标签作为伪标签输出，并将所述基类从所述知识图谱中去除；
S213，重复S211和S212，响应于所有新类均完成映射时停止。
8.根据权利要求7所述的小样本遥感图像目标检测方法，其特征在于，S200还包括：
S221，根据所述基类数据和所述新类数据的分类层预测不同类别的得分，其中，所述基类数据的分类层用于预测所述基类各个类别的得分，所述新类数据的分类层用于预测所述新类各个类别以及背景部分的得分；
S222，选取所述基类数据和所述新类数据的分类层预测的得分中最高的类别为最终预测结果。
9.一种利用如权利要求1-8中任一项所述的小样本遥感图像目标检测方法的小样本遥感图像目标检测系统，其特征在于，所述小样本遥感图像目标检测系统包括：
信息蒸馏与交互模块，用于对在基础训练网络中输入的查询集和支撑集进行信息蒸馏与交互；
感兴趣特征分离模块，用于筛选及分离出用于目标分类的；
知识图推理模块，用于为所述基础训练网络融入所述知识图谱的先验知识。
CN202210921934.3A 2022-08-02 2022-08-02 小样本遥感图像目标检测方法和系统 Active CN115100532B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210921934.3A CN115100532B (zh) 2022-08-02 2022-08-02 小样本遥感图像目标检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210921934.3A CN115100532B (zh) 2022-08-02 2022-08-02 小样本遥感图像目标检测方法和系统

Publications (2)

Publication Number Publication Date
CN115100532A true CN115100532A (zh) 2022-09-23
CN115100532B CN115100532B (zh) 2023-04-07

Family

ID=83300231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210921934.3A Active CN115100532B (zh) 2022-08-02 2022-08-02 小样本遥感图像目标检测方法和系统

Country Status (1)

Country Link
CN (1) CN115100532B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051943A (zh) * 2022-12-20 2023-05-02 中国科学院空天信息创新研究院 跨模态知识引导的小样本神经网络目标检测方法
CN116188888A (zh) * 2022-12-14 2023-05-30 北京百度网讯科技有限公司 目标检测模型的训练方法和装置
CN116310894A (zh) * 2023-02-22 2023-06-23 中交第二公路勘察设计研究院有限公司 一种基于无人机遥感的小样本小目标藏羚羊智能识别方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461067A (zh) * 2020-04-26 2020-07-28 武汉大学 基于先验知识映射及修正的零样本遥感影像场景识别方法
CN112183580A (zh) * 2020-09-07 2021-01-05 哈尔滨工业大学（深圳） 一种基于动态知识路径学习的小样本分类方法
CN112818903A (zh) * 2020-12-10 2021-05-18 北京航空航天大学 一种基于元学习和协同注意力的小样本遥感图像目标检测方法
CN112861720A (zh) * 2021-02-08 2021-05-28 西北工业大学 基于原型卷积神经网络的遥感图像小样本目标检测方法
WO2021129515A1 (zh) * 2019-12-23 2021-07-01 中兴通讯股份有限公司 一种知识图谱的查询方法、电子设备及存储介质
CN113159116A (zh) * 2021-03-10 2021-07-23 中国科学院大学 一种基于类间距平衡的小样本图像目标检测方法
CN113535950A (zh) * 2021-06-15 2021-10-22 杭州电子科技大学 一种基于知识图谱和胶囊网络的小样本意图识别方法
CN113610173A (zh) * 2021-08-13 2021-11-05 天津大学 一种基于知识蒸馏的多跨域少样本分类方法
CN113688878A (zh) * 2021-07-30 2021-11-23 华东师范大学 一种基于记忆力机制和图神经网络的小样本图像分类方法
WO2022037233A1 (zh) * 2020-08-18 2022-02-24 浙江大学 一种基于自监督知识迁移的小样本视觉目标识别方法
CN114821374A (zh) * 2022-06-27 2022-07-29 中国电子科技集团公司第二十八研究所 一种知识与数据协同驱动的无人机航拍目标检测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021129515A1 (zh) * 2019-12-23 2021-07-01 中兴通讯股份有限公司 一种知识图谱的查询方法、电子设备及存储介质
CN111461067A (zh) * 2020-04-26 2020-07-28 武汉大学 基于先验知识映射及修正的零样本遥感影像场景识别方法
WO2022037233A1 (zh) * 2020-08-18 2022-02-24 浙江大学 一种基于自监督知识迁移的小样本视觉目标识别方法
CN112183580A (zh) * 2020-09-07 2021-01-05 哈尔滨工业大学（深圳） 一种基于动态知识路径学习的小样本分类方法
CN112818903A (zh) * 2020-12-10 2021-05-18 北京航空航天大学 一种基于元学习和协同注意力的小样本遥感图像目标检测方法
CN112861720A (zh) * 2021-02-08 2021-05-28 西北工业大学 基于原型卷积神经网络的遥感图像小样本目标检测方法
CN113159116A (zh) * 2021-03-10 2021-07-23 中国科学院大学 一种基于类间距平衡的小样本图像目标检测方法
CN113535950A (zh) * 2021-06-15 2021-10-22 杭州电子科技大学 一种基于知识图谱和胶囊网络的小样本意图识别方法
CN113688878A (zh) * 2021-07-30 2021-11-23 华东师范大学 一种基于记忆力机制和图神经网络的小样本图像分类方法
CN113610173A (zh) * 2021-08-13 2021-11-05 天津大学 一种基于知识蒸馏的多跨域少样本分类方法
CN114821374A (zh) * 2022-06-27 2022-07-29 中国电子科技集团公司第二十八研究所 一种知识与数据协同驱动的无人机航拍目标检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JINGYU DENG,ET AL: "Few-shot Object Detection on Remote Sensing Images", 《ARXIV》 *
张华平;吴林芳;张芯铭;商建云;李昌赫;: "领域知识图谱小样本构建与应用" *
张婧等: "基于小样本学习的高光谱遥感图像分类算法", 《聊城大学学报(自然科学版)》 *
贺广均: "联合SAR与光学遥感数据的山区积雪识别研究", 《中国优秀博士学位论文全文数据库》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188888A (zh) * 2022-12-14 2023-05-30 北京百度网讯科技有限公司 目标检测模型的训练方法和装置
CN116051943A (zh) * 2022-12-20 2023-05-02 中国科学院空天信息创新研究院 跨模态知识引导的小样本神经网络目标检测方法
CN116051943B (zh) * 2022-12-20 2023-06-23 中国科学院空天信息创新研究院 跨模态知识引导的小样本神经网络目标检测方法
CN116310894A (zh) * 2023-02-22 2023-06-23 中交第二公路勘察设计研究院有限公司 一种基于无人机遥感的小样本小目标藏羚羊智能识别方法
CN116310894B (zh) * 2023-02-22 2024-04-16 中交第二公路勘察设计研究院有限公司 一种基于无人机遥感的小样本小目标藏羚羊智能识别方法

Also Published As

Publication number Publication date
CN115100532B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN115100532B (zh) 小样本遥感图像目标检测方法和系统
CN112308158B (zh) 一种基于部分特征对齐的多源领域自适应模型及方法
CN110162593B (zh) 一种搜索结果处理、相似度模型训练方法及装置
CN107515895B (zh) 一种基于目标检测的视觉目标检索方法与系统
US8856129B2 (en) Flexible and scalable structured web data extraction
CN111506773B (zh) 一种基于无监督深度孪生网络的视频去重方法
US20040024755A1 (en) System and method for indexing non-textual data
CN111368754B (zh) 一种基于全局上下文信息的机场跑道异物检测方法
WO2004013774A2 (en) Search engine for non-textual data
Ahmadi et al. Intelligent classification of web pages using contextual and visual features
CN110688549B (zh) 一种基于知识体系图谱构建的人工智能分类方法与系统
CN108304479B (zh) 一种基于图结构过滤的快速密度聚类双层网络推荐方法
CN112258254B (zh) 基于大数据架构的互联网广告风险监测方法及系统
Doermann et al. The development of a general framework for intelligent document image retrieval
CN110413825B (zh) 面向时尚电商的街拍推荐系统
CN115359873B (zh) 用于手术质量的控制方法
CN114528411A (zh) 一种中文医药知识图谱自动化构建方法、装置及介质
Harakawa et al. accurate and efficient extraction of hierarchical structure ofWeb communities forWeb video retrieval
Wei et al. Food image classification and image retrieval based on visual features and machine learning
Al-Obaydy et al. Document classification using term frequency-inverse document frequency and K-means clustering
ElAlami Unsupervised image retrieval framework based on rule base system
CN105205487B (zh) 一种图片处理方法及装置
CN115019342A (zh) 一种基于类关系推理的濒危动物目标检测方法
Xiao et al. DR-XGBoost: An XGBoost model for field-road segmentation based on dual feature extraction and recursive feature elimination
Aboutabit Reduced featured based projective integral for road cracks detection and classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant