CN117058534A - 基于元知识适应迁移网络的少样本遥感图像目标检测方法 - Google Patents

基于元知识适应迁移网络的少样本遥感图像目标检测方法 Download PDF

Info

Publication number
CN117058534A
CN117058534A CN202310838900.2A CN202310838900A CN117058534A CN 117058534 A CN117058534 A CN 117058534A CN 202310838900 A CN202310838900 A CN 202310838900A CN 117058534 A CN117058534 A CN 117058534A
Authority
CN
China
Prior art keywords
image
query image
meta
enhancement
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310838900.2A
Other languages
English (en)
Inventor
姜宛玥
陈曦
刘敏
曹桂涛
齐洪钢
张舒淇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN202310838900.2A priority Critical patent/CN117058534A/zh
Publication of CN117058534A publication Critical patent/CN117058534A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

一种基于元知识适应迁移网络的少样本遥感图像目标检测方法，属于深度学习的目标检测领域。本发明针对现有少样本目标检测方法从少量样本中获取有效信息的能力受限，域转移，以及高相似度目标易造成误分类的问题，设计了一种新的少样本目标检测方法。包括：设计了一种空间频率联合增强模型，通过融合空间和频率域的信息来实现查询图像特征的双重增强；设计了一种自适应重加权损失函数，通过自适应地重塑新类别的标准交叉熵损失来增强有限样本场景中新类别检测的灵敏度；设计了一种相似度元损失函数，通过将支持图像集的归一化类相似性纳入到元损失函数中，并重新加权元损失以增强特征可辨别性。本发明用于少样本遥感图像目标检测。

Description

基于元知识适应迁移网络的少样本遥感图像目标检测方法
技术领域
本发明涉及基于元知识适应迁移网络的少样本遥感图像目标检测方法，属于深度学习的目标检测领域。
背景技术
目标检测在超高分辨率(VHR)遥感图像中的目标识别和场景解释中起着至关重要的作用。由于深度学习技术的进步，目标检测方法近年来取得了重大进展。这些方法的有效性在很大程度上取决于训练过程中使用的数据的质量和数量。然而，获得标记数据往往是昂贵的，甚至是无法获得的，这在遥感应用中尤为明显。
少样本学习(FSL)可以缓解这个问题，其目标是通过学习从已有的类别或任务中获取的知识，来解决新任务或新类别的问题。这通常涉及到将少量的样本作为训练数据，然后通过利用这些样本所提供的信息来进行推理和泛化。在过去几年中，少样本学习取得了很大进步，特别是在少样本分类领域。与分类任务相比，少样本目标检测是一项更复杂的任务，因为它需要对每个感兴趣区域(ROI)进行精确分类和定位。此外，大多数现有的少样本目标检测方法都是基于自然图像开发的。然而，针对VHR遥感图像的少样本目标检测算法的开发仍然滞后。由于它们捕捉到的视角存在根本差异，因此无法将在自然图像上训练的模型直接迁移到遥感图像的少样本目标检测任务中。高分辨率遥感图像主要提供地理空间对象的俯视图，而自然场景图像捕捉到的则是物体的轮廓。鉴于高分辨率遥感图像中呈现出的较高复杂性和多样性，在此类图像上进行少样本目标检测面临着大尺度、复杂结构、不同视角和类别不平衡等挑战。因此，将在自然场景图像上训练的目标检测器应用于高分辨率遥感图像目标检测任务时通常会遇到挑战。
目前，大多数少样本目标检测器仍依赖于传统的基于深度学习的目标检测框架，如Faster R-CNN和YOLO，这些传统框架以其强大的特征提取能力而闻名。然而，在少样本学习场景中，这些框架面临着固有的挑战，包括类别不平衡、高类内差异和低类间距离。此外，监督信号的稀缺性可能加剧这些挑战，特别是在处理低密度采样数据时，存在数据分布问题，表现为类内差异大、类间距离小和数据偏移等问题。具体来说，仅基于有限的训练数据训练目标检测器可能导致过拟合和泛化能力不佳。然而，当与大量的基础类数据结合时，高度不平衡的数据集可能会使检测器偏向于基础类别，从而难以准确检测新类别的实例。因此，训练一个可靠的Few-shot检测器，可以从非鲁棒特征中提取高质量的候选框，从而更好的检测新类别目标，是一项艰巨的任务。
现有方法在少样本目标检测中，存在基类和新类之间的域偏移、类别特征相似度高导致的误分类，以及从少量样本中获取有效信息的能力受限等问题。
针对少样本遥感图像目标检测中的大尺度、复杂结构、多样视角和类别不平衡等挑战，研究人员提出了许多改进方法，如采用多尺度特征学习的方法和改进的区域候选框生成。然而，所有这些方法都需要从头开始重新训练。
发明内容
针对现有少样本目标检测方法从少量样本中获取有效信息的能力受限，高相似度目标易造成误分类的问题，本发明提供一种基于元知识适应迁移网络的少样本遥感图像目标检测方法。
本发明的一种基于元知识适应迁移网络的少样本遥感图像目标检测方法，基于通用目标检测器和空间频率联合增强模块组成的适应性元知识迁移网络检测器实现，包括两个训练阶段，完成两个训练阶段的训练后得到少样本遥感目标检测模型；
第一阶段：采用元学习框架训练通用目标检测器，通用目标检测器包括骨干网络和输出模块，采用基础类别数据集完成训练；所述基础类别数据集由样本图像组成；
对通用目标检测器的第一阶段训练包括：由基础类别数据集获得多个充分的学习任务数据集，每个学习任务数据集包括训练集和评估集；每个训练集包括所有基础类别数据的各一个实例对象图像，每个实例对象图像根据标签由样本图像中剪裁获得；每个评估集包括一张或多张样本图像；
采用学习任务数据集进行迭代训练和评估通用目标检测器，使骨干网络和输出模块学习到基于基础类别数据集的元级别知识，并能够在新检测任务上快速学习和泛化；所述元知识包括通用学习策略和特征表示；
第二阶段：采用元学习框架，在骨干网络和输出模块之间增加空间频率联合增强模块，构成适应性元知识迁移网络检测器；训练过程中的分类损失函数采用自适应重加权损失函数，元损失采用相似度元损失函数；
对适应性元知识迁移网络检测器的第二阶段训练包括：用于训练的第二阶段训练数据集中的图像数据类别包括基础类别和新颖类别；由第二阶段训练数据集获得多个少样本学习任务数据集；每个少样本学习任务数据集包括少样本支持图像集和少样本查询图像集；少样本支持图像集和少样本查询图像集中分别配置少样本第二阶段训练图像；少样本支持图像集中的数据类型包括所有基础类别和新颖类别；少样本查询图像集中包括新颖类别的少样本第二阶段训练数据；
采用少样本学习任务数据集对适应性元知识迁移网络检测器进行训练和评估，使第一阶段训练学习到的元级别知识快速的迁移到新颖类别的目标检测任务中；
每次迭代训练通过一个少样本学习任务数据集实现；
每次迭代训练的过程包括：采用骨干网络提取少样本支持图像集中每张支持图像的特征得到多通道支持图像特征图，再采用空间频率联合增强模块首先将多通道支持图像特征图进行通道压缩得到支持图像单通道特征图，再采用幂增强函数对支持图像单通道特征图进行特征值增强，得到支持图像单通道特征增强图；
采用骨干网络提取少样本查询图像集中一张查询图像的特征得到多通道查询图像特征图，再采用空间频率联合增强模块首先将多通道查询图像特征图进行通道压缩得到查询图像单通道特征图，再采用幂增强函数对查询图像单通道特征图进行特征值增强，得到查询图像单通道特征增强图；
将每张支持图像单通道特征增强图依次与查询图像单通道特征增强图相乘，得到每个类别的特征相关矩阵，使用softmax函数对特征相关矩阵进行归一化，得到每个类别的注意力权重；再将所有类别的注意力权重相加得到融合权重，再通过sigmoid函数激活，得到激活后融合权重；
将激活后融合权重与多通道查询图像特征图相乘，得到查询图像空域增强特征图；
对查询图像单通道特征图进行离散傅里叶变换得到查询图像频域图，再对查询图像频域图进行高通滤波得到查询图像频域增强图；查询图像频域增强图再经逆离散傅里叶变换得到查询图像频域增强特征图；
将多通道查询图像特征图、查询图像空域增强特征图和查询图像频域增强特征图加权相加得到查询图像空频双增强特征图；
再采用区域生成网络在查询图像空频双增强特征图上确定候选框，得到感兴趣区域，进而得到当前查询图像的分类结果和回归结果；
重复上述过程，得到少样本查询图像集中每一张查询图像的分类结果和回归结果；
在第二阶段中进行预设次数的迭代或满足预设的终止条件后，得到少样本遥感目标检测模型；在训练过程中，适应性元知识迁移网络检测器根据自适应重加权损失函数、回归损失函数和相似度元损失函数调整网络参数；
对于实时的包含新类别目标的检测任务，将第二阶段训练得到的网络参数作为少样本遥感目标检测模型的初始参数，在新类别目标检测任务的支持图像集上进行快速学习，实现对基础类别目标和新类别目标的检测。
根据本发明的基于元知识适应迁移网络的少样本遥感图像目标检测方法，激活后融合权重表示为w(q′j,s′i)：
式中q′j为第j张查询图像单通道特征增强图，s′i为第i个类别的支持图像单通道特征增强图，N为支持图像集的支持图像总类别数；
si′＝MAP4(si)， (2)
q′j＝MAP4(qj)， (3)
其中si为第i个类别的支持图像单通道特征图，qj为第j张查询图像单通道特征图；MAP为全局平均池化；
第j张查询图像空域增强特征图表示为Sj：
Sj＝Qj·w(qj′,si′), (4)
式中Qj为第j张多通道查询图像。
根据本发明的基于元知识适应迁移网络的少样本遥感图像目标检测方法，第j张查询图像空频双增强特征图表示为Q″j：
Q″j＝α*Sj+β*F′(x,y)+Qj， (5)
式中F′(x,y)为查询图像频域增强特征图，(x,y)表示查询图像频域增强特征图上的横纵坐标对；式中α为查询图像空域增强特征图的权重，β为查询图像频域增强特征图的权重。
根据本发明的基于元知识适应迁移网络的少样本遥感图像目标检测方法，α＝0.1，β＝0.01。
根据本发明的基于元知识适应迁移网络的少样本遥感图像目标检测方法，自适应重加权损失函数表示为
式中为第j张查询图像属于第i类别的预测值，yij为第j张查询图像属于第i类别的真实值；n为查询图像总数，为真实值自适应权重，为预测值自适应权重；
式中Lcls为交叉熵损失函数：
根据本发明的基于元知识适应迁移网络的少样本遥感图像目标检测方法，在模型训练过程中，还根据相似度元损失函数调整网络参数：
式中Wi是相似度度量中特征向量的权重，vij是相似度度量中第j张查询图像属于第i类别的真实概率，是相似度度量中第j张查询图像属于第i类别的预测概率。
根据本发明的基于元知识适应迁移网络的少样本遥感图像目标检测方法，通用目标检测器采用Meta R-CNN作为基础模型实现。
本发明的有益效果：本发明方法从降低训练成本、提高迁移效率，提高少样本目标检测模型检测性能的角度出发，提出了一种少样本遥感图像目标检测方法。
本发明方法针对基类和新类之间存在域偏移、类别特征相似度高的检测任务具有精度更高的分类结果，并具有从少量样本中获取有效信息的强大能力。实现了元知识从源域向目标域的有效快速自适应迁移，提高了网络对新类别目标的检测能力。
附图说明
图1是本发明所述基于元知识适应迁移网络的少样本遥感图像目标检测方法中，网络模型两阶段训练数据集的示意图；
图2是本发明方法的模型训练与测试示意图；
图3是本发明方法中模型训练的第二阶段示意图；
图4是自适应重加权损失函数的可视化示意图；
图5是采用本发明方法得到的少样本遥感目标检测模型进行目标检测的检测结果图；
图6是采用不同方法进行目标检测的检测精度箱线对比图；图中ours表示本发明方法。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
具体实施方式一、结合图1至图3所示，本发明提供了一种基于元知识适应迁移网络的少样本遥感图像目标检测方法，基于通用目标检测器和空间频率联合增强模块组成的适应性元知识迁移网络检测器实现，包括两个训练阶段，完成两个训练阶段的训练后得到少样本遥感目标检测模型；
第一阶段：采用元学习框架训练通用目标检测器，通用目标检测器包括骨干网络和输出模块，采用基础类别数据集完成训练；所述基础类别数据集由样本图像组成；
对通用目标检测器的第一阶段训练包括：由基础类别数据集获得多个充分的学习任务数据集，每个学习任务数据集包括训练集和评估集；每个训练集包括所有基础类别数据的各一个实例对象图像，每个实例对象图像根据标签由样本图像中剪裁获得；每个评估集包括一张或多张样本图像；通用目标检测器在元学习框架下作为元学习器首先学习各个学习任务的的训练集，并将它们一个训练集一个训练集的展示给学习器(通用目标检测器在学习框架下作为学习器)。学习器的工作则是尝试将每个学习任务中的评估集图片目标进行正确的分类和定位。
采用学习任务数据集进行迭代训练和评估通用目标检测器，使骨干网络和输出模块学习到基于基础类别数据集的元级别知识，并能够在新检测任务上快速学习和泛化；所述元知识包括通用学习策略和特征表示；
第二阶段：采用元学习框架，在骨干网络和输出模块之间增加空间频率联合增强模块，构成适应性元知识迁移网络检测器；训练过程中的分类损失函数采用自适应重加权损失函数，元损失采用相似度元损失函数；
对适应性元知识迁移网络检测器的第二阶段训练包括：用于训练的第二阶段训练数据集中的图像数据类别包括基础类别和新颖类别；由第二阶段训练数据集获得多个少样本学习任务数据集；每个少样本学习任务数据集包括少样本支持图像集和少样本查询图像集；少样本支持图像集和少样本查询图像集中分别配置少样本第二阶段训练图像；少样本支持图像集中的数据类型包括所有基础类别和新颖类别；少样本查询图像集中包括新颖类别的少样本第二阶段训练数据；
采用少样本学习任务数据集对适应性元知识迁移网络检测器进行训练和评估，使第一阶段训练学习到的元级别知识快速的迁移到新颖类别的目标检测任务中；
每次迭代训练通过一个少样本学习任务数据集实现；
每次迭代训练的过程包括：采用骨干网络提取少样本支持图像集中每张支持图像的特征得到多通道支持图像特征图，再采用空间频率联合增强模块首先将多通道支持图像特征图进行通道压缩得到支持图像单通道特征图，再采用幂增强函数对支持图像单通道特征图进行特征值增强，得到支持图像单通道特征增强图；
采用骨干网络提取少样本查询图像集中一张查询图像的特征得到多通道查询图像特征图，再采用空间频率联合增强模块首先将多通道查询图像特征图进行通道压缩得到查询图像单通道特征图，再采用幂增强函数对查询图像单通道特征图进行特征值增强，得到查询图像单通道特征增强图；
将每张支持图像单通道特征增强图依次与查询图像单通道特征增强图相乘，得到每个类别的特征相关矩阵，使用softmax函数对特征相关矩阵进行归一化，得到每个类别的注意力权重；再将所有类别的注意力权重相加得到融合权重，再通过sigmoid函数激活，得到激活后融合权重；
将激活后融合权重与多通道查询图像特征图相乘，得到查询图像空域增强特征图；
对查询图像单通道特征图进行离散傅里叶变换得到查询图像频域图，再对查询图像频域图进行高通滤波得到查询图像频域增强图；查询图像频域增强图再经逆离散傅里叶变换得到查询图像频域增强特征图；
将多通道查询图像特征图、查询图像空域增强特征图和查询图像频域增强特征图加权相加得到查询图像空频双增强特征图；
再采用区域生成网络在查询图像空频双增强特征图上确定候选框，得到感兴趣区域，进而得到当前查询图像的分类结果和回归结果；
重复上述过程，得到少样本查询图像集中每一张查询图像的分类结果和回归结果；
在第二阶段中进行预设次数的迭代或满足预设的终止条件后，得到少样本遥感目标检测模型；在训练过程中，适应性元知识迁移网络检测器根据自适应重加权损失函数、回归损失函数和相似度元损失函数调整网络参数；
对于实时的包含新类别目标的检测任务，将第二阶段训练得到的网络参数作为少样本遥感目标检测模型的初始参数，在新类别目标检测任务的支持图像集上进行快速学习，实现对检测任务中基础类别目标和新类别目标的检测。通过对类别目标，尤其是新类别目标的检测效果衡量适应性元知识迁移网络模型的有效性。
本实施方式以如何更好地将少样本目标检测任务应用于超高分辨率遥感图像为出发点，并考虑如何将第一阶段训练基础检测器过程中学习的元知识自适应的迁移到第二阶段针对新类别的学习过程中，同时缓解少样本目标检测任务中的域偏移、类别混淆和面对从少数样本中获取有效信息能力有限等挑战。具体来说，本实施方式对第二阶段的迁移网络进行了设计。首先，设计了空间频率联合增强模块，该模块首先通过融合支持图像集中的特征信息到查询图像特征图上来实现对查询图像特征图的空间信息增强得到空间域增强特征图，并通过对查询图像特征图进行频域增强来抑制查询图像特征图中的低频信息得到频域增强特征图。然后，将频域增强特征图和空间域增强特征图融合到查询图像的特征图中得到最终的空间频率联合增强特征图，这有助于区域生成网络(RPN)提取高质量的候选框。
本实施方式采用常规的少样本目标检测框架，训练策略分为两个阶段：第一阶段是基础检测器的训练阶段。在这个阶段，使用已有的大规模标注数据集来训练一个通用的目标检测模型。这个基础检测器会学习到目标检测的基本特征表示和目标分类器；第二阶段是针对新类别的迁移学习阶段。在这个阶段，通过使用少量标注数据(每个类别只有少数样本)来训练模型，将已学习到的知识从基础类别迁移到新类别上。这个阶段的目标是通过少样本学习实现对新颖类别的目标检测能力。通过这两个阶段的训练，模型可以在少样本情况下进行目标检测，能够有效地检测基础类别和新类别的目标。这种两阶段的训练策略能够解决少样本目标检测任务中的样本稀缺和数据不平衡问题，提高模型在少样本情况下的性能。训练过程如图1所示。
具体来说假设数据集包含两类不重叠的类别，分别称为"基础类别(Cbase)和"新颖类别(Cnovel)"，其在数据集中对应的子集分别为"Dbase"和"Dnovel"。在基础类别中，每个类别都有足够的带标注样本，而在新类别中，每个类别只有少量的带标注样本。通过采用两阶段训练策略，训练一个模型，使其能够在测试阶段同时检测基础类别和新类别中的对象。其中第一阶段，使用Dbase数据训练一个基础检测器。第二阶段，旨在快速将从基础类别学到的知识迁移到新类别中。这样，就能在测试过程中创建一个少样本目标检测模型，能够检测基础类别和新类别中所有类别的对象。
本实施方式通过采用元学习策略并选择Meta R-CNN作为基线模型，目标是获取元知识。如图2所示，具有N个类的K-shot任务可以表示为T＝{(s1,…,sN),qj}，其中si(i＝1,2,…,N)表示每个类有K个实例的支持图像集，并且qj(j＝1,2,…,n)是来自查询集的查询图像。模型f(q|s)经过训练可以识别属于si中的类的对象。本实施方式没有采用一般的训练策略(例如用于目标检测的小批量梯度下降)，而是在训练期间使用子任务的方式，其中每个子任务都包含上述训练过程。
首先，本实施方式设计了一种空间频率联合增强模块来辅助特征提取网络提取高质量的建议框，如图3所示。该模块将来自支持图像集中的信息整合到查询图像集中，并抑制了查询图像中的低频信息。因此，可充分利用有限的样本信息来实现对查询图像特征的双重增强。
具体来说，首先将来自支持图像数据集的数据信息引入到查询图像中以实现对查询图像的空域增强。为了简化计算，对支持图像特征图和查询图像特征图的通道维度进行均值平均池化，得到支持图像单通道特征图和查询图像单通道特征图。为了进一步增强主要信息的特征并削弱不明显特征的信息，对得到的单通道特征图应用幂增强函数实现对特征值的增强，从而提高图像的整体质量。公式如(2)，(3)所示，其中MAP(·)表示均值平均池化。接下来，计算查询图像的特征图与支持图像集中每个类的特征图之间的相关性。在这一步中，通过将增强之后的查询图像特征图q′j与支持图像集中每个类的特征图s′i相乘来获得每个类的特征相关权重。然后使用softmax函数对生成的特征权重进行归一化，以确保每个类别的注意力权重总和为1。在获得每个类的注意力权重后，将所有类的特征权重相加，并将得到的融合权重由sigmoid函数激活。这一步增强了该模块的非线性表达能力，确保只保留最相关的信息。这样，就得到了激活后融合权重w(q′j,s′i)，如公式1所示。最后，将激活后融合权重乘回查询图像特征图中得到空域增强特征图Sj，从而得到与查询图像中支持的图像集相关的增强信息。这个过程突出了具有高相似性的像素，增强了查询图像的特征。
进一步，激活后融合权重表示为w(q′j,s′i)：
式中q′j为第j张查询图像单通道特征增强图，s′i为第i个类别的支持图像单通道特征增强图，N为支持图像集的支持图像总类别数；
si′＝MAP4(si)， (2)
q′j＝MAP4(qj)， (3)
其中si为第i个类别的支持图像单通道特征图，qj为第j张查询图像单通道特征图；MAP为全局平均池化；
第j张查询图像空域增强特征图表示为Sj：
Sj＝Qj·w(qj′,si′), (4)
式中Qj为第j张多通道查询图像。
其次，要在通过从频域角度探索改进来进一步增强查询图像的特征图。首先利用离散傅立叶变换(DFT)将特征图变换到频域，得到频域特征图F(u,v)。随后，移动频域，将直流分量(代表低频部分)重新定位到频域的中心，得到特征图f(u,v)。在此之后，设置一个阈值来抑制低频信息并增强高频信息，得到频域增强图f′(u,v)。这种方法的动机是高频信息通常包含特征图的更详细和丰富的信息，而低频信息往往更均匀且信息量更少。过滤过程完成后，在转换回空间域之前需要将直流分量移回原始位置，得到逆傅里叶变化之前的频域特征图f″(u,v)。然后使用逆傅里叶变换将频域特征图转换回空间域，从而得到频域增强特征图F′(x,y)。增强的特征图展示了增强的细节，便于分析和解释。
最后，对两种方法增强后的特征图进行加权叠加处理，生成最终的空频联合增强特征。为了更好地理解该过程，空频双增强模块中涉及的步骤公式如下：
本实施方式中，第j张查询图像空频双增强特征图表示为Q″j：
Q″j＝α*Sj+β*F′(x,y)+Qj， (5)
式中F′(x,y)为查询图像频域增强特征图，(x,y)表示查询图像频域增强特征图上的横纵坐标对；式中α为查询图像空域增强特征图的权重，β为查询图像频域增强特征图的权重。
上式中，变换后的信号在频域的值用F(u,v)表示，其中(x,y)表示其在特征图上对应的位置。此外，W和H分别表示输入特征图的宽度和高度，而u和v分别表示频域中的水平和垂直位置。方程中的项为旋转因子的复指数函数，该因子捕获相邻采样点之间的相位差，振幅为1，相位根据u和v的值而变化。需要注意的是，符号j表示虚数单位，定义为满足等式j2＝1的数字。为了将直流分量(低频部分)移到频域的中心，图像需要水平和垂直移动W/2和H/2像素。坐标(crow,col)表示中心点，f′(u,v)表示高通滤波后频域中位置(u,v)对应的值，本实施方式中滤波半径设置为3像素，滤波后通过函数f″(u,v)执行频域后移操作，而F′(x,y)表示最终的频率增强特征图。
作为示例，通过实验分析，确定α和β分别设置为0.1和0.01时，能够表现出最好的检测效果。
然后，本实施方式引入了一种新的损失函数，即自适应重加权损失，作为解决少样本场景中过度拟合和泛化能力差的更有效替代方案。该损失函数自适应地关注新类域，可以根据预测值与真实值的差异动态调整权重，从而提高了模型在样本有限的情况下新类检测的适应性和灵敏度。
本实施方式设计了一个函数来重加权新类别目标的真值和预测值，权值的大小根据目标类别和检测效果做自适应调整，即只对新类别目标进行重加权，且对于检测效果较差的新类别目标予以更大的权重，随后将重加权之后的值带入到标准的交叉熵损失函数中以实现少样本情况下对交叉熵损失函数的优化，以增强在有限样本情况下对新类别目标检测任务的适应性和敏感性。最后计算了类别特征向量之间的成对相似性，然后按照类别对相似性计算结果求和，并归一化以获得每个类别的权重。随后将这个权重乘以相应的特征向量来修改类别特征向量值，以增大类间距，提高对相似度高的不同类别特征的区分能力。
本实施方式中，自适应重加权损失函数表示为
式中为第j张查询图像属于第i类别的预测值，yij为第j张查询图像属于第i类别的真实值；n为查询图像总数，为真实值自适应权重，为预测值自适应权重；
式中Lcls为交叉熵损失函数：
此处对交叉熵损失函数做了优化，交叉熵损失函数对做出错误预测项进行惩罚，惩罚量与预测概率与真实概率之间的差异成正比。具体来说，这些概率之间的差异越大，交叉熵损失就越高。相反，当预测概率接近真实概率时，交叉熵损失很小。
交叉熵损失函数量化了真实标签和预测标签之间的差异，有助于优化分类问题。
本实施方式设计了重加权函数来处理新类别目标的预测值和真实值，如等式7和8所示。用该重加权函数修改传统的交叉熵损失获得本实施方式的自适应重加权损失，如式6所示。通过用重新加权的值替换原始值，提高模型在检测新类对象方面的性能。
代表最终自适应重加权损失函数的公式。
值得注意的是，在第二阶段的训练过程中，基类和新类之间的样本数量存在明显的不平衡。这种类别不平衡会导致交叉熵损失函数优先考虑具有更多样本的类别，从而导致训练过程的不平衡。为了解决这个问题，只将自适应重加权损失函数应用于新类别目标对象。通过这样做，在训练过程中有选择性的增加了对新类别目标的关注，从而实现更加平衡和公平的学习过程。这种重新加权操作有助于缓解类不平衡的影响，并确保模型充分关注新类目标的检测，尽管这些类可用的样本数量有限。
图4将式(9)和式(6)进行三维可视化展示，以直观地理解修改后的损失函数的作用。图4中下层图代表标准交叉熵损失的损失函数值，上层图代表本发明提出的自适应重新加权损失函数的值。通过为预测误差较大的目标分配更高的权重，为预测误差较小的样本分配更低的权重，增强了损失函数对新类别目标的敏感性。这意味着损失函数对不正确的预测变得更加敏感，对更大的预测错误分配更高的惩罚，从而导致更大的损失值。相反，较小的预测误差与较低的损失值相关联。
最后，在元损失函数中引入类相似性来解决小样本场景中的类混淆问题，从而增强模型区分目标类的能力并最终提高其检测精度。
具体来说，元学习的挑战之一在于确保模型能够有效地泛化到新任务或数据集，特别是在每个特定任务或数据集可用样本有限的情况下。Meta-Loss被设计以应对该挑战。Meta-Loss背后的基本思想是鼓励模型学习一组不同的对象注意向量，这些向量可用于识别输入中的不同对象或类。然而，在某些情况下，类别特征之间的相似性可能对准确识别目标类别构成挑战，尤其是当每个类别的样本有限时。例如，当两个类别表现出相似的特征时，模型仅根据可用样本很难将二者很好的区分开来。因此，为了解决这个问题，本实施方式将特征相似性纳入元损失框架。通过整合特征相似性，增强模型区分目标类别的能力，从而提高其整体检测精度。
为了实现这个目标，需要采取几个步骤。首先，在骨干特征提取过程之后计算不同类的特征向量。这些特征向量封装了每个类别的独特特征，并作为输入数据中类别识别的基础。随后，继续计算不同类别的特征向量之间的相似度，结果是一个相似度矩阵，表示每个类别与其他每个类别之间的相似程度。为了将特征相似性纳入元损失，根据类别统计汇总相似性值并将其转换为权重。具体来说，总结了每个类的相似度值，并利用此信息为具有更大相似度值的类分配更高的权重。这种方法背后的基本原理是具有高相似度值的类别更容易相互混淆。因此，我们的目标是确保模型更加强调区分这些特征相似度高的类。公式可以写为：
这里，simxy用来计算vx和vy之间的相似度值，其落在0到1的范围内。具体来说，vx指的是支持图像集中第x类的特征向量，而vy表示第y类的特征向量同一组中的类，其中x的范围从0到N，y的范围从0到x。N表示类的总数。此外，∝是微调相似度值强度的调整因子。经验结果表明，值为0.1会产生最佳结果。最后，Wx是分配给每个特征向量的权重，是计算的关键元素。
在模型训练过程中，还根据相似度元损失函数调整网络参数：
式中Wi是相似度度量中特征向量的权重，vij是相似度度量中第j张查询图像属于第i类别的真实概率，是相似度度量中第j张查询图像属于第i类别的预测概率。
两种类型的特征向量都来自支持图像。
作为示例，本实施方式中的通用目标检测器采用Meta R-CNN作为基础模型实现。
下面通过实验验证本发明的有益效果：
下面使用平均精度均值(mAP)作为目标检测标准来评估检测性能。通过实验来验证本发明方法在大规模DIOR数据集中的优越性，考虑到该数据集中不同的目标结构和大小。将本发明的适应性元知识迁移网络的检测性能与几种现有的Few-Shot目标检测(FSOD)方法进行比较，包括Faster R-CNN、RepMet、FeatReweighting、TFA、Meta R-CNN和Prototype-CNN。比较结果列于表2中。表1列出了数据集的拆分采用的三种方法。
表1三种不同的新类别选择设置，其余类别则为基础类别.
表2
在第一个基准/新类别划分上进行了FSOD实验，并以mAP作为评估指标。并将最佳结果加粗显示。
在具有切分设置的DIOR数据集上使用3-/5-/10-/20-/30-shot(即每个类别只有3/5/10/20/30个实例)设置评估该方法。表2显示了第一种数据集划分方式的实验结果。可以看出尽管在基类上的准确率不如原来的方法，但在新类上的准确率有了实质性的提高。性能提升的具体细节如下：3-shot检测精度提升4个百分点，5-shot和10-shot的检测效果提升1.9个百分点。同样，20-shot的结果显示提高了2.6个百分点，而30-shot的结果显示了0.9％的增长。同样，其他两个设置(切分设置2和切分设置3)的实验结果也表现出明显的增强。结果见表3和表4。
表3:
在第二组基准/新类分割上进行了FSOD实验，使用MAP作为评估指标，并将最佳结果加粗显示。
表4
第三个基准/新类别划分的FSOD实验结果，使用MAP作为评估指标，并将最佳结果加粗显示。
对表2、3、4的观察结果表明，通过微调将知识从基类转移到新类的两阶段训练策略对于新类的更好检测性能至关重要。RepNet和FeatReweighting在基类和新类的检测精度上都有所提高，但新类的检测性能仍然不足。RFA显着增强了所有类别的检测性能，但结果非常不稳定，并且随着不同的拆分方法而变化很大。Meta R-CNN将元学习集成到两阶段对象检测/分割方法中，并使用Faster/Mask R-CNN的RoI特征部分解决了识别具有复杂背景和多个实例对象的图像的问题。Prototype-CNN和本发明的适应性元知识迁移网络都建立在Meta R-CNN的成果之上。Prototype-CNN提出了一个P-G RPN模块以获得更好的前景建议框，而本发明的适应性元知识迁移网络首先引入了空间频率联合增强模块以更好地利用少数样本图像特征，其次将分类损失和元损失都进行了改进，实现了在新类别上实现更好的检测性能。
进行消融实验来说明本发明方法中空间频率联合增强模块、自适应重加权损失函数和相似度元损失函数三个改进的有效性。使用不同的实例个数设置和不同基础类/新类的划分方式进行了各种实验，结果列于表5中。
表5
三个基础/新颖拆分的消融研究。使用MAP作为评估措施和最佳结果，并将最佳结果加粗显示。
对空间频率联合增强模块进行分析：能够以直接、高效和有效的方式将支持图像集信息集成到查询图像中。其次，通过在查询图像的频域上使用低通滤波器来提取图像中的目标和背景信息。实验结果表明，在大约40％的情况下，若删除该模块对目标检测准确性的影响最大。结果表明，本发明方法可以同时增强空间域和频域中的图像。引外，验证了将融合信息集成到空间注意模块中以提高查询图像在少样本目标检测任务中的检测精度的有效性。
自适应重加权损失函数分析：本发明优化了交叉熵损失函数，以更加关注未被很好识别的新引入的类。实验结果表明，在大约60％的情况下，移除对交叉熵损失函数的改进，对目标检测准确性的影响最大。实验证实了函数设计的有效性。此外，还验证了网络架构可以通过重新加权来增强对新类别的关注，从而提高最终检测精度。
相似度元损失函数分析：移除对元损失函数的改进相比于移除对交叉熵损失函数的改进和移除空频联合增强模块相比影响较小，但其有效性也验证了将不同类特征之间的相似性纳入元损失函数计算的重要性。该方法以一种简单实用的解决方案提高了在少数样本的情况下网络区分不同类别的目标的能力，特别是在目标具有高特征相似性的情况下。这可以有效缓解类错误分类的问题。
具体实施例：
下面在一个大规模的遥感图像数据集上进行多轮实验，以评估本发明方法的有效性。
数据集包括20个目标类别的23,463张图像和190,288个实例，其中训练、验证和测试集分别包括5,862、5,863和11,738张图像。DIOR数据集中的图像大小为800×800像素，空间分辨率范围为0.5到30米。随机选择5个类别视为新颖类别。数据集的拆分采用了三种方法，详见表1。
基准方法是Meta R-CNN，采用了两阶段训练策略来解决过拟合问题。在第一阶段，仅关注基本类别中的对象。在第二阶段，选择来自新类别的K-shot对象实例和来自基本类别的3K对象实例。进行K值从3到30的实验。来测试本发明方法在包含基本和新颖类别(Ctest＝Cbase∪Cnovel)的测试集上的检测性能。
使用Pytorch深度学习框架开发本发明的适应性元知识迁移网络，实验使用单个Nvidia GeForce GTX 1080Ti GPU进行。基线模型使用ResNet101骨干网络的Meta R-CNN。使用学习率为0.01、动量系数为0.9和权重衰减为1×10-4的SGD优化器进行训练。采用两阶段的训练过程，第一阶段仅关注来自基础类别的对象，第二阶段从新颖类别中选择K-shot对象实例和来自基础类别的3K个对象实例进行训练。进行了K值从3到30的实验。在测试过程中，直接加载经过骨干网络输出特征平均后的每个类别的特征。通过这种方式，可以将支持图像信息集成到测试图片中，从而实现更好的检测结果。在DIOR数据集上进行测试实验，每个实验包含20个平均特征映射，其中包括15个基础类别。评估测试集中包括11,738张图像。以20-shot为例显示新类别的检测性能箱线图，如图6所示。图中实线表示中位数，虚线表示平均数。从图中很容易发现本发明方法优于现有方法，具有更高的检测精度和相对稳定的检测性能。
最后，最后，图5显示了可视化30-shot的结果第三种基类/新类划分方法的模型。其中第一行显示依次检测新类别(从C1到C5)的检测性能。第二行随机显示基类目标的检测性能。检测效果证明了本发明方法的有效性。
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其它所述实施例中。

Claims (7)

1.一种基于元知识适应迁移网络的少样本遥感图像目标检测方法，其特征在于基于通用目标检测器和空间频率联合增强模块组成的适应性元知识迁移网络检测器实现，包括两个训练阶段，完成两个训练阶段的训练后得到少样本遥感目标检测模型；
第一阶段：采用元学习框架训练通用目标检测器，通用目标检测器包括骨干网络和输出模块，采用基础类别数据集完成训练；所述基础类别数据集由样本图像组成；
对通用目标检测器的第一阶段训练包括：由基础类别数据集获得多个充分的学习任务数据集，每个学习任务数据集包括训练集和评估集；每个训练集包括所有基础类别数据的各一个实例对象图像，每个实例对象图像根据标签由样本图像中剪裁获得；每个评估集包括一张或多张样本图像；
采用学习任务数据集进行迭代训练和评估通用目标检测器，使骨干网络和输出模块学习到基于基础类别数据集的元级别知识，并能够在新检测任务上快速学习和泛化；所述元知识包括通用学习策略和特征表示；
第二阶段：采用元学习框架，在骨干网络和输出模块之间增加空间频率联合增强模块，构成适应性元知识迁移网络检测器；训练过程中的分类损失函数采用自适应重加权损失函数，元损失采用相似度元损失函数；
对适应性元知识迁移网络检测器的第二阶段训练包括：用于训练的第二阶段训练数据集中的图像数据类别包括基础类别和新颖类别；由第二阶段训练数据集获得多个少样本学习任务数据集；每个少样本学习任务数据集包括少样本支持图像集和少样本查询图像集；少样本支持图像集和少样本查询图像集中分别配置少样本第二阶段训练图像；少样本支持图像集中的数据类型包括所有基础类别和新颖类别；少样本查询图像集中包括新颖类别的少样本第二阶段训练数据；
采用少样本学习任务数据集对适应性元知识迁移网络检测器进行训练和评估，使第一阶段训练学习到的元级别知识快速的迁移到新颖类别的目标检测任务中；
每次迭代训练通过一个少样本学习任务数据集实现；
每次迭代训练的过程包括：采用骨干网络提取少样本支持图像集中每张支持图像的特征得到多通道支持图像特征图，再采用空间频率联合增强模块首先将多通道支持图像特征图进行通道压缩得到支持图像单通道特征图，再采用幂增强函数对支持图像单通道特征图进行特征值增强，得到支持图像单通道特征增强图；
采用骨干网络提取少样本查询图像集中一张查询图像的特征得到多通道查询图像特征图，再采用空间频率联合增强模块首先将多通道查询图像特征图进行通道压缩得到查询图像单通道特征图，再采用幂增强函数对查询图像单通道特征图进行特征值增强，得到查询图像单通道特征增强图；
将每张支持图像单通道特征增强图依次与查询图像单通道特征增强图相乘，得到每个类别的特征相关矩阵，使用softmax函数对特征相关矩阵进行归一化，得到每个类别的注意力权重；再将所有类别的注意力权重相加得到融合权重，再通过sigmoid函数激活，得到激活后融合权重；
将激活后融合权重与多通道查询图像特征图相乘，得到查询图像空域增强特征图；
对查询图像单通道特征图进行离散傅里叶变换得到查询图像频域图，再对查询图像频域图进行高通滤波得到查询图像频域增强图；查询图像频域增强图再经逆离散傅里叶变换得到查询图像频域增强特征图；
将多通道查询图像特征图、查询图像空域增强特征图和查询图像频域增强特征图加权相加得到查询图像空频双增强特征图；
再采用区域生成网络在查询图像空频双增强特征图上确定候选框，得到感兴趣区域，进而得到当前查询图像的分类结果和回归结果；
重复上述过程，得到少样本查询图像集中每一张查询图像的分类结果和回归结果；
在第二阶段中进行预设次数的迭代或满足预设的终止条件后，得到少样本遥感目标检测模型；在训练过程中，适应性元知识迁移网络检测器根据自适应重加权损失函数、回归损失函数和相似度元损失函数调整网络参数；
对于实时的包含新类别目标的检测任务，将第二阶段训练得到的网络参数作为少样本遥感目标检测模型的初始参数，在新类别目标检测任务的支持图像集上进行快速学习，实现对基础类别目标和新类别目标的检测。
2.根据权利要求1所述的基于元知识适应迁移网络的少样本遥感图像目标检测方法，其特征在于，
激活后融合权重表示为w(q′j,s′i)：
式中q′j为第j张查询图像单通道特征增强图，s′i为第i个类别的支持图像单通道特征增强图，N为支持图像集的支持图像总类别数；
si′＝MAP4(si)，(2)
q′j＝MAP4(qj)，(3)
其中si为第i个类别的支持图像单通道特征图，qj为第j张查询图像单通道特征图；MAP为全局平均池化；
第j张查询图像空域增强特征图表示为Sj：
Sj＝Qj·w(qj′,si′),(4)
式中Qj为第j张多通道查询图像。
3.根据权利要求2所述的基于元知识适应迁移网络的少样本遥感图像目标检测方法，其特征在于，第j张查询图像空频双增强特征图表示为Q″j：
Q″j＝α*Sj+β*F′(x,y)+Qj，(5)
式中F′(x,y)为查询图像频域增强特征图，(x,y)表示查询图像频域增强特征图上的横纵坐标对；式中α为查询图像空域增强特征图的权重，β为查询图像频域增强特征图的权重。
4.根据权利要求3所述的基于元知识适应迁移网络的少样本遥感图像目标检测方法，其特征在于，α＝0.1，β＝0.01。
5.根据权利要求1所述的基于元知识适应迁移网络的少样本遥感图像目标检测方法，其特征在于，自适应重加权损失函数表示为
式中为第j张查询图像属于第i类别的预测值，yij为第j张查询图像属于第i类别的真实值；n为查询图像总数，为真实值自适应权重，为预测值自适应权重；
式中Lcls为交叉熵损失函数：
6.根据权利要求5所述的基于元知识适应迁移网络的少样本遥感图像目标检测方法，其特征在于，在模型训练过程中，还根据相似度元损失函数调整网络参数：
式中Wi是相似度度量中特征向量的权重，vij是相似度度量中第j张查询图像属于第i类别的真实概率，是相似度度量中第j张查询图像属于第i类别的预测概率。
7.根据权利要求6所述的基于元知识适应迁移网络的少样本遥感图像目标检测方法，其特征在于，通用目标检测器采用Meta R-CNN作为基础模型实现。
CN202310838900.2A 2023-07-10 2023-07-10 基于元知识适应迁移网络的少样本遥感图像目标检测方法 Pending CN117058534A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310838900.2A CN117058534A (zh) 2023-07-10 2023-07-10 基于元知识适应迁移网络的少样本遥感图像目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310838900.2A CN117058534A (zh) 2023-07-10 2023-07-10 基于元知识适应迁移网络的少样本遥感图像目标检测方法

Publications (1)

Publication Number Publication Date
CN117058534A true CN117058534A (zh) 2023-11-14

Family

ID=88668114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310838900.2A Pending CN117058534A (zh) 2023-07-10 2023-07-10 基于元知识适应迁移网络的少样本遥感图像目标检测方法

Country Status (1)

Country Link
CN (1) CN117058534A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117253097A (zh) * 2023-11-20 2023-12-19 中国科学技术大学 半监督域适应图像分类方法、系统、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117253097A (zh) * 2023-11-20 2023-12-19 中国科学技术大学 半监督域适应图像分类方法、系统、设备及存储介质
CN117253097B (zh) * 2023-11-20 2024-02-23 中国科学技术大学 半监督域适应图像分类方法、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN106339674B (zh) 基于边缘保持与图割模型的高光谱影像分类方法
CN108564085B (zh) 一种自动读取指针式仪表读数的方法
CN104063713B (zh) 一种基于随机蕨分类器的半自主在线学习方法
CN112819110B (zh) 基于权重生成的增量式小样本目标检测方法及系统
CN108985360A (zh) 基于扩展形态学与主动学习的高光谱分类方法
CN110633711B (zh) 训练特征点检测器的计算机装置、方法及特征点检测方法
CN112257799A (zh) 一种生活垃圾目标检测的方法、系统及装置
CN117015796A (zh) 处理组织图像的方法和用于处理组织图像的系统
CN111259808A (zh) 一种基于改进ssd算法的交通标识的检测识别方法
CN106557740A (zh) 一种遥感图像中油库目标的识别方法
CN111639697B (zh) 基于非重复采样与原型网络的高光谱图像分类方法
WO2015146113A1 (ja) 識別辞書学習システム、識別辞書学習方法および記録媒体
Li et al. Point-based weakly supervised learning for object detection in high spatial resolution remote sensing images
CN113191359A (zh) 基于支持与查询样本的小样本目标检测方法与系统
CN117058534A (zh) 基于元知识适应迁移网络的少样本遥感图像目标检测方法
CN115019103A (zh) 基于坐标注意力群组优化的小样本目标检测方法
CN115496950A (zh) 邻域信息嵌入的半监督判别字典对学习的图像分类方法
CN116597438A (zh) 一种基于Yolov5的改进型水果识别方法及识别系统
CN113469084B (zh) 基于对比生成对抗网络的高光谱图像分类方法
Wang et al. Classification and extent determination of rock slope using deep learning
López-Cifuentes et al. Attention-based knowledge distillation in scene recognition: the impact of a dct-driven loss
Duan Automatic identification of conodont species using fine-grained convolutional neural networks
CN117994240A (zh) 多尺度二级光学遥感图像条纹噪声智能检测方法及装置
CN108257148B (zh) 特定对象的目标建议窗口生成方法及其在目标跟踪的应用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination