CN114926622A - 一种少样本目标检测方法、电子设备及计算机介质 - Google Patents

一种少样本目标检测方法、电子设备及计算机介质 Download PDF

Info

Publication number
CN114926622A
CN114926622A CN202210399493.5A CN202210399493A CN114926622A CN 114926622 A CN114926622 A CN 114926622A CN 202210399493 A CN202210399493 A CN 202210399493A CN 114926622 A CN114926622 A CN 114926622A
Authority
CN
China
Prior art keywords
scale
network
features
contrast
few
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210399493.5A
Other languages
English (en)
Inventor
陈杰
秦登达
刘方亮
赵杰
东野升效
朱晶茹
郭亚
孙庚�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Zhuozhi Software Co ltd
Central South University
Original Assignee
Shandong Zhuozhi Software Co ltd
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Zhuozhi Software Co ltd, Central South University filed Critical Shandong Zhuozhi Software Co ltd
Priority to CN202210399493.5A priority Critical patent/CN114926622A/zh
Publication of CN114926622A publication Critical patent/CN114926622A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种少样本目标检测方法、电子设备及计算机介质，本发明以目标检测算法的候选框中的特征作为对比学习的第一对比特征；将少样本训练数据中的实例目标提取的多尺度实例特征作为模型对比学习的第二对比特征；将两种对比特征进行对比学习，进而提升少样本目标检测网络的特征表达能力，削弱遥感影像目标方向和尺度对精度的影响。本发明的优点是，针对多尺度的对比学习设计了多尺度候选框对比损失函数，用于对比学习自监督训练，消除用于对比学习的两种对比特征之间的尺度差异。

Description

一种少样本目标检测方法、电子设备及计算机介质
技术领域
本发明涉及遥感影像检测领域，具体涉及一种少样本目标检测方法、电子设备及计算机介质。
背景技术
随着深度学习的使用，基于卷积神经网络的信息挖掘能力和特征表达能力变得更强，遥感影像目标检测算法能获得高性能的检测效果。但是，随着训练样本数量的降低，深度卷积神经网络很难通过较少的训练数据(少样本)挖掘出整个大型数据集的特征分布。无论是遥感影像还是自然场景图像，在现实中都会存在着新的类别，且它们可能只有少量的可用数据。许多研究针对该挑战提出了少样本目标检测算法。它们可以大致分为三种类型：①基于微调；②基于度量学习；③基于模型改进的方法。
现有技术中，基于微调的方法能够提升模型在少量样本下的检测能力，但因微调模型部分参数更容易过拟合；基于度量学习的方法取决于构建度量空间的样本是否具有代表性，训练的结果中存在一定的偶然性。其次，基于模型改进的方法通过改进网络结构，以适应少样本学习的任务。这些方法都能一定程度上改进少样本下的目标检测效果，但不够关注如何提升卷积神经网络在少量训练样本下的特征表征能力。遥感影像上的地物目标由于是俯视角度成像，存在着方向任意、背景复杂的特点。现有技术并未结合遥感影像的特点。
综上所述，急需一种适配遥感影像的目标检测方法解决现有技术中存在的问题。
发明内容
本发明目的在于提供一种少样本目标检测方法，具体技术方案如下：
一种少样本目标检测方法，具体步骤如下：
步骤S1：遥感影像类别划分，具体是，将遥感影像所包含的类别模拟划分成基本类别和小样本类别；
步骤S2：训练基本网络，具体是，在步骤S1中划分的基本类别所包含的样本上训练一个基本网络，用于作为小样本模型训练的初始化参数；
步骤S3：获取对比特征，具体是，基于步骤S2的基本网络中构建上分支，小样本类别的训练图片经过上分支的编码过程得到遥感影像中被候选框框中的特征，即第一对比特征；基于步骤S2的基本网络构建下分支，所述下分支包括多尺度实例目标特征重采样网络，将小样本类别的训练图片中标注的目标经过裁剪、旋转和增强后，通过下分支的编码过程得到多尺度实例特征，即第二对比特征；
步骤S4：计算对比损失及构建少样本目标检测网络，具体是，根据第一对比特征以及第二对比特征通过多尺度候选框对比损失函数进行对比学习同时计算对比损失，以及根据步骤S2的基本网络以及步骤S4的对比损失构建少样本目标检测网络进行网络的训练；
步骤S5：少样本目标检测，具体是，通过所述少样本目标检测网络对待检测遥感影像进行少样本目标检测。
具体的，在步骤S2中，基本网络为Faster RCNN网络，模型训练的损失函数为：
Figure BDA0003599104480000021
其中，
Figure BDA0003599104480000022
表示二元交叉熵损失；
Figure BDA0003599104480000023
表示交叉熵损失；
Figure BDA0003599104480000024
代表边界框回归损失，使用SmoothL1损失函数。
具体的，在步骤S3中，所述上分支包括Resnet101、FPN、RPN、RoIAlign、Box Head和MLP；
其中，Resnet101：快速训练残差网络，用于提取遥感影像的特征和训练图片的实例目标的特征；
FPN：特征金字塔网络，用于提取训练图片的多尺度特征和训练影像的实例目标的多尺度特征；
RPN：区域候选网络，用于目标检测网络生成影像的候选框区域；
RoIAlign：边界回归网络，用于将候选框与对应尺度的特征图进行映射，得到候选框区域的候选框特征；
BoxHead：线性回归网络，用于将二维的候选框特征线性化得到线性特征；
MLP：多层感知机，用于得到多尺度实例目标和候选框区域的归一化特征，即对比特征。
具体的，第一对比特征编码的过程如下：
yp＝Mlp(Bhead(ROI(X)))；
其中，X表示输入目标检测网络的训练图片；ROI()表示RoIAlign通过映射候选框与对应尺度的特征图得到候选框区域的特征的过程；Bhead()表示Box Head将特征线性化得到线性特征的过程；MLP()表示多层感知机将线性特征成用于模型对比学习的对比特征的过程；yp表示第一对比特征。
具体的，在步骤S3中，所述下分支包括Resnet101、FPN、MSIFR、Box Head和MLP；
其中，MSIFR：多尺度实例目标特征重采样网络，用于将获得的多尺度实例目标特征进行重采样。
具体的，第二对比特征编码的过程如下：
Figure BDA0003599104480000031
其中，Aug()表示对训练图片中的目标进行实例增强的过程；f()表示FPN提取训练影像的实例目标的多尺度特征的过程；
Figure BDA0003599104480000032
表示第二对比特征，i表示P2、P3、P4、P5尺度特征，即i廨2，3，4，5。
具体的，在步骤S4中，多尺度候选框对比损失函数如下：
Figure BDA0003599104480000033
其中，
Figure BDA0003599104480000034
表示yp中大于阈值σ的正候选框特征；
Figure BDA0003599104480000035
表示yp中小于阈值σ的负候选框特征；δ(,)表示余弦相似度函数；n为正候选框特征的数量；m为负候选框特征的数量；N代表模型训练的批次大小；min()代表取最小值函数。
具体的，所述阈值σ为候选框与真实标签之间的交并比。
另外，本发明还提出了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述的少样本目标检测方法。
另外，本发明还提出了一种计算机介质，所述计算机介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的少样本目标检测方法。
应用本发明的技术方案，具有以下有益效果：
本发明提出了一种少样本目标检测方法、电子设备及计算机介质，本发明以目标检测算法的候选框中的特征作为对比学习的第一对比特征；将少样本训练数据中的实例目标提取的多尺度实例特征作为模型对比学习的第二对比特征；将两种对比特征进行对比学习，进而提升少样本目标检测网络的特征表达能力，削弱遥感影像目标方向和尺度对精度的影响。
本发明中针对多尺度的对比学习设计了多尺度候选框对比损失函数，用于对比学习自监督训练，消除用于对比学习的两种对比特征之间的尺度差异；所述多尺度候选框对比损失函数对候选框特征与多尺度实例目标特征之间进行对比，所述多尺度候选框对比损失函数考虑了多尺度的特征，对损失最小的特征作为损失结果进行回传。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是少样本目标检测方法的步骤流程图；
图2是少样本目标检测方法的模型训练示意图。
具体实施方式
本发明针对现有技术中对少样本目标检测特征表征能力不足和模型未关注影像特点的问题，提出了一种少样本目标检测方法，以下结合附图对本发明的实施例进行详细说明，但是本发明可以根据权利要求限定和覆盖的多种不同方式实施。
实施例1：
本实施例实现了一种少样本目标检测方法，如图1所示，具体步骤如下：
步骤S1：遥感影像类别划分，具体是，获取遥感影像，将遥感影像所包含的类别模拟划分成基本类别和小样本类别，其中，数据中的实例图片超过100个的遥感影像类别划分为基本类别数据，数据中的实例图片不超过100个的遥感影像类别划分为小样本类别；基本类别数据包含数据中所有该类别标注样本，小样本类别只采用数据中的包含k个实例的图片；
步骤S2：训练基本网络，具体是，在步骤S1中划分的基本类别上训练一个基本网络，用于作为小样本模型训练的初始化参数；
步骤S3：获取对比特征，具体是，在步骤S2的基本网络中构建上分支，所述上分支包括Resnet101、FPN、RPN、RoIAlign、Box Head和MLP，小样本类别的训练图片经过上分支的编码过程得到遥感影像中被候选框框中的特征，即第一对比特征；在步骤S2的目标检测网络中构建下分支，所述下分支包括Resnet101、FPN、MSIFR、Box Head和MLP，将训练图片中标注的目标经过裁剪、旋转和增强后，通过下分支的编码过程得到多尺度实例特征，即第二对比特征；
步骤S4：计算对比损失及构建少样本目标检测网络，具体是，根据第一对比特征以及第二对比特征通过多尺度候选框对比损失函数进行对比学习同时计算对比损失，以及根据步骤S2的基本网络以及步骤S4的对比损失构建少样本目标检测网络进行模型的训练；
步骤S5：少样本目标检测，具体是，通过所述少样本目标检测网络对待检测遥感影像进行少样本目标检测。
具体的，在步骤S2中，基本网络为Faster RCNN网络，模型训练的损失函数为：
Figure BDA0003599104480000051
其中，
Figure BDA0003599104480000052
表示二元交叉熵损失；
Figure BDA0003599104480000053
表示交叉熵损失；
Figure BDA0003599104480000054
代表边界框回归损失，具体为SmoothL1损失函数。
如图2所示的少样本目标检测方法的模型训练示意图，在步骤S3中，
Resnet101：快速训练残差网络，用于提取遥感影像的特征和训练影像的实例目标的特征；
FPN：特征金字塔网络，用于提取训练图片的多尺度特征和训练影像的实例目标的多尺度特征；
RPN：区域候选网络，用于目标检测网络生成影像的候选框区域；
RoIAlign：边界回归网络，用于将候选框与对应尺度的特征图进行映射，得到候选框区域的候选框特征；
BoxHead：线性回归网络，用于将二维的候选框特征线性化得到线性特征；
MLP：多层感知机，用于得到多尺度实例目标和候选框区域的归一化特征，即对比特征；
进一步地，第一对比特征编码的过程如下：
yp＝Mlp(Bhead(ROI(X)))；
其中，X表示输入目标检测网络的训练图片；ROI()表示RoIAlign通过映射候选框与对应尺度的特征图得到候选框区域的特征的过程；Bhead()表示Box Head将特征线性化得到线性特征的过程；MLP()表示多层感知机将线性特征成用于模型对比学习的对比特征的过程；yp表示第一对比特征。
具体的，在步骤S3中，
MSIFR：多尺度实例目标特征重采样网络，用于将获得的多尺度实例目标特征进行重采样；
进一步地，第二对比特征编码的过程如下：
Figure BDA0003599104480000061
其中，Aug()表示对训练图片中的目标进行实例增强的过程；f()表示FPN提取训练影像的实例目标的多尺度特征的过程；
Figure BDA0003599104480000062
表示第二对比特征，i表示P2、P3、P4、P5等尺度特征，即i廨2，3，4，5。
具体的，在步骤S4中，多尺度候选框对比损失函数如下：
Figure BDA0003599104480000063
其中，
Figure BDA0003599104480000064
表示yp中大于阈值σ的正候选框特征；
Figure BDA0003599104480000065
表示yp中小于阈值σ的负候选框特征；δ(,)表示余弦相似度函数；n为正候选框特征的数量；m为负候选框特征的数量；N代表模型训练的批次大小；min()代表取最小值函数；e为自然常数。
需要说明的是，本实施例中的多尺度候选框对比损失函数对候选框特征与多尺度实例目标特征之间进行对比，所述多尺度候选框对比损失函数考虑了多尺度的特征，对损失最小的特征作为损失结果进行回传。
本实施例优选的所述阈值σ为候选框与真实标签之间的交并比。
为了更好地说明本实施例的优势和目的，下面将结合具体试验结果以及现有技术的计算结果说明：
在步骤S1中，本算例选择的遥感影像为DIOR遥感影像数据集，所述DIOR遥感影像数据集包含20个类别，其中15个为基本类别，包括包括飞机、机场、水坝、高速公路服务区、高速公路收费站、港口、高尔夫球场、地面田径场、天桥、体育场、储罐、网球场、火车站、车辆和风磨；5个为小样本类别，包括棒球场、篮球场、桥梁、烟囱和船舶。需要说明的是，本算例中小样本类别的训练图片数量表示为k(本试验中的k分别设置为1、3、5、10、20)。
在步骤S2中，基于步骤S1划分的15个基本类别中的所有数据，训练一个FasterRCNN网络作为基本网络。
在步骤S3中，基于步骤S2中训练的基本网络构建本实施例中的上分支和下分支，将小样本类别中的训练图片分别通过上分支和下分支得到第一对比特征以及第二对比特征。
在步骤S4中，根据多尺度候选框对比损失函数对第一对比特征以及第二对比特征进行对比学习。需要说明的是，本算例选择的候选框与真实标签之间的交并比，阈值σ为0.4。
在步骤S5中，根据步骤S2的基本网络以及步骤S4的对比学习构建少样本目标检测网络进行遥感影像的少样本目标检测。
表1DIOR数据集上不同少样本目标检测方法精度评估对比，所有的模型报告的精度为三次随机采样训练得到的平均百分比精度
Figure BDA0003599104480000071
备注：Meta RCNN、RepMet、MPSR、FsDet、P-CNN、TFA、FSCE均为现有技术中的目标检测方法，其中TFA为基于微调的方法，Meta RCNN为基于度量学习的方法，RepMet、MPSR、FsDet、P-CNN、FSCE为基于模型改进的方法。OURS为本实施例提出的目标检测方法。Split1、Split2、Split3和Split4分别表示四种不同的基本类别和小样本类别的划分。
由表1可知，利用本实施例提出的基于多尺度目标对比学习的少样本目标检测方法在不同的类别划分下，除了在split41shots的设置下比FSCE的精度少0.1％外，相较其他的方法精度都达到了最高。当需要检测的类别相对简单时(split1包含的类别)，多尺度目标对比学习少样本目标检测的相较其他类型的方法有更好的性能，整体精度最高。
表2模型主要组成部分的消融实验
baseline Contrastive Aug Muti-Scale nAp50
√ × × × 38.319
√ √ × × 39.448
√ √ × √ 40.149
√ √ √ × 40.408
√ √ √ √ 41.334
备注：baseline表示改进的基准模型；Contrastive为本案例中的目标对比学习；Aug为实例目标增强；Muti-Scale表示多尺度实例目标特征；nAp50表示在小样本类别上的精度评价指标；表2中的‘√’表示使用对应的策略，‘×’表示不使用对应的策略。
由表2可知，多尺度目标对比学习少样本目标检测方法包含自监督对比学习、实例目标增强、多尺度特征对比三个组成部分。在Baseline的基础上，分别对三个组成部分在DIOR数据集上进行了消融实验，具体结果见表2。在baseline的基础上使用目标对比学习后，少样本目标检测模型因特征提取能力的提升使得检测效果提升最为明显；实例目标的增强、多尺度特征的对比使得模型对复杂的遥感影像地物目标具有更强的响应，相应地提升了少样本目标检测模型对遥感影像的泛化性。当在目标对比学习中采用目标增强、多尺度特征对比时，少样本目标检测效果达到最好。说明了本实施例对少样本目标检测是有正向作用的。
本实施例实现了一种少样本目标检测方法、电子设备及计算机介质，本实施例以双阶段目标检测的候选框中的特征作为对比学习的第一对比特征；将少样本训练数据中的实例目标提取的多尺度实例特征作为模型对比学习的第二对比特征；将两种对比特征进行对比学习，进而提升少样本目标检测网络的特征表达能力，削弱遥感影像目标方向和尺度对精度的影响。另外，本实施例针对多尺度的对比学习设计了一个多尺度候选框对比损失函数，用于对比学习自监督训练，消除用于对比学习的两种对比特征之间的尺度差异。
实施例2：
本实施例实现了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如实施例1所述的少样本目标检测方法。
实施例3：
本实施例实现了一种计算机介质，所述计算机介质上存储有计算机程序，所述计算机程序被处理器执行时实现如实施例1所述的少样本目标检测方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
最后应当说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种少样本目标检测方法，其特征在于，步骤如下：
步骤S1：遥感影像类别划分，具体是，将遥感影像所包含的类别模拟划分成基本类别和小样本类别；
步骤S2：训练基本网络，具体是，在步骤S1中划分的基本类别所包含的样本上训练一个基本网络，用于作为小样本模型训练的初始化参数；
步骤S3：获取对比特征，具体是，基于步骤S2的基本网络中构建上分支，小样本类别的训练图片经过上分支的编码过程得到遥感影像中被候选框框中的特征，即第一对比特征；基于步骤S2的基本网络构建下分支，所述下分支包括多尺度实例目标特征重采样网络，将小样本类别的训练图片中标注的目标经过裁剪、旋转和增强后，通过下分支的编码过程得到多尺度实例特征，即第二对比特征；
步骤S4：计算对比损失及构建少样本目标检测网络，具体是，根据第一对比特征以及第二对比特征通过多尺度候选框对比损失函数进行对比学习同时计算对比损失，以及根据步骤S2的基本网络以及步骤S4的对比损失构建少样本目标检测网络进行网络的训练；
步骤S5：少样本目标检测，具体是，通过所述少样本目标检测网络对待检测遥感影像进行少样本目标检测。
2.根据权利要求1所述的少样本目标检测方法，其特征在于，在步骤S2中，基本网络为Faster RCNN网络，模型训练的损失函数为：
Figure FDA0003599104470000011
其中，
Figure FDA0003599104470000012
表示二元交叉熵损失；
Figure FDA0003599104470000013
表示交叉熵损失；
Figure FDA0003599104470000014
代表边界框回归损失，具体为Smooth L1损失函数。
3.根据权利要求2所述的少样本目标检测方法，其特征在于，在步骤S3中，所述上分支包括Resnet101、FPN、RPN、RoIAlign、Box Head和MLP；
其中，Resnet101：快速训练残差网络，用于提取遥感影像的特征和训练图片的实例目标的特征；
FPN：特征金字塔网络，用于提取训练图片的多尺度特征和训练影像的实例目标的多尺度特征；
RPN：区域候选网络，用于目标检测网络生成影像的候选框区域；
RoIAlign：边界回归网络，用于将候选框与对应尺度的特征图进行映射，得到候选框区域的候选框特征；
Box Head：线性回归网络，用于将二维的候选框特征线性化得到线性特征；
MLP：多层感知机，用于得到多尺度实例目标和候选框区域的归一化特征，即对比特征。
4.根据权利要求3所述的少样本目标检测方法，其特征在于，第一对比特征编码的过程如下：
yp＝Mlp(Bhead(ROI(X)))；
其中，X表示输入目标检测网络的训练图片；ROI()表示RoI Align通过映射候选框与对应尺度的特征图得到候选框区域特征的过程；Bhead()表示Box Head将特征线性化得到线性特征的过程；MLP()表示多层感知机将线性特征成用于模型对比学习的对比特征的过程；yp表示第一对比特征。
5.根据权利要求4所述的少样本目标检测方法，其特征在于，在步骤S3中，所述下分支包括Resnet101、FPN、MSIFR、Box Head和MLP；
其中，MSIFR：多尺度实例目标特征重采样网络，用于将获得的多尺度实例目标特征进行重采样。
6.根据权利要求5所述的少样本目标检测方法，其特征在于，第二对比特征编码的过程如下：
Figure FDA0003599104470000021
其中，Aug()表示对训练图片中的目标进行实例增强的过程；f()表示FPN提取训练影像的实例目标的多尺度特征的过程；
Figure FDA0003599104470000022
表示第二对比特征，i表示P2、P3、P4、P5尺度特征，即i＝2，3，4，5。
7.根据权利要求6所述的少样本目标检测方法，其特征在于，在步骤S4中，多尺度候选框对比损失函数如下：
Figure FDA0003599104470000023
其中，
Figure FDA0003599104470000031
表示yp中大于阈值σ的正候选框特征；
Figure FDA0003599104470000032
表示yp中小于阈值σ的负候选框特征；δ(,)表示余弦相似度函数；n为正候选框特征的数量；m为负候选框特征的数量；N代表模型训练的批次大小；min()代表取最小值函数。
8.根据权利要求7所述的少样本目标检测方法，其特征在于，所述阈值σ为候选框与真实标签之间的交并比。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至8任一项所述的少样本目标检测方法。
10.一种计算机介质，其特征在于，所述计算机介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的少样本目标检测方法。
CN202210399493.5A 2022-04-15 2022-04-15 一种少样本目标检测方法、电子设备及计算机介质 Pending CN114926622A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210399493.5A CN114926622A (zh) 2022-04-15 2022-04-15 一种少样本目标检测方法、电子设备及计算机介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210399493.5A CN114926622A (zh) 2022-04-15 2022-04-15 一种少样本目标检测方法、电子设备及计算机介质

Publications (1)

Publication Number Publication Date
CN114926622A true CN114926622A (zh) 2022-08-19

Family

ID=82806733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210399493.5A Pending CN114926622A (zh) 2022-04-15 2022-04-15 一种少样本目标检测方法、电子设备及计算机介质

Country Status (1)

Country Link
CN (1) CN114926622A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115358392A (zh) * 2022-10-21 2022-11-18 北京百度网讯科技有限公司 深度学习网络的训练方法、文本检测方法及装置
CN116228715A (zh) * 2023-02-28 2023-06-06 抖音视界有限公司 息肉检测模型的训练方法、息肉检测方法及相关装置
CN116630753A (zh) * 2023-07-26 2023-08-22 南京航空航天大学 一种基于对比学习的多尺度小样本目标检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115358392A (zh) * 2022-10-21 2022-11-18 北京百度网讯科技有限公司 深度学习网络的训练方法、文本检测方法及装置
CN116228715A (zh) * 2023-02-28 2023-06-06 抖音视界有限公司 息肉检测模型的训练方法、息肉检测方法及相关装置
CN116228715B (zh) * 2023-02-28 2023-09-22 抖音视界有限公司 息肉检测模型的训练方法、息肉检测方法及相关装置
CN116630753A (zh) * 2023-07-26 2023-08-22 南京航空航天大学 一种基于对比学习的多尺度小样本目标检测方法

Similar Documents

Publication Publication Date Title
Su et al. Object detection and instance segmentation in remote sensing imagery based on precise mask R-CNN
Lv et al. Deep learning and superpixel feature extraction based on contractive autoencoder for change detection in SAR images
CN109753885B (zh) 一种目标检测方法、装置以及行人检测方法、系统
Marra et al. A full-image full-resolution end-to-end-trainable CNN framework for image forgery detection
CN114926622A (zh) 一种少样本目标检测方法、电子设备及计算机介质
CN112446327B (zh) 一种基于无锚框的遥感图像目标检测方法
CN104063706B (zh) 一种基于surf算法的视频指纹提取方法
CN112734775B (zh) 图像标注、图像语义分割、模型训练方法及装置
CN110599537A (zh) 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统
Yuan et al. Congested scene classification via efficient unsupervised feature learning and density estimation
CN104778457B (zh) 基于多示例学习的视频人脸识别方法
CN107358141B (zh) 数据识别的方法及装置
Luotamo et al. Multiscale cloud detection in remote sensing images using a dual convolutional neural network
CN113449690A (zh) 图像场景变化的检测方法、系统及电子设备
CN110472632B (zh) 基于字符特征的字符分割方法、装置及计算机存储介质
Xu et al. COCO-Net: A dual-supervised network with unified ROI-loss for low-resolution ship detection from optical satellite image sequences
Hajialilu et al. Image copy‐move forgery detection using sparse recovery and keypoint matching
Widyantara et al. Gamma correction-based image enhancement and canny edge detection for shoreline extraction from coastal imagery
CN112818840A (zh) 无人机在线检测系统和方法
CN112418262A (zh) 车辆再识别的方法、客户端及系统
CN105512682B (zh) 一种基于Krawtchouk矩和KNN-SMO分类器的密级标识识别方法
US10115195B2 (en) Method and apparatus for processing block to be processed of urine sediment image
CN108154107B (zh) 一种确定遥感图像归属的场景类别的方法
CN116206302A (zh) 三维目标检测方法、装置、计算机设备和存储介质
Kalakoti Key-Frame Detection and Video Retrieval Based on DC Coefficient-Based Cosine Orthogonality and Multivariate Statistical Tests.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination