CN115131580A - 基于注意力机制的空间目标小样本识别方法 - Google Patents

基于注意力机制的空间目标小样本识别方法 Download PDF

Info

Publication number
CN115131580A
CN115131580A CN202211059351.0A CN202211059351A CN115131580A CN 115131580 A CN115131580 A CN 115131580A CN 202211059351 A CN202211059351 A CN 202211059351A CN 115131580 A CN115131580 A CN 115131580A
Authority
CN
China
Prior art keywords
feature
query
sample
sample set
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211059351.0A
Other languages
English (en)
Other versions
CN115131580B (zh
Inventor
李磊
胡玉新
丁昊
喻小东
闫国刚
高斌
梅寒
袁明帅
崔婷婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202211059351.0A priority Critical patent/CN115131580B/zh
Publication of CN115131580A publication Critical patent/CN115131580A/zh
Application granted granted Critical
Publication of CN115131580B publication Critical patent/CN115131580B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于注意力机制的空间目标小样本识别方法，涉及计算机视觉技术领域，以解决对于具有光照不均与过曝严重特点的空间图像，现有的空间目标小样本识别的精度不高的技术问题。该方法根据支持样本集和查询样本集，采用嵌入特征对齐网络的空间目标识别网络模型来训练，得到最终训练好的空间目标识别网络模型，以对待识别图像进行类别预测，从而得到更准确的预测结果。本发明可对宽幅大场景空间图像中的目标实例实现语义特征对齐，抑制目标特征“误对齐”现象，增强同类别样本特征相关性以及不同类别样本特征可分离性，大幅提高空间目标小样本识别的精度。

Description

基于注意力机制的空间目标小样本识别方法
技术领域
本发明涉及计算机视觉技术领域，具体涉及空间目标小样本识别技术领域，更具体地涉及一种基于注意力机制的空间目标小样本识别方法。
背景技术
近年来，人类航天探索活动日益频繁，各国在轨道空间目标数量陡增，对空间目标进行碰撞预警对保障我国空间站与各种高价值空间目标的在轨安全具有十分重要的意义。空间态势感知技术通过长时间监测非合作空间目标的位置和运动状态信息用于确定其状态、属性以及意图，是目前空间安全问题的主要应对和防范手段。空间目标识别技术是空间态势感知的一项基础性关键技术，其主要任务是利用空间目标图像对目标身份进行识别，便于后续对目标信息（属性、功能与意图）进一步判读。
由于天基光学观测成本等原因，空间目标图像数量非常稀少，常规基于深度学习的图像识别方法训练非常依赖大量数据样本，因此常规深度学习方法难以解决这类小样本识别任务。另外，当前适用于小样本任务的主流基于度量学习的小样本图像识别方法的应用对象主要是人物、动物、生活物品等生活场景，针对空间目标的专用小样本识别方法在行业内依然是空白。因此，研究在训练样本量受限条件下，空间图像专用小样本目标识别方法是一件亟待解决又极具挑战性的技术问题。
目前，将常规小样本图像识别方法直接用于空间目标识别任务存在以下三点困难：（1）训练样本数量较少，特征提取网络较浅导致特征提取能力有限，样本特征具有局限性；（2）空间图像宽幅大场景、光照不均及过曝严重等特点，进一步增加特征提取难度，使得前述问题（1）更加凸显；（3）小样本识别方法模型学习的是不同特征之间距离，无论支持样本还是查询样本都难以获取类别信息；尤其对于具有光照不均与过曝严重特点的空间图像，卷积网络未能捕捉到目标实例特征，而往往更关注光照不均“噪声”部分，造成在度量空间中目标特征的“误对齐”，严重影响小样本目标识别精度。
发明内容
有鉴于此，本发明提供了一种基于注意力机制的空间目标小样本识别方法，以解决对于具有光照不均与过曝严重特点的空间图像，现有的空间目标小样本识别的精度不高的技术问题。
本发明提供的基于注意力机制的空间目标小样本识别方法，包括：获取支持样本集和查询样本集，其中，支持样本集包括多个已标记的空间图像样本，查询样本集为多个未标记的空间图像样本；使用支持样本集和查询样本集作为训练数据，来训练空间目标识别网络模型，空间目标识别网络模型依次包括特征提取网络、特征对齐网络和度量网络，其中，特征提取网络对输入的支持样本集和查询样本集进行浅层特征提取，获得查询样本集的原始特征图X q 和支持样本集的原始特征图
Figure 670086DEST_PATH_IMAGE001
；特征对齐网络对原始特征图X q 和
Figure 587227DEST_PATH_IMAGE001
进行空间目标实例的特征对齐，生成查询样本集的重构特征图
Figure 366964DEST_PATH_IMAGE002
和支持样本集的重构特征图
Figure 699856DEST_PATH_IMAGE003
；度量网络将支持样本集的类别标签通过距离度量方式或相似性度量方式传播至查询样本集的核心网络；将待识别图像输入训练好的空间目标识别网络模型，输出待识别图像的预测类别。
与现有技术相比，本发明提供的基于注意力机制的空间目标小样本识别方法，至少具有以下有益效果：
（1）可对宽幅大场景空间图像中的目标实例实现语义特征对齐，抑制目标特征“误对齐”现象，增强同类别样本特征相关性以及不同类别样本特征可分离性，大幅提高空间目标小样本识别的精度；
（2）提出了一种基于多尺度注意力机制的语义特征对齐结构，用于查询样本特征图和支持样本特征图的相关性目标特征建模，以实现目标语义特征对齐，提高同类别的支持样本、查询样本特征图的特征相关性以及特征可分离性；
（3）在MSAFA特征对齐结构基础上，提出了基于注意力机制的空间目标识别模型，通过将MSAFA结构嵌入现有的小样本识别网络中，提高了空间目标小样本识别方法的性能；
（4）提出在空间目标识别网络模型的训练过程中使用查询分类损失函数的策略，降低网络训练难度，加速网络收敛。
附图说明
通过以下参照附图对本发明实施例的描述，本发明的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了根据本发明实施例的基于注意力机制的空间目标小样本识别方法的流程图；
图2示意性示出了根据本发明实施例的特征对齐网络的实现流程图；
图3示意性示出了根据本发明实施例的特征对齐网络的结构图；
图4示意性示出了根据本发明实施例的空间目标识别网络模型的结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语（包括技术和科学术语）具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在人类学习行为模式启发下，本发明提供了一种基于注意力机制的空间目标小样本识别方法，可对宽幅大场景空间图像中的目标实例实现语义特征对齐，抑制目标特征“误对齐”现象，增强同类别样本特征相关性以及不同类别样本特征可分离性，大幅提高空间目标小样本识别的精度。
图1示意性示出了根据本发明实施例的基于注意力机制的空间目标小样本识别方法的流程图。
如图1所示，根据该实施例的基于注意力机制的空间目标小样本识别方法，可以包括操作S110~操作S130。
在操作S110，获取支持样本集和查询样本集，其中，支持样本集包括多个已标记的空间图像样本，查询样本集为多个未标记的空间图像样本。
在操作S120，使用支持样本集和查询样本集作为训练数据，来训练空间目标识别网络模型，空间目标识别网络模型依次包括特征提取网络、特征对齐网络和度量网络。
其中，特征提取网络对输入的支持样本集和查询样本集进行浅层特征提取，获得查询样本集的原始特征图X q 和支持样本集的原始特征图
Figure 514228DEST_PATH_IMAGE001
；特征对齐网络对原始特征图X q 和
Figure 25106DEST_PATH_IMAGE001
进行空间目标实例的特征对齐，生成查询样本集的重构特征图
Figure 292140DEST_PATH_IMAGE004
和支持样本集的重构特征图
Figure 428723DEST_PATH_IMAGE005
；度量网络将支持样本集的类别标签通过距离度量方式或相似性度量方式传播至查询样本集的核心网络。
在操作S130，将待识别图像输入训练好的空间目标识别网络模型，输出待识别图像的预测类别。
通过本发明的实施例，根据支持样本集和查询样本集，采用嵌入特征对齐网络的空间目标识别网络模型来训练，得到最终训练好的空间目标识别网络模型，以对待识别图像进行类别预测，从而得到更准确的预测结果。本发明实施例可对宽幅大场景空间图像中的目标实例实现语义特征对齐，抑制目标特征“误对齐”现象，增强同类别样本特征相关性以及不同类别样本特征可分离性，大幅提高空间目标小样本识别的精度。
本实施例中，特征对齐网络是一种基于多尺度注意力机制的语义特征对齐结构（Multi-Scale Attention Features Align block, 简称MSAFA block或者MSAFA结构）。MSAFA结构引入的想法是受人类在小样本情况下学习行为启发，一般来说，为了在给定极少量标记图像样本（支持样本集）的情况下识别未知类别图像样本（查询样本集），人类倾向于首先在标记图像和未知类别图像中查找并定位两者中最相关的区域，再综合对比两张图相似性。
类似地，在现有小样本识别网络中，对于给定支持样本特征图和查询样本特征图，MSAFA结构分别为每个特征图生成一个注意力特征图以凸显和加强图像中的目标实例对象，从而实现特征图中的目标实例特征对齐，增强同类别的支持、查询样本的特征相关性，提高不同类别支持、查询样本的特征可分离性，最终降低关系网络的学习难度并提升小样本分类网络的精度。另外，本发明实施例提出的MSAFA结构也可以帮助卷积层提取更具辨识力的特征。
MSAFA结构的核心任务是对查询样本的原始特征图X q 和支持样本的原始特征图X s 中不同地物实例进行特征建模，因此MSAFA结构的输入数据为原始特征图X q 和X s ，输出为实 现特征对齐后的重构特征图
Figure 97602DEST_PATH_IMAGE006
和
Figure 277916DEST_PATH_IMAGE007
。
将MSAFA结构输入的查询样本的原始特征图X q 和支持样本的原始特征图X s 表示为：
Figure 32245DEST_PATH_IMAGE008
Figure 706940DEST_PATH_IMAGE009
式中，N=H×W，H是输入特征图高度，W是输入特征图高度宽度；C是输入特征图的通 道数量；
Figure 230326DEST_PATH_IMAGE010
是原始特征图X q 中的第j个特征点；
Figure 660170DEST_PATH_IMAGE011
是原始特征图X s 中的第i个特征点。
以下以实现特征对齐后的重构特征图
Figure 587281DEST_PATH_IMAGE012
为例，进一步说明MSAFA结构的处理过 程。
图2示意性示出了根据本发明实施例的特征对齐网络的实现流程图。图3示意性示出了根据本发明实施例的特征对齐网络的结构图。
结合图2和图3所示，本实施例中，在上述操作S120中，特征对齐网络对原始特征图X q 和X s 进行目标实例的特征对齐，生成查询样本集的重构特征图
Figure 862405DEST_PATH_IMAGE013
和支持样本集的重构特 征图
Figure 505876DEST_PATH_IMAGE014
，可以进一步包括操作S1201~操作S1205。
在操作S1201，分别将查询样本集的原始特征图X q 和支持样本集的原始特征图X s 线 性映射到嵌入特征空间中，获得编码特征
Figure 778725DEST_PATH_IMAGE015
。
在操作S1202，根据编码特征
Figure 507647DEST_PATH_IMAGE016
，生成对应的新特征 图
Figure 773412DEST_PATH_IMAGE017
。
具体地，根据以下公式将原始特征图X q 和X s 线性映射到嵌入特征空间(Embedding Space)中，可以得到全新的编码特征
Figure 271389DEST_PATH_IMAGE018
：
Figure 43036DEST_PATH_IMAGE019
Figure 931358DEST_PATH_IMAGE020
Figure 813863DEST_PATH_IMAGE021
Figure 854763DEST_PATH_IMAGE022
式中，
Figure 797311DEST_PATH_IMAGE023
是线性映射矩阵，它们都是1×1 卷积层中可学习的网络参数；
Figure 235246DEST_PATH_IMAGE024
是映射到嵌入特征空间中新特征图
Figure 593546DEST_PATH_IMAGE025
的 特征通道维数；i、j、l、u是特征图中特征点的序列号。
由此，新特征图
Figure 66115DEST_PATH_IMAGE026
表示如下：
Figure 179565DEST_PATH_IMAGE027
Figure 291746DEST_PATH_IMAGE028
Figure 516054DEST_PATH_IMAGE029
Figure 515234DEST_PATH_IMAGE030
其中，i、j、l、u取值均从1到N。
在操作S1203，对新特征图
Figure 799585DEST_PATH_IMAGE031
和
Figure 212112DEST_PATH_IMAGE032
分别采用不同参数 设置的均值池化层进行下采样，生成多尺度的金字塔特征图
Figure 925596DEST_PATH_IMAGE033
。
生成的多尺度金字塔特征图（Multi-scale Pyramid Feature Maps，简称MPF）如以下公式所示：
Figure 107179DEST_PATH_IMAGE034
Figure 234535DEST_PATH_IMAGE035
Figure 134358DEST_PATH_IMAGE036
Figure DEST_PATH_IMAGE037
式中，AP M (·)表示采用多种参数设置的均值池化层操作，具体经过均值池化后输出特征图尺寸如下表1所示：
Figure 887419DEST_PATH_IMAGE038
其中，Pool-1、Pool-2、Pool-3、Pool-4、Pool-5依次表示五个池化层操作。
然后，在操作S1204，将金字塔特征图
Figure 189088DEST_PATH_IMAGE039
和
Figure 549662DEST_PATH_IMAGE040
在空间维展开，利用高斯核函数计算分布在嵌入特征空间内的金字塔特征图的任一特征点
Figure 874464DEST_PATH_IMAGE041
和一编码特征点
Figure 244265DEST_PATH_IMAGE042
之间的相似度
Figure 823276DEST_PATH_IMAGE043
，以及金字塔特征图的另一特征点
Figure 620331DEST_PATH_IMAGE044
和另一编码特征点
Figure 229167DEST_PATH_IMAGE045
之间的相似度
Figure 340343DEST_PATH_IMAGE046
，获得注意力权重矩阵S qs 和S sq 。
其中，将金字塔特征图
Figure 351024DEST_PATH_IMAGE039
和
Figure 505931DEST_PATH_IMAGE040
在空间维 展开，可得到：
Figure 602063DEST_PATH_IMAGE047
Figure 313667DEST_PATH_IMAGE048
Figure 116538DEST_PATH_IMAGE049
Figure 255395DEST_PATH_IMAGE050
式中，T为在空间维展开过程的中间系数；v、w、k、m是特征图中特征点的序列号。
利用高斯核函数计算分布在嵌入特征空间内的金字塔特征图的任一特征点
Figure 838823DEST_PATH_IMAGE041
和一编码特征点
Figure 774024DEST_PATH_IMAGE042
之间的相似度
Figure 759298DEST_PATH_IMAGE043
，以及金字塔特征图的另一特征点
Figure 6740DEST_PATH_IMAGE044
和另一编码特征点
Figure 77464DEST_PATH_IMAGE045
之间的相似度
Figure 130871DEST_PATH_IMAGE046
，获得注意力权重矩阵S qs 和S sq ，具体公 式计算如下：
Figure 157601DEST_PATH_IMAGE051
Figure 638261DEST_PATH_IMAGE052
其中，
Figure 868385DEST_PATH_IMAGE053
为查询样本的第j个编码特征点；
Figure 725483DEST_PATH_IMAGE054
为支持样本的第i个编码特征 点；
Figure 108185DEST_PATH_IMAGE055
为支持样本的一金字塔特征图
Figure 759746DEST_PATH_IMAGE056
在空间维展开后的第k个特征点；
Figure 805063DEST_PATH_IMAGE057
为查询样本的金字塔特征图
Figure 137955DEST_PATH_IMAGE058
在空间维展开后的第v个特征点。
需要说明的是，以上注意力权重矩阵的计算公式的具体编程可以利用SoftMax函数来实现。由此，获得的注意力权重矩阵S qs 和S sq 具体如下式来表示：
Figure 686748DEST_PATH_IMAGE059
Figure 774790DEST_PATH_IMAGE060
在操作S1205，使用所述注意力权重矩阵S qs 和S sq 作为权重系数，分别用嵌入特征 空间中的所述金字塔特征图
Figure 228774DEST_PATH_IMAGE061
和
Figure 427674DEST_PATH_IMAGE062
作为重构基底，生成所述查询样本集的 重构特征图
Figure 768656DEST_PATH_IMAGE063
和支持样本集的重构特征图
Figure 27599DEST_PATH_IMAGE064
。
具体如下式所示：
Figure 781929DEST_PATH_IMAGE065
Figure 204427DEST_PATH_IMAGE066
经过上述处理，可以实现对查询样本的原始特征图X q 和支持样本的原始特征图X s 中的多个地物目标实例特征进行相关性建模，在大量数据训练以及学习过程中，实现对两张特征图中目标实例的特征对齐。
针对空间目标识别任务中训练样本量严重受限问题，结合本发明实施例提出的MSAFA结构的特征对齐优势，本发明实施例提出了基于注意力机制的空间目标识别网络模型。
图4示意性示出了根据本发明实施例的空间目标识别网络模型的结构图。
如图4所示，本发明实施例中的空间目标识别网络模型依次包括特征提取网络、特征对齐网络和度量网络三个部分。
由于训练样本量严重不足，特征提取网络是一个由9个卷积层构成的浅层网络，负责对输入的查询样本集和支持样本集图像进行特征提取。特征对齐网络的核心是MSAFA结构。度量网络将支持样本集的类别标签通过距离度量方式或相似性度量方式传播至查询样本集的核心网络。
具体地，度量网络可分成两部分组成：1）特征再提取模块；2）关联层（CorrelationLayer）和查询分类器（Query Classifier）。
特征再提取模块对经过MSAFA结构进行特征对齐的查询样本的重构特征图
Figure 727812DEST_PATH_IMAGE067
和 支持样本集的重构特征图
Figure 157656DEST_PATH_IMAGE068
进行二次特征提取，获得查询样本和支持样本集的目标类别 实例特征，以进一步挖掘目标类别实例特征。
查询分类器只在空间目标识别网络模型的训练过程中使用，通过引入查询样本的类别信息，以优化特征提取网络的参数，从而尽可能地改善特征提取网络性能，同时加强网络挖掘类别实例特征能力。另外，在预测推理过程中不考虑查询分类器预测结果。
针对小样本任务特点以及加强类别实例特征抓取能力要求，本实施例中，采用近邻分类损失函数（Nearest Neighbor Classifier Loss，NNC Loss）和查询分类损失函数（Query Classifier Loss，QC Loss）的联合训练策略，来训练空间目标识别网络模型。
1、近邻分类损失函数
本实施例中，近邻分类损失函数根据以下方式来构建：以支持样本集的重构特征 图
Figure 71385DEST_PATH_IMAGE068
为参考，度量查询样本的原始特征图X q 与支持样本的重构特征图
Figure 612088DEST_PATH_IMAGE069
中的每个特征点 的距离，利用最近距离对查询样本的类别标签进行分类。
具体地，通过关联层（Correlation Layer）实现对两个特征之间的相似性度量，对 于第i个查询样本
Figure 442510DEST_PATH_IMAGE070
，通过近邻分类器在支持样本集C个的类别标签上通过相似性度量可 以生成类似于SoftMax的标签分布。
第i个查询样本的原始特征图
Figure 777676DEST_PATH_IMAGE070
预测为第k类的概率
Figure 506598DEST_PATH_IMAGE071
为：
Figure 523095DEST_PATH_IMAGE072
其中，C是当前任务Batch中支持样本集的类别总数；
Figure 21073DEST_PATH_IMAGE073
是第i个查询样本的原始 特征图经过全局均值池化（Global Average Pooling，GAP）操作后形成的特征向量；
Figure 215556DEST_PATH_IMAGE074
是 所述支持样本集的重构特征图
Figure 431774DEST_PATH_IMAGE075
中的第j种类别特征向量；d(·)表示余弦距离。
值得注意的是，在度量查询样本的原始特征图X q 与每个支持样本的重构特征图
Figure 314279DEST_PATH_IMAGE076
的距离之前，还需要对经过全局均值池化操作后的第i个查询样本的特征向量
Figure 604446DEST_PATH_IMAGE073
和第j种 类别特征向量
Figure 546994DEST_PATH_IMAGE074
进行L2范数特征标准化处理。
然后，近邻分类损失函数L 1 可以描述为：
Figure 984929DEST_PATH_IMAGE077
其中，N q 是一个批处理Batch中查询样本的数量。
2、查询分类损失函数
为了加强网络提取类别实例特征进一步改善特征度量学习性能，本发明实施例提出在网络训练过程中使用查询分类损失函数的策略。使用全连接层（Fully ConnectionLayer，FC Layer）构成查询分类器（Query Classifier），然后使用SoftMax函数对所有可用的训练类别中的每个查询样本进行分类。
需要强调的是，查询分类器只在网络训练过程中起作用，通过引入更多的类别信息帮助特征提取网络更好地强化特征提取能力，尽可能捕捉类别实例特征；当网络进行预测推理时，查询分类器预测结果被屏蔽。
假设支持样本集中的所有可见类别总数为C，则每一个查询样本的原始特征图
Figure 592497DEST_PATH_IMAGE070
，对应的分类置信概率为
Figure 65066DEST_PATH_IMAGE078
，则查询分类损失函数根据以下方式来构建：
Figure 850620DEST_PATH_IMAGE079
其中，N q 是一个批处理Batch中查询样本的数量；y ik 是第i个查询样本中的第k个指 示变量，取值为0或1，当该类别与第i个查询样本的类别相同即取1，否则取0；
Figure 775850DEST_PATH_IMAGE080
是第i个查 询样本属于类别k的预测概率。
本实施例中，空间目标识别网络模型的总损失函数为近邻分类损失函数和查询分类损失函数的加权和。
总损失函数L定义如下：
Figure 158DEST_PATH_IMAGE081
式中，λ为超参数，是为了平衡两种不同损失函数影响力的指标。在实验编程中，超参数λ可以取0.5。
通过优化总损失函数L，可以实现对整个空间目标识别网络模型进行端到端训练。
综上所述，本发明实施例提供一种基于注意力机制的空间目标小样本识别方法，实现目标实例特征对齐以提高特征可分离性，可适用于在空间目标小样本识别任务，提升当前网络分类性能。并且，方法结构采用模块化设计；即插即用，适应性强，可针对所有基于度量学习网络结构，具有一定算法普适性。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个、三个等，除非另有明确具体的限定。此外，位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于注意力机制的空间目标小样本识别方法，其特征在于，包括：
获取支持样本集和查询样本集，其中，所述支持样本集包括多个已标记的空间图像样本，所述查询样本集为多个未标记的空间图像样本；
使用所述支持样本集和查询样本集作为训练数据，来训练空间目标识别网络模型，所述空间目标识别网络模型依次包括特征提取网络、特征对齐网络和度量网络，其中，所述特征提取网络对输入的支持样本集和查询样本集进行浅层特征提取，获得所述查询样本集的原始特征图X q 和所述支持样本集的原始特征图
Figure 297907DEST_PATH_IMAGE001
；所述特征对齐网络对所述原始特征图X q 和
Figure 582258DEST_PATH_IMAGE001
进行空间目标实例的特征对齐，生成查询样本集的重构特征图
Figure 994785DEST_PATH_IMAGE002
和支持样本集的重构特征图
Figure 694887DEST_PATH_IMAGE003
；所述度量网络将所述支持样本集的类别标签通过距离度量方式或相似性度量方式传播至所述查询样本集的核心网络；
将待识别图像输入训练好的空间目标识别网络模型，输出所述待识别图像的预测类别。
2.根据权利要求1所述的基于注意力机制的空间目标小样本识别方法，其特征在于，所 述特征对齐网络对所述原始特征图X q 和X s 进行目标实例的特征对齐，生成查询样本集的重 构特征图
Figure 876470DEST_PATH_IMAGE004
和支持样本集的重构特征图
Figure 20138DEST_PATH_IMAGE005
，包括：
分别将所述查询样本集的原始特征图X q 和所述支持样本集的原始特征图X s 线性映射到 嵌入特征空间中，获得编码特征
Figure 919961DEST_PATH_IMAGE006
；
分别根据编码特征
Figure 486071DEST_PATH_IMAGE007
，生成对应的新特征图
Figure 459843DEST_PATH_IMAGE008
；
对新特征图
Figure 85997DEST_PATH_IMAGE009
和
Figure 660066DEST_PATH_IMAGE010
分别采用不同参数设置的均值池化层 进行下采样，生成多尺度的金字塔特征图
Figure 764289DEST_PATH_IMAGE011
；
将所述金字塔特征图
Figure 920464DEST_PATH_IMAGE012
和
Figure 655201DEST_PATH_IMAGE013
在空间维展开， 利用高斯核函数计算分布在嵌入特征空间内的金字塔特征图的任一特征点
Figure 264037DEST_PATH_IMAGE014
和一 编码特征点
Figure 123015DEST_PATH_IMAGE015
之间的相似度
Figure 133697DEST_PATH_IMAGE016
，以及金字塔特征图的另一特征点
Figure 101653DEST_PATH_IMAGE017
和另一编码 特征点
Figure 135468DEST_PATH_IMAGE018
之间的相似度
Figure 581493DEST_PATH_IMAGE019
，获得注意力权重矩阵S qs 和S sq ；
使用所述注意力权重矩阵S qs 和S sq 作为权重系数，分别用嵌入特征空间中的所述金字塔 特征图
Figure 712260DEST_PATH_IMAGE020
和
Figure 38068DEST_PATH_IMAGE021
作为重构基底，生成所述查询样本集的重构特征图
Figure 621496DEST_PATH_IMAGE022
和支 持样本集的重构特征图
Figure 808895DEST_PATH_IMAGE023
。
3.根据权利要求2所述的基于注意力机制的空间目标小样本识别方法，其特征在于，所述注意力权重矩阵S qs 和S sq 根据以下公式来获得：
Figure 794168DEST_PATH_IMAGE024
Figure 103927DEST_PATH_IMAGE025
Figure 863066DEST_PATH_IMAGE026
其中，T为在空间维展开过程的中间系数；
Figure 916473DEST_PATH_IMAGE027
为查询样本的第j个编码特征点；
Figure 756253DEST_PATH_IMAGE028
为支持样本的第i个编码特征点；
Figure 174596DEST_PATH_IMAGE029
为支持样本的金字塔特征图
Figure 467037DEST_PATH_IMAGE030
在空间维 展开后的第k个特征点；
Figure 511086DEST_PATH_IMAGE031
为查询样本的金字塔特征图
Figure 205372DEST_PATH_IMAGE032
在空间维展开后的 第v个特征点。
4.根据权利要求1所述的基于注意力机制的空间目标小样本识别方法，其特征在于，所述度量网络包括特征再提取模块和查询分类器，其中：
所述特征再提取模块对所述查询样本的重构特征图
Figure 794616DEST_PATH_IMAGE033
和所述支持样本集的重构特征 图
Figure 839933DEST_PATH_IMAGE034
进行二次特征提取，获得所述查询样本和所述支持样本集的目标类别实例特征；
所述查询分类器在所述空间目标识别网络模型的训练过程中使用，通过引入所述查询样本的类别信息，以优化所述特征提取网络的参数。
5.根据权利要求1所述的基于注意力机制的空间目标小样本识别方法，其特征在于，采用近邻分类损失函数和查询分类损失函数的联合训练策略，来训练所述空间目标识别网络模型。
6.根据权利要求5所述的基于注意力机制的空间目标小样本识别方法，其特征在于，所述近邻分类损失函数根据以下方式来构建：
以所述支持样本集的重构特征图
Figure 235142DEST_PATH_IMAGE035
为参考，度量所述查询样本的原始特征图X q 与所述 支持样本的重构特征图
Figure 469421DEST_PATH_IMAGE036
中的每个特征点的距离，利用最近距离对所述查询样本的类别 标签进行分类。
7.根据权利要求6所述的基于注意力机制的空间目标小样本识别方法，其特征在于，所述近邻分类损失函数根据以下公式来构建：
Figure 557463DEST_PATH_IMAGE037
Figure 824496DEST_PATH_IMAGE038
其中，
Figure 695500DEST_PATH_IMAGE039
是第i个查询样本的原始特征图
Figure 364379DEST_PATH_IMAGE040
预测为第k类的概率；C是当前任 务Batch中支持样本集的类别总数；
Figure 810272DEST_PATH_IMAGE041
是第i个查询样本的原始特征图经过全局均值池化 操作后形成的特征向量；
Figure 299022DEST_PATH_IMAGE042
是所述支持样本集的重构特征图
Figure 301614DEST_PATH_IMAGE043
中的第j种类别特征向量；d(·)表示余弦距离；N q 是一个批处理Batch中查询样本的数量；L 1 是近邻分类损失函数。
8.根据权利要求7所述的基于注意力机制的空间目标小样本识别方法，其特征在于，所 述度量所述查询样本的原始特征图X q 与每个所述支持样本的重构特征图
Figure 762682DEST_PATH_IMAGE044
的距离之前， 还包括：
对经过全局均值池化操作后的第i个查询样本的特征向量
Figure 926947DEST_PATH_IMAGE045
和所述第j种类别特征向 量
Figure 856988DEST_PATH_IMAGE046
进行L2范数特征标准化处理。
9.根据权利要求5所述的基于注意力机制的空间目标小样本识别方法，其特征在于，所述查询分类损失函数根据以下方式来构建：
Figure 397691DEST_PATH_IMAGE047
其中，N q 是一个批处理Batch中查询样本的数量；y ik 是第i个查询样本中的第k个指示变 量，取值为0或1，当该类别与第i个查询样本的类别相同即取1，否则取0；
Figure DEST_PATH_IMAGE048
是第i个查询样 本属于类别k的预测概率。
10.根据权利要求5所述的基于注意力机制的空间目标小样本识别方法，其特征在于，所述空间目标识别网络模型的总损失函数为所述近邻分类损失函数和所述查询分类损失函数的加权和。
CN202211059351.0A 2022-08-31 2022-08-31 基于注意力机制的空间目标小样本识别方法 Active CN115131580B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211059351.0A CN115131580B (zh) 2022-08-31 2022-08-31 基于注意力机制的空间目标小样本识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211059351.0A CN115131580B (zh) 2022-08-31 2022-08-31 基于注意力机制的空间目标小样本识别方法

Publications (2)

Publication Number Publication Date
CN115131580A true CN115131580A (zh) 2022-09-30
CN115131580B CN115131580B (zh) 2022-11-22

Family

ID=83387519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211059351.0A Active CN115131580B (zh) 2022-08-31 2022-08-31 基于注意力机制的空间目标小样本识别方法

Country Status (1)

Country Link
CN (1) CN115131580B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115527152A (zh) * 2022-11-10 2022-12-27 南京恩博科技有限公司 一种小样本视频动作分析方法、系统及装置
CN115953665A (zh) * 2023-03-09 2023-04-11 武汉人工智能研究院 一种目标检测方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020682A (zh) * 2019-03-29 2019-07-16 北京工商大学 一种基于小样本学习的注意力机制关系对比网络模型方法
CN111582337A (zh) * 2020-04-24 2020-08-25 东南大学 基于小样本细粒度图像分析的草莓畸形状态检测方法
CN112434721A (zh) * 2020-10-23 2021-03-02 特斯联科技集团有限公司 一种基于小样本学习的图像分类方法、系统、存储介质及终端
WO2021055088A1 (en) * 2019-09-19 2021-03-25 Hrl Laboratories, Llc Learning actions with few labels in the embedded space
CN113095416A (zh) * 2021-04-16 2021-07-09 西安电子科技大学 基于混合损失与图注意力的小样本sar目标分类方法
CN113869418A (zh) * 2021-09-29 2021-12-31 哈尔滨工程大学 一种基于全局注意力关系网络的小样本船舶目标识别方法
CN114488140A (zh) * 2022-01-24 2022-05-13 电子科技大学 一种基于深度迁移学习的小样本雷达一维像目标识别方法
CN114926702A (zh) * 2022-04-16 2022-08-19 西北工业大学深圳研究院 一种基于深度注意力度量的小样本图像分类方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020682A (zh) * 2019-03-29 2019-07-16 北京工商大学 一种基于小样本学习的注意力机制关系对比网络模型方法
WO2021055088A1 (en) * 2019-09-19 2021-03-25 Hrl Laboratories, Llc Learning actions with few labels in the embedded space
CN111582337A (zh) * 2020-04-24 2020-08-25 东南大学 基于小样本细粒度图像分析的草莓畸形状态检测方法
CN112434721A (zh) * 2020-10-23 2021-03-02 特斯联科技集团有限公司 一种基于小样本学习的图像分类方法、系统、存储介质及终端
CN113095416A (zh) * 2021-04-16 2021-07-09 西安电子科技大学 基于混合损失与图注意力的小样本sar目标分类方法
CN113869418A (zh) * 2021-09-29 2021-12-31 哈尔滨工程大学 一种基于全局注意力关系网络的小样本船舶目标识别方法
CN114488140A (zh) * 2022-01-24 2022-05-13 电子科技大学 一种基于深度迁移学习的小样本雷达一维像目标识别方法
CN114926702A (zh) * 2022-04-16 2022-08-19 西北工业大学深圳研究院 一种基于深度注意力度量的小样本图像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QUANZHI AN 等: "Transitive Transfer Learning-Based Anchor Free Rotatable Detector for SAR Target Detection With Few Samples", 《IEEE ACCESS》 *
王奇 等: "多尺度通道注意力机制的小样本图像分类算法", 《湖北工业大学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115527152A (zh) * 2022-11-10 2022-12-27 南京恩博科技有限公司 一种小样本视频动作分析方法、系统及装置
CN115953665A (zh) * 2023-03-09 2023-04-11 武汉人工智能研究院 一种目标检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN115131580B (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
CN110188705B (zh) 一种适用于车载系统的远距离交通标志检测识别方法
CN108564109B (zh) 一种基于深度学习的遥感图像目标检测方法
CN113936339B (zh) 基于双通道交叉注意力机制的打架识别方法和装置
CN115131580B (zh) 基于注意力机制的空间目标小样本识别方法
CN108108751B (zh) 一种基于卷积多特征和深度随机森林的场景识别方法
CN107992891B (zh) 基于光谱矢量分析多光谱遥感图像变化检测方法
CN107622229A (zh) 一种基于融合特征的视频车辆重识别方法与系统
CN106845341B (zh) 一种基于虚拟号牌的无牌车辆识别方法
CN105528794A (zh) 基于混合高斯模型与超像素分割的运动目标检测方法
CN106909938B (zh) 基于深度学习网络的视角无关性行为识别方法
CN106096506A (zh) 基于子类类间判别双字典的sar目标识别方法
CN106023257A (zh) 一种基于旋翼无人机平台的目标跟踪方法
CN104240256A (zh) 一种基于层次化稀疏建模的图像显著性检测方法
CN106203483A (zh) 一种基于语义相关多模态映射方法的零样本图像分类方法
CN110598613A (zh) 一种高速公路团雾监测方法
CN111652273A (zh) 一种基于深度学习的rgb-d图像分类方法
Zhou et al. Automated visual inspection of target parts for train safety based on deep learning
Zang et al. Traffic lane detection using fully convolutional neural network
CN111639697B (zh) 基于非重复采样与原型网络的高光谱图像分类方法
CN104699781B (zh) 基于双层锚图散列的sar图像检索方法
CN113792686B (zh) 基于视觉表征跨传感器不变性的车辆重识别方法
CN110874576A (zh) 一种基于典型相关分析融合特征的行人再识别方法
CN107203779A (zh) 基于空谱信息保持的高光谱降维方法
CN108154199B (zh) 一种基于深度学习的高精度快速单类目标检测方法
Yuan et al. A novel approach to image-sequence-based mobile robot place recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant