CN114926702A - 一种基于深度注意力度量的小样本图像分类方法 - Google Patents

一种基于深度注意力度量的小样本图像分类方法 Download PDF

Info

Publication number
CN114926702A
CN114926702A CN202210400572.3A CN202210400572A CN114926702A CN 114926702 A CN114926702 A CN 114926702A CN 202210400572 A CN202210400572 A CN 202210400572A CN 114926702 A CN114926702 A CN 114926702A
Authority
CN
China
Prior art keywords
sample
class
depth
representing
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210400572.3A
Other languages
English (en)
Other versions
CN114926702B (zh
Inventor
魏巍
张磊
周飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Shenzhen Institute of Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Shenzhen Institute of Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University, Shenzhen Institute of Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202210400572.3A priority Critical patent/CN114926702B/zh
Publication of CN114926702A publication Critical patent/CN114926702A/zh
Application granted granted Critical
Publication of CN114926702B publication Critical patent/CN114926702B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度注意力度量的小样本图像分类方法，首先，根据小样本任务中的少量标注样本构建跨类样本对；然后，使用变分自编码器建立以跨类样本对为条件的多模态权重分布；接着，根据多模态权重分布采样生成深度度量网络；最后，使用生成的深度度量网络进行小样本图像分类。本发明方法根据任务描述信息生任务自适应的深度度量，解决了非参数化距离度量导致判别能力不足以及参数化的线性分类器容易过拟合的问题。采用端到端的元学习方式，避免了训练任务特定的分类器带来的时间开销，在小样本图像分类中取得了较好的分类效果。

Description

一种基于深度注意力度量的小样本图像分类方法
技术领域
本发明属于模式识别技术领域，具体涉及一种小样本图像分类方法。
背景技术
目前图像处理已经被广泛应用于工业制造、农业生产及军事遥感等众多领域。图像分类是其中的一项重要应用。在实际的应用中，往往面临着样本难获取以及难标注等问题，在训练时仅有少量的标记数据，呈现出典型的小样本特性。与传统机器学习的范式有所不同，小样本图像分类打破了独立同分布的假设，旨在能够在一个或者几个标注样本的条件下，将训练数据学习到的模型有效泛化到测试数据中。由于训练数据与测试数据的类别不同，而且分布差异较大，导致小样本图像分类性能不佳。元学习以良好的知识迁移及快速泛化能力成为解决小样本图像分类问题的有效途径。文献“Snell J,Swersky K,ZemelR.Prototypical networks for few shot learning[C]//Advances in NeuralInformation Processing Systems.2017:4077-4087.”，在元学习得到的嵌入空间中采用非参数化的距离度量进行分类；文献“Finn C,Abbeel P,Levine S.Modelagnosticmetalearning for fast adaptation of deep networks[C]//Proceedings of the 34thInternational Conference on Machine Learning Volume 70.JMLR.org,2017:1126-1135.”，在元学习得到的特征基础上训练任务特定的线性分类器进行分类。然而，采用非参数化的距离度量判别能力有限,而参数化的线性分类器容易陷入过拟合。这些问题限制了小样本图像分类的性能。
发明内容
为了克服现有技术的不足，本发明提供了一种基于深度注意力度量的小样本图像分类方法，首先，根据小样本任务中的少量标注样本构建跨类样本对；然后，使用变分自编码器建立以跨类样本对为条件的多模态权重分布；接着，根据多模态权重分布采样生成深度度量网络；最后，使用生成的深度度量网络进行小样本图像分类。本发明方法根据任务描述信息生任务自适应的深度度量，解决了非参数化距离度量导致判别能力不足以及参数化的线性分类器容易过拟合的问题。采用端到端的元学习方式，避免了训练任务特定的分类器带来的时间开销，在小样本图像分类中取得了较好的分类效果。
本发明解决其技术问题所采用的技术方案包括如下步骤：
步骤1：对于标准的N-wayK-shot小样本图像分类任务
Figure BDA0003599906110000021
包含一个支持样本集
Figure BDA0003599906110000022
和一个查询样本集
Figure BDA0003599906110000023
其中，支持样本集
Figure BDA0003599906110000024
包含N个类别，每个类别有K个标记样本，用于提供监督信息；查询样本集
Figure BDA0003599906110000025
由来自支持样本集中相同的N个类别的未标记样本组成，用于进行性能测试；
步骤2：根据任务
Figure BDA0003599906110000026
的支持样本集
Figure BDA0003599906110000027
构建跨类样本对：
Figure BDA0003599906110000028
其中，
Figure BDA0003599906110000029
表示由ResNet-12构成的基本嵌入模块
Figure BDA00035999061100000210
得到的第n类的第k个支持样本的深度特征，
Figure BDA00035999061100000211
表示由基本嵌入模块
Figure BDA00035999061100000212
得到的第d类的第l个支持样本的深度特征，
Figure BDA00035999061100000213
表示样本
Figure BDA00035999061100000214
的标注信息，
Figure BDA00035999061100000215
表示第n个类别的第j个跨类样本对，Concat(·)表示沿着通道维度进行拼接，j＝1,...,K2(N-1)；
步骤3：将每个跨类样本对
Figure BDA00035999061100000216
输入差异性编码器中推理潜在高斯分布的参数；
将第n个类别的所有跨类样本对作为第n个类别的描述信息，然后计算编码结果的均值
Figure BDA00035999061100000217
和标准差
Figure BDA00035999061100000218
Figure BDA00035999061100000219
其中
Figure BDA00035999061100000220
表示差异性编码器；
通过为N个类别计算
Figure BDA00035999061100000221
和
Figure BDA00035999061100000222
获得N个潜在的高斯分布，即
Figure BDA00035999061100000223
对于N个潜在高斯分布
Figure BDA00035999061100000224
中的每一个进行随机采样并将采样向量拼接起来作为多模态权重分布di：
Figure BDA00035999061100000225
Figure BDA00035999061100000226
其中
Figure BDA00035999061100000227
表示由
Figure BDA00035999061100000228
产生的随机采样，
Figure BDA00035999061100000229
是标准正态分布，⊙表示点乘；
所述差异性编码器由三个串行的分别包括512、256及64个滤波器堆叠的3×3卷积块构成，每个卷积块均使用BN进行归一化、ReLU进行非线性激活及2×2池化核进行最大值池化；
步骤4：根据多模态权重分布，使用权重生成器生成深度度量网络的参数；
步骤4-1：构建深度度量网络，由一个注意力层、一个卷积层和一个全连接层组成；为每个任务
Figure BDA00035999061100000230
生成一个深度度量网络；
步骤4-2：用多个层级感知权重生成器分别为深度度量网络中的每一层生成权重参数；
对于深度度量网络中的注意力层，根据每个类别的潜在高斯分布产生的随机采样
Figure BDA0003599906110000031
使用感知权重生成器
Figure BDA0003599906110000032
生成注意力权重参数，即：
Figure BDA0003599906110000033
其中
Figure BDA0003599906110000034
表示任务
Figure BDA0003599906110000035
的第n个类别对应的注意力参数；
对于卷积层，根据多模态权重分布di使用感知权重生成器
Figure BDA0003599906110000036
生成权重参数，即：
Figure BDA0003599906110000037
其中，wi表示任务
Figure BDA0003599906110000038
对应的卷积层参数；
对于全连接层，根据多模态权重分布di使用感知权重生成器
Figure BDA0003599906110000039
生成权重参数，即：
Figure BDA00035999061100000310
其中
Figure BDA00035999061100000311
为任务
Figure BDA00035999061100000312
的全连接层权重项，bi为偏置项；
对每个卷积层参数wi的内核都通过
Figure BDA00035999061100000326
范数进行归一化；对于全连接层中生成的权重项
Figure BDA00035999061100000313
沿超平面进行归一化；
所述3个感知权重生成器均依次由三个单层全连接网络连接构成，并分别使用LeakRelu进行激活；
步骤5：根据生成的深度度量网络进行小样本图像分类；
步骤5-1：首先根据类别原型和查询样本进行拼接，得到
Figure BDA00035999061100000314
其中类别原型由该类别所有支持样本取平均得到，
Figure BDA00035999061100000315
表示查询样本通过基本嵌入模块
Figure BDA00035999061100000316
获得的深度特征；
步骤5-2：使用注意力层对
Figure BDA00035999061100000317
施加类别感知的注意力，即：
Figure BDA00035999061100000318
其中
Figure BDA00035999061100000319
表示注意力特征；
步骤5-3：使用卷积层和全连接层将注意力特征
Figure BDA00035999061100000320
映射成一个相似度得分：
Figure BDA00035999061100000321
其中
Figure BDA00035999061100000322
表示卷积操作，ReLu(·)表示激活函数；
Figure BDA00035999061100000323
是查询图像
Figure BDA00035999061100000324
和类别原型
Figure BDA00035999061100000325
之间的相似度得分；
给定查询样本与所有类别原型之间的相似度分数，将具有最大相似度得分的类别作为该查询样本的预测标签
Figure BDA0003599906110000041
步骤5-4：使用预测标签
Figure BDA0003599906110000042
与样本对应的真实标签
Figure BDA0003599906110000043
之间的交叉熵损失H(·)作为目标函数，即：
Figure BDA0003599906110000044
根据目标函数使用随机梯度下降法通过迭代多个小样本任务进行训练。
本发明的有益效果如下：
本发明方法根据任务描述信息生任务自适应的深度度量，解决了非参数化距离度量导致判别能力不足以及参数化的线性分类器容易过拟合的问题。采用端到端的元学习方式，避免了训练任务特定的分类器带来的时间开销。本发明方法在小样本图像分类中取得了较好的分类效果。
具体实施方式
下面结合实施例对本发明进一步说明。
一种基基于深度注意力度量的小样本图像分类方法，包括如下步骤：
步骤1：对于标准的N-wayK-shot小样本图像分类任务
Figure BDA0003599906110000045
包含一个支持样本集
Figure BDA0003599906110000046
和一个查询样本集
Figure BDA0003599906110000047
其中，支持样本集
Figure BDA0003599906110000048
包含N个类别，每个类别有K个标记样本，用于提供监督信息；查询样本集
Figure BDA0003599906110000049
由来自支持样本集中相同的N个类别的未标记样本组成，用于进行性能测试；
步骤2：由于支持样本的数量有限(例如，N×K)，获得的潜在高斯分布是不准确的，尤其是当权重分布较为复杂时。此外，单独考虑每个样本会导致难以挖掘有助于生成深度度量的类间判别信息。为此，根据任务
Figure BDA00035999061100000410
的支持样本集
Figure BDA00035999061100000411
Figure BDA00035999061100000412
构建跨类样本对：
Figure BDA00035999061100000413
其中，
Figure BDA00035999061100000414
表示由ResNet-12构成的基本嵌入模块
Figure BDA00035999061100000415
得到的第n类的第k个支持样本的深度特征，
Figure BDA00035999061100000416
表示由基本嵌入模块
Figure BDA00035999061100000417
得到的第d类的第l个支持样本的深度特征，
Figure BDA00035999061100000418
表示样本
Figure BDA00035999061100000419
的标注信息，
Figure BDA00035999061100000420
表示第n个类别的第j个跨类样本对，Concat(·)表示沿着通道维度进行拼接，j＝1,...,K2(N-1)；
步骤3：将每个跨类样本对
Figure BDA0003599906110000051
输入差异性编码器中推理潜在高斯分布的参数；
将第n个类别的所有跨类样本对作为第n个类别的描述信息，然后计算编码结果的均值
Figure BDA0003599906110000052
和标准差
Figure BDA0003599906110000053
Figure BDA0003599906110000054
其中
Figure BDA0003599906110000055
表示差异性编码器；
通过为N个类别计算
Figure BDA0003599906110000056
和
Figure BDA0003599906110000057
获得N个潜在的高斯分布，即
Figure BDA0003599906110000058
对于N个潜在高斯分布
Figure BDA0003599906110000059
中的每一个进行随机采样并将采样向量拼接起来作为多模态权重分布di：
Figure BDA00035999061100000510
Figure BDA00035999061100000511
其中
Figure BDA00035999061100000512
表示由
Figure BDA00035999061100000513
产生的随机采样，
Figure BDA00035999061100000514
是标准正态分布；
所述差异性编码器由三个分别包括512、256及64个滤波器堆叠的3×3卷积块构成，并分别使用BN进行归一化、ReLU进行非线性激活及2×2池化核进行最大值池化；
步骤4：根据多模态权重分布，使用权重生成器生成深度度量网络的参数；
步骤4-1：构建深度度量网络，由一个注意力层、一个卷积层和一个全连接层组成；为每个任务
Figure BDA00035999061100000515
生成一个深度度量网络；
步骤4-2：用多个层级感知权重生成器分别为深度度量网络中的每一层生成权重参数；
对于深度度量网络中的注意力层，根据每个类别的潜在高斯分布产生的随机采样
Figure BDA00035999061100000516
使用感知权重生成器
Figure BDA00035999061100000517
生成注意力权重参数，即：
Figure BDA00035999061100000518
其中
Figure BDA00035999061100000519
表示任务
Figure BDA00035999061100000520
的第n个类别对应的注意力参数；
对于卷积层，根据多模态权重分布di使用感知权重生成器
Figure BDA00035999061100000521
生成权重参数，即：
Figure BDA00035999061100000522
其中，wi表示任务
Figure BDA00035999061100000523
对应的卷积层参数；
对于全连接层，根据多模态权重分布di使用感知权重生成器
Figure BDA00035999061100000524
生成权重参数，即：
Figure BDA00035999061100000525
其中
Figure BDA0003599906110000061
为任务
Figure BDA0003599906110000062
的全连接层权重项，bi为偏置项；
对卷积层中的每个内核都通过
Figure BDA0003599906110000063
范数(即‖·‖2)进行归一化；对于全连接层中生成的权重项
Figure BDA0003599906110000064
沿超平面进行归一化；
所述3个感知权重生成器均依次由三个单层全连接网络连接构成，并分别使用LeakRelu进行激活；
步骤5：根据生成的深度度量网络进行小样本图像分类；
步骤5-1：首先根据类别原型和查询样本进行拼接，得到
Figure BDA0003599906110000065
其中类别原型由该类别所有支持样本取平均得到，
Figure BDA0003599906110000066
表示查询样本通过基本嵌入模块
Figure BDA0003599906110000067
获得的深度特征；
步骤5-2：使用注意力层对
Figure BDA0003599906110000068
施加类别感知的注意力，即：
Figure BDA0003599906110000069
其中
Figure BDA00035999061100000610
表示注意力特征；
步骤5-3：使用卷积层和全连接层将注意力特征
Figure BDA00035999061100000611
映射成一个相似度得分：
Figure BDA00035999061100000612
其中
Figure BDA00035999061100000613
表示卷积操作，ReLu(·)表示激活函数；
Figure BDA00035999061100000614
是查询图像
Figure BDA00035999061100000615
和类别原型
Figure BDA00035999061100000616
之间的相似度得分；
给定查询样本与所有类别原型之间的相似度分数，将具有最大相似度得分的类别作为该查询样本的预测标签
Figure BDA00035999061100000617
步骤5-4：使用预测标签
Figure BDA00035999061100000618
与样本对应的真实标签
Figure BDA00035999061100000619
之间的交叉熵损失H(·)作为目标函数，即：
Figure BDA00035999061100000620
根据目标函数使用随机梯度下降法通过迭代多个小样本任务进行训练。
在测试阶段，针对每个采样的小样本任务，首先将所有样本输入到基本嵌入模块中提取深度特征，然后将支持样本集输入到元学习器中生成深度度量网络的参数，最后使用深度度量网络计算查询样本集与每个类别的原型之间的相似度得分，并将相似度得分最高的类别作为该查询样本的预测标签。
在小样本图像分类任务中，本发明方法获得较好的分类表现。以miniImageNet数据集为例，在5-way 1-shot和5-way 5-shot任务中，本发明方法的准确率分别能够达到60.39％和73.84％。相比于非参数化距离度量的基准分别提高了4.1％和4.3％。

Claims (1)

1.一种基基于深度注意力度量的小样本图像分类方法，其特征在于，包括如下步骤：
步骤1：对于标准的N-wayK-shot小样本图像分类任务
Figure FDA0003599906100000011
包含一个支持样本集
Figure FDA0003599906100000012
和一个查询样本集
Figure FDA0003599906100000013
其中，支持样本集
Figure FDA0003599906100000014
包含N个类别，每个类别有K个标记样本，用于提供监督信息；查询样本集
Figure FDA0003599906100000015
由来自支持样本集中相同的N个类别的未标记样本组成，用于进行性能测试；
步骤2：根据任务
Figure FDA0003599906100000016
的支持样本集
Figure FDA0003599906100000017
构建跨类样本对：
Figure FDA0003599906100000018
其中，
Figure FDA0003599906100000019
表示由ResNet-12构成的基本嵌入模块
Figure FDA00035999061000000110
得到的第n类的第k个支持样本的深度特征，
Figure FDA00035999061000000111
表示由基本嵌入模块
Figure FDA00035999061000000112
得到的第d类的第l个支持样本的深度特征，
Figure FDA00035999061000000113
表示样本
Figure FDA00035999061000000114
的标注信息，
Figure FDA00035999061000000115
表示第n个类别的第j个跨类样本对，Concat(·)表示沿着通道维度进行拼接，j＝1,...,K2(N-1)；
步骤3：将每个跨类样本对
Figure FDA00035999061000000116
输入差异性编码器中推理潜在高斯分布的参数；
将第n个类别的所有跨类样本对作为第n个类别的描述信息，然后计算编码结果的均值
Figure FDA00035999061000000117
和标准差
Figure FDA00035999061000000118
Figure FDA00035999061000000119
其中
Figure FDA00035999061000000129
表示差异性编码器；
通过为N个类别计算
Figure FDA00035999061000000120
和
Figure FDA00035999061000000121
获得N个潜在的高斯分布，即
Figure FDA00035999061000000122
对于N个潜在高斯分布
Figure FDA00035999061000000123
中的每一个进行随机采样并将采样向量拼接起来作为多模态权重分布di：
Figure FDA00035999061000000124
Figure FDA00035999061000000125
其中
Figure FDA00035999061000000126
表示由
Figure FDA00035999061000000127
产生的随机采样，
Figure FDA00035999061000000128
是标准正态分布，⊙表示点乘；
所述差异性编码器由三个串行的分别包括512、256及64个滤波器堆叠的3×3卷积块构成，每个卷积块均使用BN进行归一化、ReLU进行非线性激活及2×2池化核进行最大值池化；
步骤4：根据多模态权重分布，使用权重生成器生成深度度量网络的参数；
步骤4-1：构建深度度量网络，由一个注意力层、一个卷积层和一个全连接层组成；为每个任务
Figure FDA0003599906100000021
生成一个深度度量网络；
步骤4-2：用多个层级感知权重生成器分别为深度度量网络中的每一层生成权重参数；
对于深度度量网络中的注意力层，根据每个类别的潜在高斯分布产生的随机采样
Figure FDA0003599906100000022
使用感知权重生成器
Figure FDA0003599906100000023
生成注意力权重参数，即：
Figure FDA0003599906100000024
其中
Figure FDA0003599906100000025
表示任务
Figure FDA0003599906100000026
的第n个类别对应的注意力参数；
对于卷积层，根据多模态权重分布di使用感知权重生成器
Figure FDA0003599906100000027
生成权重参数，即：
Figure FDA0003599906100000028
其中，wi表示任务
Figure FDA0003599906100000029
对应的卷积层参数；
对于全连接层，根据多模态权重分布di使用感知权重生成器
Figure FDA00035999061000000210
生成权重参数，即：
Figure FDA00035999061000000211
其中
Figure FDA00035999061000000212
为任务
Figure FDA00035999061000000213
的全连接层权重项，bi为偏置项；
对每个卷积层参数wi的内核都通过l2范数进行归一化；对于全连接层中生成的权重项
Figure FDA00035999061000000214
沿超平面进行归一化；
所述3个感知权重生成器均依次由三个单层全连接网络连接构成，并分别使用LeakRelu进行激活；
步骤5：根据生成的深度度量网络进行小样本图像分类；
步骤5-1：首先根据类别原型和查询样本进行拼接，得到
Figure FDA00035999061000000215
其中类别原型由该类别所有支持样本取平均得到，
Figure FDA00035999061000000216
表示查询样本通过基本嵌入模块
Figure FDA00035999061000000217
获得的深度特征；
步骤5-2：使用注意力层对
Figure FDA00035999061000000218
施加类别感知的注意力，即：
Figure FDA00035999061000000219
其中
Figure FDA00035999061000000220
表示注意力特征；
步骤5-3：使用卷积层和全连接层将注意力特征
Figure FDA00035999061000000221
映射成一个相似度得分：
Figure FDA00035999061000000222
其中
Figure FDA0003599906100000038
表示卷积操作，ReLu(·)表示激活函数；
Figure FDA0003599906100000031
是查询图像
Figure FDA0003599906100000032
和类别原型
Figure FDA0003599906100000033
之间的相似度得分；
给定查询样本与所有类别原型之间的相似度分数，将具有最大相似度得分的类别作为该查询样本的预测标签
Figure FDA0003599906100000034
步骤5-4：使用预测标签
Figure FDA0003599906100000035
与样本对应的真实标签
Figure FDA0003599906100000036
之间的交叉熵损失H(·)作为目标函数，即：
Figure FDA0003599906100000037
根据目标函数使用随机梯度下降法通过迭代多个小样本任务进行训练。
CN202210400572.3A 2022-04-16 2022-04-16 一种基于深度注意力度量的小样本图像分类方法 Active CN114926702B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210400572.3A CN114926702B (zh) 2022-04-16 2022-04-16 一种基于深度注意力度量的小样本图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210400572.3A CN114926702B (zh) 2022-04-16 2022-04-16 一种基于深度注意力度量的小样本图像分类方法

Publications (2)

Publication Number Publication Date
CN114926702A true CN114926702A (zh) 2022-08-19
CN114926702B CN114926702B (zh) 2024-03-19

Family

ID=82807152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210400572.3A Active CN114926702B (zh) 2022-04-16 2022-04-16 一种基于深度注意力度量的小样本图像分类方法

Country Status (1)

Country Link
CN (1) CN114926702B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115131580A (zh) * 2022-08-31 2022-09-30 中国科学院空天信息创新研究院 基于注意力机制的空间目标小样本识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020682A (zh) * 2019-03-29 2019-07-16 北京工商大学 一种基于小样本学习的注意力机制关系对比网络模型方法
WO2021022752A1 (zh) * 2019-08-07 2021-02-11 深圳先进技术研究院 一种多模态三维医学影像融合方法、系统及电子设备
CN112784921A (zh) * 2021-02-02 2021-05-11 西北工业大学 任务注意力引导的小样本图像互补学习分类算法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020682A (zh) * 2019-03-29 2019-07-16 北京工商大学 一种基于小样本学习的注意力机制关系对比网络模型方法
WO2021022752A1 (zh) * 2019-08-07 2021-02-11 深圳先进技术研究院 一种多模态三维医学影像融合方法、系统及电子设备
CN112784921A (zh) * 2021-02-02 2021-05-11 西北工业大学 任务注意力引导的小样本图像互补学习分类算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈晨;王亚立;乔宇;: "任务相关的图像小样本深度学习分类方法研究", 集成技术, no. 03, 30 June 2020 (2020-06-30), pages 15 - 25 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115131580A (zh) * 2022-08-31 2022-09-30 中国科学院空天信息创新研究院 基于注意力机制的空间目标小样本识别方法

Also Published As

Publication number Publication date
CN114926702B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN112926641B (zh) 基于多模态数据的三阶段特征融合旋转机械故障诊断方法
US7362892B2 (en) Self-optimizing classifier
CN113191215A (zh) 融合注意力机制与孪生网络结构的滚动轴承故障诊断方法
CN114970605A (zh) 一种多模态特征融合神经网络的制冷设备故障诊断方法
CN113486578A (zh) 一种工业过程中设备剩余寿命的预测方法
CN108446334B (zh) 一种无监督对抗训练的基于内容的图像检索方法
CN111353373A (zh) 一种相关对齐域适应故障诊断方法
CN112949740B (zh) 一种基于多级度量的小样本图像分类方法
CN116186594B (zh) 基于决策网络结合大数据实现环境变化趋势智能检测方法
CN113887342A (zh) 基于多源信号和深度学习的设备故障诊断方法
CN112529638B (zh) 基于用户分类和深度学习的服务需求动态预测方法及系统
CN115859077A (zh) 一种变工况下多特征融合的电机小样本故障诊断方法
CN116805051A (zh) 基于注意力机制的双卷积动态域适应设备故障诊断方法
CN114239384A (zh) 一种基于非线性度量原型网络的滚动轴承故障诊断方法
CN114492634B (zh) 一种细粒度装备图片分类识别方法及系统
Zhang Application of artificial intelligence recognition technology in digital image processing
CN115879018A (zh) 基于K-means算法和BP神经网络的机舱设备状态感知与故障诊断方法
CN114926702A (zh) 一种基于深度注意力度量的小样本图像分类方法
CN113935413A (zh) 一种基于卷积神经网的配网录波文件波形识别方法
CN118037423A (zh) 农业贷款后农户还款意愿评价方法及系统
CN116958701A (zh) 一种基于改进vgg16与图像增强的网络异常流量检测方法
CN108898157B (zh) 基于卷积神经网络的数值型数据的雷达图表示的分类方法
CN113590867B (zh) 基于分层度量学习的跨模态信息检索方法
CN114818945A (zh) 融入类别自适应度量学习的小样本图像分类方法及装置
CN116012903A (zh) 一种人脸表情自动标注的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant