CN113610151B - 基于原型网络和自编码器的小样本图像分类系统 - Google Patents

基于原型网络和自编码器的小样本图像分类系统 Download PDF

Info

Publication number
CN113610151B
CN113610151B CN202110896795.9A CN202110896795A CN113610151B CN 113610151 B CN113610151 B CN 113610151B CN 202110896795 A CN202110896795 A CN 202110896795A CN 113610151 B CN113610151 B CN 113610151B
Authority
CN
China
Prior art keywords
class
prototype
sample
samples
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110896795.9A
Other languages
English (en)
Other versions
CN113610151A (zh
Inventor
孙广路
陈明辉
李天麟
梁丽丽
朱素霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongxingtuo Information Technology Co ltd
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202110896795.9A priority Critical patent/CN113610151B/zh
Publication of CN113610151A publication Critical patent/CN113610151A/zh
Application granted granted Critical
Publication of CN113610151B publication Critical patent/CN113610151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于原型网络的自编码器网络机制解决小样本图像分类的系统、方法、设备及存储介质，属于计算机视觉技术领域。解决了现有技术中无法同时利用样本类内与类间分布情况的不足。本申请1)针对于输入的基类数据集，训练一个基于映射学习的原型网络和编码神经网络，学习出基类的类原型表征，并计算类内样本与类原型表征的距离。2)对于编码后得到的类内样本的相对分布信息，再与类原型表征一起训练出解码神经网络，用来针对于支持集样本与类原型表征的相对分布信息输出一定数量的重构样本。3)将重构样本与支持集样本一起训练一个分类器，以提高小样本图像分类的准确率。本申请提高了分类器的性能和泛化能力。

Description

基于原型网络和自编码器的小样本图像分类系统
技术领域
本申请涉及一种小样本图像分类的系统、方法、设备及存储介质，尤其涉及一种基于原型网络的自编码器网络机制解决小样本图像分类的系统、方法、设备及存储介质，属于计算机视觉技术领域。
背景技术
小样本图像分类问题是计算机视觉领域的一个重要问题，也是目前非常具有挑战性的热点问题。该问题的目标是当新类仅存在少量训练样本时，可以提高模型的泛化能力和图像分类的准确率。
目前大多数小样本学习(few shot learning)方法主要集中在图像分类的问题上，它们的方法大多是将支持集样本映射到一个特定的隐空间，再将测试样本与已知样本进行度量来预测测试样本的标签；或者利用对抗生成网络为支持集生成更多的样本，以提高分类器的性能。这两种方法都有各自的优点，但是这样的方法仅仅关注类间或者类内的样本分布，没有同时利用类间与类内的样本分布情况，所以不能取得较为满意的效果。
发明内容
有鉴于此，本申请提供一种基于原型网络的自编码器网络机制解决小样本图像分类的系统、方法、设备及存储介质，以解决现有技术中无法同时利用样本类内与类间分布情况的不足。本申请将利用原型网络捕获样本类间的依赖关系，使用自编码器捕获类内样本的差异信息，本申请首先利用原型网络学习样本类间的依赖关系，然后利用自编码器学习类内样本间的差异信息，最后计算新类测试样本的空间分布，并预测其样本标签。
本申请的技术方案是这样实现的：
方案一：一种基于原型网络的自编码器网络机制解决小样本图像分类的系统，包括：
原型网络模型，所述原型网络模型为基于映射学习的原型网络模型，用于计算出各基类样本的类原型表征和新类支持集样本的类原型表征；
自编码器，所述自编码器包括编码器和解码器，编码器用于学习样本间的差异信息，解码器用于解码差异信息和新类支持集样本的类原型表征生成重构样本；
分类器，所述分类器为重构样本与新类支持集样本一起训练获得，用于预测新类样本的标签并对新类测试样本进行分类。
进一步地：所述原型网络模型包括四个卷积块，每个卷积块包括一个卷积核大小为3*3的卷积层、一个batch标准化层、一个ReLU非线性层和一个2*2的最大池化层。
进一步地：所述编码器与解码器各包含一个多层感知机MLP，MLP包括一个8192单元的隐藏层和一个ReLU的激活层。
方案二：利用基于原型网络的自编码器网络机制解决小样本图像分类的方法，包括：
步骤一，对于输入的基类数据集，训练一个基于映射学习的原型网络，计算出各基类样本的类原型表征和新类支持集样本的类原型表征，然后训练自编码器；
步骤二，依次从基类数据集中随机选出N个与新类支持集样本的类原型表征相似的样本，并将其与对应的类原型表征输入到自编码器中；将编码后得到的N个差异信息与新类支持集样本的类原型表征输入到解码器，最后解码器输出N个重构样本；
步骤三，将新类支持集样本与重构样本一起训练一个线性分类器，再用新类的测试样本输入到分类器来计算分类准确率。
进一步地，所述步骤一，具体步骤为：
1.1利用基类数据集训练一个由四个卷积块组成的原型网络模型，使用欧氏距离来度量测试样本与类原型表征的距离，离测试样本最近的类原型表征的类别作为预测类别，使用交叉熵损失函数优化原型网络模型参数；
1.2将各基类和新类支持集的样本输入到预训练的原型网络模型，得到样本在特定隐空间的向量表示；
1.3对映射到特定隐空间的基类样本的支持向量点取均值，得到各基类的类原型表征；
1.4将1.3得到的类原型表征分别与该类对应的样本输入到编码器，编码器计算出其差异信息；
1.5将1.4得到的差异信息和1.3得到的类原型表征输入到解码器，输出重构样本，通过最小化重构损失，最终训练出自编码器。
进一步地，所述步骤1.1，具体步骤为：
将基类数据集中类别k(k＝1,2,...,K)的样本xi通过原型网络映射到隐空间，然后对分布到隐空间的支持向量点取均值，得到类别k的一个1600维的原型表征：
Figure GDA0003503126080000031
其中，fφ是将样本转换成1600维特征表示的映射学习函数，φ是可学习的参数，sk是基类数据集s中属于类别k的样本，xi是类别k的样本，yi是对应于样本xi的样本标签；
原型网络为基类数据集中的每一个类描述出特征空间的分布情况，给定一个样本xi，将xi映射到隐空间，得到对应的特征向量，并对该样本的特征向量与类原型表征进行度量并归一化，
Figure GDA0003503126080000041
其中，d表示欧式距离的度量函数，yi表示xi的样本标签，k'表示类原型表征的编号，ck'表示第k'个类原型表征，函数exp表示以自然常数e为底的指数函数，pφ表示在参数φ下样本xi的标签为k的概率函数；
通过随机梯度下降的方法，最小化交叉熵损失函数：
J(φ)＝-logpφ(yi＝k|xi)。
进一步地，所述步骤1.4，具体步骤为：
利用原型网络得到基类数据集各个类别的原型表征{C1,C2,C3,...,Ck}，并分别将其与对应的样本输入到编码器；然后，以该类的原型表征Ck作为注意力模型的被关注的对象，以输入的样本{x1,x2,x3,...,xn}作为注意力模型的n个查询，并计算相似度得分：
Figure GDA0003503126080000042
其中，W是权重矩阵，
Figure GDA0003503126080000043
作为缩放因子，score函数表示计算相似度的打分函数；
计算出归一化后的每个样本与原型表征的相似度得分：
Figure GDA0003503126080000044
其中，exp表示以自然常数e为底的指数函数，soft target softmax函数表示对齐函数，T表示soft target softmax函数的参数；
然后计算出每个样本与类原型表征之间的差异信息di＝1-si。
进一步地，所述步骤1.5，具体步骤为：
将得到的差异信息{d1,d2,d3,...,dn}与类原型表征输入到解码器，生成n个重构样本
Figure GDA0003503126080000051
为了最小化重构损失，优化目标公式设置为：
Figure GDA0003503126080000052
最终训练出一个自编码器。
所述方案二是基于方案一所述系统实现的。
方案三：一种电子设备，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器用于运行所述计算机程序时，执行方案二所述方法的步骤。
方案四：一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现方案二所述方法的步骤。
本申请有益效果体现在：
相比一般的小样本图像分类解决方案，本申请借助基于映射学习的原型网络，学习一个映射度量空间，使分类器更好地泛化到新类样本，同时利用自编码器捕获同类样本间的差异信息，并将其迁移到新类样本数据，能更有效地生成样本，训练出一个性能更好的线性分类器。本申请在小样本图像分类问题中所取得的效果相比于传统的方法更好。本申请不仅捕获了类间的依赖关系，还获取了类内样本间的差异信息，使得重构样本的特征分布更真实有效，大大提高了分类器的性能和泛化能力。本申请还可以作为一个数据增强模块，嵌入到其他的模型中，具有可扩展性强的性能。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为本申请实施例一提供的一种基于原型网络的自编码器网络机制解决小样本图像分类的系统框图；
图2为本申请实施例二提供的利用基于原型网络的自编码器网络机制解决小样本图像分类的方法流程图；
图3为本申请所使用的对于小样本图像分类问题的基于原型网络的自编码器网络的整体示意图；
图4为本申请对于训练原型网络及训练自编码器的流程图；
图5为本申请的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与申请相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
实施例一
本申请实施例一提供了一种基于原型网络的自编码器网络机制解决小样本图像分类的系统(参见图1)，包括：原型网络模型，所述原型网络模型为基于映射学习的原型网络模型，所述原型网络模型包括四个卷积块，每个卷积块包括一个卷积核大小为3*3的卷积层、一个batch标准化层、一个ReLU非线性层和一个2*2的最大池化层，用于计算出各基类样本的类原型表征和新类支持集样本的类原型表征；自编码器，所述自编码器包括编码器和解码器，所述编码器与解码器各包含一个多层感知机MLP，MLP包括一个8192单元的隐藏层和一个ReLU的激活层，编码器用于学习样本间的差异信息，解码器用于解码差异信息和新类支持集样本的类原型表征并生成重构样本；分类器，所述分类器为重构样本与新类支持集样本一起训练获得，用于预测新类样本的标签并对新类测试样本进行分类。
实施例二
本申请实施例二提供了一种利用基于原型网络的自编码器网络机制解决小样本图像分类的方法(参见图2-图4)，该方法具体为：
S1，对于输入的基类数据集，训练一个基于映射学习的原型网络，计算出各基类的类原型表征和新类支持集样本的类原型表征，然后训练自编码器；
在这一步骤中，具体操作为：
S1.1利用基类数据集训练一个由四个卷积块组成的原型网络模型，使用欧氏距离来度量测试样本与类原型表征的距离，离测试样本最近的类原型表征的类别作为预测类别，使用交叉熵损失函数优化原型网络模型参数；更为具体地，
将基类数据集中类别k(k＝1,2,...,K)的样本xi通过原型网络映射到隐空间，然后对分布到隐空间的支持向量点取均值，得到类别k的一个1600维的类原型表征：
Figure GDA0003503126080000071
其中，fφ是将样本转换成1600维特征表示的映射学习函数，φ是可学习的参数，sk是基类数据集s中属于类别k的样本，xi是类别k的样本，yi是对应于样本xi的样本标签。
原型网络为基类数据集中的每一个类描述出特征空间的分布情况，给定一个样本xi，将xi映射到隐空间，得到对应的特征向量，并对该样本的特征向量与类原型表征进行度量并归一化，
Figure GDA0003503126080000081
其中，d表示欧式距离的度量函数，yi表示xi的样本标签，k'表示类原型表征的编号，ck'表示第k'个类原型表征，函数exp表示以自然常数e为底的指数函数，pφ表示在参数φ下样本xi的标签为k的概率函数；
通过随机梯度下降的方法，最小化交叉熵损失函数：
J(φ)＝-logpφ(yi＝k|xi)。
S1.2将各基类和新类支持集的样本输入到预训练的原型网络模型，得到样本在特定隐空间的向量表示；
S1.3对映射到特定隐空间的基类样本的支持向量点取均值，得到各基类的类原型表征；
S1.4将S1.3得到的类原型表征分别与该类对应的样本输入到编码器，编码器计算出其差异信息；更为具体地，
利用原型网络得到基类数据集各个类别的原型表征{C1,C2,C3,...,Ck}，并分别将其与对应的样本输入到编码器。然后，以该类的原型表征Ck作为注意力模型的被关注的对象，以输入的样本{x1,x2,x3,...,xn}作为注意力模型的n个查询，并计算相似度得分：
Figure GDA0003503126080000082
其中，W是权重矩阵，
Figure GDA0003503126080000091
作为缩放因子，score函数表示计算相似度的打分函数；
计算出归一化后的每个样本与原型表征的相似度得分：
Figure GDA0003503126080000092
其中，exp表示以自然常数e为底的指数函数，soft target softmax函数表示对齐函数，T表示soft target softmax函数的参数；
然后计算出每个样本与类原型表征之间的差异信息di＝1-si。
S1.5将S1.4得到差异信息输入到解码器，输出重构样本，通过最小化重构损失，最终训练出自编码器；更为具体地，
将得到的差异信息{d1,d2,d3,...,dn}与类原型表征输入到解码器，生成n个重构样本
Figure GDA0003503126080000093
为了最小化重构损失，优化目标公式设置为：
Figure GDA0003503126080000094
最终训练出一个自编码器。
S2，依次从基类数据集中随机选出N个与新类支持集样本原型表征相似的样本，并将其与对应的原型表征输入到自编码器中；将编码后得到的N个差异信息与新类支持集样本的类原型表征输入到解码器，最后解码器输出N个新类支持集的重构样本。
S3，将新类支持集样本与新类支持集的重构样本一起训练一个线性分类器，再用新类的测试样本输入到分类器来计算分类准确率。
实施例三
本申请实施例三提供一种电子设备，参见图5，电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：一个或者多个处理器或者处理单元，用于存储能够在处理器上运行的计算机程序的存储器，连接不同系统组件(包括存储器、一个或者多个处理器或者处理单元)的总线。
其中，所述一个或者多个处理器或者处理单元用于运行所述计算机程序时，执行实施例二所述方法的步骤。所述处理器所用类型包括中央处理器、通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。
其中，总线表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
实施例四
本申请实施例四提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例二所述方法的步骤。
需要说明的是，本申请所示的存储介质可以是计算机可读信号介质或者存储介质或者是上述两者的任意组合。存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。存储介质还可以是存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
对本申请进行效果验证
本申请在互联网上下载小样本图像分类常用的两个数据集miniImageNet、CIFAR100，并在miniImageNet数据集、CIFAR100数据集上进行实验验证，其中miniImageNet数据集、CIFAR100数据集各包含100个类别，每个类别包含600张图像。本申请对于miniImageNet数据集和CIFAR100数据集进行如下预处理：
1)对于每一个数据集均随机选取80个类别作为训练集，剩下的20个类别作为测试集，并且把每张图像都设置为84×84尺寸大小；
2)对于每一张图像，本申请利用训练好的原型网络模型来提取1600维的图像特征。
为了客观地评价本申请的性能，本申请在所选出的测试集，使用了5way-Accuracy(五分类的准确率)来对于本申请的效果进行评价。分为以下2种设置进行测试，5way-1shot(每个新类仅提供一个支持集样本)，5way-5shot(每个新类仅提供五个支持集样本)。对于实验中的自编码器网络中的初始权重按高斯分布随机初始化，初始的学习率设定为1e-3，每一个epoch训练后设定的抛弃率(dropout rate)为0.5。自编码器设置训练50个epoch，批数据集大小(batch size)为128，使用了ADAM(Adaptive Moment Estimation)的梯度下降技术。另外，对于miniImageNet数据集和CIFAR100数据集，分别按照5way-1shot和5-way-5shot两个设置分别求取测试结果。按照具体实施方式中描述的步骤，所得的实验结果如表1所示：
Setting miniImageNet数据集 CIFAR100数据集
5way-1shot 64.8％ 70.4％
5way-5shot 78.7％ 84.6％
表1本申请针对于miniImageNet数据集和CIFAR100数据集对于5wayl-shot和5way-5shot两种不同设置的测试结果。
以上所述的实施例，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的实施例而已，并不用于限定本申请的保护范围，凡在本申请的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请的保护范围之内。

Claims (10)

1.一种基于原型网络的自编码器网络机制解决小样本图像分类的系统，其特征在于，包括：
原型网络模型，所述原型网络模型为基于映射学习的原型网络模型，用于计算出各基类样本的类原型表征和新类支持集样本的类原型表征；
自编码器，所述自编码器包括编码器和解码器，编码器用于学习样本间的差异信息，解码器用于解码差异信息和新类支持集样本的类原型表征并生成重构样本；
分类器，所述分类器为重构样本与新类支持集样本一起训练获得，用于预测新类样本的标签并对新类测试样本进行分类。
2.根据权利要求1所述的一种基于原型网络的自编码器网络机制解决小样本图像分类的系统，其特征在于，所述原型网络模型包括四个卷积块，每个卷积块包括一个卷积核大小为3*3的卷积层、一个batch标准化层、一个ReLU非线性层和一个2*2的最大池化层。
3.根据权利要求1或2所述的一种基于原型网络的自编码器网络机制解决小样本图像分类的系统，其特征在于，所述编码器与解码器各包含一个多层感知机MLP，MLP包括一个8192单元的隐藏层和一个ReLU的激活层。
4.利用基于原型网络的自编码器网络机制解决小样本图像分类的方法，是基于权利要求1-3任一项所述一种基于原型网络的自编码器网络机制解决小样本图像分类的系统实现的，其特征在于，包括：
步骤一，对于输入的基类数据集，训练一个基于映射学习的原型网络，计算出各基类的类原型表征和新类支持集样本的类原型表征，然后训练自编码器；
步骤二，依次从基类数据集中随机选出N个与新类支持集样本原型表征相似的样本，并将其与对应的原型表征输入到自编码器中；将编码后得到的N个差异信息与新类支持集样本的类原型表征输入到解码器，最后解码器输出N个重构样本；
步骤三，将新类支持集样本与重构样本一起训练一个线性分类器，再用新类的测试样本输入到分类器来计算分类准确率。
5.根据权利要求4所述的利用基于原型网络的自编码器网络机制解决小样本图像分类的方法，其特征在于，所述步骤一，具体步骤为：
1.1利用基类数据集训练一个由四个卷积块组成的原型网络模型，使用欧氏距离来度量测试样本与类原型表征的距离，离测试样本最近的类原型表征的类别作为预测类别，使用交叉熵损失函数优化原型网络模型参数；
1.2将各基类和新类支持集的样本输入到预训练的原型网络模型，得到样本在特定隐空间的向量表示；
1.3对映射到特定隐空间的基类样本的支持向量点取均值，得到各基类的类原型表征；
1.4将1.3得到的类原型表征分别与该类对应的样本输入到编码器，编码器计算出其差异信息；
1.5将1.4得到的差异信息和1.3得到的类原型表征输入到解码器，输出重构样本，通过最小化重构损失，最终训练出自编码器。
6.根据权利要求5所述的利用基于原型网络的自编码器网络机制解决小样本图像分类的方法，其特征在于，所述步骤1.1，具体步骤为：
将基类数据集中类别k的样本xi通过原型网络映射到隐空间，k＝1,2,...,K，然后对分布到隐空间的支持向量点取均值，得到类别k的一个1600维的原型表征：
Figure FDA0003503126070000031
其中，fφ是将样本转换成1600维特征表示的映射学习函数，φ是可学习的参数，sk是基类数据集s中属于类别k的样本，xi是类别k的样本，yi是对应于样本xi的样本标签；
原型网络为基类数据集中的每一个类描述出特征空间的分布情况，给定一个样本xi，将xi映射到隐空间，得到对应的特征向量，并对该样本的特征向量与类原型表征进行度量并归一化，
Figure FDA0003503126070000032
其中，d表示欧式距离的度量函数，yi表示xi的样本标签，k'表示类原型表征的编号，ck'表示第k'个类原型表征，函数exp表示以自然常数e为底的指数函数，pφ表示在参数φ下样本xi的标签为k的概率函数；
通过随机梯度下降的方法，最小化交叉熵损失函数：
J(φ)＝-logpφ(yi＝k|xi)。
7.根据权利要求6所述的利用基于原型网络的自编码器网络机制解决小样本图像分类的方法，其特征在于，所述步骤1.4，具体步骤为：
利用原型网络得到基类数据集各个类别的原型表征{C1,C2,C3,...,Ck}，并分别将其与对应的样本输入到编码器；然后，以该类的原型表征Ck作为注意力模型的被关注的对象，以输入的样本{x1,x2,x3,...,xn}作为注意力模型的n个查询，并计算相似度得分：
Figure FDA0003503126070000033
其中，W是权重矩阵，
Figure FDA0003503126070000041
作为缩放因子，score函数表示计算相似度的打分函数；
计算出归一化后的每个样本与原型表征的相似度得分：
Figure FDA0003503126070000042
其中，exp表示以自然常数e为底的指数函数，soft target softmax函数表示对齐函数，T表示soft target softmax函数的参数；
然后计算出每个样本与类原型表征之间的差异信息di＝1-si。
8.根据权利要求7所述的利用基于原型网络的自编码器网络机制解决小样本图像分类的方法，其特征在于，所述步骤1.5，具体步骤为：
将得到的差异信息{d1,d2,d3,...,dn}与类原型表征输入到解码器，生成n个重构样本
Figure FDA0003503126070000043
为了最小化重构损失，优化目标公式设置为：
Figure FDA0003503126070000044
最终训练出一个自编码器。
9.一种电子设备，其特征在于：包括处理器和用于存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器用于运行所述计算机程序时，执行权利要求4至8任一项所述方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求4至8任一项所述方法的步骤。
CN202110896795.9A 2021-08-05 2021-08-05 基于原型网络和自编码器的小样本图像分类系统 Active CN113610151B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110896795.9A CN113610151B (zh) 2021-08-05 2021-08-05 基于原型网络和自编码器的小样本图像分类系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110896795.9A CN113610151B (zh) 2021-08-05 2021-08-05 基于原型网络和自编码器的小样本图像分类系统

Publications (2)

Publication Number Publication Date
CN113610151A CN113610151A (zh) 2021-11-05
CN113610151B true CN113610151B (zh) 2022-05-03

Family

ID=78307119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110896795.9A Active CN113610151B (zh) 2021-08-05 2021-08-05 基于原型网络和自编码器的小样本图像分类系统

Country Status (1)

Country Link
CN (1) CN113610151B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114155397B (zh) * 2021-11-29 2023-01-03 中国船舶重工集团公司第七0九研究所 一种小样本图像分类方法及系统
CN114844583B (zh) * 2022-03-30 2023-04-07 电子科技大学 基于原型网络的端到端通信接收方法
CN114580484B (zh) * 2022-04-28 2022-08-12 西安电子科技大学 一种基于增量学习的小样本通信信号自动调制识别方法
CN114782779B (zh) * 2022-05-06 2023-06-02 兰州理工大学 基于特征分布迁移的小样本图像特征学习方法及装置
CN115203420B (zh) * 2022-07-25 2024-04-26 腾讯科技（深圳）有限公司 实体关系分类模型训练方法、实体关系分类方法及装置
CN115519579A (zh) * 2022-10-24 2022-12-27 深圳先进技术研究院 一种基于三元组对比网络的机器人抓取预测方法
CN115984621B (zh) * 2023-01-09 2023-07-11 宁波拾烨智能科技有限公司 一种基于限制性原型对比网络的小样本遥感图像分类方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766942A (zh) * 2019-01-07 2019-05-17 西南交通大学 一种基于注意力神经网络的小样本学习图像识别方法
CN110288024A (zh) * 2019-06-26 2019-09-27 山东大学 一种基于原型网络少样本学习的图像分类器构建、图像识别方法及系统
US10699163B1 (en) * 2017-08-18 2020-06-30 Massachusetts Institute Of Technology Methods and apparatus for classification
CN111985152A (zh) * 2020-07-28 2020-11-24 浙江大学 一种基于二分超球面原型网络的事件分类方法
CN112990334A (zh) * 2021-03-29 2021-06-18 西安电子科技大学 基于改进原型网络的小样本sar图像目标识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020682B (zh) * 2019-03-29 2021-02-26 北京工商大学 一种基于小样本学习的注意力机制关系对比网络模型方法
CN110909643B (zh) * 2019-11-14 2022-10-28 北京航空航天大学 基于最近邻原型表示的遥感舰船图像小样本分类方法
CN111046979A (zh) * 2020-03-13 2020-04-21 成都晓多科技有限公司 一种基于小样本学习的badcase发现方法及系统
CN113051399B (zh) * 2021-03-31 2022-05-24 浙江大学 一种基于关系型图卷积网络的小样本细粒度实体分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10699163B1 (en) * 2017-08-18 2020-06-30 Massachusetts Institute Of Technology Methods and apparatus for classification
CN109766942A (zh) * 2019-01-07 2019-05-17 西南交通大学 一种基于注意力神经网络的小样本学习图像识别方法
CN110288024A (zh) * 2019-06-26 2019-09-27 山东大学 一种基于原型网络少样本学习的图像分类器构建、图像识别方法及系统
CN111985152A (zh) * 2020-07-28 2020-11-24 浙江大学 一种基于二分超球面原型网络的事件分类方法
CN112990334A (zh) * 2021-03-29 2021-06-18 西安电子科技大学 基于改进原型网络的小样本sar图像目标识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
".基于原型网络的小样本图像识别方法";樊笛 等;《计算机与现代化》;20200331;第103-107页 *
"Attentive Prototype Few-Shot Learning with Capsule Network-Based Embedding";Fangyu Wu 等;《European Conference on Computer Vision》;20201103;第237-253页 *

Also Published As

Publication number Publication date
CN113610151A (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
CN113610151B (zh) 基于原型网络和自编码器的小样本图像分类系统
CN109766835B (zh) 基于多参数优化生成对抗网络的sar目标识别方法
WO2020061489A1 (en) Training neural networks for vehicle re-identification
CN110148103B (zh) 基于联合优化的高光谱和多光谱图像融合方法、计算机可读存储介质、电子设备
CN108898131A (zh) 一种复杂自然场景下的数字仪表识别方法
CN106355195B (zh) 用于测量图像清晰度值的系统及其方法
CN111133453A (zh) 人工神经网络
CN110619352A (zh) 基于深度卷积神经网络的典型红外目标分类方法
Xu et al. Pig face recognition based on trapezoid normalized pixel difference feature and trimmed mean attention mechanism
CN113222011A (zh) 一种基于原型校正的小样本遥感图像分类方法
CN111950279B (zh) 实体关系的处理方法、装置、设备及计算机可读存储介质
CN113592008B (zh) 小样本图像分类的系统、方法、设备及存储介质
CN114503131A (zh) 检索装置、检索方法、检索程序和学习模型检索系统
CN112232395A (zh) 一种基于联合训练生成对抗网络的半监督图像分类方法
CN116503399B (zh) 基于yolo-afps的绝缘子污闪检测方法
CN109657693A (zh) 一种基于相关熵和迁移学习的分类方法
CN113011532A (zh) 分类模型训练方法、装置、计算设备及存储介质
CN116363469A (zh) 一种少样本红外目标检测方法、装置和系统
TWI803243B (zh) 圖像擴增方法、電腦設備及儲存介質
Duan et al. An anchor box setting technique based on differences between categories for object detection
Xiang et al. Semi-supervised image classification via attention mechanism and generative adversarial network
US20210365719A1 (en) System and method for few-shot learning
Wu et al. Efficient multi-domain dictionary learning with gans
CN112529093A (zh) 基于预检测权值的样本维度加权的模具清洗效果检验方法
CN116912921B (zh) 表情识别方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221201

Address after: 502, Floor 5, Building 1-5, No.1 Beishatan A, Chaoyang District, Beijing 100020

Patentee after: Beijing Zhongxingtuo Information Technology Co.,Ltd.

Address before: 150080 No. 52, Xuefu Road, Nangang District, Heilongjiang, Harbin

Patentee before: HARBIN University OF SCIENCE AND TECHNOLOGY

TR01 Transfer of patent right