CN113221964A - 单样本图像分类方法、系统、计算机设备及存储介质 - Google Patents

单样本图像分类方法、系统、计算机设备及存储介质 Download PDF

Info

Publication number
CN113221964A
CN113221964A CN202110433829.0A CN202110433829A CN113221964A CN 113221964 A CN113221964 A CN 113221964A CN 202110433829 A CN202110433829 A CN 202110433829A CN 113221964 A CN113221964 A CN 113221964A
Authority
CN
China
Prior art keywords
network
image
training
loss function
sequencing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110433829.0A
Other languages
English (en)
Other versions
CN113221964B (zh
Inventor
刘亦书
张利强
韩政卓
陈聪慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN202110433829.0A priority Critical patent/CN113221964B/zh
Publication of CN113221964A publication Critical patent/CN113221964A/zh
Application granted granted Critical
Publication of CN113221964B publication Critical patent/CN113221964B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种单样本图像分类方法、系统、计算机设备及存储介质，方法包括：生成变体关系网络；训练T个变体关系网络，得到T个教师网络；利用教师网络提取所有训练图像的特征；为支撑图像列表创建参照相似度列表；构造排序损失函数和混合损失函数；用混合损失函数取代变体关系网络中的关系损失函数，用排序学习子网取代关系学习子网，生成排序网络；训练排序网络，得到训练好的排序网络；将查询图像和单样本支撑图像输入训练好的排序网络中进行分类，得到查询图像的分类结果。本发明公开的排序网络可根据相似度对支撑图像进行排序，弥补了现有模型只能判断“是或非”的不足，因而具有更强的泛化能力和更高的分类性能。

Description

单样本图像分类方法、系统、计算机设备及存储介质
技术领域
本发明涉及一种单样本图像分类方法、系统、计算机设备及存储介质，属于深度学习和图像分类领域。
背景技术
人类(甚至婴幼儿)只见过若干个(甚至一个)香蕉、橘子和西瓜，就能区分这几 种水果。小样本学习旨在训练出具备这种类人能力的模型——只给模型提供极少量的 新类别样本(这些类别不参与训练，叫“新类”；与之相对，参与训练的类别叫“基 类”)，它就能执行图像分类。
单样本学习是小样本学习的特例，它指的是训练好的模型能够在每个新类只提供一个样本的情况下进行图像识别。
和其它很多领域一样，目前单样本学习领域的优秀方法大多是基于深度学习的。这些方法可以分成三种：网络微调法、循环神经网络记忆法和度量学习法。三者各有 千秋，没有一种方法明显优于其它方法。其中，简单有效的度量学习法应用最为广泛。
小(单)样本度量学习模型的典型代表是加拿大多伦多大学提出的孪生网络、谷歌提出的匹配网络、多伦多大学提出的原型网络和伦敦玛丽女王大学提出的关系网络。 其中，最晚出现的关系网络表现最为突出，其网络结构如图1所示(以“5类、单样本、 单查询”为例)。
关系网络采用情景训练策略，每个训练情景(即小批)涉及一个支撑图像列表 x＝(x1，x2，…，xC)和一个查询图像集Q。记xi(i∈{1，2，…，C})和查询图像q∈Q的真实 关系得分为：
Figure BDA0003032283930000011
并记关系网络对ri的预测值为r′i，则损失函数可定义为：
Figure BDA0003032283930000012
其中，ω和
Figure BDA0003032283930000021
分别表示特征学习子网和关系学习子网的参数(包括权重和偏置)。
由
Figure BDA0003032283930000022
的定义可看出，关系网络以二值预测为目标——如果支撑图像xi与查询图像q来自同一类，则期望的关系得分预测值为1(“是”)；否则为0(“非”)。 换言之，在关系网络“眼里”，支撑图像只有两种：“与查询图像同类”和“与查询 图像异类”；它“一视同仁”地对待四幅异类图像，“看不出”宫殿比其余三者更像 教堂(见图1)。可见这种预测过于宽泛和粗略了。如果设定更严格的训练目标，“强 迫”模型给出更具体精细的预测(例如，预测C幅支撑图像的顺序，越像查询图像者 越靠前)，那么，深度网络学习到的特征必定更富有表现力，更能刻画图像的本质， 因而模型将具有更强的泛化能力，其分类结果也将更准确可靠。
发明内容
有鉴于此，本发明提供了一种单样本图像分类方法、系统、计算机设备及存储介质，该方法生成一种新的单样本学习模型——排序网络。借助知识蒸馏和排序学习等 技术，排序网络可对图像相似度进行精细预测，进而根据相似度大小对支撑图像进行 排序。较之仅能判断“是或非”的现有模型，具备精细辨识力的排序网络拥有更强的 单样本分类能力。
本发明的第一个目的在于提供一种单样本图像分类方法。
本发明的第二个目的在于提供一种单样本图像分类系统。
本发明的第三个目的在于提供一种计算机设备。
本发明的第四个目的在于提供一种存储介质。
本发明的第一个目的可以通过采取如下技术方案达到：
一种单样本图像分类方法，所述方法包括：
通过改变关系网络的特征融合方式和重新构造损失函数，生成变体关系网络；
依次将T个预训练卷积神经网络作为变体关系网络的特征学习子网，训练对应的变 体关系网络，得到T个教师网络；
依次将T个教师网络作为特征生成器，提取所有训练图像的特征；
利用所有训练图像的特征，为支撑图像列表创建参照相似度列表；
利用排列概率模型构造排序损失函数，进而构造混合损失函数；
用混合损失函数取代变体关系网络中的关系损失函数，用排序学习子网取代关系学习子网，生成排序网络；
根据参照相似度列表，采用情景训练模式训练排序网络，得到训练好的排序网络；
将查询图像和单样本支撑图像输入训练好的排序网络中进行分类，得到查询图像的分类结果。
进一步的，所述改变关系网络的特征融合方式，具体为：
将特征学习子网看作一个向量函数f(ω；·)，集成支撑图像xi与查询图像q的特征， 得到集成特征，如下式：
αi＝(f(ω；xi)-f(ω；q)).*(f(ω；xi)-f(ω；q))
其中，“.*”表示对应元素相乘，ω表示特征学习子网的参数。
进一步的，所述重新构造损失函数，具体为：
在关系网络的关系得分层运用softmax函数，令第i个激活值pi表示第i个归属概率， 同时记查询图像q的的类别标签为l(q)，利用交叉熵构造关系损失函数，如下式：
Figure BDA0003032283930000031
其中，
Figure BDA0003032283930000032
表示关系损失函数，ω和
Figure BDA0003032283930000033
分别表示特征学习子网和排序学习 子网的参数，x表示支撑图像x1，x2，…，xC构成的支撑图像列表，Q表示任一训练情景的查询图像集。
进一步的，所述利用所有训练图像的特征，为支撑图像列表创建参照相似度列表，具体包括：
根据所有训练图像的特征，计算所有图像对的欧氏距离并规范化到[0，1]上；
假设第t个教师算出支撑图像xi与查询图像q的规范化欧氏距离为dti，定义xi与q的 参照相似度，如下式：
Figure BDA0003032283930000034
其中，T表示教师网络的个数，si表示参照相似度且si∈[0，1)；若参照相似度si＝0， 则舍弃对应的查询图像q；
根据参照相似度s1，s2，…，sC，为支撑图像列表x＝(x1，x2，…，xC)创建参照相似度列 表s＝(s1，s2，…，sC)。
进一步的，所述利用排列概率模型构造排序损失函数，具体为：
记π＝[π(1)，π(2)，…，π(C)]为C个自然数1，2，…，n的一个排列，且记所有排列构成 的集合为Ωn，给定正列表u，定义排列π的概率，如下式：
Figure BDA0003032283930000041
其中，π(i)表示排在第i位的自然数；
记支撑图像列表x的参照相似度列表为s，并记排序网络为x生成的预测相似度列表 为s′，利用s的排列概率P(π|s)和s′的排列概率P(π|s′)，构造排序损失函数，如下式：
Figure BDA0003032283930000042
其中，ω和
Figure BDA00030322839300000417
分别表示特征学习子网和排序学习子网的参数，q表示查询图像，Q表示任 一训练情景的查询图像集。
进一步的，所述构造混合损失函数，如下式：
Figure BDA0003032283930000043
其中，
Figure BDA0003032283930000044
表示混合损失函数，
Figure BDA0003032283930000045
表示排序损失函数，
Figure BDA0003032283930000046
表示关系损失函数，λ≥0表示一个正则化参数。
进一步的，所述将查询图像和单样本支撑图像输入训练好的排序网络中进行分类， 得到查询图像的分类结果，具体为：
将查询图像
Figure BDA0003032283930000047
和单样本支撑图像
Figure BDA0003032283930000048
输入训练好的排序网络，得到
Figure BDA0003032283930000049
和
Figure BDA00030322839300000410
的相似度预 测值
Figure BDA00030322839300000411
与
Figure BDA00030322839300000412
的归属概率
Figure BDA00030322839300000413
进而得到
Figure BDA00030322839300000414
所属类别
Figure BDA00030322839300000415
如下式：
Figure BDA00030322839300000416
本发明的第二个目的可以通过采取如下技术方案达到：
一种单样本图像分类系统，所述系统包括：
第一生成模块，用于通过改变关系网络的特征融合方式和重新构造损失函数，生成变体关系网络；
第一训练模块，用于依次将T个预训练卷积神经网络作为变体关系网络的特征学习 子网，训练对应的变体关系网络，得到T个教师网络；
提取模块，用于依次将T个教师网络作为特征生成器，提取所有训练图像的特征；
创建模块，用于利用所有训练图像的特征，为支撑图像列表创建参照相似度列表；
构造模块，用于利用排列概率模型构造排序损失函数，进而构造混合损失函数；
第二生成模块，用于用混合损失函数取代变体关系网络中的关系损失函数，用排序学习子网取代关系学习子网，生成排序网络；
第二训练模块，用于根据参照相似度列表，采用情景训练模式训练排序网络，得到训练好的排序网络；
分类模块，用于将查询图像和单样本支撑图像输入训练好的排序网络中进行分类， 得到查询图像的分类结果。
本发明的第三个目的可以通过采取如下技术方案达到：
一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的单样本图像分类方法。
本发明的第四个目的可以通过采取如下技术方案达到：
一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的单样本图像分类方法。
本发明相对于现有技术具有如下的有益效果：
现有单样本学习模型只能判断“是或非”，其预测过于宽泛和粗略。而本发明提 供的排序网络模型具有精细辨识能力，它能根据相似度对支撑图像进行排序，因而具 有更强的泛化能力和更高的分类精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅 是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提 下，还可以根据这些附图示出的结构获得其他的附图。
图1为现有技术中关系网络的网络结构图。
图2为本发明实施例1的单样本图像分类方法的流程图。
图3为本发明实施例1的航拍遥感图像库样例图。
图4为本发明实施例1的排序网络的网络结构图。
图5为本发明实施例1的λ的取值和排序网络性能的关系图。
图6为本发明实施例2的单样本图像分类系统的结构框图。
图7为本发明实施例3的计算机设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实 施例是本发明的一部分实施例，而不是全部的实施例；基于本发明的实施例，以及本 领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本 发明保护的范围。
实施例1：
本实施例提供一种单样本图像分类方法，该方法属于度量学习法，它包括四个部分：重训练教师网络、生成参照相似度、设计和训练排序网络以及单样本图像分类； 其中，重训练教师网络通过步骤S201～S202实现，生成参照相似度通过步骤S203～S204 实现，设计和训练排序网络通过步骤S205～S207实现，单样本图像分类通过步骤S208 实现；流程图如图2所示。具体步骤如下：
S201、通过改变关系网络的特征融合方式和重新构造损失函数，生成变体关系网络。
关系网络是一种现有的小样本学习模型，它包括两个子网：特征学习子网和关系学习子网，其网络参数分别为ω和
Figure BDA0003032283930000061
关系网络采用情景训练策略，每个训练情景(即 小批)涉及一个支撑图像列表x＝(x1，x2，…，xC)和一个查询图像集Q。特征学习子网自 动学习出支撑图像xi(i∈{1，2，…，C})和查询图像q∈Q的特征，融合层通过特征图拼 接方式执行特征融合，并将融合结果输入关系学习子网。关系网络的网络结构图如图1 所示。
为了减少神经元个数进而减少网络参数，本实施例改变关系网络的特征融合方式， 用特征集成代替特征图拼接。具体地，将特征学习子网看作一个向量函数f(ω；·)，集成支撑图像xi与查询图像q的特征，得到集成特征，如下式：
αi＝(f(ω；xi)-f(ω；q)).*(f(ω；xi)-f(ω；q))
其中，“.*”表示对应元素相乘。
此外，本实施例还重新构造关系损失函数，具体为：在关系网络的关系得分层运用sofimax函数，令第i个激活值pi表示第i个归属概率，同时记查询图像q的的类别标 签为l(q)，利用交叉熵构造关系损失函数，如下式：
Figure BDA0003032283930000071
经历上述改动的网络称为“变体关系网络”。
S202、依次将T个预训练卷积神经网络作为变体关系网络的特征学习子网，训练对应的变体关系网络，得到T个教师网络。
对于数据呈爆炸式增长态势而图像标签极其匮乏的遥感领域来说，单样本学习显得尤其重要，所以，本实施例以单样本遥感场景分类为应用目的，在航拍图像库 NWPU-RESISC45上执行实验。该图像库有45个类别，每类别有700幅图像。图像大 小是256×256，空间分辨率在0.2～30米之间。图3给出一些图像样例。
本实施例采用如下数据增广方式：以50％的覆盖率截出图像左上、右上、左下、 右下和中央5个部分，再以75％的覆盖率截出4个角落，接着，以0.5的概率对10幅 (子)图像(1+5+4＝10；其中“1”指原图像)进行水平或垂直方向的翻转。通过这种 方式，NWPU-RESISC45被扩充至原来的20倍。
本实施例按28∶7∶10的比例随机划分增广后的图像库，因而训练集、验证集和测试集分别拥有28、7和10个类别；其中，验证集用于调整学习率。
本实施例采用情景训练模式训练变体关系网络。在每个训练情景中，每个被随机选中的类别提供30幅查询图像。计入C幅支撑图像，每个训练情景包括31C幅图像。 训练情景的个数为500，000。测试时，利用测试图像随机构造1000个情景，并计算平 均分类准确率和95％的置信区间。
本实施例使用随机梯度下降法作为优化算法。动量和权衰减分别设置为0.9和0.0005。至于学习率，在前面20,000个训练情景中，关系学习子网和特征学习子网的 学习率分别为0.05和0.01；第20,001个训练情景的全局学习率为0.01；之后，每当损 失在验证集上的平均值不再下降时，学习率就除以5。
在本实施例中，变体关系网络的关系学习子网包括4个全连接层，其维数分别为512、256、128和64；所有全连接层都执行ReLU操作。此外，T∈{1，2，…，5}，也就 是说，预训练卷积神经网络个数为1～5。第1～5个预训练卷积神经网络依次为AlexNet、 VGG-VD-19、DenseNet-121、ResNet-50和NetVLAD，它们都是著名的深度学习模型。
最后，依次将T个预训练卷积神经网络作为骨干(即特征学习子网)，在 NWPU-RESISC45训练集上训练对应的变体关系网络，得到T个教师网络。表1给出 T＝5时所有教师网络的分类性能(表中的“T-AlexNe”表示以AlexNet为骨干的教师 网络，余者依此类推)。
表1 教师网络的平均分类准确率(％)
Figure BDA0003032283930000081
S203、依次将T个教师网络作为特征生成器，提取所有训练图像的特征。
S204、利用所有训练图像的特征，为支撑图像列表创建参照相似度列表。
依次将T个教师网络作为特征生成器，提取所有训练图像的特征，然后，计算所有图像对的欧氏距离并规范化到[0，1]上。
假设第t个教师算出支撑图像xi与查询图像q的规范化欧氏距离为dti，定义xi与q的 参照相似度，如下式：
Figure BDA0003032283930000082
显然，si∈[0，1)。在情景训练中，如果参照相似度si＝0，则舍弃对应的查询图像 q(这样的查询图像只是极少数)。所以，可以认为，对所有i∈{1，2，…，C}，均有0＜si＜1。
通过T个教师网络，可以得到参照相似度s1，s2，…，sC，进而可为支撑图像列表 x＝(x1，x2，…，xC)创建参照相似度列表s＝(s1，s2，…，sC)。s在学生网络(即排序网络) 的训练过程中充当真实列表的角色，为优化算法提供了监督信息。
S205、利用排列概率模型构造排序损失函数，进而构造混合损失函数。
对于支撑图像列表x，设排序网络生成的预测相似度列表为s′＝(s′1,s′2,…,s′C)(见 图4；需要指出的是，输出层执行了Sigmoid操作，以确保对所有i∈{1,2,…,C}均有s′i∈(0,1))。如何度量两个非负列表s与s′的差距，使之能体现对应的两个有序表在排 列次序上的差异这个问题可以通过排列概率模型来解决。
记π＝[π(1)，π(2)，…，π(C)]为C个自然数1，2，…，n的一个排列，其中π(i)表示排在 第i位的自然数；此外，记所有排列构成的集合为Ωn。给定正列表u，定义排列π的概率，如下式：
Figure BDA0003032283930000091
可以证明，排列概率P(π|u)在Ωn上构成一个概率分布；换言之，P(π|u)＞0(对 任意π∈Ωn)，且
Figure BDA0003032283930000092
对于相似度列表s和s′，分别记它们的排列概率P(π|s)和P(π|s′)在Ωn上构成的概 率分布为
Figure BDA0003032283930000093
和
Figure BDA0003032283930000094
利用
Figure BDA0003032283930000095
和
Figure BDA0003032283930000096
的Kullback-Leibler散度定义排序损失函数，如下式：
Figure BDA0003032283930000097
排序损失函数
Figure BDA0003032283930000098
反映了参照相似度列表s和预测相似度列表s′对应的 两个降序列表在元素排列次序上的差别。从本质上说，s是T个教师在训练集上学习到的知识，以s为逼近对象的排序损失函数在训练过程中将这些知识植入学生网络(即排 序网络)，从而实现了知识蒸馏。
最后，构造混合损失函数，如下式：
Figure BDA0003032283930000099
其中，λ≥0表示一个正则化参数。显然，排序损失函数是混合损失函数的特例。
S206、用混合损失函数取代变体关系网络中的关系损失函数，用排序学习子网取代关系学习子网，生成排序网络。
图4给出λ＝0时排序网络的网络结构。在本实施例中，排序网络的特征学习子网由预训练卷积神经网络GoogLeNet充当；排序学习子网包括4个全连接层，其维数分 别为512、256、128和64，所有全连接层都执行了ReLU操作。
S207、根据参照相似度列表，采用情景训练模式训练排序网络，得到训练好的排序网络。
训练排序网络的实验配置与训练变体关系网络完全相同，见步骤S202。
通过变动λ的取值和教师网络的个数T，本实施例训练了多个排序网络并计算它们在验证集上的单样本分类平均准确率(随机构造600个情景)，结果如图5所示(图 中“T＝2”涉及第1个教师T-AlexNet和第2个教师T-VGG-VD-19，余者依此类推)。
由图5可看出，随着λ值的增大，排序网络的性能先升后降。这说明，只要占比合适，关系损失就能为排序网络的性能贡献“正能量”。此外，还可看出，教师越多， 排序网络的性能越好。这与人类的直观预想是一致的——越多老师能给予学生越多指 导，因而学生网络的单样本分类能力越强。
根据实验结果，本实施例设定λ的最优值如下：
Figure BDA0003032283930000101
Figure BDA0003032283930000102
其中，
Figure BDA0003032283930000103
表示T位教师参与知识蒸馏时λ的最优值。
可以看出，T越大，
Figure BDA0003032283930000104
越小。这说明，教师越多，“他们”提供的监督信息就越 充分可靠，因而只关乎“是”或“非”的二值关系信息的重要性就降低了。
S208、将查询图像和单样本支撑图像输入训练好的排序网络中进行分类，得到查询图像的分类结果。
将查询图像
Figure BDA0003032283930000105
和单样本支撑图像
Figure BDA0003032283930000106
输入训练好的排序网络，得到
Figure BDA0003032283930000107
和
Figure BDA0003032283930000108
的相似度预测值
Figure BDA0003032283930000109
与
Figure BDA00030322839300001010
的归属概率
Figure BDA00030322839300001011
进而得到
Figure BDA00030322839300001012
所属类别
Figure BDA00030322839300001013
如下式：
Figure BDA00030322839300001014
表2给出排序网络在NWPU-RESISC45测试集上的平均分类准确率；为方便对比， 也给出4个最前沿的单样本度量学习模型的准确率。由表2可看出：除了“λ＝0，T＝1” 这种情况，排序网络的效果总是优于现有模型；当教师数量增至5个时，排序网络的 平均分类准确率比现有的最好方法高达10个百分点。这些结果表明：排序网络的效果 明显优于现有技术，所以本实施例的技术方案是行之有效的。
表2 排序网络的平均分类准确率(％)
Figure BDA0003032283930000111
本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读取存储介质中。
应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才 能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省 略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
实施例2：
如图6所示，本实施例提供了一种单样本图像分类系统，该系统包括第一生成模块601、第一训练模块602、提取模块603、创建模块604、构造模块605第二生成模 块606、第二训练模块607和分类模块608，各个模块的具体功能如下：
第一生成模块601，用于通过改变关系网络的特征融合方式和重新构造损失函数，生成变体关系网络；
第一训练模块602，用于依次将T个预训练卷积神经网络作为变体关系网络的特征学习子网，训练对应的变体关系网络，得到T个教师网络；
提取模块603，用于依次将T个教师网络作为特征生成器，提取所有训练图像的特征；
创建模块604，用于利用所有训练图像的特征，为支撑图像列表创建参照相似度列表；
构造模块605，用于利用排列概率模型构造排序损失函数，进而构造混合损失函数；
第二生成模块606，用于用混合损失函数取代变体关系网络中的关系损失函数，用排序学习子网取代关系学习子网，生成排序网络；
第二训练模块607，用于根据参照相似度列表，采用情景训练模式训练排序网络，得到训练好的排序网络；
分类模块608，用于将查询图像和单样本支撑图像输入训练好的排序网络中进行分 类，得到查询图像的分类结果。
本实施例中各个模块的具体实现可以参见上述实施例1，在此不再一一赘述。需要说明的是，本实施例提供的系统仅以上述各功能模块的划分进行举例说明，在实际应 用中，可以根据需要将上述功能分配给不同的功能模块完成，即将内部结构划分成不 同的功能模块，以完成以上描述的全部或者部分功能。
可以理解，上述系统所使用的术语“第一”、“第二”等可用于描述各种模块， 但这些模块不受这些术语限制。这些术语仅用于将第一个模块与另一个模块区分。举 例来说，在不脱离本发明的范围的情况下，可以将第一训练模块称为第二训练模块， 且类似地，可将第二训练模块称为第一训练模块，第一训练模块和第二训练模块两者 都是训练模块，但其不是同一训练模块。
实施例3：
如图7所示，本实施例提供了一种计算机设备，该计算机设备可以是服务器、计 算机等，包括通过系统总线701连接的处理器702、存储器、输入装置703、显示器704 和网络接口705。其中，处理器702用于提供计算和控制能力，存储器包括非易失性存 储介质706和内存储器707，该非易失性存储介质706存储有操作系统、计算机程序和 数据库，该内存储器707为非易失性存储介质706中的操作系统和计算机程序的运行 提供环境，计算机程序被处理器702执行时，实现上述实施例1的单样本图像分类方 法，如下：
通过改变关系网络的特征融合方式和重新构造损失函数，生成变体关系网络；
依次将T个预训练卷积神经网络作为变体关系网络的特征学习子网，训练对应的变 体关系网络，得到T个教师网络；
依次将T个教师网络作为特征生成器，提取所有训练图像的特征；
利用所有训练图像的特征，为支撑图像列表创建参照相似度列表；
利用排列概率模型构造排序损失函数，进而构造混合损失函数；
用混合损失函数取代变体关系网络中的关系损失函数，用排序学习子网取代关系学习子网，生成排序网络；
根据参照相似度列表，采用情景训练模式训练排序网络，得到训练好的排序网络；
将查询图像和单样本支撑图像输入训练好的排序网络中进行分类，得到查询图像的分类结果。
实施例4：
本实施例提供一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的单样本图像分类方法， 如下：
通过改变关系网络的特征融合方式和重新构造损失函数，生成变体关系网络；
依次将T个预训练卷积神经网络作为变体关系网络的特征学习子网，训练对应的变 体关系网络，得到T个教师网络；
依次将T个教师网络作为特征生成器，提取所有训练图像的特征；
利用所有训练图像的特征，为支撑图像列表创建参照相似度列表；
利用排列概率模型构造排序损失函数，进而构造混合损失函数；
用混合损失函数取代变体关系网络中的关系损失函数，用排序学习子网取代关系学习子网，生成排序网络；
根据参照相似度列表，采用情景训练模式训练排序网络，得到训练好的排序网络；
将查询图像和单样本支撑图像输入训练好的排序网络中进行分类，得到查询图像的分类结果。
需要说明的是，本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但 不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的 组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线 的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、 可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器 (CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
综上所述，本发明通过知识蒸馏和逐列排序学习等技术，设计并训练出一个具有精细辨识能力的学生模型——排序网络，其训练目标是最小化学生网络生成的预测相 似度列表和教师网络提供的参照相似度列表之间差距，而该差距可通过排列概率模型 来定义和度量。排序网络具有逐列排序学习能力，弥补了现有单样本学习模型只能判 断“是或非”的不足，因而具有更强的泛化能力和更高的分类性能。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利 的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (10)

1.一种单样本图像分类方法，其特征在于，所述方法包括：
通过改变关系网络的特征融合方式和重新构造损失函数，生成变体关系网络；
依次将T个预训练卷积神经网络作为变体关系网络的特征学习子网，训练对应的变体关系网络，得到T个教师网络；
依次将T个教师网络作为特征生成器，提取所有训练图像的特征；
利用所有训练图像的特征，为支撑图像列表创建参照相似度列表；
利用排列概率模型构造排序损失函数，进而构造混合损失函数；
用混合损失函数取代变体关系网络中的关系损失函数，用排序学习子网取代关系学习子网，生成排序网络；
根据参照相似度列表，采用情景训练模式训练排序网络，得到训练好的排序网络；
将查询图像和单样本支撑图像输入训练好的排序网络中进行分类，得到查询图像的分类结果。
2.根据权利要求1所述的单样本图像分类方法，其特征在于，所述改变关系网络的特征融合方式，具体为：
将特征学习子网看作一个向量函数f(ω；·)，集成支撑图像xi与查询图像q的特征，得到集成特征，如下式：
αi＝(f(ω；xi)-f(ω；q)).*(f(ω；xi)-f(ω；q))
其中，“.*”表示对应元素相乘，ω表示特征学习子网的参数。
3.根据权利要求1所述的单样本图像分类方法，其特征在于，所述重新构造损失函数，具体为：
在关系网络的关系得分层运用softmax函数，令第i个激活值pi表示第i个归属概率，同时记查询图像q的的类别标签为l(q)，利用交叉熵构造关系损失函数，如下式：
Figure FDA0003032283920000011
其中，
Figure FDA0003032283920000012
表示关系损失函数，ω和
Figure FDA0003032283920000013
分别表示特征学习子网和排序学习子网的参数，x表示支撑图像x1，x2，…，xC构成的支撑图像列表，Q表示任一训练情景的查询图像集。
4.根据权利要求1-3任一项所述的单样本图像分类方法，其特征在于，所述利用所有训练图像的特征，为支撑图像列表创建参照相似度列表，具体包括：
根据所有训练图像的特征，计算所有图像对的欧氏距离并规范化到[0，1]上；
假设第t个教师算出支撑图像xi与查询图像q的规范化欧氏距离为dti，定义xi与q的参照相似度，如下式：
Figure FDA0003032283920000021
其中，T表示教师网络的个数，si表示参照相似度且si∈[0，1)；若参照相似度si＝0，则舍弃对应的查询图像q；
根据参照相似度s1，s2，…，sC，为支撑图像列表x＝(x1，x2，…，xC)创建参照相似度列表s＝(s1，s2，…，sC)。
5.根据权利要求1-3任一项所述的单样本图像分类方法，其特征在于，所述利用排列概率模型构造排序损失函数，具体为：
记π＝[π(1)，π(2)，…，π(C)]为C个自然数1，2，…，n的一个排列，且记所有排列构成的集合为Ωn，给定正列表u，定义排列π的概率，如下式：
Figure FDA0003032283920000022
其中，π(i)表示排在第i位的自然数；
记支撑图像列表x的参照相似度列表为s，并记排序网络为x生成的预测相似度列表为s′，利用s的排列概率P(π|s)和s′的排列概率P(π|s′)构造排序损失函数，如下式：
Figure FDA0003032283920000023
其中，ω和
Figure FDA0003032283920000024
分别表示特征学习子网和排序学习子网的参数，q表示查询图像，Q表示任一训练情景的查询图像集。
6.根据权利要求1-3任一项所述的单样本图像分类方法，其特征在于，所述构造混合损失函数，如下式：
Figure FDA0003032283920000031
其中，
Figure FDA0003032283920000032
表示混合损失函数，
Figure FDA0003032283920000033
表示排序损失函数，
Figure FDA0003032283920000034
表示关系损失函数，λ≥0表示一个正则化参数。
7.根据权利要求1-3任一项所述的单样本图像分类方法，其特征在于，所述将查询图像和单样本支撑图像输入训练好的排序网络中进行分类，得到查询图像的分类结果，具体为：
将查询图像
Figure FDA0003032283920000035
和单样本支撑图像
Figure FDA0003032283920000036
输入训练好的排序网络，得到
Figure FDA0003032283920000037
和
Figure FDA0003032283920000038
的相似度预测值
Figure FDA0003032283920000039
与
Figure FDA00030322839200000310
的归属概率
Figure FDA00030322839200000311
进而得到
Figure FDA00030322839200000312
所属类别
Figure FDA00030322839200000313
如下式：
Figure FDA00030322839200000314
8.一种单样本图像分类系统，其特征在于，所述系统包括：
第一生成模块，用于通过改变关系网络的特征融合方式和重新构造损失函数，生成变体关系网络；
第一训练模块，用于依次将T个预训练卷积神经网络作为变体关系网络的特征学习子网，训练对应的变体关系网络，得到T个教师网络；
提取模块，用于依次将T个教师网络作为特征生成器，提取所有训练图像的特征；
创建模块，用于利用所有训练图像的特征，为支撑图像列表创建参照相似度列表；
构造模块，用于利用排列概率模型构造排序损失函数，进而构造混合损失函数；
第二生成模块，用于用混合损失函数取代变体关系网络中的关系损失函数，用排序学习子网取代关系学习子网，生成排序网络；
第二训练模块，用于根据参照相似度列表，采用情景训练模式训练排序网络，得到训练好的排序网络；
分类模块，用于将查询图像和单样本支撑图像输入训练好的排序网络中进行分类，得到查询图像的分类结果。
9.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-7任一项所述的单样本图像分类方法。
10.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-7任一项所述的单样本图像分类方法。
CN202110433829.0A 2021-04-22 2021-04-22 单样本图像分类方法、系统、计算机设备及存储介质 Active CN113221964B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110433829.0A CN113221964B (zh) 2021-04-22 2021-04-22 单样本图像分类方法、系统、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110433829.0A CN113221964B (zh) 2021-04-22 2021-04-22 单样本图像分类方法、系统、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN113221964A true CN113221964A (zh) 2021-08-06
CN113221964B CN113221964B (zh) 2022-06-24

Family

ID=77088431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110433829.0A Active CN113221964B (zh) 2021-04-22 2021-04-22 单样本图像分类方法、系统、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113221964B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642465A (zh) * 2021-08-13 2021-11-12 石家庄铁道大学 基于关系网络的轴承健康评估方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108807A (zh) * 2017-12-29 2018-06-01 北京达佳互联信息技术有限公司 学习型图像处理方法、系统及服务器
CN108537119A (zh) * 2018-03-06 2018-09-14 北京大学 一种小样本视频识别方法
CN109145971A (zh) * 2018-08-07 2019-01-04 桂林电子科技大学 基于改进匹配网络模型的单样本学习方法
CN109902192A (zh) * 2019-01-15 2019-06-18 华南师范大学 基于无监督深度回归的遥感图像检索方法、系统、设备及介质
US20200027002A1 (en) * 2018-07-20 2020-01-23 Google Llc Category learning neural networks
US20200051017A1 (en) * 2018-08-10 2020-02-13 L3 Security & Detection Systems, Inc. Systems and methods for image processing
CN111126573A (zh) * 2019-12-27 2020-05-08 深圳力维智联技术有限公司 基于个体学习的模型蒸馏改进方法、设备及存储介质
US20200234068A1 (en) * 2019-01-18 2020-07-23 Fujitsu Limited Apparatus and method for training classifying model
CN111858991A (zh) * 2020-08-06 2020-10-30 南京大学 一种基于协方差度量的小样本学习算法
US20210042580A1 (en) * 2018-10-10 2021-02-11 Tencent Technology (Shenzhen) Company Limited Model training method and apparatus for image recognition, network device, and storage medium
CN112365423A (zh) * 2020-11-23 2021-02-12 腾讯科技（深圳）有限公司 一种图像数据增强方法、装置、介质及设备
CN112434721A (zh) * 2020-10-23 2021-03-02 特斯联科技集团有限公司 一种基于小样本学习的图像分类方法、系统、存储介质及终端
CN112651317A (zh) * 2020-12-18 2021-04-13 中国电子科技集团公司信息科学研究院 一种样本关系学习的高光谱图像分类方法及系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108807A (zh) * 2017-12-29 2018-06-01 北京达佳互联信息技术有限公司 学习型图像处理方法、系统及服务器
CN108537119A (zh) * 2018-03-06 2018-09-14 北京大学 一种小样本视频识别方法
US20200027002A1 (en) * 2018-07-20 2020-01-23 Google Llc Category learning neural networks
CN109145971A (zh) * 2018-08-07 2019-01-04 桂林电子科技大学 基于改进匹配网络模型的单样本学习方法
US20200051017A1 (en) * 2018-08-10 2020-02-13 L3 Security & Detection Systems, Inc. Systems and methods for image processing
US20210042580A1 (en) * 2018-10-10 2021-02-11 Tencent Technology (Shenzhen) Company Limited Model training method and apparatus for image recognition, network device, and storage medium
CN109902192A (zh) * 2019-01-15 2019-06-18 华南师范大学 基于无监督深度回归的遥感图像检索方法、系统、设备及介质
US20200234068A1 (en) * 2019-01-18 2020-07-23 Fujitsu Limited Apparatus and method for training classifying model
CN111126573A (zh) * 2019-12-27 2020-05-08 深圳力维智联技术有限公司 基于个体学习的模型蒸馏改进方法、设备及存储介质
CN111858991A (zh) * 2020-08-06 2020-10-30 南京大学 一种基于协方差度量的小样本学习算法
CN112434721A (zh) * 2020-10-23 2021-03-02 特斯联科技集团有限公司 一种基于小样本学习的图像分类方法、系统、存储介质及终端
CN112365423A (zh) * 2020-11-23 2021-02-12 腾讯科技（深圳）有限公司 一种图像数据增强方法、装置、介质及设备
CN112651317A (zh) * 2020-12-18 2021-04-13 中国电子科技集团公司信息科学研究院 一种样本关系学习的高光谱图像分类方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YISHU LIU ET AL: "Similarity-Based Unsupervised Deep Transfer Learning for Remote Sensing Image Retrieval", 《GEOSCIENCE AND REMOTE SENSING》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642465A (zh) * 2021-08-13 2021-11-12 石家庄铁道大学 基于关系网络的轴承健康评估方法
CN113642465B (zh) * 2021-08-13 2022-07-08 石家庄铁道大学 基于关系网络的轴承健康评估方法

Also Published As

Publication number Publication date
CN113221964B (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN106909924B (zh) 一种基于深度显著性的遥感影像快速检索方法
Chen et al. Learning to explain: An information-theoretic perspective on model interpretation
Selvaraju et al. Taking a hint: Leveraging explanations to make vision and language models more grounded
Bang et al. Explaining a black-box by using a deep variational information bottleneck approach
CN106663221B (zh) 由知识图谱偏置的数据分类
Gupta Survey of visual question answering: Datasets and techniques
CN109919252B (zh) 利用少数标注图像生成分类器的方法
CN110889450B (zh) 超参数调优、模型构建方法和装置
CN110728295B (zh) 半监督式的地貌分类模型训练和地貌图构建方法
CN116664719B (zh) 一种图像重绘模型训练方法、图像重绘方法及装置
Wang et al. The monkeytyping solution to the youtube-8m video understanding challenge
US20210365795A1 (en) Method and apparatus for deriving new drug candidate substance
CN111966793A (zh) 基于知识图谱的智慧问答方法、系统和知识图谱更新系统
CN114170532A (zh) 一种基于困难样本迁移学习的多目标分类方法和装置
CN105260746A (zh) 一种可扩展的多层集成多标记学习系统
Chun Improved probabilistic image-text representations
CN114170531A (zh) 基于困难样本迁移学习的红外图像目标检测方法和装置
CN113221964B (zh) 单样本图像分类方法、系统、计算机设备及存储介质
CN115690549A (zh) 一种基于并联交互架构模型实现多维度特征融合的目标检测方法
Sood et al. Neunets: An automated synthesis engine for neural network design
CN115758159B (zh) 基于混合对比学习和生成式数据增强的零样本文本立场检测方法
Yu et al. Weakly supervised learning of point-level annotation for coral image segmentation
CN117010480A (zh) 模型训练方法、装置、设备、存储介质及程序产品
Zhao et al. Generating representative views of landmarks via scenic theme detection
Zhao et al. CA‐PMG: Channel attention and progressive multi‐granularity training network for fine‐grained visual classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant