CN115861720B - 一种小样本亚类图像分类识别方法 - Google Patents

一种小样本亚类图像分类识别方法 Download PDF

Info

Publication number
CN115861720B
CN115861720B CN202310171728.XA CN202310171728A CN115861720B CN 115861720 B CN115861720 B CN 115861720B CN 202310171728 A CN202310171728 A CN 202310171728A CN 115861720 B CN115861720 B CN 115861720B
Authority
CN
China
Prior art keywords
category
subspace
feature
small sample
subspaces
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310171728.XA
Other languages
English (en)
Other versions
CN115861720A (zh
Inventor
骆威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Guangzhou
South China Agricultural University
Original Assignee
Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Guangzhou
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Guangzhou, South China Agricultural University filed Critical Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Guangzhou
Priority to CN202310171728.XA priority Critical patent/CN115861720B/zh
Publication of CN115861720A publication Critical patent/CN115861720A/zh
Application granted granted Critical
Publication of CN115861720B publication Critical patent/CN115861720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开一种小样本亚类图像分类识别方法，包括以下步骤：步骤1，构建与目标任务一致的小样本任务集；步骤2，使用有标注的小样本任务集对预测模型进行模型训练，挖掘小样本任务集中图像在同一特征子空间中不同类别子空间之间的差异性，并输出预测模型；步骤3，使用目标小样本任务集对预测模型进行模型评估。本发明的有益效果是：通过使用有标注的小样本任务集对预测模型进行模型训练，挖掘图像在同一特征子空间中不同类别子空间之间的差异性，驱使模型所学特征子空间具有一定语义判别性，从而为模型分类识别机制提供一定的可解释性，适用于标签数据较难获取的亚类图像分类识别场景。

Description

一种小样本亚类图像分类识别方法
技术领域
本发明涉及人工智能技术领域，尤其涉及一种小样本亚类图像分类识别方法。
背景技术
在大数据与大模型的支撑下，图像分类识别已取得极高的分类识别性能，如深度学习模型在有海量标记数据前提下，在人脸识别、物体识别等领域可获得超越人类的性能表现。然而，在如病理分析、亚类识别、遥感影像等众多实际应用中，获取海量标注数据是极为困难的，需耗费大量的人力物力财力。因此，如何在极少标注数据情况下，构建鲁棒的分类识别模型，是拓展当前智能分类识别技术在实际应用中的关键核心问题，具有极强的现实需求。
亚类目标对象虽分属不同子类但都来自同一基类，这使得其各子类对象具有相似的形态结构，但又在局部区域展现出不同的视觉特性。针对这类对象构建海量标注的图像样本极具困难，因其不同子类间差异极小，需领域专家或专门受训人员才能较好完成标注，标注代价极大。为解决该类标注数据极为匮乏的亚类图像分类识别问题，当前解决方法主要包括迁移学习方法与元学习方法。
迁移学习方法依赖大模型与大数据，该技术需模型先在海量数据上进行预训练，以获取模型强大的表达能力；而后在目标小数据任务上，采用少量标注样本对完成预训练的大模型进行有监督微调学习，模型通过参数微调达到目标任务适定的效果。该方法具有极强的扩展性，而其局限性主要表现在：在各类仅有少量标注样本情况下，有监督微调极易导致模型过拟合，难以获得好的模型泛化性能。
元学习方法(狭义上又称为小样本学习方法)则采用模拟人认知的学习策略，预先构建众多与目标任务类似的任务，且保证各任务上的数据与目标任务无任何交集。模型预先在众多构造的任务上进行模拟学习，使模型获取较好的先验知识。待模型在众多任务上完成模拟学习后，针对目标任务，可直接采用其上的少量标注样本构建分类识别模型对目标任务数据进行分类识别。然而，将通用元学习方法应用至亚类图像分类识别任务时，由于亚类图像的领域特性致使其分类识别性能具有一定局限。
综上，无论是迁移学习方法或者元学习方法，对于只能提供少量标注样本的情况，均存在各自的局限性。
发明内容
针对上述问题，本发明提出一种小样本亚类图像分类识别方法，主要解决迁移学习方法与元学习方法在少量标注样本的情况下存在局限性的问题。
为解决上述技术问题，本发明第一方面提出了一种小样本亚类图像分类识别方法，包括以下步骤：
步骤1，构建与目标任务一致的小样本任务集；
步骤2，使用有标注的所述小样本任务集对预测模型进行模型训练，挖掘所述小样本任务集中图像在同一特征子空间中不同类别子空间之间的差异性，并输出所述预测模型；
步骤3，使用目标小样本任务集对所述预测模型进行模型评估。
发明第二方面提出了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行，以实现上述的小样本亚类图像分类识别方法。
本发明的有益效果为：通过使用有标注的小样本任务集对预测模型进行模型训练，挖掘图像在同一特征子空间中不同类别子空间之间的差异性，驱使模型所学特征子空间具有一定语义判别性，从而为模型分类识别机制提供一定的可解释性，适用于标签数据较难获取的亚类图像分类识别场景，如生物种属识别、遥感场景识别、医学影像识别、交通工具识别等。
附图说明
图1为本发明实施例一公开的小样本亚类图像分类识别方法的流程示意图；
图2为本发明实施例一公开的步骤2的工作流程示意图；
图3为本发明实施例二公开的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，下面结合附图和具体实施方式对本发明的内容做进一步详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。
本实施例提出了一种小样本亚类图像分类识别方法，通过使用有标注的小样本任务集对预测模型进行模型训练，挖掘图像在同一特征子空间中不同类别子空间之间的差异性，驱使模型所学特征子空间具有一定语义判别性，从而为模型分类识别机制提供一定的可解释性，适用于标签数据较难获取的亚类图像分类识别场景，如生物种属识别、遥感场景识别、医学影像识别、交通工具识别等。
在本实施例中，以鸟类分类为例，可采用CUB-200-2011数据集（以下简称CUB）进行阐述，CUB共包含200个鸟类，随机选取100个类（
Figure SMS_2
）别用于模型学习，随机选取50个类别（
Figure SMS_4
）用于模型验证，剩下50个类别（/>
Figure SMS_7
）用于模型评估，满足/>
Figure SMS_3
。本实施例中采用随机梯度下降发进行模型优化学习，在PyTorch框架下实现；但本发明不限于本实施所采用的梯度下降法和自动微分框架。本实施例中假定特征子空间数为4；类别子空间数有任务中包含的类别数确定，本实施中为5。需要说明的是，有标注的小样本任务集在随机选取的100个类（/>
Figure SMS_5
）上构建。验证集指的是在/>
Figure SMS_6
上随机构建有标注的小样本任务集。另外，下述的目标小样本任务集/>
Figure SMS_8
指的是在/>
Figure SMS_1
上随机构建的小样本任务集。
本方法如图1所示，包括以下步骤1-3：
步骤1，构建与目标任务一致的小样本任务集。
步骤1中，小样本任务集定义为
Figure SMS_13
，小样本任务集/>
Figure SMS_22
的第/>
Figure SMS_28
个任务定义为/>
Figure SMS_10
，其中，/>
Figure SMS_16
，式中，上述/>
Figure SMS_18
统一表示数据的来源，/>
Figure SMS_24
表示有标注的训练集中的第/>
Figure SMS_11
个任务，/>
Figure SMS_20
表示有标注的测试集中的第/>
Figure SMS_25
个任务；/>
Figure SMS_30
，/>
Figure SMS_12
，其中，/>
Figure SMS_17
表示来自任务/>
Figure SMS_23
的第/>
Figure SMS_29
个样本，/>
Figure SMS_27
分别表示当前任务中的类别数和各类中的样本数；/>
Figure SMS_31
所有任务中的图像均来自包含/>
Figure SMS_32
个类别且各类别数据充足的数据集/>
Figure SMS_33
，其中，/>
Figure SMS_9
为/>
Figure SMS_15
上的类别标签集，且各/>
Figure SMS_21
任务中的类别标签集/>
Figure SMS_26
，/>
Figure SMS_14
表示任务/>
Figure SMS_19
中类别数。
步骤2，使用有标注的小样本任务集
Figure SMS_34
对预测模型进行模型训练，挖掘小样本任务集/>
Figure SMS_35
中图像/>
Figure SMS_36
在同一特征子空间/>
Figure SMS_37
中不同类别子空间/>
Figure SMS_38
之间的差异性，并输出预测模型。
步骤2包括步骤201-207：
步骤201，将小样本任务集中的小样本任务划分为第一训练集
Figure SMS_40
和第一测试集
Figure SMS_43
，将第一训练集/>
Figure SMS_45
中的图像/>
Figure SMS_41
输入模型特征抽取器/>
Figure SMS_42
，获取各个图像/>
Figure SMS_44
的第一表示特征/>
Figure SMS_46
。/>
Figure SMS_39
可以是任意深度（卷积）神经网络模型。
步骤202，将第一表示特征
Figure SMS_47
经多个线性投影/>
Figure SMS_48
分别投影至不同的特征子空间/>
Figure SMS_49
，并同时采用各个特征子空间/>
Figure SMS_50
的投影数据/>
Figure SMS_51
构建第一约束条件/>
Figure SMS_52
，促使各特征子空间描述目标对象不同结构部位。
在步骤202中，将第一表示特征
Figure SMS_55
经线性投影/>
Figure SMS_58
分别投影至不同的特征子空间/>
Figure SMS_61
包括：
Figure SMS_56
式中，/>
Figure SMS_59
为特征子空间/>
Figure SMS_63
的数量，/>
Figure SMS_64
表示Frobenius范数的平方，/>
Figure SMS_53
为归一化系数，
Figure SMS_57
，其中/>
Figure SMS_60
表示/>
Figure SMS_62
中数据在特征子空间/>
Figure SMS_54
中形成的数据矩阵。
步骤203，在各个特征子空间
Figure SMS_65
中，采用第一训练集/>
Figure SMS_66
中不同的类别数据构建各自类别子空间/>
Figure SMS_67
，并采用第二约束条件/>
Figure SMS_68
约束各类别子空间/>
Figure SMS_69
的相关性，挖掘在同一特征子空间/>
Figure SMS_70
中不同类别子空间/>
Figure SMS_71
之间的差异性。
步骤203中所述构建各类别子空间的方法为采用奇异值分解（SVD）法获取各类别的一组正交基，并以此正交基表示该类别子空间。在计算上，假设来自第
Figure SMS_74
类的数据为
Figure SMS_76
，其中/>
Figure SMS_79
，且/>
Figure SMS_73
，则对/>
Figure SMS_77
进行SVD分解可得/>
Figure SMS_80
，其中/>
Figure SMS_81
为一组/>
Figure SMS_72
维规范正交基，则投影到类别/>
Figure SMS_75
的类别子空间的投影矩阵为：/>
Figure SMS_78
。
在步骤203中，第二约束条件
Figure SMS_83
约束各类别子空间/>
Figure SMS_86
包括：
Figure SMS_89
式中，/>
Figure SMS_84
为特征子空间/>
Figure SMS_87
的数量，/>
Figure SMS_90
为当前任务中类别的数量，/>
Figure SMS_92
为类别子空间/>
Figure SMS_82
的投影矩阵，/>
Figure SMS_85
表示Frobenius范数的平方，/>
Figure SMS_88
为/>
Figure SMS_91
的转秩。
步骤204，将第一测试集
Figure SMS_94
中的图像/>
Figure SMS_98
输入模型特征抽取器/>
Figure SMS_102
，获取各个图像
Figure SMS_96
的第二表示特征，将第二表示特征/>
Figure SMS_100
分别投影至不同的特征子空间/>
Figure SMS_104
，在各个特征子空间/>
Figure SMS_106
中度量/>
Figure SMS_93
到同一类别子空间/>
Figure SMS_97
之间的距离/>
Figure SMS_101
，/>
Figure SMS_105
表示样本/>
Figure SMS_95
在特征子空间/>
Figure SMS_99
中到类别/>
Figure SMS_103
的距离。
在步骤204中，在特征子空间
Figure SMS_109
中/>
Figure SMS_111
到类别子空间/>
Figure SMS_116
之间的距离/>
Figure SMS_110
为：
Figure SMS_114
式中，/>
Figure SMS_118
为/>
Figure SMS_121
在类别/>
Figure SMS_107
的子空间中的投影，投影为：/>
Figure SMS_113
式中，/>
Figure SMS_115
为类别子空间/>
Figure SMS_119
的一组基，/>
Figure SMS_108
表示/>
Figure SMS_112
的转秩，且/>
Figure SMS_117
为单位矩阵，/>
Figure SMS_120
为第二表示特征。
步骤205，将第一测试集
Figure SMS_122
中的图像/>
Figure SMS_123
在各个特征子空间/>
Figure SMS_124
下到同一类别子空间/>
Figure SMS_125
的距离相加，作为第一测试集中的图像与类别子空间之间的最终距离，并将所述最终距离对应的类型作为所述图像的预测类别，实现对/>
Figure SMS_126
中数据的类别预测。
步骤205中，图像的类别的计算步骤为：
Figure SMS_129
式中，/>
Figure SMS_133
为图像的预测类别，/>
Figure SMS_137
为当前任务中类别索引号，/>
Figure SMS_130
为特征子空间数，/>
Figure SMS_134
为图像/>
Figure SMS_138
在特征子空间/>
Figure SMS_141
中到第/>
Figure SMS_127
个类别子空间/>
Figure SMS_131
的距离，/>
Figure SMS_135
为当前任务/>
Figure SMS_139
中第一测试集/>
Figure SMS_128
里第/>
Figure SMS_132
张图像，/>
Figure SMS_136
为当前任务/>
Figure SMS_140
的第一测试集。
步骤206，计算第一测试集
Figure SMS_144
中各图像/>
Figure SMS_147
的预测类别/>
Figure SMS_149
与真实类别/>
Figure SMS_143
之间的误差/>
Figure SMS_145
，将误差/>
Figure SMS_148
、第一约束条件/>
Figure SMS_151
和第二约束条件/>
Figure SMS_142
共同作为模型预测的总损失
Figure SMS_146
，并计算总损失/>
Figure SMS_150
对模型参数/>
Figure SMS_152
的梯度，从而使模型进行梯度下降学习。
步骤206中，总损失
Figure SMS_156
的计算步骤为：
Figure SMS_158
式中，/>
Figure SMS_162
分别为第一约束条件
Figure SMS_154
和第二约束条件/>
Figure SMS_159
的权重系数，/>
Figure SMS_163
为预测类别/>
Figure SMS_165
与真实类别/>
Figure SMS_153
之间的误差，/>
Figure SMS_160
为当前任务/>
Figure SMS_164
中类别数，/>
Figure SMS_166
为各类别中测试图像数；权重系数/>
Figure SMS_155
在验证集/>
Figure SMS_157
上评估获取。需要说明的是，该验证集/>
Figure SMS_161
为小样本任务集中划分所得。
步骤207，在有标注的小样本任务集上采用不同的小样本任务重复步骤202至步骤206，并在验证集上进行模型性能验证，直至预测模型在验证集小样本任务上的平均性能达到稳定，并输出预测模型。
步骤201-207的工作流程如图2所示。
步骤3，使用目标小样本任务集
Figure SMS_167
对预测模型进行模型评估。
步骤3包括步骤301-305：
步骤301，将目标小样本任务集中的目标小样本任务划分为第二训练集
Figure SMS_169
和第二测试集/>
Figure SMS_171
，将第二训练集/>
Figure SMS_174
中的图像/>
Figure SMS_170
输入至预测模型的模型特征抽取器
Figure SMS_173
，并经线性投影/>
Figure SMS_175
获取各图像/>
Figure SMS_176
在对应的特征子空间/>
Figure SMS_168
的第三表示特征
Figure SMS_172
；
步骤302，在各特征子空间
Figure SMS_177
采用不同类别的第三表示特征/>
Figure SMS_178
构建相应的类别子空间/>
Figure SMS_179
；
步骤303，将无标注的第二测试集
Figure SMS_180
输入预测模型的模型特征抽取器/>
Figure SMS_181
，获得其在各特征子空间/>
Figure SMS_182
中的第三表示特征/>
Figure SMS_183
，在各特征子空间中度量/>
Figure SMS_184
到不同的类别子空间/>
Figure SMS_185
之间的距离/>
Figure SMS_186
；
步骤304，将不同特征子空间
Figure SMS_188
中的第三表示特征/>
Figure SMS_191
到同一类别子空间/>
Figure SMS_193
的距离相加，作为无标注的第二测试集/>
Figure SMS_189
的图像/>
Figure SMS_190
与类别/>
Figure SMS_192
之间的最终距离/>
Figure SMS_194
，即：/>
Figure SMS_187
；
步骤305，以最小的最终距离
Figure SMS_195
对应的类别作为图像/>
Figure SMS_196
的类别，即
Figure SMS_197
。
实施例二
参见图3，基于同一发明构思，本发明实施例还提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行，以实现如实施例一所述的小样本亚类图像分类识别方法。
可以理解的是，存储器可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选地，该存储器包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器可用于存储指令、程序、代码、代码集或指令集。存储器可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令、用于实现上述各个方法实施例的指令等；存储数据区可存储根据服务器的使用所创建的数据等。
处理器可以包括一个或者多个处理核心。处理器利用各种接口和线路连接整个服务器内的各个部分，通过运行或执行存储在存储器内的指令、程序、代码集或指令集，以及调用存储在存储器内的数据，执行服务器的各种功能和处理数据。可选地，处理器可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器可集成中央处理器(Central Processing Unit，CPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统和应用程序等；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器中，单独通过一块芯片进行实现。
由于该电子设备是本发明实施例的小样本亚类图像分类识别方法对应的电子设备，并且该电子设备解决问题的原理与该方法相似，因此该电子设备的实施可以参见上述方法实施例的实施过程，重复之处不再赘述。
实施例三
基于同一发明构思，本发明实施例还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如实施例一所述的小样本亚类图像分类识别方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器（Read-Only Memory，ROM）、随机存储器（Random Access Memory，RAM）、可编程只读存储器（Programmable Read-only Memory，PROM）、可擦除可编程只读存储器（Erasable Programmable Read Only Memory，EPROM）、一次可编程只读存储器（One-time Programmable Read-Only Memory，OTPROM）、电子抹除式可复写只读存储器（Electrically-Erasable Programmable Read-Only Memory，EEPROM）、只读光盘（CompactDisc Read-Only Memory，CD-ROM）或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
由于该存储介质是本发明实施例的小样本亚类图像分类识别方法对应的存储介质，并且该存储介质解决问题的原理与该方法相似，因此该存储介质的实施可以参见上述方法实施例的实施过程，重复之处不再赘述。
在一些可能的实施方式中，本发明实施例的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的稀疏信号恢复方法的步骤。其中，用于执行各个实施例的可执行的计算机程序代码或“ 代码”可以用诸如C、C++、C#、Smalltalk、Java、JavaScript、Visual Basic、结构化查询语言(例如，Transact-SQL)、Perl之类的高级编程语言或者用各种其它编程语言编写。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
上述实施例只是为了说明本发明的技术构思及特点，其目的是在于让本领域内的普通技术人员能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡是根据本发明内容的实质所做出的等效的变化或修饰，都应涵盖在本发明的保护范围内。
上述实施例只是为了说明本发明的技术构思及特点，其目的是在于让本领域内的普通技术人员能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡是根据本发明内容的实质所做出的等效的变化或修饰，都应涵盖在本发明的保护范围内。

Claims (7)

1.一种小样本亚类图像分类识别方法，其特征在于，包括以下步骤：
步骤1，构建与目标任务一致的小样本任务集；
步骤2，使用有标注的所述小样本任务集对预测模型进行模型训练，挖掘所述小样本任务集中图像在同一特征子空间中不同类别子空间之间的差异性，并输出所述预测模型；
步骤3，使用目标小样本任务集对所述预测模型进行模型评估；
所述步骤2包括：
步骤201，将所述小样本任务集中的小样本任务划分为第一训练集和第一测试集，将所述第一训练集中的图像输入模型特征抽取器，获取各个所述图像的第一表示特征；
步骤202，将所述第一表示特征经线性投影分别投影至不同的特征子空间，并同时采用各个所述特征子空间的投影数据构建第一约束条件；在所述步骤202中，将所述第一表示特征经线性投影分别投影至不同的特征子空间后，各所述特征子空间相互间的约束包括：
Figure QLYQS_1
Figure QLYQS_2
式中，
Figure QLYQS_6
为特征子空间/>
Figure QLYQS_10
的数量，/>
Figure QLYQS_17
表示Frobenius范数的平方，/>
Figure QLYQS_4
为归一化系数，/>
Figure QLYQS_15
，其中/>
Figure QLYQS_20
表示/>
Figure QLYQS_26
中数据在特征子空间/>
Figure QLYQS_5
中形成的数据矩阵，/>
Figure QLYQS_16
表示在特征子空间/>
Figure QLYQS_19
中形成的数据矩阵，下标/>
Figure QLYQS_24
与/>
Figure QLYQS_7
仅是对不同特征子空间的索引标号，/>
Figure QLYQS_14
表示特征子空间维度，/>
Figure QLYQS_22
表示当前任务中类别数，
Figure QLYQS_25
表示各类中的样本数，/>
Figure QLYQS_8
表示当前任务/>
Figure QLYQS_11
中索引号为/>
Figure QLYQS_13
的样本在索引号为/>
Figure QLYQS_21
的子空间中所形成的特征，/>
Figure QLYQS_3
表示矩阵/>
Figure QLYQS_12
的转秩矩阵，当子空间索引号/>
Figure QLYQS_18
时，/>
Figure QLYQS_23
等价于/>
Figure QLYQS_9
；
步骤203，在各个所述特征子空间中，采用所述第一训练集中不同的类别数据构建各自类别子空间，并采用第二约束条件约束各所述类别子空间相互间的相关性，挖掘在同一所述特征子空间中不同所述类别子空间之间的差异性；在所述步骤203中，所述第二约束条件
Figure QLYQS_27
约束各所述类别子空间/>
Figure QLYQS_28
相互间的相关性包括：
Figure QLYQS_29
Figure QLYQS_30
式中，
Figure QLYQS_35
为特征子空间/>
Figure QLYQS_37
的数量，/>
Figure QLYQS_44
为当前任务中的类别数量，/>
Figure QLYQS_34
为类别子空间/>
Figure QLYQS_43
的投影矩阵，且/>
Figure QLYQS_33
，/>
Figure QLYQS_41
表示/>
Figure QLYQS_40
的转秩, />
Figure QLYQS_48
为/>
Figure QLYQS_31
中属于第/>
Figure QLYQS_39
类的列组成的矩阵经奇异值分解后所得的左奇异向量矩阵，/>
Figure QLYQS_45
表示Frobenius范数的平方，/>
Figure QLYQS_51
为/>
Figure QLYQS_47
的转秩，/>
Figure QLYQS_52
表示特征子空间维度，/>
Figure QLYQS_36
，/>
Figure QLYQS_42
也表示当前任务中类别数，
Figure QLYQS_49
表示各类中的样本数，/>
Figure QLYQS_50
表示当前任务/>
Figure QLYQS_32
中索引号为/>
Figure QLYQS_46
的样本在索引号为/>
Figure QLYQS_38
的子空间中所形成的特征；
步骤204，将所述第一测试集中的图像输入所述模型特征抽取器，获取各个所述图像的第二表示特征，将所述第二表示特征分别投影至不同的所述特征子空间，度量各个所述特征子空间下所述第一测试集图像的第二表示特征到所有所述类别子空间之间的距离；
步骤205，将所述第一测试集中的图像在各个所述特征子空间下的同一所述类别子空间的所述距离相加，作为所述第一测试集中的图像与所述类别子空间之间的最终距离，并将所述最终距离最小对应的类型作为所述图像的类别；
步骤206，计算所述第一测试集中各图像的预测类别与真实类别之间的误差，将所述误差、所述第一约束条件和所述第二约束条件共同作为模型预测的总损失，并计算所述总损失对模型参数的梯度，并根据梯度优化模型参数；
步骤207，在有标注的所述小样本任务集上采用不同的所述小样本任务重复步骤202至步骤206，并在验证集上进行模型性能验证，直至所述预测模型在所述验证集上的平均性能达到稳定，并输出所述预测模型。
2.如权利要求1所述的小样本亚类图像分类识别方法，其特征在于，所述步骤3包括：
步骤301，将所述目标小样本任务集中的目标小样本任务划分为第二训练集和第二测试集，将所述第二训练集中的图像输入至所述预测模型的模型特征抽取器，并经线性投影获取各图像在对应的所述特征子空间的第三表示特征；
步骤302，在各所述特征子空间采用不同类别的所述第三表示特征构建相应的所述类别子空间；
步骤303，将无标注的所述第二测试集输入所述预测模型的模型特征抽取器，获得其在各所述特征子空间中的所述第三表示特征，并在各所述特征子空间中，度量其到各类别子空间的距离；
步骤304，将不同所述特征子空间中的所述第三表示特征到同一所述类别子空间的距离相加，作为无标注的所述第二测试集的图像与所述类别子空间之间的最终距离；
步骤305，以最小的所述最终距离对应的所述类别作为所述图像的类别。
3.如权利要求1所述的小样本亚类图像分类识别方法，其特征在于，所述步骤1中，所述小样本任务集定义为
Figure QLYQS_58
，所述小样本任务集/>
Figure QLYQS_66
的第/>
Figure QLYQS_71
个任务定义为/>
Figure QLYQS_60
，其中，/>
Figure QLYQS_64
，式中，上述/>
Figure QLYQS_69
统一表示数据的来源，/>
Figure QLYQS_74
表示有标注的第一训练集中的第/>
Figure QLYQS_57
个任务，/>
Figure QLYQS_61
表示有标注的第一测试集中的第/>
Figure QLYQS_72
个任务；/>
Figure QLYQS_77
，/>
Figure QLYQS_59
，其中，/>
Figure QLYQS_65
表示来自任务/>
Figure QLYQS_70
的第/>
Figure QLYQS_76
张图像，/>
Figure QLYQS_55
表示/>
Figure QLYQS_62
的类别标签 ，/>
Figure QLYQS_68
分别表示当前任务中的类别数和各类中的样本数，/>
Figure QLYQS_79
为各类别中测试图像数；/>
Figure QLYQS_53
所有任务中的图像均来自包含/>
Figure QLYQS_73
个类别且各类别数据充足的数据集/>
Figure QLYQS_78
，其中，/>
Figure QLYQS_80
为/>
Figure QLYQS_54
上的类别标签集，且各/>
Figure QLYQS_63
任务中的类别集/>
Figure QLYQS_67
，
Figure QLYQS_75
表示任务/>
Figure QLYQS_56
中类别数。
4.如权利要求1所述的小样本亚类图像分类识别方法，其特征在于，所述步骤205中，所述图像的类别的计算步骤为：
Figure QLYQS_81
Figure QLYQS_82
式中，
Figure QLYQS_86
为图像/>
Figure QLYQS_88
的预测类别，/>
Figure QLYQS_96
表示当前任务中的类别索引号，/>
Figure QLYQS_84
表示在/>
Figure QLYQS_94
的所有取值中取满足条件最小的类别/>
Figure QLYQS_89
，s为特征子空间索引号，/>
Figure QLYQS_91
为特征子空间数，/>
Figure QLYQS_92
为图像
Figure QLYQS_100
在特征子空间/>
Figure QLYQS_83
中到第/>
Figure QLYQS_97
个类别子空间/>
Figure QLYQS_85
的距离， />
Figure QLYQS_95
为当前任务/>
Figure QLYQS_93
中第一测试集/>
Figure QLYQS_99
里第/>
Figure QLYQS_87
张图像，/>
Figure QLYQS_98
为当前任务/>
Figure QLYQS_90
的第一测试集。
5.如权利要求1所述的小样本亚类图像分类识别方法，其特征在于，所述步骤206中，所述总损失的计算步骤为：
Figure QLYQS_101
Figure QLYQS_102
式中，
Figure QLYQS_105
分别为第一约束条件/>
Figure QLYQS_109
和第二约束条件/>
Figure QLYQS_110
的权重系数，/>
Figure QLYQS_104
为预测类别/>
Figure QLYQS_107
与真实类别/>
Figure QLYQS_108
之间的误差，/>
Figure QLYQS_111
为当前任务/>
Figure QLYQS_103
中类别数，/>
Figure QLYQS_106
为各类别中测试图像数；
权重系数
Figure QLYQS_112
在验证集/>
Figure QLYQS_113
上评估获取。
6.如权利要求1所述的小样本亚类图像分类识别方法，其特征在于，在所述步骤204中，所述图像第二表示特征到所有所述类别子空间
Figure QLYQS_114
之间的距离/>
Figure QLYQS_115
为：
Figure QLYQS_116
Figure QLYQS_117
式中，
Figure QLYQS_118
为类别子空间索引标号，/>
Figure QLYQS_119
为特征子空间索引号，/>
Figure QLYQS_120
为/>
Figure QLYQS_121
在类别/>
Figure QLYQS_122
的子空间中的投影，所述投影为：
Figure QLYQS_123
Figure QLYQS_124
式中，
Figure QLYQS_137
为类别子空间/>
Figure QLYQS_126
的一组基，/>
Figure QLYQS_139
表示/>
Figure QLYQS_128
的转秩，/>
Figure QLYQS_134
为
Figure QLYQS_127
中属于第/>
Figure QLYQS_136
类的列组成的矩阵经奇异值分解后所得的左奇异向量矩阵，且/>
Figure QLYQS_132
为单位矩阵，/>
Figure QLYQS_138
为第二表示特征，/>
Figure QLYQS_125
表示当前任务
Figure QLYQS_135
中索引号为/>
Figure QLYQS_130
的样本在索引号为/>
Figure QLYQS_140
的子空间中所形成的特征，/>
Figure QLYQS_131
表示特征子空间维度，/>
Figure QLYQS_133
表示当前任务中类别数，/>
Figure QLYQS_129
表示各类中的样本数。
7.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行，以实现如权利要求1至6任一所述的小样本亚类图像分类识别方法。
CN202310171728.XA 2023-02-28 2023-02-28 一种小样本亚类图像分类识别方法 Active CN115861720B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310171728.XA CN115861720B (zh) 2023-02-28 2023-02-28 一种小样本亚类图像分类识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310171728.XA CN115861720B (zh) 2023-02-28 2023-02-28 一种小样本亚类图像分类识别方法

Publications (2)

Publication Number Publication Date
CN115861720A CN115861720A (zh) 2023-03-28
CN115861720B true CN115861720B (zh) 2023-06-30

Family

ID=85659158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310171728.XA Active CN115861720B (zh) 2023-02-28 2023-02-28 一种小样本亚类图像分类识别方法

Country Status (1)

Country Link
CN (1) CN115861720B (zh)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563445A (zh) * 2017-09-06 2018-01-09 苏州大学 一种基于半监督学习的提取图像特征的方法与装置
CN113261012B (zh) * 2019-11-28 2022-11-11 华为云计算技术有限公司 处理图像的方法、装置及系统
CN111914944B (zh) * 2020-08-18 2022-11-08 中国科学院自动化研究所 基于动态样本选择和损失一致性的物体检测方法和系统
CN112069921A (zh) * 2020-08-18 2020-12-11 浙江大学 一种基于自监督知识迁移的小样本视觉目标识别方法
CN113052159B (zh) * 2021-04-14 2024-06-07 中国移动通信集团陕西有限公司 一种图像识别方法、装置、设备及计算机存储介质
CN113688878B (zh) * 2021-07-30 2022-08-19 华东师范大学 一种基于记忆力机制和图神经网络的小样本图像分类方法
CN113947133B (zh) * 2021-09-17 2022-11-08 哈尔滨工业大学 小样本图像识别的任务重要性感知元学习方法
CN113887661B (zh) * 2021-10-25 2022-06-03 济南大学 一种基于表示学习重构残差分析的图像集分类方法及系统
CN114241557A (zh) * 2021-12-13 2022-03-25 深圳绿米联创科技有限公司 图像识别方法、装置及设备、智能门锁及介质
CN114332534B (zh) * 2021-12-29 2024-03-29 山东省科学院海洋仪器仪表研究所 一种高光谱图像小样本分类方法
CN114663696A (zh) * 2022-02-18 2022-06-24 南京大学 适用于小样本医疗图像分类的类别增量学习方法和系统
CN114611617A (zh) * 2022-03-16 2022-06-10 西安理工大学 基于原型网络的深度领域自适应图像分类方法
CN115527269B (zh) * 2022-10-10 2023-05-16 动自由(北京)科技有限公司 一种人体姿态图像智能识别方法及系统

Also Published As

Publication number Publication date
CN115861720A (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
US10796104B1 (en) Systems and methods for constructing an artificially diverse corpus of training data samples for training a contextually-biased model for a machine learning-based dialogue system
US11335118B2 (en) Signal retrieval apparatus, method, and program
CN110532398B (zh) 基于多任务联合神经网络模型的家族图谱自动构建方法
Younis et al. Detection and annotation of plant organs from digitised herbarium scans using deep learning
CN109471944A (zh) 文本分类模型的训练方法、装置及可读存储介质
Demertzis et al. GeoAI: A model-agnostic meta-ensemble zero-shot learning method for hyperspectral image analysis and classification
Mac Aodha et al. Putting the scientist in the loop--Accelerating scientific progress with interactive machine learning
CN109492093A (zh) 基于高斯混合模型和em算法的文本分类方法及电子装置
Raschka et al. Python machine learning second edition
Ozdemir et al. Comparison of deep learning techniques for classification of the insects in order level with mobile software application
US20240028828A1 (en) Machine learning model architecture and user interface to indicate impact of text ngrams
CN111950646A (zh) 电磁图像的层次化知识模型构建方法及目标识别方法
Zhang et al. Bayesian classification
CN115861720B (zh) 一种小样本亚类图像分类识别方法
Lin et al. Learning niche features to improve image-based species identification
Kazmierczak et al. CLIP-QDA: An explainable concept bottleneck model
CN115392461A (zh) 植物布局模型的建立方法、获取方法、系统及存储介质
CN111046934B (zh) 一种swift报文软条款识别方法及装置
Rafatirad et al. What Is Applied Machine Learning?
CN116453702B (zh) 孤独症行为特征集的数据处理方法、设备、系统及介质
CN117574981B (zh) 一种信息分析模型的训练方法及信息分析方法
Yan [Retracted] Analysis and Simulation of Multimedia English Auxiliary Handle Based on Decision Tree Algorithm
Murphy The Application of Computer Vision, Machine and Deep Learning Algorithms Utilizing MATLAB®
Hill Modeling and analysis of mitochondrial dynamics using dynamic social network graphs
US20240013004A1 (en) Automatic data card generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant