CN113111971A - 分类模型的智能处理方法、装置、电子设备及介质 - Google Patents

分类模型的智能处理方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN113111971A
CN113111971A CN202110493649.1A CN202110493649A CN113111971A CN 113111971 A CN113111971 A CN 113111971A CN 202110493649 A CN202110493649 A CN 202110493649A CN 113111971 A CN113111971 A CN 113111971A
Authority
CN
China
Prior art keywords
classification model
vector
image classification
branch network
embedded vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110493649.1A
Other languages
English (en)
Inventor
周迪
曹广
徐爱华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN202110493649.1A priority Critical patent/CN113111971A/zh
Publication of CN113111971A publication Critical patent/CN113111971A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques

Abstract

本发明实施例公开了一种分类模型的智能处理方法、装置、电子设备及存储介质。所述方法包括：确定包括小样本分类识别任务所需的支持集与查询集的目标样本；在图像分类模型的第一分支网络中对目标样本进行编码得到第一嵌入向量以及在图像分类模型的第二分支网络中对所述目标样本的类别标签单词进行自然语言处理得到第二嵌入向量；依据所述第一嵌入向量与第二嵌入向量对所述图像分类模型中参与训练的可训练参数进行优化调节，用于得到新的图像分类模型。采用本申请方案，在小样本分类识别任务中，通过引入自然语言特征来指引图像特征的快速学习，实现利用类别标签本身的自然语言特征增强小样本情况下的分类识别任务的学习效果。

Description

分类模型的智能处理方法、装置、电子设备及介质
技术领域
本发明实施例涉及深度学习技术领域，尤其涉及一种分类模型的智能处理方法、装置、电子设备及介质。
背景技术
鉴于深度学习需要大量训练样本，训练数据量在数万至数百万之多，如此庞大的训练数据在标注成本和训练效率上是不容忽视的问题，并且每次重新训练一个任务将花费数小时至数天时间，对于模型实时部署和更新极为不利，因此开始衍生出对小样本深度学习的探索。相关技术中，实现小样本深度学习的方式主要包括以下：数据增强、迁移学习以及元学习，但是上述方式在小样本深度学习中均会出现各种各样的问题，例如迁移学习后会出现对原任务灾难性遗忘问题，而元学习得到的模型的准确率上有待提高等。因此，如何提高图像分类模型的准确性变得尤为重要。
发明内容
本发明实施例中提供了一种分类模型的智能处理方法、装置、电子设备及介质，以实现利用类别本身的自然语言特征，增强小样本情况下的学习效果。
第一方面，本发明实施例中提供了一种分类模型的智能处理方法，包括：
确定包括小样本分类识别任务所需的支持集与查询集的目标样本；
在图像分类模型的第一分支网络中对目标样本进行编码得到第一嵌入向量以及在图像分类模型的第二分支网络中对所述目标样本的类别标签单词进行自然语言处理得到第二嵌入向量；
依据所述第一嵌入向量与第二嵌入向量对所述图像分类模型中参与训练的可训练参数进行优化调节，用于得到新的图像分类模型。
第二方面，本发明实施例中还提供了一种分类模型的智能处理装置，包括：
样本确定模块，用于确定包括小样本分类识别任务所需的支持集与查询集的目标样本；
嵌入向量确定模块，用于在图像分类模型的第一分支网络中对目标样本进行编码得到第一嵌入向量以及在图像分类模型的第二分支网络中对所述目标样本的类别标签单词进行自然语言处理得到第二嵌入向量；
图像分类模型优化模块，用于依据所述第一嵌入向量与第二嵌入向量对所述图像分类模型中参与训练的可训练参数进行优化调节，用于得到新的图像分类模型。
第三方面，本发明实施例中还提供了一种电子设备，包括：
一个或多个处理装置；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现如本发明任意实施例中提供的所述分类模型的智能处理方法。
第四方面，本发明实施例中还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理装置执行时实现如本发明任意实施例中提供的所述分类模型的智能处理方法。
本发明实施例中提供了一种分类模型的智能处理方法，在图像分类模型中配置用于对目标样本进行编码的第一分支网络和用于对目标样本的类别标签单词进行自然语言处理的第二分支网络，通过第一分支网络对目标样本进行编码得到第一嵌入向量和通过第二分支网络对目标样本的类别标签单词进行自然语言处理得到第二嵌入向量，进而可依据第一嵌入向量与第二嵌入向量对图像分类模型中参与训练的可训练参数进行优化调节。采用本申请方案，在小样本图片分类识别任务中，添加结合自然语言特征的分支结构，通过引入自然语言特征来指引图像特征的快速学习以及使自然语言特征能够根据图像特征进行微调，实现利用类别标签本身的自然语言特征，增强小样本情况下的分类识别任务的学习效果。
上述发明内容仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明实施例中提供的一种分类模型的智能处理方法的流程图；
图2是本发明实施例中提供的一种图像分类模型的网络结构设计图；
图3本发明实施例中提供的另一种分类模型的智能处理方法的流程图；
图4是本发明实施例中提供的图像分类模型中第二分支网络的结构图；
图5是本发明实施例中提供的一种分类模型的智能处理装置的结构框图
图6是本发明实施例中提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前，应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作（或步骤）描述成顺序的处理，但是其中的许多操作（或步骤）可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
下面通过以下各个实施例及其可选方案对本申请中提供的分类模型的智能处理方法、装置、电子设备及存储介质进行详细阐述。
图1是本发明实施例中提供的一种分类模型的智能处理方法的流程图。本发明实施例可适用于利用小样本学习对图像分类模型进行训练的情况。该方法可由分类模型的智能处理装置来执行，该装置可以采用软件和/或硬件的方式实现，并集成在任何具有网络通信功能的电子设备上。如图1所示，本申请实施例中提供的分类模型的智能处理方法，可包括以下步骤：
S110、确定包括小样本分类识别任务所需的支持集与查询集的目标样本。
通常人类仅需提供极少量样本就可学习到关键信息，例如小孩仅看一张小鹿的图片就可在动物园内寻找到正确的动物，而相比之下当前深度学习技术则仍有很大的提升空间，这就给小样本学习的探索提供了条件。对于小样本学习的思路，需要确定小样本分类识别任务所需的支持集与查询集，便于利用支持集和查询集特性之间的语义相关性来突显分类对象。
在本实施例的一种可选方案中，确定包括小样本分类识别任务所需的支持集与查询集的目标样本，可包括以下步骤A1-A2：
步骤A1、从训练集涉及的类别中选取至少两个类别，并在至少两个类别的样本中每类选取第一数量的样本，得到小样本分类识别任务所需的支持集。
步骤A2、从至少两个类别样本的剩余样本中每类选取第二数量的带标注样本，得到小样本分类识别任务所需的查询集。
将所有样本按照类别划分为训练集和测试集，在对图像分类模型进行训练时从训练集涉及的类别中抽取N个类别，并在N类样本中每类抽取K个样本，抽取得到的N*K个样本就形成支持集S（即S={(x1,y1),…,(xN*K,yN*K)},其中x表示样本，y表示标签）。并且，从这N类样本的剩余样本中每类抽取T个样本，将抽取的N*T个样本组成查询集Q。这样通过得到的支持集S与查询集Q就可构成一个小样本分类识别任务，每次对图像分类模型进行训练时重复上述过程获取不同样本分类识别任务以让图像分类模型适应不同的任务进行学习。可选地，支持集S与查询集Q中的样本为包含了少量类别标签或无类别标签的图像。
S120、在图像分类模型的第一分支网络中对目标样本进行编码得到第一嵌入向量以及在图像分类模型的第二分支网络中对目标样本的类别标签单词进行自然语言处理得到第二嵌入向量。
参见图2，图像分类模型中可包括第一分支网络，在模型训练时可通过第一分支网络使用独热编码组成的标签（例如常规的数字编码标签Yone-hot，即下标为k的位置为1其余位置为0的向量）来对目标样本进行编码得到第一嵌入向量进行小样本分类识别任务的学习。但是，由于在模型训练时仅仅是将类别标签视为数字，未使用其类别标签单词本身的自然语言特征，导致小样本情况下的学习效果比较差，造成训练的模型的准确度较低。
鉴于上述情况，本申请方案采用多模态交互机制，本申请图像分类模型在第一分支网络的基础上添加了第二分支网络，在分支上引入自然语言处理的方式进行小样本分类识别任务的学习，即通过第二分支网络对目标样本的类别标签单词进行自然语言处理得到第二嵌入向量，通过引入第一分支网络与第二分支网络的交互进行小样本分类识别任务的学习。可见，本申请在模型训练时不仅会在第一分支网络上使用数字编码组成的类别标签参与小样本学习，同时在第二分支网络上还会使用由单词组成的类别标签来参与小样本学习，以便实现图像分类模型训练过程中自然语言特征和图像特征对小样本学习的交互影响。
作为一种可选方案，图像分类模型中的第一分支网络可为小样本学习的原型网络（Prototypical Networks），该网络能识别出在图像分类模型训练过程中从未见过的新的类别，并且对于每个类别只需要很少的样例数据。第一分支网络中可包括用于对样本进行编码处理的编码器Encoder，且编码器Encoder中包括可训练参数。其中，编码器Encoder属于一个卷积神经网络，其中的可训练参数能够组成可训练参数集合φ。在进行图像分类模型训练时将支持集和查询集的所有样本经过编码器encoder转化为一系列嵌入向量，并采用矩阵Vx表示，每一行代表一张图像样本经编码encoder后形成的嵌入向量。
S130、依据第一嵌入向量与第二嵌入向量对图像分类模型中参与训练的可训练参数进行优化调节，用于得到新的图像分类模型。
第一嵌入向量包含了图像文本中的图像特征，而第二嵌入向量包含图像文本中类别标签指示的类别本身的自然语言特征，通过在常规小样本学习方法上添加结合自然语言特征的分支来引入自然语言特征来指引图像特征的快速学习实现对图像分类模型中参与训练的可训练参数进行优化调节，增强了小样本情况下的分类识别任务的学习效果，进而提高图像分类模型的识别准确率。
需要注意的是，图1示出的处理过程中第一嵌入向量的输出维度控制为和第二嵌入向量维度一致，如均为300，因此第一嵌入向量无需再使用全连接层即可参与第二分支的回归训练，此处理方法中的全部训练参数为上述编码器Encoder中的训练参数集合φ。
根据本发明实施例中提供的分类模型的智能处理方法，在小样本图片分类识别任务中，添加结合自然语言特征的分支结构，通过引入自然语言特征来指引图像特征的快速学习以及使自然语言特征能够根据图像特征进行微调，实现利用类别标签本身的自然语言特征增强小样本情况下分类识别任务的学习效果。
图3是本发明实施例中提供的另一种分类模型的智能处理方法的流程图，本发明实施例在上述实施例的基础上对前述实施例进行进一步优化，本发明实施例可以与上述一个或者多个实施例中各个可选方案结合。如图3所示，本申请实施例中提供的分类模型的智能处理方法，可包括以下步骤：
S310、确定包括小样本分类识别任务所需的支持集与查询集的目标样本。
S320、在图像分类模型的第一分支网络中对目标样本进行编码得到第一嵌入向量以及在图像分类模型的第二分支网络中对目标样本的类别标签单词进行自然语言处理得到第二嵌入向量。
在本实施例的一种可选方案中，图像分类模型的第二分支网络中包括用于进行自然语言处理的预处理模块，预处理模块将单词构成的类别标签进行向量矩阵转化，并对转化结果采用K-V矩阵进行表示，K-V矩阵为可训练参数。
参见图4，为了更好的使用单词构成的类别标签，可在第二分支网络中配置预处理模块，将单词构成的类别标签与自然语言模型GloVe一起通过一个预处理模块preprocess，实现将单词构成的类别标签进行向量矩阵转化采用K-V矩阵进行表示。目标样本所有标签涉及的单词先组成不重复的列表word-list，根据word-list在GloVe模型中搜寻到感兴趣的单词-向量对并采用矩阵K-V表示，K-V矩阵在训练前可预先配置。在进行模型训练时将单词构成的类别标签Y转化为矩阵Yword-hot，每行表示每个标签转化形成的向量，其长度与word-list一致，每个元素为0或者1，代表word-list同下标的此单词是否出现在标签中，在行方向上归一化后形成Ynorm，随后将Ynorm和K-V做矩阵乘得到矩阵Vy。
可选地，自然语言模型GloVe中，每个单词或字符嵌入成了300维的向量，矩阵Vy中每一行代表一个标签经预处理模块后最终形成的向量，其长度为300。
S330、通过两个全连接层FC层对第一分支网络输出的第一嵌入向量进行处理得到第三嵌入向量，以实现从图像特征向自然语言特征的回归学习。
参见图2，图像分类模型的第一分支网络与两个全连接层FC连接，且全连接层FC中包括可训练参数。这样将Vx通过两个全连接层FC使Vx转变为Vx’，从而使列数变为300，实现将图像特征进一步嵌入至语义空间，增加图像模型的可解释性。图像分类模型的第一分支网络的输出连接有两个全连接层，在得到第一分支网络输出的第一嵌入向量后，可通过连接的两个全连接层进行转换处理，实现从图像特征向自然语言特征的回归学习。
需要注意的是，图3示出的处理过程中第一嵌入向量的输出维度可能与第二嵌入向量维度不一致，因此第一嵌入向量需再使用全连接层进行处理让参与回归训练的两个嵌入向量的维度保持一致，此处理过程中的全部训练参数不仅包括上述编码器Encoder中的训练参数集合φ，同时还包括两个全连接层以及预处理模块中K-V矩阵的参数。
S340、依据第一嵌入向量与目标样本的独热编码类别标签确定第一分支网络的损失值以及依据第二嵌入向量与第三嵌入向量确定第二分支网络的损失值。
作为一种可选方案，预先配置图像分类模型的整体损失函数具体如下表示：
Figure 147869DEST_PATH_IMAGE001
其中，等式右侧的左边项表示的为图像分类模型中第一分支网络的损失函数，其具体计算可参考原型网络，等式右侧的右边项表示图像分类模型中第二分支网络的损失函数。第二分支网络的损失值的计算公式包括以下：
Figure 596168DEST_PATH_IMAGE002
其中，Lb表示第二分支网络的损失值，mean()表示对矩阵内所有元素求均值的函数，(Vx ’-Vy)2表示对矩阵内的各个元素进行逐元素求平方，Vx ’表示第三嵌入向量，Vy表示第二嵌入向量。可见，图像分类模型整体损失函数的可训练参数可包括编码器Encoder中的参数φ以及两个全连接层FC的参数，并且由于预处理模块中K-V矩阵也可视为一种全连接层，因此K-V也可调整为可训练参数。
示例性地，将支持集S和查询集Q的所有图片样本经过编码器encoder后编码形成嵌入向量，由于含多个样本，构成了矩阵Vx，行数为(K+T)*N，再将Vx进一步通过两层全连接层转变为Vx’，列数为300，同时将支持集S和查询集Q的所有标签单词经过标签预处理模块后形成嵌入向量，同样由于存在多个样本，构成了矩阵Vy，行数为(K+T)*N，列数为300。
S350、依据第一分支网络的损失值与第二分支网络的损失值，对图像分类模型中参与训练的可训练参数进行优化调节。
在得到第一分支网络的损失值与第二分支网络的损失值后，即可得到图像分类模型的整体损失值，然后利用梯度下降法逐步优化获得全局最小值，从而优化图像分类模型中涉及的可训练参数，并查看模型是否符合测试需求。如果可训练参数进行优化调整后的图像分类模型不符合测试需求，则重新确定新的包括小样本分类识别任务所需的支持集与查询集的目标样本，循环上述步骤若干次数，直至预定次数或可训练参数优化调整后的图像分类模型符合测试需求。
在本实施例的一种可选方案中，本申请实施例中提供的分类模型的智能处理方法，还可包括以下步骤B1-B3：
步骤B1、将测试样本中支持集与查询集分别经编码器Encoder进行编码，得到第四嵌入向量与第五嵌入向量。
步骤B2、对第四嵌入向量中同类别向量进行求平均得到第六嵌入向量，并计算各个第五嵌入向量与第六嵌入向量的距离。
步骤B3、依据各个第五嵌入向量与第六嵌入向量的距离，对得到的新的图像分类模型进行测试。
从所有类别中随机选取N个类别，从这N类每个类中随机取K个带标注样本，由这K*N个样本组成支持样本集S，再从这N类的剩余带标注样本中随机各取T个样本，由这T*N个样本组成查询样本集Q，由此得到测试用样本。将查询样本集Q和支持样本集S的所有图片经过编码器encoder后分别编码形成第四嵌入向量ZQ与第五嵌入向量ZS。将ZS中同一类别求平均得到N个原型向量ZS’，记为第六嵌入向量，对于第四嵌入向量ZQ中的每个查询嵌入向量，计算其与第六嵌入向量ZS’中每个原型向量的距离，取相反数后经过softmax激活获得属于各类别的概率，将概率最大的预测类别作为最终预测结果即可。
根据本发明实施例中提供的分类模型的智能处理方法，在小样本图片分类识别任务中，添加结合自然语言特征的分支结构，通过引入自然语言特征来指引图像特征的快速学习以及使自然语言特征能够根据图像特征进行微调，实现利用类别标签本身的自然语言特征增强小样本情况下分类识别任务的学习效果。
图5是本发明实施例中提供的一种分类模型的智能处理装置的结构框图。本发明实施例可适用于利用小样本学习对图像分类模型进行训练的情况。该装置可以采用软件和/或硬件的方式实现，并集成在任何具有网络通信功能的电子设备上。如图5所示，本申请实施例中提供的分类模型的智能处理装置，可包括以下：样本确定模块510、嵌入向量确定模块520和分类模型优化模块530。
样本确定模块510，用于确定包括小样本分类识别任务所需的支持集与查询集的目标样本。
嵌入向量确定模块520，用于在图像分类模型的第一分支网络中对目标样本进行编码得到第一嵌入向量以及在图像分类模型的第二分支网络中对所述目标样本的类别标签单词进行自然语言处理得到第二嵌入向量。
分类模型优化模块530，用于依据所述第一嵌入向量与第二嵌入向量对所述图像分类模型中参与训练的可训练参数进行优化调节，用于得到新的图像分类模型。
在上述实施例的基础上，可选地，样本确定模块510包括：
从训练集涉及的类别中选取至少两个类别，并在至少两个类别的样本中每类选取第一数量的样本，得到小样本分类识别任务所需的支持集。
从至少两个类别样本的剩余样本中每类选取第二数量的带标注样本，得到小样本分类识别任务所需的查询集。
在上述实施例的基础上，可选地，所述图像分类模型的第一分支网络中包括用于对样本进行编码处理的编码器Encoder，且所述编码器Encoder中包括可训练参数。
在上述实施例的基础上，可选地，所述图像分类模型的第二分支网络中包括用于进行自然语言处理的预处理模块，所述预处理模块将单词构成的类别标签进行向量矩阵转化，并对转化结果采用K-V矩阵进行表示，所述K-V矩阵为可训练参数。
在上述实施例的基础上，可选地，所述图像分类模型的第一分支网络与两个全连接层FC连接，且全连接层FC中包括可训练参数。
在上述实施例的基础上，可选地，分类模型优化模块530包括：
通过两个全连接层FC层对所述第一分支网络输出的第一嵌入向量进行处理得到第三嵌入向量，以实现从图像特征向自然语言特征的回归学习。
依据所述第一嵌入向量与所述目标样本的独热编码类别标签确定所述第一分支网络的损失值；以及，依据所述第二嵌入向量与所述第三嵌入向量确定所述第二分支网络的损失值。
依据所述第一分支网络的损失值与所述第二分支网络的损失值，对所述图像分类模型中参与训练的可训练参数进行优化调节。
在上述实施例的基础上，可选地，第二分支网络的损失值的计算公式包括以下：
Figure 782430DEST_PATH_IMAGE003
其中，Lb表示第二分支网络的损失值，mean()表示对矩阵内所有元素求均值的函数，(Vx ’-Vy)2表示对矩阵内的各个元素进行逐元素求平方，Vx ’表示第三嵌入向量，Vy表示第二嵌入向量。
在上述实施例的基础上，可选地，所述装置还包括：
将测试样本中支持集与查询集分别经编码器Encoder进行编码，得到第四嵌入向量与第五嵌入向量。
对第四嵌入向量中同类别向量进行求平均得到第六嵌入向量，并计算各个第五嵌入向量与第六嵌入向量的距离。
依据各个第五嵌入向量与第六嵌入向量的距离，对得到的新的图像分类模型进行测试。
本发明实施例中所提供的分类模型的智能处理装置可执行上述本发明任意实施例中所提供的分类模型的智能处理方法，具备执行该分类模型的智能处理方法相应的功能和有益效果，详细过程参见前述实施例中分类模型的智能处理方法的相关操作。
图6是本发明实施例中提供的一种电子设备的结构示意图。如图6所示结构，本发明实施例中提供的电子设备包括：一个或多个处理器610和存储装置620；该电子设备中的处理器610可以是一个或多个，图6中以一个处理器610为例；存储装置620用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器610执行，使得所述一个或多个处理器610实现如本发明实施例中任一项所述的分类模型的智能处理方法。
该电子设备还可以包括：输入装置630和输出装置640。
该电子设备中的处理器610、存储装置620、输入装置630和输出装置640可以通过总线或其他方式连接，图6中以通过总线连接为例。
该电子设备中的存储装置620作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例中所提供的分类模型的智能处理方法对应的程序指令/模块。处理器610通过运行存储在存储装置620中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例中分类模型的智能处理方法。
存储装置620可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储装置620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置620可进一步包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置630可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏等显示设备。
并且，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器610执行时，程序进行如下操作：
确定包括小样本分类识别任务所需的支持集与查询集的目标样本；
在图像分类模型的第一分支网络中对所述目标样本进行编码得到第一嵌入向量以及在图像分类模型的第二分支网络中对所述目标样本的类别标签单词进行自然语言处理得到第二嵌入向量；
依据所述第一嵌入向量与第二嵌入向量对所述图像分类模型中参与训练的可训练参数进行优化调节，用于得到新的图像分类模型。
当然，本领域技术人员可以理解，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器610执行时，程序还可以进行本发明任意实施例中所提供的分类模型的智能处理方法中的相关操作。
本发明实施例中提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时用于执行分类模型的智能处理方法，该方法包括：
确定包括小样本分类识别任务所需的支持集与查询集的目标样本；
在图像分类模型的第一分支网络中对所述目标样本进行编码得到第一嵌入向量以及在图像分类模型的第二分支网络中对所述目标样本的类别标签单词进行自然语言处理得到第二嵌入向量；
依据所述第一嵌入向量与第二嵌入向量对所述图像分类模型中参与训练的可训练参数进行优化调节，用于得到新的图像分类模型。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（Random AccessMemory，RAM）、只读存储器（Read Only Memory，ROM）、可擦式可编程只读存储器（ErasableProgrammable Read Only Memory，EPROM）、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率（RadioFrequency，RF）等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种分类模型的智能处理方法，其特征在于，包括：
确定包括小样本分类识别任务所需的支持集与查询集的目标样本；
在图像分类模型的第一分支网络中对所述目标样本进行编码得到第一嵌入向量以及在图像分类模型的第二分支网络中对所述目标样本的类别标签单词进行自然语言处理得到第二嵌入向量；
依据所述第一嵌入向量与第二嵌入向量对所述图像分类模型中参与训练的可训练参数进行优化调节，用于得到新的图像分类模型。
2.根据权利要求1所述的方法，其特征在于，确定包括小样本分类识别任务所需的支持集与查询集的目标样本，包括：
从训练集涉及的类别中选取至少两个类别，并在至少两个类别的样本中每类选取第一数量的样本，得到小样本分类识别任务所需的支持集；
从至少两个类别样本的剩余样本中每类选取第二数量的带标注样本，得到小样本分类识别任务所需的查询集。
3.根据权利要求1所述的方法，其特征在于，所述图像分类模型的第一分支网络中包括用于对样本进行编码处理的编码器Encoder，且所述编码器Encoder中包括可训练参数。
4.根据权利要求1所述的方法，其特征在于，所述图像分类模型的第二分支网络中包括用于进行自然语言处理的预处理模块，所述预处理模块将单词构成的类别标签进行向量矩阵转化，并对转化结果采用K-V矩阵进行表示，所述K-V矩阵为可训练参数。
5.根据权利要求1所述的方法，其特征在于，所述图像分类模型的第一分支网络与两个全连接层FC连接，且全连接层FC中包括可训练参数。
6.根据权利要求1所述的方法，其特征在于，依据所述第一嵌入向量与第二嵌入向量对所述图像分类模型中参与训练的可训练参数进行优化调节，包括：
通过两个全连接层FC层对所述第一分支网络输出的第一嵌入向量进行处理得到第三嵌入向量，以实现从图像特征向自然语言特征的回归学习；
依据所述第一嵌入向量与所述目标样本的独热编码类别标签确定所述第一分支网络的损失值；以及，依据所述第二嵌入向量与所述第三嵌入向量确定所述第二分支网络的损失值；
依据所述第一分支网络的损失值与所述第二分支网络的损失值，对所述图像分类模型中参与训练的可训练参数进行优化调节。
7.根据权利要求6所述的方法，其特征在于，第二分支网络的损失值的计算公式包括以下：
Figure 531826DEST_PATH_IMAGE001
其中，Lb表示第二分支网络的损失值，mean()表示对矩阵内所有元素求均值的函数，(Vx ’-Vy)2表示对矩阵内的各个元素进行逐元素求平方，Vx ’表示第三嵌入向量，Vy表示第二嵌入向量。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将测试样本中支持集与查询集分别经编码器Encoder进行编码，得到第四嵌入向量与第五嵌入向量；
对第四嵌入向量中同类别向量进行求平均得到第六嵌入向量，并计算各个第五嵌入向量与第六嵌入向量的距离；
依据各个第五嵌入向量与第六嵌入向量的距离，对得到的新的图像分类模型进行测试。
9.一种分类模型的智能处理装置，其特征在于，包括：
样本确定模块，用于确定包括小样本分类识别任务所需的支持集与查询集的目标样本；
嵌入向量确定模块，用于在图像分类模型的第一分支网络中对目标样本进行编码得到第一嵌入向量以及在图像分类模型的第二分支网络中对所述目标样本的类别标签单词进行自然语言处理得到第二嵌入向量；
分类模型优化模块，用于依据所述第一嵌入向量与第二嵌入向量对所述图像分类模型中参与训练的可训练参数进行优化调节，用于得到新的图像分类模型。
10.一种电子设备，其特征在于，包括：
一个或多个处理装置；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现权利要求1-8中任一所述的分类模型的智能处理方法。
11.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-8中任一所述的分类模型的智能处理方法。
CN202110493649.1A 2021-05-07 2021-05-07 分类模型的智能处理方法、装置、电子设备及介质 Pending CN113111971A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110493649.1A CN113111971A (zh) 2021-05-07 2021-05-07 分类模型的智能处理方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110493649.1A CN113111971A (zh) 2021-05-07 2021-05-07 分类模型的智能处理方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN113111971A true CN113111971A (zh) 2021-07-13

Family

ID=76720997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110493649.1A Pending CN113111971A (zh) 2021-05-07 2021-05-07 分类模型的智能处理方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN113111971A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449821A (zh) * 2021-08-31 2021-09-28 浙江宇视科技有限公司 融合语义和图像特征的智能训练方法、装置、设备及介质
CN116994076A (zh) * 2023-09-28 2023-11-03 中国海洋大学 一种基于双分支相互学习特征生成的小样本图像识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961089A (zh) * 2019-02-26 2019-07-02 中山大学 基于度量学习和元学习的小样本和零样本图像分类方法
CN110363239A (zh) * 2019-07-04 2019-10-22 中国人民解放军国防科技大学 一种面向多模态数据的小样本机器学习方法、系统和介质
CN110472652A (zh) * 2019-06-30 2019-11-19 天津大学 基于语义引导的少量样本分类方法
US20200175332A1 (en) * 2018-11-30 2020-06-04 International Business Machines Corporation Out-of-sample generating few-shot classification networks
CN112633419A (zh) * 2021-03-09 2021-04-09 浙江宇视科技有限公司 小样本学习方法、装置、电子设备和存储介质
CN112732919A (zh) * 2021-01-15 2021-04-30 中国科学院地理科学与资源研究所 一种面向网络安全威胁情报的智能分类标签方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200175332A1 (en) * 2018-11-30 2020-06-04 International Business Machines Corporation Out-of-sample generating few-shot classification networks
CN109961089A (zh) * 2019-02-26 2019-07-02 中山大学 基于度量学习和元学习的小样本和零样本图像分类方法
CN110472652A (zh) * 2019-06-30 2019-11-19 天津大学 基于语义引导的少量样本分类方法
CN110363239A (zh) * 2019-07-04 2019-10-22 中国人民解放军国防科技大学 一种面向多模态数据的小样本机器学习方法、系统和介质
CN112732919A (zh) * 2021-01-15 2021-04-30 中国科学院地理科学与资源研究所 一种面向网络安全威胁情报的智能分类标签方法及系统
CN112633419A (zh) * 2021-03-09 2021-04-09 浙江宇视科技有限公司 小样本学习方法、装置、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
俞勇: "《人工智能技术入门 让你也看懂的AI"内幕"》", 30 September 2019, 上海科技教育出版社 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449821A (zh) * 2021-08-31 2021-09-28 浙江宇视科技有限公司 融合语义和图像特征的智能训练方法、装置、设备及介质
CN113449821B (zh) * 2021-08-31 2021-12-31 浙江宇视科技有限公司 融合语义和图像特征的智能训练方法、装置、设备及介质
CN116994076A (zh) * 2023-09-28 2023-11-03 中国海洋大学 一种基于双分支相互学习特征生成的小样本图像识别方法
CN116994076B (zh) * 2023-09-28 2024-01-19 中国海洋大学 一种基于双分支相互学习特征生成的小样本图像识别方法

Similar Documents

Publication Publication Date Title
CN111783705B (zh) 一种基于注意力机制的文字识别方法及系统
CN112633419B (zh) 小样本学习方法、装置、电子设备和存储介质
CN111738169B (zh) 一种基于端对端网络模型的手写公式识别方法
CN113762052A (zh) 视频封面提取方法、装置、设备及计算机可读存储介质
CN114676234A (zh) 一种模型训练方法及相关设备
CN113449821B (zh) 融合语义和图像特征的智能训练方法、装置、设备及介质
CN113111971A (zh) 分类模型的智能处理方法、装置、电子设备及介质
CN114510939A (zh) 实体关系抽取方法、装置、电子设备及存储介质
CN113743119B (zh) 中文命名实体识别模块、方法、装置及电子设备
CN111930894A (zh) 长文本匹配方法及装置、存储介质、电子设备
CN111428470B (zh) 文本连贯性判定及其模型训练方法、电子设备及可读介质
CN116069931A (zh) 层级标签文本分类方法、系统、设备及存储介质
CN111027681A (zh) 时序数据处理模型训练方法、数据处理方法、装置及存储介质
WO2024001653A1 (zh) 特征提取方法、装置、存储介质及电子设备
WO2023168818A1 (zh) 视频和文本相似度确定方法、装置、电子设备、存储介质
CN113420869B (zh) 基于全方向注意力的翻译方法及其相关设备
CN114282058A (zh) 模型训练与视频主题预测的方法、装置及设备
CN109063934B (zh) 基于人工智能的组合优化结果获取方法、设备及可读介质
CN114464267A (zh) 模型训练与生成物预测的方法及装置
CN114792388A (zh) 图像描述文字生成方法、装置及计算机可读存储介质
CN114792086A (zh) 一种支持文本交叉覆盖的信息抽取方法、装置、设备和介质
CN113762459A (zh) 一种模型训练方法、文本生成方法、装置、介质及设备
CN112329459A (zh) 文本标注方法和神经网络模型的构建方法
CN113377986B (zh) 图像检索方法和装置
CN117376634B (zh) 一种短视频配乐方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210713