CN114154512A - 小样本学习处理方法、装置、设备及存储介质 - Google Patents

小样本学习处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114154512A
CN114154512A CN202111500914.0A CN202111500914A CN114154512A CN 114154512 A CN114154512 A CN 114154512A CN 202111500914 A CN202111500914 A CN 202111500914A CN 114154512 A CN114154512 A CN 114154512A
Authority
CN
China
Prior art keywords
sample
query
feature
category
support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111500914.0A
Other languages
English (en)
Inventor
何凤翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Information Technology Co Ltd
Original Assignee
Jingdong Technology Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Information Technology Co Ltd filed Critical Jingdong Technology Information Technology Co Ltd
Priority to CN202111500914.0A priority Critical patent/CN114154512A/zh
Publication of CN114154512A publication Critical patent/CN114154512A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/194—Calculation of difference between files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及机器学习技术领域，尤其涉及一种小样本学习处理方法、装置、设备及存储介质。方法包括：提取询问样本的询问局部特征；基于所述询问局部特征，获取所述询问样本的询问全局特征；所述基于所述询问局部特征和所述询问全局特征，获取所述询问样本的询问交互特征，其中，所述询问交互特征由所述询问局部特征和所述询问全局特征交互形成；通过所述询问交互特征和支撑样本集，确定所述询问样本的所属类别，其中，所述支撑样本集包括至少一个样本类别，每一个所述样本类别包括至少一个支撑样本。本公开用以解决现有技术中小样本学习方法仅基于局部特征造成学习效率低的缺陷，实现利用局部特征和全局特征之间的相互作用指导语义对齐。

Description

小样本学习处理方法、装置、设备及存储介质
技术领域
本公开涉及机器学习技术领域，尤其涉及一种小样本学习处理方法、装置、设备及存储介质。
背景技术
目前，机器学习是人工智能的重要研究领域。而机器学习中的小样本学习在对齐语义相关的局部区域处理时，能够减轻深度学习对大规模标记训练数据集的依赖，能够快速且低成本地实现任务。但是，小样本学习主要对询问样本的局部特征进行处理，处理结果仅仅能够局限地体现询问样本局部区域的信息，却忽视了全局特征，导致与询问样本全局特征无关的语义权重过高，进而造成小样本学习的效率降低，学习处理结果不准确。
发明内容
本公开提供一种小样本学习处理方法、装置、设备及存储介质，用以解决现有技术中小样本学习方法仅基于局部特征造成学习效率低的缺陷，实现利用局部特征和全局特征之间的相互作用指导语义对齐。
本公开提供一种小样本学习处理方法，包括：提取询问样本的询问局部特征；基于所述询问局部特征，获取所述询问样本的询问全局特征；所述基于所述询问局部特征和所述询问全局特征，获取所述询问样本的询问交互特征，其中，所述询问交互特征由所述询问局部特征和所述询问全局特征交互形成；通过所述询问交互特征和支撑样本集，确定所述询问样本的所属类别，其中，所述支撑样本集包括至少一个样本类别，每一个所述样本类别包括至少一个支撑样本。
根据本公开提供的一种小样本学习处理方法，所述提取询问样本的询问局部特征，包括：提取所述询问样本的询问局部特征矩阵；所述基于所述询问局部特征，获取所述询问样本的询问全局特征，包括：获取所述询问局部特征矩阵包含的至少一个行向量；分别将每一个所述行向量与预设的第一可学习参数相乘，得到至少一个加权行向量；获取所述至少一个所述加权行向量的第一平均值；将所述第一平均值与预设的第二可学习参数相乘，获得所述询问样本的所述询问全局特征矩阵。
根据本公开提供的一种小样本学习处理方法，所述基于所述询问局部特征和所述询问全局特征，获取所述询问样本的询问交互特征，包括：将所述询问局部特征矩阵和所述询问全局特征矩阵叠加，获得所述询问样本的询问交互特征矩阵。
根据本公开提供的一种小样本学习处理方法，所述通过所述询问交互特征和支撑样本集，确定所述询问样本的所属类别，包括：获取所述支撑样本集中每一个所述样本类别对应的类别交互特征；根据所述询问交互特征和所述类别交互特征，分别计算所述询问样本与每一个所述样本类别的相似度；根据至少一个所述相似度，确定所述询问样本的所述所属类别。
根据本公开提供的一种小样本学习处理方法，获得每一个所述类别交互特征的处理过程如下：提取所述样本类别包含的每一个所述支撑样本的支撑局部特征；计算所述样本类别对应的至少一个所述支撑局部特征的第二平均值；基于所述样本类别内每一个所述支撑样本的所述支撑局部特征，分别获取所述样本类型包含的每一个所述支撑样本的支撑全局特征；计算所述样本类别对应的至少一个所述支撑全局特征的第三平均值；叠加所述第二平均值和所述第三平均值，获得所述样本类别对应的所述类别交互特征。
根据本公开提供的一种小样本学习处理方法，所述询问交互特征为询问交互特征矩阵，所述类别交互特征为类别交互特征矩阵；所述根据所述询问交互特征和所述类别交互特征，分别计算所述询问样本与每一个所述样本类别的相似度，包括：分别计算所述询问交互特征矩阵，与每一个所述样本类别对应的所述类别交互特征矩阵的交叉协方差矩阵；基于每一个所述交叉协方差矩阵，分别计算所述询问样本与每一个所述样本类别的相似度。
根据本公开提供的一种小样本学习处理方法，所述询问样本包括图片样本或视频样本中的任意一种。
本公开还提供一种小样本学习处理装置，包括：提取模块，用于提取询问样本的询问局部特征；第一获取模块，用于基于所述局部特征，获取所述询问样本的询问全局特征；第二获取模块，用于所述基于所述询问局部特征和所述询问全局特征，获取所述询问样本的询问交互特征，其中，所述询问交互特征由所述询问局部特征和所述询问全局特征交互形成；类别确定模块，用于通过所述询问交互特征和支撑样本集，确定所述询问样本的所属类别，其中，所述支撑样本集包括至少一个样本类别，每一个所述样本类别包括至少一个支撑样本。
本公开还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述小样本学习处理方法的步骤。
本公开还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述小样本学习处理方法的步骤。
本公开提供的小样本学习处理方法、装置、设备及存储介质，在对询问样本进行处理时，除提取询问样本的询问局部特征外，还通过询问局部特征获得询问样本的询问全局特征。然后得到询问局部特征和询问全局特征交互形成的询问交互特征。最后根据询问交互特征和支撑样本集得到该询问样本的所属类别。上述提供的小样本学习处理过程，并不是对询问样本的询问局部特征进行单独处理，而是获取包含询问局部特征和询问全局特征的询问交互特征，对询问交互特征进行处理。这样，实现利用询问全局特征和询问局部特征之间的相互作用，来对询问样本的局部区域进行语义对齐，提高小样本学习过程的处理效率，使采用小样本学习处理得到的询问样本所属类别更加准确。
附图说明
为了更清楚地说明本公开或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本公开提供的小样本学习处理方法的流程示意图之一；
图2是本公开提供的小样本学习处理方法的流程示意图之二；
图3是本公开提供的小样本学习处理装置的结构示意图；
图4是本公开提供的电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开实施例一部分实施例，而不是全部的实施例。基于本公开实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开实施例保护的范围。
本公开提供的小样本学习处理方法，用于对询问样本进行学习分类。本方法可以通过软件算法实现，具体的，依托于构建的小样本学习模型来实现，例如，基于卷积神经网络模型构建小样本学习模型，该模型完成训练后实现基于局部特征和全局特征确定询问样本的所属类别。本方法实现的物理执行主体可以为计算机、处理器、服务器等多种类型的处理设备中的任意一种。下面结合图1-图2描述本公开实施例提供的小样本学习处理方法。
一个实施例中，如图1所示，小样本学习处理方法实现的流程步骤如下：
步骤101，提取询问样本的询问局部特征。
本实施例中，小样本学习(Few-shot learning，FSL)是深度学习的一种方法，使得学习系统能够通过少量的训练样本进行学习和归纳。基于小样本学习原理构建小样本学习模型，该模型能够实现本公开提供的小样本学习处理方法。其中，小样本学习模型可以根据实际情况和需要选择原始智能模型训练而成，例如，通过训练原始卷积神经网络模型形成小样本学习模型。
对原始智能模型进行训练时，需要训练样本集，该训练样本集包括至少一个训练样本，每一个训练样本均已预先标注完成。该训练样本集中的每一个训练样本的所属类别，均包含于预先设定的M个样本类别中，其中，M为大于1的整数。但是，训练样本集中的样本数量相对大量机器学习样本数据来说十分少，例如，训练样本集中的样本数量不超过100个。
在通过上述训练样本集对原始智能模型进行训练时，需要将训练样本集重新划分为一个支撑样本集(support set)和一个询问集(query set)。S表示支撑样本集，(xi,yi)表示一个训练样本，i为大于或等于1的整数，则划分后的支撑样本集S由MN个样本构成，M表示支撑样本集包括的M个样本类别，N表示每个样本类别包括N个支撑样本，N为大于或等于1的整数，则支撑样本集S包含的支撑样本如公式(1)：
Figure BDA0003402532800000051
Q表示询问样本集，(xi,yi)表示一个训练样本，i为大于或等于1的整数，则划分后的询问样本集Q由MB个样本构成，M表示询问样本集包括的M个样本类别，B表示每个样本类别包括B个询问样本，B为大于或等于1的整数，则询问样本集Q包含的支撑样本如公式(2)：
Figure BDA0003402532800000061
上述N和B都是非常小的数值，例如，N和B的取值均不超过10。
本实施例中，采用支撑样本集和询问样本集，对采用本方法构建的原始智能模型进行训练，调整原始智能模型中的可学习参数，直至原始智能模型输出的结果符合预设的条件阈值，则确定该原始智能模型为小样本学习模型。小样本学习模型训练完成后，投入正常使用。在使用阶段，以小样本学习模型的形式对使用阶段输入的询问样本进行处理，预测该询问样本的所属类别。也就是说，本公开提供的方法，用于构建小样本学习模型，实现小样本学习模型内部对询问样本的处理过程。使用本方法对询问样本的处理过程，既可以实施于模型训练阶段，也可以实施于模型使用阶段。
具体的，
Figure BDA0003402532800000062
表示询问样本，则在模型训练阶段，
Figure BDA0003402532800000063
为询问样本集Q中的一个询问样本；在模型使用阶段，
Figure BDA0003402532800000064
为需要确定所属类别的任意一个询问样本。
本实施例中，询问样本输入小样本学习模型后，提取该询问样本的询问局部特征，询问局部特征则指的是询问样本的局部特征，以完成小样本学习的处理过程。
具体的，预先在小样本学习模型中构建局部特征提取器，该局部特征提取器可以为子卷积神经网络。当询问样本输入小样本学习模型后，该局部特征提取器从询问样本中提取得到询问局部特征。
一个实施例中，询问样本包括图片样本或视频样本中的任意一种。优选的，图片样本为二维图片样本；视频样本为需要进行视频动作分类的视频样本。当然，询问样本还可以根据实际情况和需要设定为其他数据格式的样本中的任意一种。当询问样本为图片样本时，上述中的训练样本集中的训练样本同样为图片；当询问样本为视频样本时，上述中的训练样本集中的训练样本同样为视频。只要保证模型训练采用的训练样本和询问样本的数据格式一致即可。
步骤102，基于询问局部特征，获取询问样本的询问全局特征。
本实施例中，提取询问样本的询问局部特征之后，可以根据询问局部特征获得询问样本的询问全局特征，其中，询问全局特征指的是询问样本的全局特征。
一个实施例中，询问样本的询问局部特征和询问全局特征均可以以矩阵的方式进行表达。具体的，提取询问样本的询问局部特征，实现过程如下：提取询问样本的询问局部特征矩阵。基于询问局部特征，获取询问样本的询问全局特征，实现过程如下：获取询问局部特征矩阵包含的至少一个行向量；分别将每一个行向量与预设的第一可学习参数相乘，得到至少一个加权行向量；获取至少一个加权行向量的第一平均值；将第一平均值与预设的第二可学习参数相乘，获得询问样本的询问全局特征矩阵。
本实施例中，以矩阵的形式表达询问局部特征和询问全局特征，使计算过程更易实现，简化本方法实现过程，侧面提高本方法实现的小样本学习处理效率。
具体的，通过预设的局部特征提取器获得询问样本的询问局部特征矩阵，该询问局部特征矩阵表示为FL∈RZ×C，FL∈RZ×C的含义为询问局部特征矩阵FL为一个特征数量为Z，特征维度为C的实数(R)矩阵，即局部特征矩阵FL∈RZ×C为一个Z×C的矩阵。
本实施例中，预先在小样本学习模型中构建全局特征提取器，该全局特征提取器通过如下公式(3)所示原理，获取询问全局特征：
Figure BDA0003402532800000071
其中，FL(:,i)∈R1×C是局部特征FL的一个特征分量，具体的，FL(:,i)为询问局部特征矩阵FL包含的一个行向量，
Figure BDA0003402532800000072
为全局特征提取器的第一可学习参数，
Figure BDA0003402532800000081
为全局特征提取器的第二可学习参数。FL(:,i)W1表示加权行向量，
Figure BDA0003402532800000082
表示第一平均值，FG表示询问样本的询问全局特征矩阵。
行向量为1×C的矩阵，第一可学习参数为
Figure BDA0003402532800000083
的矩阵，所以加权行向量为
Figure BDA0003402532800000084
的矩阵；第二可学习单数为
Figure BDA0003402532800000085
的矩阵，则最终的询问全局特征矩阵FG∈R1×C为一个1×C的矩阵。
本实施例中，在模型训练阶段，需要通过训练样本集的训练，不断调整第一可学习参数和第二可学习参数，直至模型输出的结果符合预设的条件阈值。
本实施例中，通过询问局部特征矩阵，计算得到询问全局特征矩阵的具体方式，实现了询问样本全局特征的提取，为全局特征和局部特征相互作用提供基础，且矩阵的计算过程简单，更易通过代码实现，进一步提高小样本学习的处理速度和效率。
步骤103，基于询问局部特征和询问全局特征，获取询问样本的询问交互特征，其中，询问交互特征由询问局部特征和询问全局特征交互形成。
本实施例中，获得询问局部特征和询问全局特征后，将询问局部特征和询问全局特征进行交互，形成最终询问样本的询问交互特征，则该询问交互特征既包含了询问样本的局部特征信息，又包含了询问样本的全局特征信息。
一个实施例中，基于上述实施例中以矩阵的形式表达询问局部特征和询问全局特征，则基于询问局部特征和询问全局特征，获取询问样本的询问交互特征，具体实现过程如下：将询问局部特征矩阵和询问全局特征矩阵叠加，获得询问样本的询问交互特征矩阵。
本实施例中，由于询问全局特征矩阵FG∈R1×C为一个1×C的矩阵，而局部特征矩阵FL∈RZ×C为一个Z×C的矩阵，则通过张量的广播运算(broadcast)，将询问局部特征矩阵和询问全局特征矩阵进行叠加，最终得到询问交互特征矩阵为FG+L＝FG+FL。其中，FG+L∈RC×Z是一个Z×C的矩阵。
步骤104，通过询问交互特征和支撑样本集，确定询问样本的所属类别，其中，支撑样本集包括至少一个样本类别，每一个样本类别包括至少一个支撑样本。
本实施例中，获得询问交互特征后，通过该询问交互特征，来确定询问样本的所属类别，是支撑样本集包含的至少一个样本类别中的具体哪一个，也就是说，所属类别为支撑样本集包含的样本类别中的一个。确定询问样本的所属类别后，即通过小样本学习方法完成了对询问样本的处理。
一个实施例中，通过询问样本的询问交互特征，与支撑样本集中每一个样本类别对应的类别交互特征，确定询问样本的所属类别。具体的，通过询问交互特征和支撑样本集，确定询问样本的所属类别，实现过程如下：获取支撑样本集中每一个样本类别对应的类别交互特征；根据询问交互特征和类别交互特征，分别计算询问样本与每一个样本类别的相似度；根据至少一个相似度，确定询问样本的所属类别。
本实施例中，支撑样本集中包含至少一个样本类别，每一个样本类别包含至少一个支撑样本。对于每一个样本类别，可以通过该样本类别包含的支撑样本，获得对应的类别交互特征。然后根据询问样本的询问交互特征，和每一个样本类别对应的类别交互特征，分别计算询问样本与每一个样本类别的相似度。最后根据计算得到的各相似度，确定询问样本的所属类别。
一个实施例中，通过该样本类别包含的支撑样本，获得对应的类别交互特征。具体的，获得每一个类别交互特征的处理过程如下：提取样本类别包含的每一个支撑样本的支撑局部特征；计算样本类别对应的至少一个支撑局部特征的第二平均值；基于样本类别内每一个支撑样本的支撑局部特征，分别获取样本类型包含的每一个支撑样本的支撑全局特征；计算样本类别对应的至少一个支撑全局特征的第三平均值；叠加第二平均值和第三平均值，获得样本类别对应的类别交互特征。
本实施例中，对于一个样本类别包含的每一个支撑样本，分别提取支撑局部特征，然后计算各个支撑样本的支撑局部特征的第二平均值。对于每一个支撑样本，通过该支撑样本的支撑局部特征，获得该支撑样本的支撑全局特征；计算各个支撑样本的支撑全局特征的第三平均值。叠加第二平均值和第三平均值后，即可得到该样本类别对应的类别交互特征。
一个实施例中，提取支撑样本的支撑局部特征时，可以采用上述实施例提供的局部特征提取器来实现。当支撑样本输入小样本学习模型时，该局部特征提取器从支撑样本中提取支撑局部特征。
一个实施例中，支撑样本集中每一个支撑样本的数据格式相同，支撑样本的数据格式与询问样本的数据格式保持一致。
一个实施例中，支撑样本的支撑局部特征和支撑全局特征以矩阵的方式进行表达。具体的，提取支撑样本的支撑局部特征，实现过程如下：提取支撑样本的支撑局部特征矩阵。基于支撑局部特征，获取支撑样本的支撑全局特征，实现过程如下：获取支撑局部特征矩阵包含的至少一个行向量；分别将每一个行向量与预设的第一可学习参数相乘，得到至少一个加权行向量；获取至少一个加权行向量的第一平均值；将第一平均值与预设的第二可学习参数相乘，获得支撑样本的支撑全局特征矩阵。
本实施例中，支撑样本的支撑局部特征和支撑全局特征以矩阵的方式进行表达时，获得每一个类别交互特征的具体处理过程如下：提取样本类别包含的每一个支撑样本的支撑局部特征矩阵；计算样本类别对应的至少一个支撑局部特征矩阵的第二平均值；基于样本类别内每一个支撑样本的支撑局部特征矩阵，分别获取样本类型包含的每一个支撑样本的支撑全局特征矩阵；计算样本类别对应的至少一个支撑全局特征矩阵的第三平均值；叠加第二平均值和第三平均值，获得样本类别对应的类别交互特征矩阵。
具体的，对于支撑样本集中的第m个样本类别，m为大于或等于1的整数，
Figure BDA0003402532800000111
表示该样本类别对应的类别交互特征矩阵。则获取类别交互特征矩阵
Figure BDA0003402532800000112
的原理如公式(4)：
Figure BDA0003402532800000113
其中，
Figure BDA0003402532800000114
表示第m个样本类别的第二平均值，代表第m个样本类别的局部特征。其中，
Figure BDA0003402532800000115
获取的原理如公式(5)：
Figure BDA0003402532800000116
Figure BDA0003402532800000117
表示第m个样本类别中第i个支撑样本的支撑局部特征据矩阵，该第m个样本类别包括N个支撑样本。
Figure BDA0003402532800000118
表示第m个样本类别的第三平均值，代表第m个样本类别的全局特征。其中，
Figure BDA0003402532800000119
获取的原理如公式(6)：
Figure BDA00034025328000001110
Figure BDA00034025328000001111
表示第m个样本类别中第i个支撑样本的支撑全局特征据矩阵，该第m个样本类别包括N个支撑样本。
第m个样本类别的类别交互特征矩阵
Figure BDA0003402532800000121
由第二平均值
Figure BDA0003402532800000122
和第三平均值
Figure BDA0003402532800000123
叠加得到。
Figure BDA0003402532800000124
表示类别交互特征矩阵
Figure BDA0003402532800000125
等价于第m个样本类别中N个支撑样本的支撑交互特征矩阵的平均值，
Figure BDA0003402532800000126
表示第m个样本类别中第i个支撑样本的支撑交互特征矩阵，该支撑交互特征矩阵
Figure BDA0003402532800000127
可以通过第m个样本类别中第i个支撑样本的支撑局部特征据矩阵
Figure BDA0003402532800000128
与第m个样本类别中第i个支撑样本的支撑全局特征据矩阵
Figure BDA0003402532800000129
叠加得到。
一个实施例中，当询问交互特征为询问交互特征矩阵，类别交互特征为类别交互特征矩阵时，根据询问交互特征和类别交互特征，分别计算询问样本与每一个样本类别的相似度，具体实现过程如下：分别计算询问交互特征矩阵，与每一个样本类别对应的类别交互特征矩阵的交叉协方差矩阵；基于每一个交叉协方差矩阵，分别计算询问样本与每一个样本类别的相似度。
本实施例中，计算询问样本与支撑样本集中第m个样本类别的相似度时，基于线性核函数的希尔伯特-施密特独立性准则(Hilbert-Schmidt Independence Criterion，HSIC)，采用交叉协方差估计的相似度计算方法。
具体的，计算询问样本与支撑样本集中第m个样本类别的相似度的原理如公式(7)：
Figure BDA00034025328000001210
其中，
Figure BDA00034025328000001211
表示询问样本与支撑样本集中第m个样本类别的相似度，C为询问样本的特征维度，
Figure BDA00034025328000001212
表示第m个样本类别的类别交互特征矩阵，和询问样本的询问交互特征矩阵之间的交叉协方差矩阵，
Figure BDA00034025328000001213
表示对交叉协方差矩阵进行范数(Frobenius)处理。
交叉协方差矩阵具体计算原理如公式(8)：
Figure BDA0003402532800000131
其中，
Figure BDA0003402532800000132
表示第m个样本类别的类别交互特征矩阵，
Figure BDA0003402532800000133
表示询问样本的询问交互特征矩阵，T表示转置计算。
本实施例中，计算得到询问样本与支撑样本集中每一个样本类别的相似度后，根据各个相似度，确定询问样本的所属类别。根据相似度确定所属类别的实施过程，可以根据实际情况和需要进行设定，例如，将各个相似度按照从大到小排序，将最大相似度对应的样本类别作为询问样本的所属类别。当然，还可以引入其他参数或者处理方式对相似度进行处理，本申请的保护范围不以通过相似度确定询问样本所属类别的具体实施方式为限制。
一个具体的实施例中，本方法应用于图片分类场景，支撑样本集S中的支撑样本，以及待分类的询问样本
Figure BDA0003402532800000134
的数据格式均为图片。如图2所示，设置全局-局部信息并发学习模块，该模块用于局部特征、全局特征和交互特征的获取。将询问样本
Figure BDA0003402532800000135
输入至全局-局部信息并发学习模块后，全局-局部信息并发学习模块提取询问样本
Figure BDA0003402532800000136
的询问局部特征，并根据询问局部特征获取询问样本
Figure BDA0003402532800000137
的询问全局特征，最后根据询问局部特征和询问全局特征，得到询问样本
Figure BDA0003402532800000138
的询问交互特征(交互特征又称全局-局部交互信息特征)。将包含至少一个样本类别的支撑样本集S中，每一个支撑样本逐个输入全局-局部信息并发学习模块，全局-局部信息并发学习模块提取每一个支撑样本的支撑局部特征，并根据每一个支撑样本的支撑局部特征，获取每一个支撑样本的支撑全局特征，最后根据每一个支撑样本的支撑局部特征和支撑全局特征，获取支撑样本集S中每一个样本类别对应的类别交互特征(交互特征又称全局-局部交互信息特征)。
获取询问样本
Figure BDA0003402532800000139
的询问交互特征和支撑样本集S中每一个样本类别对应的类别交互特征后，通过交叉协方差估计计算询问样本
Figure BDA0003402532800000141
和支撑样本集中每个样本类别的相似度。
使用该相似度，一方面可以在小样本学习模型的模型训练阶段，使用相似度构建损失函数以完成模型的训练；另一方面，可以在小样本学习模型的使用阶段，使用相似度完成该模型对询问样本
Figure BDA0003402532800000142
所属类别的预测。
本公开提供的小样本学习处理方法，在对询问样本进行处理时，除提取询问样本的询问局部特征外，还通过询问局部特征获得询问样本的询问全局特征。然后得到询问局部特征和询问全局特征交互形成的询问交互特征。最后根据询问交互特征和支撑样本集得到该询问样本的所属类别。上述提供的小样本学习处理过程，并不是对询问样本的询问局部特征进行单独处理，而是获取包含询问局部特征和询问全局特征的询问交互特征，对询问交互特征进行处理。这样，实现利用询问全局特征和询问局部特征之间的相互作用，来对询问样本的局部区域进行语义对齐，提高小样本学习过程的处理效率，使采用小样本学习处理得到的询问样本所属类别更加准确。
并且，基于全局-局部信息交互的小样本学习算法，利用全局特征和局部特征之间的相互作用来指导语义对齐，能够克服现有技术对全局信息的忽视，显著降低了与全局信息无关的语义的权重，降低了特征空间中每个类中学习特征的可变性，从而降低了学习的时间成本，进一步提高小样本学习方法的学习效率，提升训练得到的小样本学习模型的性能。
下面对本公开实施例提供的小样本学习处理装置进行描述，下文描述的小样本学习处理装置与上文描述的小样本学习处理方法可相互对应参照，重复之处不在赘述。如图3所示，小样本学习处理装置包括：
提取模块301，用于提取询问样本的询问局部特征；
第一获取模块302，用于基于局部特征，获取询问样本的询问全局特征；
第二获取模块303，用于基于询问局部特征和询问全局特征，获取询问样本的询问交互特征，其中，询问交互特征由询问局部特征和询问全局特征交互形成；
类别确定模块304，用于通过询问交互特征和支撑样本集，确定询问样本的所属类别，其中，支撑样本集包括至少一个样本类别，每一个样本类别包括至少一个支撑样本。
一个实施例中，提取模块301，具体用于提取询问样本的询问局部特征矩阵；
第一获取模块302，具体用于获取询问局部特征矩阵包含的至少一个行向量；分别将每一个行向量与预设的第一可学习参数相乘，得到至少一个加权行向量；获取至少一个加权行向量的第一平均值；将第一平均值与预设的第二可学习参数相乘，获得询问样本的询问全局特征矩阵。
一个实施例中，第二获取模块303，具体用于将询问局部特征矩阵和询问全局特征矩阵叠加，获得询问样本的询问交互特征矩阵。
一个实施例中，类别确定模块304，具体用于获取支撑样本集中每一个样本类别对应的类别交互特征；根据询问交互特征和类别交互特征，分别计算询问样本与每一个样本类别的相似度；根据至少一个相似度，确定询问样本的所属类别。
一个实施例中，类别确定模块304，具体用于获取每一个类别交互特征，获得每一个类别交互特征的处理过程如下：提取样本类别包含的每一个支撑样本的支撑局部特征；计算样本类别对应的至少一个支撑局部特征的第二平均值；基于样本类别内每一个支撑样本的支撑局部特征，分别获取样本类型包含的每一个支撑样本的支撑全局特征；计算样本类别对应的至少一个支撑全局特征的第三平均值；叠加第二平均值和第三平均值，获得样本类别对应的类别交互特征。
一个实施例中，类别确定模块304，具体用于分别计算询问交互特征矩阵，与每一个样本类别对应的类别交互特征矩阵的交叉协方差矩阵；基于每一个交叉协方差矩阵，分别计算询问样本与每一个样本类别的相似度，其中，询问交互特征为询问交互特征矩阵，类别交互特征为类别交互特征矩阵。
一个实施例中，询问样本包括图片样本或视频样本中的任意一种。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)401、通信接口(Communications Interface)402、存储器(memory)403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信。处理器401可以调用存储器403中的逻辑指令，以执行小样本学习处理方法，该方法包括：提取询问样本的询问局部特征；基于询问局部特征，获取询问样本的询问全局特征；基于询问局部特征和询问全局特征，获取询问样本的询问交互特征，其中，询问交互特征由询问局部特征和询问全局特征交互形成；通过询问交互特征和支撑样本集，确定询问样本的所属类别，其中，支撑样本集包括至少一个样本类别，每一个样本类别包括至少一个支撑样本。
此外，上述的存储器403中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本公开还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的小样本学习处理方法，该方法包括：提取询问样本的询问局部特征；基于询问局部特征，获取询问样本的询问全局特征；基于询问局部特征和询问全局特征，获取询问样本的询问交互特征，其中，询问交互特征由询问局部特征和询问全局特征交互形成；通过询问交互特征和支撑样本集，确定询问样本的所属类别，其中，支撑样本集包括至少一个样本类别，每一个样本类别包括至少一个支撑样本。
又一方面，本公开还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的小样本学习处理方法，该方法包括：提取询问样本的询问局部特征；基于询问局部特征，获取询问样本的询问全局特征；基于询问局部特征和询问全局特征，获取询问样本的询问交互特征，其中，询问交互特征由询问局部特征和询问全局特征交互形成；通过询问交互特征和支撑样本集，确定询问样本的所属类别，其中，支撑样本集包括至少一个样本类别，每一个样本类别包括至少一个支撑样本。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围。

Claims (10)

1.一种小样本学习处理方法，其特征在于，包括：
提取询问样本的询问局部特征；
基于所述询问局部特征，获取所述询问样本的询问全局特征；
所述基于所述询问局部特征和所述询问全局特征，获取所述询问样本的询问交互特征，其中，所述询问交互特征由所述询问局部特征和所述询问全局特征交互形成；
通过所述询问交互特征和支撑样本集，确定所述询问样本的所属类别，其中，所述支撑样本集包括至少一个样本类别，每一个所述样本类别包括至少一个支撑样本。
2.根据权利要求1所述的小样本学习处理方法，其特征在于，所述提取询问样本的询问局部特征，包括：
提取所述询问样本的询问局部特征矩阵；
所述基于所述询问局部特征，获取所述询问样本的询问全局特征，包括：
获取所述询问局部特征矩阵包含的至少一个行向量；
分别将每一个所述行向量与预设的第一可学习参数相乘，得到至少一个加权行向量；
获取所述至少一个所述加权行向量的第一平均值；
将所述第一平均值与预设的第二可学习参数相乘，获得所述询问样本的所述询问全局特征矩阵。
3.根据权利要求2所述的小样本学习处理方法，其特征在于，所述基于所述询问局部特征和所述询问全局特征，获取所述询问样本的询问交互特征，包括：
将所述询问局部特征矩阵和所述询问全局特征矩阵叠加，获得所述询问样本的询问交互特征矩阵。
4.根据权利要求1所述的小样本学习处理方法，其特征在于，所述通过所述询问交互特征和支撑样本集，确定所述询问样本的所属类别，包括：
获取所述支撑样本集中每一个所述样本类别对应的类别交互特征；
根据所述询问交互特征和所述类别交互特征，分别计算所述询问样本与每一个所述样本类别的相似度；
根据至少一个所述相似度，确定所述询问样本的所述所属类别。
5.根据权利要求4所述的小样本学习处理方法，其特征在于，获得每一个所述类别交互特征的处理过程如下：
提取所述样本类别包含的每一个所述支撑样本的支撑局部特征；
计算所述样本类别对应的至少一个所述支撑局部特征的第二平均值；
基于所述样本类别内每一个所述支撑样本的所述支撑局部特征，分别获取所述样本类型包含的每一个所述支撑样本的支撑全局特征；
计算所述样本类别对应的至少一个所述支撑全局特征的第三平均值；
叠加所述第二平均值和所述第三平均值，获得所述样本类别对应的所述类别交互特征。
6.根据权利要求4所述的小样本学习处理方法，其特征在于，所述询问交互特征为询问交互特征矩阵，所述类别交互特征为类别交互特征矩阵；
所述根据所述询问交互特征和所述类别交互特征，分别计算所述询问样本与每一个所述样本类别的相似度，包括：
分别计算所述询问交互特征矩阵，与每一个所述样本类别对应的所述类别交互特征矩阵的交叉协方差矩阵；
基于每一个所述交叉协方差矩阵，分别计算所述询问样本与每一个所述样本类别的相似度。
7.根据权利要求1所述的小样本学习处理方法，其特征在于，所述询问样本包括图片样本或视频样本中的任意一种。
8.一种小样本学习处理装置，其特征在于，包括：
提取模块，用于提取询问样本的询问局部特征；
第一获取模块，用于基于所述局部特征，获取所述询问样本的询问全局特征；
第二获取模块，用于所述基于所述询问局部特征和所述询问全局特征，获取所述询问样本的询问交互特征，其中，所述询问交互特征由所述询问局部特征和所述询问全局特征交互形成；
类别确定模块，用于通过所述询问交互特征和支撑样本集，确定所述询问样本的所属类别，其中，所述支撑样本集包括至少一个样本类别，每一个所述样本类别包括至少一个支撑样本。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述小样本学习处理方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述小样本学习处理方法的步骤。
CN202111500914.0A 2021-12-09 2021-12-09 小样本学习处理方法、装置、设备及存储介质 Pending CN114154512A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111500914.0A CN114154512A (zh) 2021-12-09 2021-12-09 小样本学习处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111500914.0A CN114154512A (zh) 2021-12-09 2021-12-09 小样本学习处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114154512A true CN114154512A (zh) 2022-03-08

Family

ID=80454251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111500914.0A Pending CN114154512A (zh) 2021-12-09 2021-12-09 小样本学习处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114154512A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019052403A1 (zh) * 2017-09-12 2019-03-21 腾讯科技（深圳）有限公司 图像文本匹配模型的训练方法、双向搜索方法及相关装置
CN110599462A (zh) * 2019-08-23 2019-12-20 东南大学 一种基于不平衡Fisher判别分析的尿沉渣检测方法
US20200104369A1 (en) * 2018-09-27 2020-04-02 Apple Inc. Sentiment prediction from textual data
US20200242486A1 (en) * 2019-01-29 2020-07-30 Ricoh Company, Ltd. Method and apparatus for recognizing intention, and non-transitory computer-readable recording medium
CN111507381A (zh) * 2020-03-31 2020-08-07 上海商汤智能科技有限公司 图像识别方法及相关装置、设备
CN112598091A (zh) * 2021-03-08 2021-04-02 北京三快在线科技有限公司 一种训练模型和小样本分类的方法及装置
US20210357806A1 (en) * 2020-05-15 2021-11-18 Hon Hai Precision Industry Co., Ltd. Machine learning model training method and machine learning model training device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019052403A1 (zh) * 2017-09-12 2019-03-21 腾讯科技（深圳）有限公司 图像文本匹配模型的训练方法、双向搜索方法及相关装置
US20200104369A1 (en) * 2018-09-27 2020-04-02 Apple Inc. Sentiment prediction from textual data
US20200242486A1 (en) * 2019-01-29 2020-07-30 Ricoh Company, Ltd. Method and apparatus for recognizing intention, and non-transitory computer-readable recording medium
CN110599462A (zh) * 2019-08-23 2019-12-20 东南大学 一种基于不平衡Fisher判别分析的尿沉渣检测方法
CN111507381A (zh) * 2020-03-31 2020-08-07 上海商汤智能科技有限公司 图像识别方法及相关装置、设备
US20210357806A1 (en) * 2020-05-15 2021-11-18 Hon Hai Precision Industry Co., Ltd. Machine learning model training method and machine learning model training device
CN112598091A (zh) * 2021-03-08 2021-04-02 北京三快在线科技有限公司 一种训练模型和小样本分类的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨欣;费树岷;陈丽娟;: "小样本条件下基于全局和局部特征融合的人脸识别", 信号处理, no. 01, 29 February 2008 (2008-02-29), pages 49 - 53 *
温津伟, 罗四维, 王宝静: "多类模式识别的动态多叉树算法研究与实现", 计算机研究与发展, no. 01, 30 January 2003 (2003-01-30), pages 115 - 122 *

Similar Documents

Publication Publication Date Title
CN111192292B (zh) 基于注意力机制与孪生网络的目标跟踪方法及相关设备
CN106557778B (zh) 通用物体检测方法和装置、数据处理装置和终端设备
CN109117781B (zh) 多属性识别模型的建立方法、装置及多属性识别方法
KR102591961B1 (ko) 모델 트레이닝 방법 및 장치, 및 이를 위한 단말 및 저장 매체
CN109446889B (zh) 基于孪生匹配网络的物体追踪方法及装置
CA3066029A1 (en) Image feature acquisition
CN110598603A (zh) 人脸识别模型获取方法、装置、设备和介质
CN109726195B (zh) 一种数据增强方法及装置
CN114897136B (zh) 多尺度注意力机制方法及模块和图像处理方法及装置
CN112668638A (zh) 一种图像美学质量评估和语义识别联合分类方法及系统
CN115424288A (zh) 一种基于多维度关系建模的视觉Transformer自监督学习方法及系统
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
CN113591978A (zh) 一种基于置信惩罚正则化的自我知识蒸馏的图像分类方法、设备及存储介质
CN114299304A (zh) 一种图像处理方法及相关设备
CN113223037A (zh) 一种面向大规模数据的无监督语义分割方法及系统
CN114896436B (zh) 一种基于表征互信息的网络结构搜索方法
CN114154512A (zh) 小样本学习处理方法、装置、设备及存储介质
CN114429648B (zh) 一种基于对比特征的行人重识别方法及系统
CN115359296A (zh) 图像识别方法、装置、电子设备及存储介质
CN115758245A (zh) 一种多模态数据分类方法、装置、设备和存储介质
CN117351382A (zh) 视频对象定位方法及其装置、存储介质、程序产品
CN111061774B (zh) 搜索结果准确性判断方法、装置、电子设备及存储介质
CN113963235A (zh) 一种跨类别图像识别模型重用方法和系统
CN103530656B (zh) 基于隐结构学习的图像摘要生成方法
CN113989597B (zh) 车辆重识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination