CN111652320B - 一种样本分类方法、装置、电子设备及存储介质 - Google Patents

一种样本分类方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111652320B
CN111652320B CN202010522167.XA CN202010522167A CN111652320B CN 111652320 B CN111652320 B CN 111652320B CN 202010522167 A CN202010522167 A CN 202010522167A CN 111652320 B CN111652320 B CN 111652320B
Authority
CN
China
Prior art keywords
sample
training
test
label
test sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010522167.XA
Other languages
English (en)
Other versions
CN111652320A (zh
Inventor
张发恩
刘金露
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation Wisdom Shanghai Technology Co ltd
Original Assignee
Innovation Wisdom Shanghai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation Wisdom Shanghai Technology Co ltd filed Critical Innovation Wisdom Shanghai Technology Co ltd
Priority to CN202010522167.XA priority Critical patent/CN111652320B/zh
Publication of CN111652320A publication Critical patent/CN111652320A/zh
Application granted granted Critical
Publication of CN111652320B publication Critical patent/CN111652320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种样本分类方法、装置、电子设备及存储介质，用于改善使用目前的方法训练后的模型进行分类的准确率较低的问题。该方法包括：使用由第一样本集训练获得的特征提取器提取第二样本集中的训练样本的特征，第一样本集中的样本数量大于第二样本集中的样本数量，第二样本集包括：测试样本、训练标签和训练样本；根据提取的训练样本的特征和测试样本，确定测试样本对应的初始标签；使用测试样本、初始标签、训练样本和训练标签训练特征提取器，获得训练后的特征提取器；使用训练后的特征提取器提取测试样本的特征；根据测试样本的特征和测试样本，确定测试样本对应的测试标签。

Description

一种样本分类方法、装置、电子设备及存储介质
技术领域
本申请涉及机器学习、模型训练和图像分类的技术领域，具体而言，涉及一种样本分类方法、装置、电子设备及存储介质。
背景技术
模型训练，是指根据训练数据对目标模型进行训练，具体的训练方式根据训练数据的情况可以包括：监督式学习和无监督学习等方式。监督式学习(Supervisedlearning)，又被称为监督式训练，是机器学习的一种方法，可以由训练资料中学到或建立一个学习模式或学习函数，并依此模式推测新的实例。通常训练数据可以包括训练集和测试集，使用训练集对模型进行训练，获得训练后的模型，再使用测试集预测训练后的模型的准确率。
类原型(Class Prototype)，是模型训练中一个通用的概念，类原型可以理解为在分类任务的过程中模型将样本分类为该类的基本依据特征；具体例如：若苹果是一个类别，而梨是另一个类别，将苹果和梨的各种图片放入到一个模型中，让模型学习到每个类的类原型，通常来说一个类别只有一个类原型，苹果的各种图片是与苹果的类原型更相似的，而与梨的类原型不相似，类原型可以理解为这个类别抽象的代表。
在监督式训练过程中，若训练集中的某个类别的样本过少，即训练集中的该类别只有少量样本能够被使用，目前的主要做法是：从训练集中的该类别少量样本中学习一个类原型，具体例如：利用训练集中的该类别的样本均值作为类原型，然后通过计算待分类样本与这个类原型的距离来进行分类。在具体的实践过程中发现，通过使用训练集中的该类别少量样本训练后，再使用样本均值作为类原型的方法训练的模型进行分类的准确率较低；也就是说，使用目前的方法训练后的模型进行分类的准确率较低。
发明内容
本申请实施例的目的在于提供一种样本分类方法、装置、电子设备及存储介质，用于改善使用目前的方法训练后的模型进行分类的准确率较低的问题。
本申请实施例提供一种样本分类方法，包括：使用由第一样本集训练获得的特征提取器提取第二样本集中的训练样本的特征，第一样本集中的样本数量大于第二样本集中的样本数量，第二样本集包括：测试样本、训练标签和训练样本；根据提取的训练样本的特征和测试样本，确定测试样本对应的初始标签；使用测试样本、初始标签、训练样本和训练标签训练特征提取器，获得训练后的特征提取器；使用训练后的特征提取器提取测试样本的特征；根据测试样本的特征和测试样本，确定测试样本对应的测试标签。在上述的实现过程中，先根据测试样本获得的特征和测试样本确定初始标签，使用初始标签、测试样本和训练集训练特征提取器，即对类原型进行校正的过程，再使用训练后的特征提取器提取测试样本的特征；根据测试样本的特征和测试样本，确定测试样本对应的测试标签；也就是说，将获得的测试样本的预测标签加入训练数据对特征训练器重新训练后，再使用训练后的特征训练器对测试样本进行分类，从而有效地提高了使用模型对测试样本进行分类的准确率。
可选地，在本申请实施例中，根据提取的训练样本的特征和测试样本，确定测试样本对应的初始标签，包括：根据训练样本的特征确定初始类原型；根据初始类原型与测试样本的相似程度，确定测试样本对应的初始标签。在上述的实现过程中，通过根据训练样本的特征确定初始类原型；根据初始类原型与测试样本的相似程度，确定测试样本对应的初始标签；从而有效地提高了使用模型对测试样本进行分类的准确率。
可选地，在本申请实施例中，使用测试样本、初始标签、训练样本和训练标签训练特征提取器，包括：将测试样本和训练样本合并，获得数据集；将初始标签和训练标签合并，获得标签集；以数据集为训练数据，以标签集为训练标签，对特征提取器进行训练。在上述的实现过程中，通过将测试样本和训练样本合并，获得数据集；将初始标签和训练标签合并，获得标签集；以数据集为训练数据，以标签集为训练标签，对特征提取器进行训练；从而有效地提高了获得训练后的特征提取器的速度。
可选地，在本申请实施例中，根据测试样本的特征和测试样本，确定测试样本对应的测试标签，包括：根据测试样本的特征确定目标类原型；根据目标类原型与测试样本的相似程度，确定测试样本对应的测试标签。在上述的实现过程中，通过根据测试样本的特征确定目标类原型；根据目标类原型与测试样本的相似程度，确定测试样本对应的测试标签；从而有效地提高了确定测试样本对应的测试标签的速度。
可选地，在本申请实施例中，在确定测试样本对应的测试标签之后，还包括：将测试样本和测试标签确定为测试集；将训练样本和训练标签确定为训练集；对训练集和测试集进行交叉验证，获得第二样本集的标签准确率。在上述的实现过程中，通过将测试样本和测试标签确定为测试集；将训练样本和训练标签确定为训练集；对训练集和测试集进行交叉验证，获得第二样本集的标签准确率；从而有效地提高了获得第二样本集的标签准确率的速度。
可选地，在本申请实施例中，特征提取器包括卷积神经网络；在使用由第一样本集训练获得的特征提取器提取第二样本集中的训练样本的特征之前，还包括：获得第一样本集；使用第一样本集训练卷积神经网络，获得特征提取器。
在上述的实现过程中，通过获得第一样本集；使用第一样本集训练卷积神经网络，获得特征提取器；从而有效地提高了获得训练后的特征提取器的速度。
可选地，在本申请实施例中，第一样本集包括：样本数据和样本标签；使用第一样本集训练卷积神经网络，包括：使用卷积神经网络提取样本数据的特征，获得样本特征；将样本特征进行均值归一化，获得样本类原型；根据样本类原型与样本数据的相似程度，确定样本数据的预测标签；根据预测标签和样本标签的损失值对卷积神经网络进行训练。在上述的实现过程中，通过使用卷积神经网络提取样本数据的特征，获得样本特征；将样本特征进行均值归一化，获得样本类原型；根据样本类原型与样本数据的相似程度，确定样本数据的预测标签；根据预测标签和样本标签的损失值对卷积神经网络进行训练；从而有效地减少了对卷积神经网络进行训练的训练时间，提高了对卷积神经网络进行训练的效率。
本申请实施例还提供了一种样本分类装置，包括：第一特征提取模块，用于使用由第一样本集训练获得的特征提取器提取第二样本集中的训练样本的特征，第一样本集中的样本数量大于第二样本集中的样本数量，第二样本集包括：测试样本、训练标签和训练样本；初始标签确定模块，用于根据提取的训练样本的特征和测试样本，确定测试样本对应的初始标签；提取器获得模块，用于使用测试样本、初始标签、训练样本和训练标签训练特征提取器，获得训练后的特征提取器；第二特征提取模块，用于使用训练后的特征提取器提取测试样本的特征；测试标签确定模块，用于根据测试样本的特征和测试样本，确定测试样本对应的测试标签。在上述的实现过程中，先根据测试样本获得的特征和测试样本确定初始标签，使用初始标签、测试样本和训练集训练特征提取器，即对类原型进行校正的过程，再使用训练后的特征提取器提取测试样本的特征；根据测试样本的特征和测试样本，确定测试样本对应的测试标签；也就是说，将获得的测试样本的预测标签加入训练数据对特征训练器重新训练后，再使用训练后的特征训练器对测试样本进行分类，从而有效地提高了使用模型对测试样本进行分类的准确率。
可选地，在本申请实施例中，初始标签确定模块，包括：第一原型确定模块，用于根据训练样本的特征确定初始类原型；第一标签确定模块，用于根据初始类原型与测试样本的相似程度，确定测试样本对应的初始标签。
可选地，在本申请实施例中，提取器获得模块，包括：数据集获得模块，用于将测试样本和训练样本合并，获得数据集；标签集获得模块，用于将初始标签和训练标签合并，获得标签集；提取器训练模块，用于以数据集为训练数据，以标签集为训练标签，对特征提取器进行训练。
可选地，在本申请实施例中，测试标签确定模块，包括：第二原型确定模块，用于根据测试样本的特征确定目标类原型；第二标签确定模块，用于根据目标类原型与测试样本的相似程度，确定测试样本对应的测试标签。
可选地，在本申请实施例中，样本分类装置，还包括：测试集确定模块，用于将测试样本和测试标签确定为测试集；训练集确定模块，用于将训练样本和训练标签确定为训练集；交叉验证模块，用于对训练集和测试集进行交叉验证，获得第二样本集的标签准确率。
可选地，在本申请实施例中，特征提取器包括卷积神经网络；样本分类装置，还包括：样本集获得模块，用于获得第一样本集；第一网络训练模块，用于使用第一样本集训练卷积神经网络，获得特征提取器。
可选地，在本申请实施例中，第一样本集包括：样本数据和样本标签；第一网络训练模块，包括：样本特征获得模块，用于使用卷积神经网络提取样本数据的特征，获得样本特征；样本原型获得模块，用于将样本特征进行均值归一化，获得样本类原型；预测标签确定模块，用于根据样本类原型与样本数据的相似程度，确定样本数据的预测标签；第二网络训练模块，用于根据预测标签和样本标签的损失值对卷积神经网络进行训练。
本申请实施例还提供了一种电子设备，包括：处理器和存储器，存储器存储有处理器可执行的机器可读指令，机器可读指令被处理器执行时执行如上面描述的方法。
本申请实施例还提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上面描述的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出的本申请实施例提供的样本分类方法的流程示意图；
图2示出的本申请实施例提供的样本分类方法的分阶段的示意图；
图3示出的本申请实施例提供的交叉验证方法的流程示意图；
图4示出的本申请实施例提供的样本分类装置的结构示意图；
图5示出的本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。
在介绍本申请实施例提供的样本分类方法之前，先介绍本申请实施例所涉及的一些概念：
机器学习，是指人工智能领域中研究人类学习行为的一个分支。借鉴认知科学、生物学、哲学、统计学、信息论、控制论、计算复杂性等学科或理论的观点，通过归纳、一般化、特殊化、类比等基本方法探索人类的认识规律和学习过程，建立各种能通过经验自动改进的算法，使计算机系统能够具有自动学习特定知识和技能的能力；机器学习的主要方法包括：决策树、贝叶斯学习、基于实例的学习、遗传算法、规则学习、基于解释的学习等。
卷积神经网络(Convolutional Neural Networks，CNN)，是一种人工神经网络，人工神经网络的人工神经元可以响应周围单元，可以进行大型图像处理；卷积神经网络可以包括卷积层和池化层。卷积神经网络包括一维卷积神经网络、二维卷积神经网络以及三维卷积神经网络。一维卷积神经网络常应用于序列类的数据处理；二维卷积神经网络常应用于图像类文本的识别；三维卷积神经网络主要应用于医学图像以及视频类数据识别。
循环神经网络(Recurrent Neural Network，RNN)，又称递归神经网络，是一类以序列数据为输入，在序列的演进方向进行递归(recursion)且所有节点(循环单元)按链式连接的递归神经网络(recursive neural network)；循环神经网络的核心部分是一个有向图；该有向图展开中以链式相连的元素被称为循环单元(RNN cell)；通常地，循环单元构成的链式连接可类比前馈神经网络中的隐含层(hidden layer)，但在不同的论述中，循环神经网络的“层”可能指单个时间步的循环单元或所有的循环单元。
服务器是指通过网络提供计算服务的设备，服务器例如：x86服务器以及非x86服务器，非x86服务器包括：大型机、小型机和UNIX服务器。当然在具体的实施过程中，上述的服务器可以具体选择大型机或者小型机，这里的小型机是指采用精简指令集计算(ReducedInstruction Set Computing，RISC)、单字长定点指令平均执行速度(MillionInstructions Per Second，MIPS)等专用处理器，主要支持UNIX操作系统的封闭且专用的提供计算服务的设备；这里的大型机，又名大型主机，是指使用专用的处理器指令集、操作系统和应用软件来提供计算服务的设备。
需要说明的是，本申请实施例提供的样本分类方法可以被电子设备执行，这里的电子设备是指具有执行计算机程序功能的设备终端或者上述的服务器，设备终端例如：智能手机、个人电脑(personal computer，PC)、平板电脑、个人数字助理(personal digitalassistant，PDA)、移动上网设备(mobile Internet device，MID)、网络交换机或网络路由器等。
在介绍本申请实施例提供的样本分类方法之前，先介绍该样本分类方法适用的应用场景，这里的应用场景包括但不限于：使用该样本分类方法对少量样本的训练数据进行分类，或者使用该样本分类方法提高训练数据中的测试样本的分类正确率，或者使用该样本分类方法提高少量样本训练的模型的泛化性等。
请参见图1示出的本申请实施例提供的样本分类方法的流程示意图；该样本分类方法可以包括如下步骤：
步骤S110：使用由第一样本集训练获得的特征提取器提取第二样本集中的训练样本的特征，第一样本集包括：样本数据和样本标签。
第一样本集，是指在模型训练的过程中使用的大量训练样本的集合，这里的大量训练样本是指某个或者某些分类有大量的训练样本，能够充分地学习到该分类特征以及足够大的类间区分度的特征；其中，这里的第一样本集中的样本数量大于第二样本集中的样本数量；第一样本集具体例如：热销商品或者基础商品的图像样本数据的集合。
第二样本集，是指在模型训练的过程中某个分类下的少量训练样本的集合，这里的少量训练样本是指某个或者某些分类有少量的训练样本，难以充分地学习到该分类特征；其中，这里的第二样本集包括：测试样本、训练标签和训练样本；第二样本集具体例如：稀缺商品的图像样本数据的集合，或者少量图像样本数据的集合。
特征提取器，是指用于提取样本数据中的特征的神经网络；这里的特征提取器可以是深度神经网络，常用的深度神经网络包括：VGG网络、Resnet网络、Wide Resnet网络和Inception网络等；其中，VGG网络具体例如：VGG16或者VGG19；Resnet网络具体例如：Resnet12、Resnet50或者Resnet101；Wide Resnet网络具体例如Wide Resnet-28-10网络，这里的Wide Resnet-28-10网络有时又被缩写为WRN-28-10；Inception网络具体例如：Inception v1、Inception v2或者Inception v3。
请参见图2示出的本申请实施例提供的样本分类方法的分阶段的示意图；可以理解的是，上述的样本分类方法可以分为两个阶段，第一阶段为使用第一样本集训练特征提取器，即使用基础商品的训练样本训练特征提取器；第二阶段为使用训练后的特征提取器处理第二样本集的样本数据，这里的第二样本集的样本数据可以理解为图中的稀缺商品的训练样本和测试样本。下面介绍第一阶段的方法，在使用由第一样本集训练获得的特征提取器提取第二样本集中的训练样本的特征之前，还需要对特征提取器进行训练，对特征提取器进行训练的具体实施方式可以包括：
步骤S111：获得第一样本集。
上述步骤S111中的第一样本集包括：样本数据和样本标签，其中，样本数据和样本标签可以分开获取，也可以将样本数据和样本标签作为一个第一样本集的整体获取；其中，第一样本集的获得方式包括：第一种方式，获取预先存储的第一样本集，从文件系统中获取第一样本集，或者从数据库中获取第一样本集；第二种方式，从其他终端设备接收第一样本集,这里的其他终端设备例如：监控摄像头或摄像机等；第三种方式，使用浏览器等软件获取互联网上的第一样本集，或者使用其它应用程序访问互联网获得第一样本集；第四种方式，人工地收集第一样本集中的样本图像，并人工地对样本图像打标签，获得样本标签，并将样本图像和样本标签确定为第一样本集。
步骤S112：使用第一样本集训练卷积神经网络，获得特征提取器。
上述步骤S112中的使用第一样本集训练卷积神经网络的实施方式例如：上述的卷积神经网络例如：LeNet、AlexNet、VGG、GoogLeNet或ResNet等网络，使用第一样本集训练LeNet、AlexNet、VGG、GoogLeNet或ResNet等网络获得对应地网络模型，将对应地网络模型确定为特征提取器。在上述的实现过程中，通过获得第一样本集；使用第一样本集训练卷积神经网络，获得特征提取器；从而有效地提高了获得训练后的特征提取器的速度。
上述的步骤S112的实施方式具体可以包括如下步骤：
步骤S113：使用卷积神经网络提取样本数据的特征，获得样本特征。
样本特征，是指使用卷积神经网络提取样本数据的特征，这里的样本数据可以是图片，提取到图片中的样本特征包括：颜色特征、纹理特征、形状特征、深度特征和空间关系特征等等。
上述步骤S113中的使用卷积神经网络提取样本数据的特征的实施方式例如：使用LeNet、AlexNet、VGG、GoogLeNet或ResNet等网络模型提取样本数据的样本特征，这里的样本特征可以是深度特征，这里的深度特征是指通过深度神经网络计算获得的高维向量，一般的高维向量例如：1024维向量或者2048维向量。
步骤S114：将样本特征进行均值归一化，获得样本类原型。
上述步骤S114中的将样本特征进行均值归一化的实施方式例如：根据
Figure BDA0002532483650000101
或者
Figure BDA0002532483650000102
将样本特征进行均值归一化，获得样本类原型；其中，x代表样本类原型，value代表当前样本特征，u代表所有样本特征的均值，max代表所有样本特征中的最大值，min代表所有样本特征中的最小值。
步骤S115：根据样本类原型与样本数据的相似程度，确定样本数据的预测标签。
相似程度，是指表征两个特征矩阵或者两个样本数据之间相似性的程度，这里的相似程度具体例如：余弦距离、余弦相似度、汉明距离或欧氏距离等等。
上述步骤S115中的确定样本数据的预测标签的实施方式例如：计算样本类原型与多个样本数据的余弦距离，获得多个余弦距离；根据多个余弦距离对多个样本数据确定样本数据的类别；将样本数据的类别确定为该样本数据的预测标签；具体例如：若样本数据可以分为两种类别：第一类别和第二类别；第一类别和第二类别的样本类原型的特征值分别为1和99；计算一个新样本数据与第一类别的第一余弦距离为81，该新样本数据与第二类别的第二余弦距离为17，可以看出，第一余弦距离大于第二余弦距离表明该新样本数据更接近第二类别，因此，可以将该新样本数据的预测标签设置为第二类别。
步骤S116：根据预测标签和样本标签的损失值对卷积神经网络进行训练，获得特征提取器。
上述步骤S116中的根据预测标签和样本标签的损失值对卷积神经网络进行训练的实施方式例如：计算预测标签与样本标签之间的损失值；根据该损失值继续对卷积神经网络进行训练，直到该损失值小于预设阈值时，获得卷积神经网络模型，将这里的卷积神经网络模型确定为特征提取器；这里的预设阈值可以根据具体实际情况进行设置。在上述的实现过程中，通过使用卷积神经网络提取样本数据的特征，获得样本特征；将样本特征进行均值归一化，获得样本类原型；根据样本类原型与样本数据的相似程度，确定样本数据的预测标签；根据预测标签和样本标签的损失值对卷积神经网络进行训练；从而有效地减少了对卷积神经网络进行训练的训练时间，提高了对卷积神经网络进行训练的效率。
步骤S120：根据提取的训练样本的特征和测试样本，确定测试样本对应的初始标签。
初始标签，是指测试样本对应的初始数据标签，也可以理解为测试样本的临时标签或者伪标签，该数据标签用于加入训练数据的标签，并使用训练数据对模型训练。
上述步骤S120中的确定测试样本对应的初始标签的实施方式可以包括：
步骤S121：根据训练样本的特征确定初始类原型。
初始类原型，是指利用第二样本集中的训练样本获得的初始类原型，换句话说，初始类原型也可以理解为模型对第二样本集中的训练样本进行分类的基本依据特征。
上述步骤S121中的根据训练样本的特征确定初始类原型的实施方式例如：将第二样本集中的训练样本输入特征提取器，由特征提取器输出第二样本集中的训练样本分类的基本依据特征，将训练样本分类的基本依据特征确定为初始类原型。
步骤S122：根据初始类原型与测试样本的相似程度，确定测试样本对应的初始标签。
其中，该步骤的实施原理和实施方式与步骤S115的实施原理和实施方式是相似或类似的，区别仅在于计算对象不同以及计算结果不同，但计算方式均相似或者类似，因此，这里不再对该步骤的实施方式和实施原理进行说明，如有不清楚的地方，可以参考对步骤S115的描述。
在上述的实现过程中，通过根据训练样本的特征确定初始类原型；根据初始类原型与测试样本的相似程度，确定测试样本对应的初始标签；从而有效地提高了使用模型对测试样本进行分类的准确率。
步骤S130：使用测试样本、初始标签、训练样本和训练标签训练特征提取器，获得训练后的特征提取器。
其中，测试样本的数量与初始标签的数量是对应相同或者成倍数关系的，训练样本的数量与训练标签的数量是对应相同或者成倍数关系的，具体例如：若测试样本的数量为10个，那么初始标签的数量也可以为10个；若训练样本的数量为9990个，那么训练标签的数量也可以为9990个。
上述步骤S130中的使用测试样本、初始标签、训练样本和训练标签训练特征提取器实施方式可以包括：
步骤S131：将测试样本和训练样本合并，获得数据集。
上述的步骤S131的实施方式例如：若测试样本的数量为10个，训练样本的数量为9990个，那么将两者合并，获得的数据集的样本数量为10000。
步骤S132：将初始标签和训练标签合并，获得标签集。
上述的步骤S132的实施方式例如：若初始标签的数量为10个，训练标签的数量为9990个，那么将两者合并，获得的标签集的标签数量为10000。
步骤S133：以数据集为训练数据，以标签集为训练标签，对特征提取器进行训练，获得训练后的特征提取器。
其中，该步骤的实施原理和实施方式与步骤S116的实施原理和实施方式是相似或类似的，区别仅在于训练数据不同，因此，这里不再对该步骤的实施方式和实施原理进行说明，如有不清楚的地方，可以参考对步骤S116的描述。
在上述的实现过程中，通过将测试样本和训练样本合并，获得数据集；将初始标签和训练标签合并，获得标签集；以数据集为训练数据，以标签集为训练标签，对特征提取器进行训练；从而有效地提高了获得训练后的特征提取器的速度。
步骤S140：使用训练后的特征提取器提取测试样本的特征。
其中，该步骤的实施原理和实施方式与步骤S113的实施原理和实施方式是相似或类似的，区别仅在于提取对象不同以及提取的模型不同，但计算方式均相似或者类似，因此，这里不再对该步骤的实施方式和实施原理进行说明，如有不清楚的地方，可以参考对步骤S113的描述。
步骤S150：根据测试样本的特征和测试样本，确定测试样本对应的测试标签。
上述步骤S150中的确定测试样本对应的测试标签的实施方式可以包括：
步骤S151：根据测试样本的特征确定目标类原型。
上述步骤S151中的根据测试样本的特征确定目标类原型的实施方式例如：将第二样本集中的测试样本输入特征提取器，由特征提取器输出第二样本集中的测试样本分类的基本依据特征，将测试样本分类的基本依据特征确定为目标类原型。
步骤S152：根据目标类原型与测试样本的相似程度，确定测试样本对应的测试标签。
其中，该步骤的实施原理和实施方式与步骤S122的实施原理和实施方式是相似或类似的，区别仅在于计算对象不同以及计算结果不同，但计算方式均相似或者类似，因此，这里不再对该步骤的实施方式和实施原理进行说明，如有不清楚的地方，可以参考对步骤S122的描述。在上述的实现过程中，通过根据测试样本的特征确定目标类原型；根据目标类原型与测试样本的相似程度，确定测试样本对应的测试标签；从而有效地提高了确定测试样本对应的测试标签的速度。
在上述的实现过程中，先根据测试样本获得的特征和测试样本确定初始标签，使用初始标签、测试样本和训练集训练特征提取器，即对类原型进行校正的过程，再使用训练后的特征提取器提取测试样本的特征；根据测试样本的特征和测试样本，确定测试样本对应的测试标签；也就是说，将获得的测试样本的预测标签加入训练数据对特征训练器重新训练后，再使用训练后的特征训练器对测试样本进行分类，从而有效地提高了使用模型对测试样本进行分类的准确率。
请参见图3示出的本申请实施例提供的交叉验证方法的流程示意图；可选地，在本申请实施例中，在确定测试样本对应的测试标签之后，还可以进行交叉验证，从而获得样本集的训练标签的准确率，交叉验证的方法可以包括：
步骤S210：电子设备使用由第一样本集训练获得的特征提取器提取第二样本集中的训练样本的特征，第二样本集包括：测试样本、训练标签和训练样本。
步骤S220：电子设备根据提取的训练样本的特征和测试样本，确定测试样本对应的初始标签。
步骤S230：电子设备使用测试样本、初始标签、训练样本和训练标签训练特征提取器，获得训练后的特征提取器。
步骤S240：电子设备使用训练后的特征提取器提取测试样本的特征。
步骤S250：电子设备根据测试样本的特征和测试样本，确定测试样本对应的测试标签。
其中，上述步骤S210至步骤S250的实施原理和实施方式与步骤S110至步骤S150的实施原理和实施方式是相似或类似的，因此，这里不再对该步骤的实施方式和实施原理进行说明，如有不清楚的地方，可以参考对步骤S110至步骤S150的描述。
步骤S260：电子设备将测试样本和测试标签确定为测试集。
上述步骤S260中的电子设备将测试样本和测试标签确定为测试集的实施方式例如：若测试样本的数量为10个，测试标签的数量也为10个，那么测试集一共包括10对测试数据。
步骤S270：电子设备将训练样本和训练标签确定为训练集。
上述步骤S270中的电子设备将训练样本和训练标签确定为训练集的实施方式例如：若训练样本的数量为9990个，训练标签的数量也为9990个，那么训练集一共包括9990对训练数据。
步骤S280：电子设备对训练集和测试集进行交叉验证，获得第二样本集的标签准确率。
上述步骤S280中的电子设备对训练集和测试集进行交叉验证的实施方式例如：电子设备使用留一法和K重交叉验证法对训练集和测试集进行交叉验证(cross-validation)，获得第二样本集的标签准确率，这里的交叉验证是指一种利用已知数据集获取学习器的最优参数，以期望在未知数据集上获得最佳泛化性能；这里的交叉验证在给定的建模样本中，从全部样本中拿出大部分样本进行建模型，留小部分样本用刚建立的模型进行预测，并求这小部分样本的预测误差，记录小部分样本的预测误差的平方和。
在上述的实现过程中，通过将测试样本和测试标签确定为测试集；将训练样本和训练标签确定为训练集；对训练集和测试集进行交叉验证，获得第二样本集的标签准确率；从而有效地提高了获得第二样本集的标签准确率的速度。
请参见图4示出的本申请实施例提供的样本分类装置的结构示意图；本申请实施例提供了一种样本分类装置300，包括：
第一特征提取模块310，用于使用由第一样本集训练获得的特征提取器提取第二样本集中的训练样本的特征，第一样本集中的样本数量大于第二样本集中的样本数量，第二样本集包括：测试样本、训练标签和训练样本。
初始标签确定模块320，用于根据提取的训练样本的特征和测试样本，确定测试样本对应的初始标签。
提取器获得模块330，用于使用测试样本、初始标签、训练样本和训练标签训练特征提取器，获得训练后的特征提取器。
第二特征提取模块340，用于使用训练后的特征提取器提取测试样本的特征。
测试标签确定模块350，用于根据测试样本的特征和测试样本，确定测试样本对应的测试标签。
可选地，在本申请实施例中，初始标签确定模块，包括：
第一原型确定模块，用于根据训练样本的特征确定初始类原型。
第一标签确定模块，用于根据初始类原型与测试样本的相似程度，确定测试样本对应的初始标签。
可选地，在本申请实施例中，提取器获得模块，包括：
数据集获得模块，用于将测试样本和训练样本合并，获得数据集。
标签集获得模块，用于将初始标签和训练标签合并，获得标签集。
提取器训练模块，用于以数据集为训练数据，以标签集为训练标签，对特征提取器进行训练。
可选地，在本申请实施例中，测试标签确定模块，包括：
第二原型确定模块，用于根据测试样本的特征确定目标类原型。
第二标签确定模块，用于根据目标类原型与测试样本的相似程度，确定测试样本对应的测试标签。
可选地，在本申请实施例中，样本分类装置，还包括：
测试集确定模块，用于将测试样本和测试标签确定为测试集。
训练集确定模块，用于将训练样本和训练标签确定为训练集。
交叉验证模块，用于对训练集和测试集进行交叉验证，获得第二样本集的标签准确率。
可选地，在本申请实施例中，特征提取器包括卷积神经网络；样本分类装置，还包括：
样本集获得模块，用于获得第一样本集。
第一网络训练模块，用于使用第一样本集训练卷积神经网络，获得特征提取器。
可选地，在本申请实施例中，第一样本集包括：样本数据和样本标签；第一网络训练模块，包括：
样本特征获得模块，用于使用卷积神经网络提取样本数据的特征，获得样本特征。
样本原型获得模块，用于将样本特征进行均值归一化，获得样本类原型。
预测标签确定模块，用于根据样本类原型与样本数据的相似程度，确定样本数据的预测标签。
第二网络训练模块，用于根据预测标签和样本标签的损失值对卷积神经网络进行训练。
应理解的是，该装置与上述的样本分类方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括至少一个能以软件或固件(firmware)的形式存储于存储器中或固化在装置的操作系统(operating system，OS)中的软件功能模块。
请参见图5示出的本申请实施例提供的电子设备的结构示意图。本申请实施例提供的一种电子设备400，包括：处理器410和存储器420，存储器420存储有处理器410可执行的机器可读指令，机器可读指令被处理器410执行时执行如上的方法。
本申请实施例还提供了一种存储介质430，该存储介质430上存储有计算机程序，该计算机程序被处理器410运行时执行如上的方法。
其中，存储介质430可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory,简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory,简称EPROM)，可编程只读存储器(Programmable Red-Only Memory,简称PROM)，只读存储器(Read-Only Memory,简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
本申请实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请实施例的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请实施例各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上的描述，仅为本申请实施例的可选实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。

Claims (8)

1.一种样本分类方法，其特征在于，包括：
使用由第一样本集训练获得的特征提取器提取第二样本集中的训练样本的特征，所述第一样本集中的样本数量大于所述第二样本集中的样本数量，所述第二样本集包括：测试样本、训练标签和所述训练样本；
根据提取的所述训练样本的特征和所述测试样本，确定所述测试样本对应的初始标签；
使用所述测试样本、所述初始标签、所述训练样本和所述训练标签训练所述特征提取器，获得训练后的特征提取器；
使用所述训练后的特征提取器提取所述测试样本的特征；
根据所述测试样本的特征和所述测试样本，确定所述测试样本对应的测试标签；
其中，所述根据提取的所述训练样本的特征和所述测试样本，确定所述测试样本对应的初始标签，包括：将所述第二样本集中的训练样本输入所述特征提取器，以使所述特征提取器输出所述训练样本分类的基本依据特征，并将所述训练样本分类的基本依据特征确定为初始类原型；根据所述初始类原型与所述测试样本的相似程度，确定所述测试样本对应的初始标签；
所述根据所述测试样本的特征和所述测试样本，确定所述测试样本对应的测试标签，包括：将所述第二样本集中的测试样本输入所述特征提取器，以使所述特征提取器输出所述测试样本分类的基本依据特征，并将所述测试样本分类的基本依据特征确定为目标类原型；根据所述目标类原型与所述测试样本的相似程度，确定所述测试样本对应的测试标签。
2.根据权利要求1所述的方法，其特征在于，所述使用所述测试样本、所述初始标签、所述训练样本和所述训练标签训练所述特征提取器，包括：
将所述测试样本和所述训练样本合并，获得数据集；
将所述初始标签和所述训练标签合并，获得标签集；
以所述数据集为训练数据，以所述标签集为训练标签，对所述特征提取器进行训练。
3.根据权利要求1所述的方法，其特征在于，在所述确定所述测试样本对应的测试标签之后，还包括：
将所述测试样本和所述测试标签确定为测试集；
将所述训练样本和所述训练标签确定为训练集；
对所述训练集和所述测试集进行交叉验证，获得所述第二样本集的标签准确率。
4.根据权利要求1所述的方法，其特征在于，所述特征提取器包括卷积神经网络；在所述使用由第一样本集训练获得的特征提取器提取第二样本集中的训练样本的特征之前，还包括：
获得第一样本集；
使用所述第一样本集训练所述卷积神经网络，获得所述特征提取器。
5.根据权利要求4所述的方法，其特征在于，所述第一样本集包括：样本数据和样本标签；所述使用所述第一样本集训练所述卷积神经网络，包括：
使用所述卷积神经网络提取所述样本数据的特征，获得样本特征；
将所述样本特征进行均值归一化，获得样本类原型；
根据所述样本类原型与所述样本数据的相似程度，确定所述样本数据的预测标签；
根据所述预测标签和所述样本标签的损失值对所述卷积神经网络进行训练。
6.一种样本分类装置，其特征在于，包括：
第一特征提取模块，用于使用由第一样本集训练获得的特征提取器提取第二样本集中的训练样本的特征，所述第一样本集中的样本数量大于所述第二样本集中的样本数量，所述第二样本集包括：测试样本、训练标签和所述训练样本；
初始标签确定模块，用于根据提取的所述训练样本的特征和所述测试样本，确定所述测试样本对应的初始标签；
提取器获得模块，用于使用所述测试样本、所述初始标签、所述训练样本和所述训练标签训练所述特征提取器，获得训练后的特征提取器；
第二特征提取模块，用于使用所述训练后的特征提取器提取所述测试样本的特征；
测试标签确定模块，用于根据所述测试样本的特征和所述测试样本，确定所述测试样本对应的测试标签；
其中，所述根据提取的所述训练样本的特征和所述测试样本，确定所述测试样本对应的初始标签，包括：将所述第二样本集中的训练样本输入所述特征提取器，以使所述特征提取器输出所述训练样本分类的基本依据特征，并将所述训练样本分类的基本依据特征确定为初始类原型；根据所述初始类原型与所述测试样本的相似程度，确定所述测试样本对应的初始标签；
所述根据所述测试样本的特征和所述测试样本，确定所述测试样本对应的测试标签，包括：将所述第二样本集中的测试样本输入所述特征提取器，以使所述特征提取器输出所述测试样本分类的基本依据特征，并将所述测试样本分类的基本依据特征确定为目标类原型；根据所述目标类原型与所述测试样本的相似程度，确定所述测试样本对应的测试标签。
7.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如权利要求1至5任一所述的方法。
8.一种存储介质，其特征在于，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至5任一所述的方法。
CN202010522167.XA 2020-06-10 2020-06-10 一种样本分类方法、装置、电子设备及存储介质 Active CN111652320B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010522167.XA CN111652320B (zh) 2020-06-10 2020-06-10 一种样本分类方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010522167.XA CN111652320B (zh) 2020-06-10 2020-06-10 一种样本分类方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111652320A CN111652320A (zh) 2020-09-11
CN111652320B true CN111652320B (zh) 2022-08-09

Family

ID=72349997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010522167.XA Active CN111652320B (zh) 2020-06-10 2020-06-10 一种样本分类方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111652320B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464943B (zh) * 2020-11-25 2023-07-14 创新奇智(南京)科技有限公司 基于少样本的语义分割方法及装置、电子设备、存储介质
CN112906561A (zh) * 2021-02-18 2021-06-04 上海明略人工智能(集团)有限公司 用于获取动作识别模型的方法、装置及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504698A (zh) * 2014-12-20 2015-04-08 辽宁师范大学 基于局部像素分类的彩色图像分割方法
CN106355273A (zh) * 2016-08-25 2017-01-25 中国科学院合肥物质科学研究院 一种基于极限学习机的核材料辐照后拉伸性能预测系统及预测方法
CN108009589A (zh) * 2017-12-12 2018-05-08 腾讯科技（深圳）有限公司 样本数据处理方法、装置和计算机可读存储介质
CN108304936A (zh) * 2017-07-12 2018-07-20 腾讯科技（深圳）有限公司 机器学习模型训练方法和装置、表情图像分类方法和装置
CN109886335A (zh) * 2019-02-21 2019-06-14 厦门美图之家科技有限公司 分类模型训练方法及装置
CN110728377A (zh) * 2019-10-21 2020-01-24 山东大学 一种面向机电设备的智能故障诊断方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504698A (zh) * 2014-12-20 2015-04-08 辽宁师范大学 基于局部像素分类的彩色图像分割方法
CN106355273A (zh) * 2016-08-25 2017-01-25 中国科学院合肥物质科学研究院 一种基于极限学习机的核材料辐照后拉伸性能预测系统及预测方法
CN108304936A (zh) * 2017-07-12 2018-07-20 腾讯科技（深圳）有限公司 机器学习模型训练方法和装置、表情图像分类方法和装置
CN108009589A (zh) * 2017-12-12 2018-05-08 腾讯科技（深圳）有限公司 样本数据处理方法、装置和计算机可读存储介质
CN109886335A (zh) * 2019-02-21 2019-06-14 厦门美图之家科技有限公司 分类模型训练方法及装置
CN110728377A (zh) * 2019-10-21 2020-01-24 山东大学 一种面向机电设备的智能故障诊断方法及系统

Also Published As

Publication number Publication date
CN111652320A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
CN111523621B (zh) 图像识别方法、装置、计算机设备和存储介质
CN111797893B (zh) 一种神经网络的训练方法、图像分类系统及相关设备
CN112183577A (zh) 一种半监督学习模型的训练方法、图像处理方法及设备
KR20180125905A (ko) 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 문장이 속하는 클래스(class)를 분류하는 방법 및 장치
CN111275046B (zh) 一种字符图像识别方法、装置、电子设备及存储介质
CN111091175A (zh) 神经网络模型训练方法、分类方法、装置和电子设备
CN111783749A (zh) 一种人脸检测方法、装置、电子设备及存储介质
US11068747B2 (en) Computer architecture for object detection using point-wise labels
CN111680753A (zh) 一种数据标注方法、装置、电子设备及存储介质
CN112905997B (zh) 面向深度学习模型中毒攻击的检测方法、装置及系统
CN111652320B (zh) 一种样本分类方法、装置、电子设备及存储介质
US20200272812A1 (en) Human body part segmentation with real and synthetic images
CN114091594A (zh) 模型训练方法及装置、设备、存储介质
CN114298122A (zh) 数据分类方法、装置、设备、存储介质及计算机程序产品
CN112446888A (zh) 图像分割模型的处理方法和处理装置
CN114358205A (zh) 模型训练方法、模型训练装置、终端设备及存储介质
CN114358249A (zh) 目标识别模型训练、目标识别方法及装置
CN113496251A (zh) 确定用于识别图像中的物体的分类器的装置、识别图像中的物体的装置和相应方法
CN113705293A (zh) 图像场景的识别方法、装置、设备及可读存储介质
CN117237756A (zh) 一种训练目标分割模型的方法、目标分割方法及相关装置
CN117095460A (zh) 基于长短时关系预测编码的自监督群体行为识别方法及其识别系统
CN111753519B (zh) 一种模型训练和识别方法、装置、电子设备及存储介质
Kanungo Analysis of Image Classification Deep Learning Algorithm
CN114219051A (zh) 图像分类方法、分类模型的训练方法、装置及电子设备
CN112101476A (zh) 一种图片分类方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant