CN113033665A - 样本扩展方法、训练方法和系统、及样本学习系统 - Google Patents
样本扩展方法、训练方法和系统、及样本学习系统 Download PDFInfo
- Publication number
- CN113033665A CN113033665A CN202110325808.7A CN202110325808A CN113033665A CN 113033665 A CN113033665 A CN 113033665A CN 202110325808 A CN202110325808 A CN 202110325808A CN 113033665 A CN113033665 A CN 113033665A
- Authority
- CN
- China
- Prior art keywords
- sample
- category
- samples
- class
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 176
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000000605 extraction Methods 0.000 claims abstract description 72
- 230000006870 function Effects 0.000 claims description 53
- 239000013598 vector Substances 0.000 claims description 41
- 230000015654 memory Effects 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 9
- 239000000126 substance Substances 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 230000007423 decrease Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 abstract description 4
- 238000010801 machine learning Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 17
- 238000012512 characterization method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本公开提出一种样本扩展方法、训练方法和系统、及样本学习系统，涉及机器学习技术领域。本公开的一种样本扩展方法，包括：通过特征提取网络提取样本的特征；根据具有类别标注的样本的特征确定每个具有类别标注的样本的价值参数；获取具有类别标注的样本中属于同一类别的样本的特征的加权和，作为对应类别的特征；根据待确定类别的样本的特征与每个类别的特征的相似性，确定待确定类别的样本的类别，进而标注对应的待确定类别的样本，获取扩展样本。通过这样的方法，当采用已有样本进行训练时，通过对样本的价值进行衡量，能够得到可信的扩展样本，提高样本扩展的鲁棒性和准确度，提高样本采集的可信度、效率和准确度，降低样本采集的负担。
Description
技术领域
本公开涉及机器学习技术领域，特别是一种样本扩展方法、训练方法和系统、及样本学习系统。
背景技术
在实际生活中，常常需要对物体的类别进行归类，比如对同一种物品采用统一的表征，方便后续的物品分类、检索以及其他操作。目前的物品归类往往基于深度学习获取。由于深度模型的复杂性，往往需要大量的标注数据(物品样本数据)进行训练，才能获取较为鲁棒且可信度高的深度归类模型。
由于在实际场景中，获取大量的标注样本数据费时费力，且部分场景下，仅能获取少量的标注样本。因此如何从有限的标注样本中学习鲁棒且可信度高的新类别知识，即小样本学习，具有重要的实际价值。我们将实际生活中，基于少量标注样本对物体的类别进行归类的问题建模称为小样本学习问题。
小样本学习中最主要的解决方式是元学习(Meta-Learning)。元学习的核心是希望模型获取一种“学会学习”的能力，使其可以在获取已有“知识”的基础上快速学习新的任务。目前针对小样本问题的元学习方法可以大致分为两类：
一、基于优化的元学习方法，即通过少量数据，学习模型的参数初始化、模型的学习率、模型的梯度更新策略等；
二、基于度量的元学习方法，即学习样本的表示以及属于同一类的类别表示，从而直接度量新样本表示和类别表示的距离预测新样本的类别。
发明内容
本公开的一个目的在于提高样本扩展的准确度，提高样本采集的效率和准确度。
根据本公开的一些实施例的一个方面，提出一种样本扩展方法，包括：通过特征提取网络提取样本的特征，样本包括具有类别标注的样本和待确定类别的样本；根据具有类别标注的样本的特征确定每个具有类别标注的样本的价值参数；获取具有类别标注的样本中属于同一类别的样本的特征的加权和，作为对应类别的特征，其中，样本的特征的权重为价值参数；根据待确定类别的样本的特征与每个类别的特征的相似性，确定待确定类别的样本的类别；用确定的类别标注对应的待确定类别的样本，获取扩展样本。
在一些实施例中，在样本为图像的情况下，通过特征学习提取网络提取样本的特征包括：通过CNN(Convolutional Neural Networks，卷积神经网络)获取样本的初始特征；将初始特征进行二阶池化处理，获取样本的特征。
在一些实施例中，在样本为文本信息的情况下，通过特征学习提取网络提取样本的特征包括：通过LSTM(Long Short-Term Memory，长短期记忆人工神经网络)提取样本的特征。
在一些实施例中，根据具有类别标注的样本的特征确定每个具有类别标注的样本的价值参数包括：根据每个具有类别标注的样本的特征，通过一层非线性变换，获取样本的标量特征；将各个标量特征串行连接，获取样本集合特征向量；根据样本集合特征向量，通过样本价值估计网络获取价值参数向量，其中，价值参数向量中的元素为样本的价值参数，价值参数向量中的元素对应的样本的次序与样本集合特征向量中的元素对应的样本的次序相匹配。
在一些实施例中，根据待确定类别的样本的特征与每个类别的特征的相似性，确定待确定类别的样本的类别包括：获取待确定类别的样本的特征与每个类别的特征的余弦相似性；确定与待确定类别的样本的特征的余弦相似性最大的特征所属的类别，作为待确定类别的样本的类别。
通过这样的方法，能够考虑到不同小样本所含有效信息量不同的问题，获取不同小样本的重要性，从而减少无效信息对样本学习准确度的影响，提高样本类型确定的鲁棒性和准确度，有利于获得置信度高的、更加准确的样本，提高样本扩展的可信度和准确度，降低样本采集的负担，提高样本采集的可信度、效率和准确度。
根据本公开的一些实施例的一个方面，提出一种样本扩展训练方法，包括：通过待训练的特征提取网络提取样本的特征，样本包括具有类别标注的训练样本和待扩展的训练样本；根据具有类别标注的训练样本的特征，通过待训练的样本价值估计网络获取每个具有类别标注的训练样本的价值参数；获取具有类别标注的训练样本中属于同一类别的样本的特征的加权和，作为对应类别的特征，其中，样本的特征的权重为价值参数；根据待确定类别的训练样本的特征与各个类别的特征的相似性，确定待确定类别的训练样本的类别；基于第一目标函数调整待训练的特征提取网络和待训练的样本价值估计网络的参数，以使类别相同的待确定类别的训练样本的特征与对应类别的特征的相似性增加，直至完成训练。
在一些实施例中，样本扩展训练方法还包括：基于第二目标函数调整待训练的特征提取网络和待训练的样本价值估计网络的参数，以使不同类别的特征的相似性降低。
在一些实施例中，基于第一目标函数调整待训练的特征提取网络和待训练的样本价值估计网络的参数包括：根据类别的特征和待确定类别的训练样本的特征，通过第一目标函数确定第一目标参数；基于第二目标函数调整待训练的特征提取网络和待训练的样本价值估计网络的参数包括：根据具有类别的训练样本的特征和类别的特征，通过第二目标函数确定第二目标参数；根据第一目标参数和第二目标参数的加权和，调整待训练的特征提取网络和待训练的样本价值估计网络的参数，以使第一目标参数和第二目标参数的加权和减小。
在一些实施例中，基于第一目标函数调整待训练的特征提取网络和待训练的样本价值估计网络的参数包括：
根据公式
确定第一目标参数Lcls，
其中，
c为类别的特征，q标识待确定类别的训练样本的特征，
标识根据具有类别标注的训练样本对应的类别为i，
标识对待确定类别的训练样本为j，
标识对待确定类别的训练样本j确定的类别为i N为具有类别标注的训练样本的类别的数量，M为待确定类别的训练样本的数量；e为自然常数，ci为类别i的特征，qj为待确定类别的训练样本j的特征；
标识待确定类别的训练样本的特征与各个类别的特征的余弦相似度的概率归一化值；
通过调整待训练的特征提取网络和待训练的样本价值估计网络的参数使Lcls减小。
在一些实施例中，基于第二目标函数调整待训练的特征提取网络和待训练的样本价值估计网络的参数包括：
根据公式
确定第二目标参数Lstr；
其中，
标识具有类别标注的训练样本x属于类别i；
标识具有类别标注的训练样本对应的类别为i，c为类别的特征，xih为属于类别i的具有类别标注的训练样本，h为小于等于具有类别标注的训练样本的数量NUM的正整数，ci、cv分别为类别i、v的特征；i、v为小于N的正整数，N为具有类别标注的训练样本的类别的数量；
标识具有类别标注的训练样本的特征与对应类别的特征的相似度；∑i≠j ci T cj标识类别的特征之间的差异；
通过调整待训练的特征提取网络和待训练的样本价值估计网络的参数使Lstr减小。
通过这样的方法，能够通过基于训练样本对神经网络进行训练的方式，得到特征提取网络和样本价值估计网络，使得在小样本学习过程中能够获取不同小样本的重要性，从而减少无效信息对样本学习准确度的影响，提高样本类型确定的可信度和准确度，提高样本扩展的可信度和准确度。
根据本公开的一些实施例的一个方面，提出一种样本扩展系统，包括：特征提取网络，被配置为通过特征提取网络提取样本的特征，样本包括具有类别标注的样本和待确定类别的样本；样本价值确定单元，被配置为具有类别标注的样本的特征确定每个具有类别标注的样本的价值参数；类别特征确定单元，被配置为获取具有类别标注的样本中属于同一类别的样本的特征的加权和，作为对应类别的特征，其中，样本的特征的权重为价值参数；类别确定单元，被配置为根据待确定类别的样本的特征与每个类别的特征的相似性，确定待确定类别的样本的类别；样本标注单元，被配置为用确定的类别标注对应的待确定类别的样本，获取扩展样本。
在一些实施例中，样本价值确定单元包括：预处理子单元，被配置为根据每个具有类别标注的样本的特征，通过一层非线性变换，获取样本的标量特征；将各个标量特征串行连接，获取样本集合特征向量；样本价值估计网络，被配置为根据样本集合特征向量获取价值参数向量，其中，价值参数向量中的元素为样本的价值参数，价值参数向量中的元素对应的样本的次序与样本集合特征向量中的元素对应的样本的次序相匹配。
这样的样本扩展系统能够考虑到不同小样本所含有效信息量不同的问题，获取不同小样本的重要性，减少无效信息对样本学习可信度和准确度的影响，提高样本类型确定的置信度和准确度，从而有利于获得更加准确且鲁棒的样本，提高样本扩展的可信度和准确度。
根据本公开的一些实施例的一个方面，提出一种样本扩展训练系统，包括：特征提取单元，被配置为通过待训练的特征提取网络提取样本的特征，样本包括具有类别标注的训练样本和待扩展的训练样本；价值确定单元，被配置为第二神经网络，被配置为根据具有类别标注的训练样本的特征，通过待训练的样本价值估计网络获取每个具有类别标注的训练样本的价值参数；类别特征确定单元，被配置为获取具有类别标注的训练样本中属于同一类别的样本的特征的加权和，作为对应类别的特征，其中，样本的特征的权重为价值参数；类别确定单元，被配置为根据待确定类别的训练样本的特征与各个类别的特征的相似性，确定待确定类别的训练样本的类别；目标函数单元，被配置为基于第一目标函数调整待训练的特征提取网络和待训练的样本价值估计网络的参数，类别相同的待确定类别的训练样本的特征与对应类别的特征的相似性增加，直至完成训练。
在一些实施例中，目标函数单元，还被配置为基于第二目标函数调整待训练的特征提取网络和待训练的样本价值估计网络的参数，以使不同类别的特征的相似性降低。
在一些实施例中，目标函数单元被配置为：根据类别的特征和待确定类别的训练样本的特征，通过第一目标函数确定第一目标参数；根据具有类别标注的训练样本的特征和类别的特征，通过第二目标函数确定第二目标参数；根据第一目标参数和第二目标参数的加权和，调整待训练的特征提取网络和待训练的样本价值估计网络的参数，以使第一目标参数和第二目标参数的加权和减小。
这样的样本扩展训练系统能够通过基于训练样本对神经网络进行训练的方式，得到特征提取网络和样本价值估计网络，使得在小样本学习过程中能够获取不同小样本的重要性，减少无效信息对样本学习可信度和准确度的影响，提高样本类型确定的置信度和准确度，提高样本扩展的可信度和准确度。
根据本公开的一些实施例的一个方面，提出一种样本学习系统，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器的指令执行上文中任意一种方法。
根据本公开的一些实施例的一个方面，提出一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上文中任意一种方法的步骤。
附图说明
此处所说明的附图用来提供对本公开的进一步理解，构成本公开的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
图1为本公开的样本扩展方法的一些实施例的流程图。
图2为本公开的样本扩展方法的另一些实施例的流程图。
图3为本公开的样本扩展训练方法的一些实施例的流程图。
图4为本公开的样本扩展训练方法中基于目标函数训练的另一些实施例的流程图。
图5为本公开的样本扩展系统的一些实施例的示意图。
图6为本公开的样本扩展系统中样本价值确定单元的一些实施例的示意图。
图7为本公开的样本扩展训练系统的一些实施例的示意图。
图8为本公开的样本学习系统的一些实施例的示意图。
图9为本公开的样本学习系统的另一些实施例的示意图。
具体实施方式
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
基于优化的元学习方法，在推理测试阶段，需要按照学习到的策略，在新任务上对网络进行微调。这个过程费时费力，学习优化目标的方法的实用性有限。基于度量的元学习方法则是利用训练好的模型，在新任务的少量标注样本上，学习样本类别表征，从而直接通过需要咨询分类的样本和已确定分类的样本之间的距离，确定样本的类别。
发明人发现，相关技术中在通过少量标注样本学习样本类别表征时，默认所有样本具有同样的重要性。而实际上不同样本所含的有效信息量、有效信息量在样本信息中所占的比例不同，例如同样是图像样本，一幅具有标注目标的图像比一幅充满背景的图像在学习样本类别表征时更有价值；又比如，当一幅图像具有多种标注类别信息时，往往会对最终所需类别表征产生负面影响，因此这种图像的实际价值较低。将样本默认为具有同样重要性的处理方式容易造成特征确定的偏差，受无效信息的干扰大，影响了小样本学习、样本扩展的鲁棒性和可信度。
本公开的样本扩展方法的一些实施例的流程图如图1所示。
在步骤101中，通过特征提取网络提取样本的特征，样本包括具有类别标注的样本和待确定类别的样本。在一些实施例中，特征提取网络可以为基于神经网络进行训练生成。
在一些实施例中，若样本为图像样本，则特征提取网络可以基于CNN；若样本为文本样本，则特征提取网络可以基于LSTM。通过这样的方式，能够选择合适的神经网络模型，提高对于样本的处理能力，提高样本扩展的效率和准确度。
在步骤102中，根据具有类别标注的样本的特征确定每个具有类别标注的样本的价值参数。在一些实施例中，可以通过关键特征匹配、基于关键特征的价值参数赋值的方式确定样本的价值参数。在一些实施例中，可以搭建神经网络，通过利用训练样本进行训练的方式生成样本价值估计网络，利用该网络确定不同具有类别标注的样本的特征的价值参数。
在步骤103中，获取具有类别标注的样本中属于同一类别的样本的特征的加权和，作为对应类别的特征，其中，样本的特征的权重为价值参数。样本加权的过程具有较高的可解释性，通过加权获取的类别特征则具有更好的鲁棒性。
在步骤104中，根据待确定类别的样本的特征与每个类别的特征的相似性，确定待确定类别的样本的类别。在一些实施例中，可以计算待确定类别的样本的特征与每个类别的特征之间的余弦距离，确定待确定类别的样本的特征与各个类别的特征的相似性，筛选出特征与待确定类别的样本的特征相似性最高的类别，即为确定的待确定类别的样本的类别。
在步骤105中，用确定的类别标注对应的待确定类别的样本，获取扩展样本。
通过这样的方法，能够考虑到不同小样本所含有效信息量不同的问题，获取不同小样本的重要性，减少无效信息对样本学习可信度和准确度的影响，提高样本类型确定的置信度和准确度，从而有利于获得更加鲁棒且准确的样本，提高样本扩展的可信度和准确度，降低样本采集的负担，提高样本采集的置信度、效率和准确度。
本公开的样本扩展方法的另一些实施例的流程图如图2所示。
在步骤201中，通过特征提取网络提取具有类别标注的样本的特征。
在一些实施例中，在样本为图像的情况下，可以先通过CNN获取样本的初始特征。卷积神经网络的结构可以为4个残差块，每个残差块包含3个3＊3的卷积结构，其中每一个卷积结构使用Relu激活函数，且使用Batch normalization。每一个残差块之间有2＊2的max pooling进行降采样。其过程定义为：
xi＝CNN(Ii)，i＝1，2，...K
其中xi∈RN×1。
进一步的，利用二阶池化(Second-order Pooling)，获取细粒度的图像表征，即样本的特征。其过程定义为：
其中
最终将
的特征拉成一列向量即：
其中
在步骤202中，根据每个具有类别标注的样本的特征，通过一层非线性变换，获取样本的标量特征。
由于小样本特征维度较大
如果直接将所有的小样本的表征直接输入网络会具有很大的计算复杂度。因此首先将所有具有类别标注的样本的特征zi通过一层非线性变换成一个标量能够降低计算复杂度，提高处理效率。样本的标量特征ai＝Wzi+b，其中ai记录了当前样本zi的一部分信息，W和b为常数，可以指定和调整。
在步骤203中，将各个标量特征串行连接，获取样本集合特征向量，即
y＝Concat(ai)，i＝1，...K
其中，y为样本集合特征向量，Concat()为串行连接标量特征的函数；具有类别标注的样本的数量为K。
在步骤204中，根据样本集合特征向量，通过样本价值估计网络获取价值参数向量，其中，价值参数向量中的元素为样本的价值参数，价值参数向量中的元素对应的样本的次序与样本集合特征向量中的元素对应的样本的次序相匹配，即
e＝Sigmoid(Wy+b)
其中，样本集合特征向量e的第i个元素为第i个具有类别标注的样本的价值参数，Sigmoid()为S型函数。
在步骤205中，获取具有类别标注的样本中属于同一类别的样本的特征的加权和，作为对应类别的特征，其中，样本的特征的权重为价值参数，即类别的特征c为：
样本加权的过程具有较高的可解释性，通过加权获取的类别特征则具有更好的鲁棒性。
在步骤206中，通过特征提取网络提取待确定类别的样本的特征。在一些实施例中，步骤206可以在步骤207前任一时间点执行，包括与步骤201同步执行。在一些实施例中，提取待确定类别的样本的特征的特征提取网络可以与步骤201中的特征提取网络相同，或为同一个特征提取网络。
在步骤207中，获取待确定类别的样本的特征与每个类别的特征的余弦相似性。
在一些实施例中，可以根据公式：
di＝COS(q，ci)＝qTci/||q||·||ci||
确定待确定类别的样本的特征q与类别i的特征ci的余弦距离。
在步骤208中，确定与待确定类别的样本的特征的余弦相似性最大的特征所属的类别，作为待确定类别的样本的类别，即确定最大的di的类别i，即为该待确定类别的样本的类别。
在步骤209中，用确定的类别标注对应的待确定类别的样本，获取扩展样本。
通过这样的方法，在运算过程中降低了复杂度，提高了处理效率；通过待确定类别的特征和特征间距离的计算两个步骤，对待确定类别的样本进行分类，从而确定待确定类别的样本的类别，实现了扩充具有类别标注的样本的数量；由于在确定类别特征的过程中通过样本价值估计网络确定了各个样本的价值参数，并将其通过权重的方式应用，降低了样本特征中无效信息对类别的特征的影响，提高了扩充的样本的可信度和准确度。
为了获得样本扩展方法中使用的神经网络，可以采集训练样本，其中部分训练样本为具有类别标注的训练样本，另一部分为待确定类别的训练样本，构建神经网络模型并设计目标函数，利用训练样本执行训练操作。
本公开的样本扩展训练方法的一些实施例的流程图如图3所示。
在步骤301中，通过待训练的特征提取网络提取样本的特征，样本包括具有类别标注的训练样本和待扩展的训练样本。在一些实施例中，可以先获得具有类别标注的训练样本的特征，在步骤304之前的任意时刻提取待扩展的训练样本的特征。
在一些实施例中，可以构建神经网络模型，如基于CNN或LSTM的网络，来提取样本的特征。
在步骤302中，根据具有类别标注的训练样本的特征，通过待训练的样本价值估计网络获取每个具有类别标注的训练样本的价值参数。
在一些实施例中，可以先对具有类别标注的训练样本的特征进行预处理，预处理的过程可以如步骤202、203中所示。
在一些实施例中，可以构建神经网络模型，作为待训练的样本价值估计网络。
在步骤303中，获取具有类别标注的训练样本中属于同一类别的样本的特征的加权和，作为对应类别的特征，其中，样本的特征的权重为价值参数。
在步骤304中，根据待确定类别的训练样本的特征与各个类别的特征的相似性，确定待确定类别的训练样本的类别。在一些实施例中，可以通过与上述步骤207、208中相似的方法确定待确定类别的训练样本的类别。
在步骤305中，基于第一目标函数调整待训练的特征提取网络和待训练的样本价值估计网络的参数，以使类别相同的待确定类别的训练样本的特征与对应类别的特征的相似性增加，直至完成训练。
在一些实施例中，可以构建运算结果为第一目标参数的第一目标函数，通过调整待训练的特征提取网络和待训练的样本价值估计网络的参数使第一目标参数减小。
在一些实施例中，在训练样本使用完成，或训练的轮数达到预定次数时，训练完成。
通过这样的方法，能够通过基于训练样本对神经网络进行训练的方式，得到特征提取网络和样本价值估计网络，使得在小样本学习过程中能够获取不同小样本的重要性，减少无效信息对样本学习可信度和准确度的影响，提高样本类型确定的可信度和准确度，提高样本扩展的置信度和准确度。
在一些实施例中，样本扩展训练方法还可以包括步骤306：基于第二目标函数调整待训练的特征提取网络和待训练的样本价值估计网络的参数，以使不同类别的特征的相似性降低，提升训练对于不同类别特征的区分性。
在一些实施例中，可以构建运算结果为第二目标参数的第二目标函数，通过调整待训练的特征提取网络和待训练的样本价值估计网络的参数使第二目标参数减小。
通过这样的方法，能够在训练过程中将不同类别的特征的区别作为目标之一，增加不同类别的特征的区分度，提高收敛效率，也进一步提高训练后特征提取网络和样本价值估计网络的运算效果，提高被扩展的样本的可信度和准确度。
本公开的样本扩展训练方法中基于目标函数训练的另一些实施例的流程图如图4所示。
在步骤401中，根据类别的特征和待确定类别的训练样本的特征，通过第一目标函数确定第一目标参数。
在一些实施例中，可以根据公式
确定第一目标参数Lcls，
其中，
c为类别的特征，q标识待确定类别的训练样本的特征，
标识根据具有类别标注的训练样本对应的类别为i，
标识对待确定类别的训练样本j的类别，
标识对待确定类别的训练样本j确定的类别为i，N为具有类别标注的训练样本的类别的数量，M为待确定类别的训练样本的数量；e为自然常数，ci为类别i的特征，qj为待确定类别的训练样本j的特征；
标识待确定类别的训练样本的特征与各个类别的特征的余弦相似度的概率归一化值。
可以看出，Lcls越小则待确定类别的训练样本中属于相同类别的的训练样本的特征，与对其确定的类别的特征之间的相似度越高，即说明类别特征确定的稳定性越高，也就意味着样本类别确定的稳定性越高，收敛效果越好。
在步骤402中，根据具有类别的训练样本的特征和类别的特征，通过第二目标函数确定第二目标参数。
在一些实施例中，可以根据公式
确定第二目标参数Lstr；
其中，
标识具有类别标注的训练样本x属于类别i；
标识具有类别标注的训练样本对应的类别为i，c为类别的特征，xih为属于类别i的具有类别标注的训练样本，h为小于等于具有类别标注的训练样本的数量NUM的正整数，ci、cv分别为类别i、v的特征；i、v为小于N的正整数，N为具有类别标注的训练样本的类别的数量；
标识具有类别标注的训练样本的特征与对应类别的特征的相似度；
标识类别的特征之间的差异。
可以看出，Lstr越小则类别之间的特征差异越大。
在步骤403中，根据第一目标参数和第二目标参数的加权和，调整待训练的特征提取网络和待训练的样本价值估计网络的参数，以使第一目标参数和第二目标参数的加权和减小。第一目标参数和第二目标参数的加权和越小，则样本类别确定的稳定性越高，特征之间的差异越大，收敛效果越好。
通过这样的方法，能够从类别特征的稳定性和不同类别特征的差异性两个角度，同步的训练样本扩展系统中的神经网络，提高训练效率，也能够提高样本扩展的鲁棒性和置信度。
本公开的样本扩展系统的一些实施例的示意图如图5所示。
特征提取网络501能够提取网络提取样本的特征，样本包括具有类别标注的样本和待确定类别的样本。在一些实施例中，特征提取网络可以为基于神经网络进行训练生成。
样本价值确定单元502能够根据具有类别标注的样本的特征确定每个具有类别标注的样本的价值参数。在一些实施例中，可以通过关键特征匹配、基于关键特征的价值参数赋值的方式确定样本的价值参数。在一些实施例中，可以搭建神经网络，通过利用训练样本进行训练的方式生成样本价值估计网络，利用该网络确定不同具有类别标注的样本的特征的价值参数。
类别特征确定单元503能够获取具有类别标注的样本中属于同一类别的样本的特征的加权和，作为对应类别的特征，其中，样本的特征的权重为价值参数。样本加权的过程具有较高的可解释性，通过加权获取的类别特征则具有更好的鲁棒性。
类别确定单元504能够根据待确定类别的样本的特征与每个类别的特征的相似性，确定待确定类别的样本的类别。在一些实施例中，可以计算待确定类别的样本的特征与每个类别的特征之间的余弦距离，确定待确定类别的样本的特征与各个类别的特征的相似性，筛选出特征与待确定类别的样本的特征相似性最高的类别，即为确定的待确定类别的样本的类别。
样本标注单元505能够用确定的类别标注对应的待确定类别的样本，获取扩展样本。
这样的样本扩展系统能够考虑到不同小样本所含有效信息量不同的问题，获取不同小样本的重要性，减少无效信息对样本学习可信度和准确度的影响，提高样本类型确定的鲁棒性和准确度，从而有利于获得更加准确且置信度高的样本，提高样本扩展的可信度和准确度，降低样本采集的负担，提高样本采集的可信度、效率和准确度。
本公开的样本扩展系统中样本价值确定单元的一些实施例的示意图如图6所示。
预处理子单元601能够采用如步骤201～203中的方式，获得样本的标量特征。
样本价值估计网络602能够根据样本集合特征向量获取价值参数向量，其中，价值参数向量中的元素为样本的价值参数，价值参数向量中的元素对应的样本的次序与样本集合特征向量中的元素对应的样本的次序相匹配。
这样的系统能够降低样本特征处理的计算复杂度，降低处理压力，提高处理的鲁棒性和效率。
本公开的样本扩展训练系统的一些实施例的示意图如图7所示。
特征提取单元701能够通过待训练的特征提取网络提取样本的特征，样本包括具有类别标注的训练样本和待扩展的训练样本。在一些实施例中，可以先获得具有类别标注的训练样本的特征，在步骤304之前的任意时刻提取待扩展的训练样本的特征。
价值确定单元702能够根据具有类别标注的训练样本的特征，通过待训练的样本价值估计网络获取每个具有类别标注的训练样本的价值参数。
类别特征确定单元703能够获取具有类别标注的训练样本中属于同一类别的样本的特征的加权和，作为对应类别的特征，其中，样本的特征的权重为价值参数。
类别确定单元704能够根据待确定类别的训练样本的特征与各个类别的特征的相似性，确定待确定类别的训练样本的类别。在一些实施例中，可以通过与上述步骤207、208中相似的方法确定待确定类别的训练样本的类别。
目标函数单元705能够基于第一目标函数调整待训练的特征提取网络和待训练的样本价值估计网络的参数，以使类别相同的待确定类别的训练样本的特征与对应类别的特征的相似性增加，直至完成训练。在一些实施例中，可以构建运算结果为第一目标参数的第一目标函数，通过调整待训练的特征提取网络和待训练的样本价值估计网络的参数使第一目标参数减小。
这样的系统能够通过基于训练样本对神经网络进行训练的方式，得到特征提取网络和样本价值估计网络，使得在小样本学习过程中能够获取不同小样本的重要性，减少无效信息对样本学习可信度和准确度的影响，提高样本类型确定的鲁棒性和准确度，提高样本扩展的置信度和准确度。
在一些实施例中，目标函数单元705还能够基于第二目标函数调整待训练的特征提取网络和待训练的样本价值估计网络的参数，以使不同类别的特征的相似性降低，提升模型对不同类别特征的区分度，直至完成训练。在一些实施例中，可以构建运算结果为第二目标参数的第二目标函数，通过调整待训练的特征提取网络和待训练的样本价值估计网络的参数使第二目标参数减小。
这样的系统能够在训练过程中将不同类别的特征的区别作为目标之一，增加不同类别的特征的区分度，提高收敛效率，也进一步提高训练后特征提取网络和样本价值估计网络的运算效果，提高被扩展的样本的鲁棒性和准确度。
在一些实施例中，目标函数单元706能够根据第一目标参数和第二目标参数的加权和，调整待训练的特征提取网络和待训练的样本价值估计网络的参数，以使第一目标参数和第二目标参数的加权和减小。第一目标参数和第二目标参数的加权和越小，则样本类别确定的稳定性越高，特征之间的差异越大，收敛效果越好。
这样的系统能够从类别特征的稳定性和不同类别特征的差异性两个角度，同步的训练样本扩展系统中的神经网络，提高训练效率，也能够提高样本扩展的鲁棒性。
本公开样本学习系统的一个实施例的结构示意图如图8所示。样本学习系统包括存储器801和处理器802。其中：存储器801可以是磁盘、闪存或其它任何非易失性存储介质。存储器用于存储上文中样本扩展方法或样本扩展训练方法的对应实施例中的指令。处理器802耦接至存储器801，可以作为一个或多个集成电路来实施，例如微处理器或微控制器。该处理器802用于执行存储器中存储的指令，能够提高样本类型确定的准确度，提高样本扩展的准确度。
在一个实施例中，还可以如图9所示，样本学习系统900包括存储器901和处理器902。处理器902通过BUS总线903耦合至存储器901。该样本学习系统900还可以通过存储接口904连接至外部存储装置905以便调用外部数据，还可以通过网络接口906连接至网络或者另外一台计算机系统(未标出)。此处不再进行详细介绍。
在该实施例中，通过存储器存储数据指令，再通过处理器处理上述指令，能够提高样本类型确定的准确度，提高样本扩展的准确度。
在另一个实施例中，一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现样本扩展方法或样本扩展训练方法对应实施例中的方法的步骤。本领域内的技术人员应明白，本公开的实施例可提供为方法、装置、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
可能以许多方式来实现本公开的方法以及装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法以及装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
最后应当说明的是：以上实施例仅用以说明本公开的技术方案而非对其限制；尽管参照较佳实施例对本公开进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本公开的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本公开技术方案的精神，其均应涵盖在本公开请求保护的技术方案范围当中。
Claims (17)
1.一种样本扩展方法，包括：
通过特征提取网络提取样本的特征，所述样本包括具有类别标注的样本和待确定类别的样本；
根据具有类别标注的样本的特征确定每个具有类别标注的样本的价值参数；
获取所述具有类别标注的样本中属于同一类别的样本的特征的加权和，作为对应类别的特征，其中，样本的特征的权重为所述价值参数；
根据所述待确定类别的样本的特征与每个所述类别的特征的相似性，确定所述待确定类别的样本的类别；
用确定的类别标注对应的所述待确定类别的样本，获取扩展样本。
2.根据权利要求1所述的方法，其中，在所述样本为图像的情况下，所述通过特征学习提取网络提取样本的特征包括：
通过卷积神经网络CNN获取样本的初始特征；
将所述初始特征进行二阶池化处理，获取样本的特征。
3.根据权利要求1所述的方法，其中，在所述样本为文本信息的情况下，所述通过特征学习提取网络提取样本的特征包括：
通过长短期记忆人工神经网络LSTM提取样本的特征。
4.根据权利要求1所述的方法，其中，所述根据具有类别标注的样本的特征确定每个具有类别标注的样本的价值参数包括：
根据每个具有类别标注的样本的特征，通过一层非线性变换，获取样本的标量特征；
将各个所述标量特征串行连接，获取样本集合特征向量；
根据所述样本集合特征向量，通过样本价值估计网络获取价值参数向量，其中，所述价值参数向量中的元素为样本的价值参数，所述价值参数向量中的元素对应的样本的次序与所述样本集合特征向量中的元素对应的样本的次序相匹配。
5.根据权利要求1所述的方法，其中，所述根据所述待确定类别的样本的特征与每个类别的特征的相似性，确定所述待确定类别的样本的类别包括：
获取待确定类别的样本的特征与每个类别的特征的余弦相似性；
确定与所述待确定类别的样本的特征的余弦相似性最大的特征所属的类别，作为所述待确定类别的样本的类别。
6.一种样本扩展训练方法，包括：
通过待训练的特征提取网络提取样本的特征，所述样本包括具有类别标注的训练样本和待扩展的训练样本；
根据具有类别标注的训练样本的特征，通过待训练的样本价值估计网络获取每个具有类别标注的训练样本的价值参数；
获取具有类别标注的训练样本中属于同一类别的样本的特征的加权和，作为对应类别的特征，其中，样本的特征的权重为所述价值参数；
根据所述待确定类别的训练样本的特征与各个所述类别的特征的相似性，确定所述待确定类别的训练样本的类别；
基于第一目标函数调整所述待训练的特征提取网络和所述待训练的样本价值估计网络的参数，以使类别相同的所述待确定类别的训练样本的特征与对应类别的特征的相似性增加，直至完成训练。
7.根据权利要求6所述的训练方法，还包括：
基于第二目标函数调整所述待训练的特征提取网络和所述待训练的样本价值估计网络的参数，以使不同类别的特征的相似性降低。
8.根据权利要求7所述的训练方法，其中，所述基于第一目标函数调整所述待训练的特征提取网络和所述待训练的样本价值估计网络的参数包括：根据所述类别的特征和所述待确定类别的训练样本的特征，通过第一目标函数确定第一目标参数；
所述基于第二目标函数调整所述待训练的特征提取网络和所述待训练的样本价值估计网络的参数包括：根据所述具有类别的训练样本的特征和所述类别的特征，通过第二目标函数确定第二目标参数；
根据所述第一目标参数和所述第二目标参数的加权和，调整所述待训练的特征提取网络和所述待训练的样本价值估计网络的参数，以使所述第一目标参数和所述第二目标参数的加权和减小。
9.根据权利要求6所述的训练方法，其中，所述基于第一目标函数调整所述待训练的特征提取网络和所述待训练的样本价值估计网络的参数包括：
根据公式
确定第一目标参数Lcls，
其中，
c为所述类别的特征，q标识待确定类别的训练样本的特征，
标识根据具有类别标注的训练样本对应的类别为i，
标识对待确定类别的训练样本为j，
标识对待确定类别的训练样本j确定的类别为i；N为具有类别标注的训练样本的类别的数量，M为待确定类别的训练样本的数量；e为自然常数，ci为类别i的特征，qj为待确定类别的训练样本j的特征；
标识所述待确定类别的训练样本的特征与各个类别的特征的余弦相似度的概率归一化值；
通过调整所述待训练的特征提取网络和所述待训练的样本价值估计网络的参数使Lcls减小。
10.根据权利要求7所述的训练方法，其中，所述基于第二目标函数调整所述待训练的特征提取网络和所述待训练的样本价值估计网络的参数包括：
根据公式
确定所述第二目标参数Lstr；
其中，
标识所述具有类别标注的训练样本x属于类别i；
标识具有类别标注的训练样本对应的类别为i，c为类别的特征，xih为属于类别i的具有类别标注的训练样本，h为小于等于具有类别标注的训练样本的数量NUM的正整数，ci、cv分别为类别i、v的特征；i、v为小于N的正整数，N为具有类别标注的训练样本的类别的数量；
标识所述具有类别标注的训练样本的特征与对应类别的特征的相似度；∑i≠jci Tcj标识类别的特征之间的差异；
通过调整所述待训练的特征提取网络和所述待训练的样本价值估计网络的参数使Lstr减小。
11.一种样本扩展系统，包括：
特征提取网络，被配置为通过特征提取网络提取样本的特征，所述样本包括具有类别标注的样本和待确定类别的样本；
样本价值确定单元，被配置为具有类别标注的样本的特征确定每个具有类别标注的样本的价值参数；
类别特征确定单元，被配置为获取具有类别标注的样本中属于同一类别的样本的特征的加权和，作为对应类别的特征，其中，样本的特征的权重为所述价值参数；
类别确定单元，被配置为根据所述待确定类别的样本的特征与每个所述类别的特征的相似性，确定所述待确定类别的样本的类别；
样本标注单元，被配置为用确定的类别标注对应的所述待确定类别的样本，获取扩展样本。
12.根据权利要求11所述的系统，其中，所述样本价值确定单元包括：
预处理子单元，被配置为根据每个具有类别标注的样本的特征，通过一层非线性变换，获取样本的标量特征；将各个所述标量特征串行连接，获取样本集合特征向量；
样本价值估计网络，被配置为根据所述样本集合特征向量获取价值参数向量，其中，所述价值参数向量中的元素为样本的价值参数，所述价值参数向量中的元素对应的样本的次序与所述样本集合特征向量中的元素对应的样本的次序相匹配。
13.一种样本扩展训练系统，包括：
特征提取单元，被配置为通过待训练的特征提取网络提取样本的特征，所述样本包括具有类别标注的训练样本和待扩展的训练样本；
价值确定单元，被配置为第二神经网络，被配置为根据具有类别标注的训练样本的特征，通过待训练的样本价值估计网络获取每个具有类别标注的训练样本的价值参数；
类别特征确定单元，被配置为获取具有类别标注的训练样本中属于同一类别的样本的特征的加权和，作为对应类别的特征，其中，样本的特征的权重为所述价值参数；
类别确定单元，被配置为根据所述待确定类别的训练样本的特征与各个所述类别的特征的相似性，确定所述待确定类别的训练样本的类别；
目标函数单元，被配置为基于第一目标函数调整所述待训练的特征提取网络和所述待训练的样本价值估计网络的参数，类别相同的所述待确定类别的训练样本的特征与对应类别的特征的相似性增加，直至完成训练。
14.根据权利要求13所述的训练系统，其中，所述目标函数单元，还被配置为基于第二目标函数调整所述待训练的特征提取网络和所述待训练的样本价值估计网络的参数，以使不同类别的特征的相似性降低。
15.根据权利要求14所述的训练系统，其中，所述目标函数单元被配置为：
根据所述类别的特征和所述待确定类别的训练样本的特征，通过第一目标函数确定第一目标参数；
根据所述具有类别标注的训练样本的特征和所述类别的特征，通过第二目标函数确定第二目标参数；
根据所述第一目标参数和所述第二目标参数的加权和，调整所述待训练的特征提取网络和所述待训练的样本价值估计网络的参数，以使所述第一目标参数和所述第二目标参数的加权和减小。
16.一种样本学习系统，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行如权利要求1至10任一项所述的方法。
17.一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现权利要求1至10任意一项所述的方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110325808.7A CN113033665A (zh) | 2021-03-26 | 2021-03-26 | 样本扩展方法、训练方法和系统、及样本学习系统 |
| PCT/CN2022/070604 WO2022199214A1 (zh) | 2021-03-26 | 2022-01-07 | 样本扩展方法、训练方法和系统、及样本学习系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110325808.7A CN113033665A (zh) | 2021-03-26 | 2021-03-26 | 样本扩展方法、训练方法和系统、及样本学习系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113033665A true CN113033665A (zh) | 2021-06-25 |
Family
ID=76474204
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110325808.7A Pending CN113033665A (zh) | 2021-03-26 | 2021-03-26 | 样本扩展方法、训练方法和系统、及样本学习系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113033665A (zh) |
| WO (1) | WO2022199214A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022199214A1 (zh) * | 2021-03-26 | 2022-09-29 | 北京沃东天骏信息技术有限公司 | 样本扩展方法、训练方法和系统、及样本学习系统 |
| CN116051926B (zh) * | 2023-01-12 | 2024-04-16 | 北京百度网讯科技有限公司 | 图像识别模型的训练方法、图像识别方法和装置 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116432091B (zh) * | 2023-06-15 | 2023-09-26 | 山东能源数智云科技有限公司 | 基于小样本的设备故障诊断方法、模型的构建方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107506799A (zh) * | 2017-09-01 | 2017-12-22 | 北京大学 | 一种基于深度神经网络的开集类别发掘与扩展方法与装置 |
| WO2019127451A1 (zh) * | 2017-12-29 | 2019-07-04 | 深圳前海达闼云端智能科技有限公司 | 图像识别方法及云端系统 |
| WO2019196228A1 (zh) * | 2018-04-09 | 2019-10-17 | 平安科技（深圳）有限公司 | 制度信息处理方法、装置、计算机设备和存储介质 |
| WO2020140377A1 (zh) * | 2019-01-04 | 2020-07-09 | 平安科技（深圳）有限公司 | 神经网络模型训练方法、装置、计算机设备及存储介质 |
| CN111985581A (zh) * | 2020-09-09 | 2020-11-24 | 福州大学 | 一种基于样本级注意力网络的少样本学习方法 |
| CN112132179A (zh) * | 2020-08-20 | 2020-12-25 | 中国人民解放军战略支援部队信息工程大学 | 基于少量标注样本的增量学习方法及系统 |
| US20210056417A1 (en) * | 2019-08-22 | 2021-02-25 | Google Llc | Active learning via a sample consistency assessment |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6154567A (en) * | 1998-07-01 | 2000-11-28 | Cognex Corporation | Pattern similarity metric for image search, registration, and comparison |
| CN111985572B (zh) * | 2020-08-27 | 2022-03-25 | 中国科学院自动化研究所 | 基于特征比较的通道注意力机制的细粒度图像识别方法 |
| CN112308139B (zh) * | 2020-10-29 | 2024-03-22 | 中科(厦门)数据智能研究院 | 一种基于主动学习的样本标注方法 |
| CN113033665A (zh) * | 2021-03-26 | 2021-06-25 | 北京沃东天骏信息技术有限公司 | 样本扩展方法、训练方法和系统、及样本学习系统 |
-
2021
- 2021-03-26 CN CN202110325808.7A patent/CN113033665A/zh active Pending
-
2022
- 2022-01-07 WO PCT/CN2022/070604 patent/WO2022199214A1/zh unknown
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107506799A (zh) * | 2017-09-01 | 2017-12-22 | 北京大学 | 一种基于深度神经网络的开集类别发掘与扩展方法与装置 |
| WO2019127451A1 (zh) * | 2017-12-29 | 2019-07-04 | 深圳前海达闼云端智能科技有限公司 | 图像识别方法及云端系统 |
| WO2019196228A1 (zh) * | 2018-04-09 | 2019-10-17 | 平安科技（深圳）有限公司 | 制度信息处理方法、装置、计算机设备和存储介质 |
| WO2020140377A1 (zh) * | 2019-01-04 | 2020-07-09 | 平安科技（深圳）有限公司 | 神经网络模型训练方法、装置、计算机设备及存储介质 |
| US20210056417A1 (en) * | 2019-08-22 | 2021-02-25 | Google Llc | Active learning via a sample consistency assessment |
| CN112132179A (zh) * | 2020-08-20 | 2020-12-25 | 中国人民解放军战略支援部队信息工程大学 | 基于少量标注样本的增量学习方法及系统 |
| CN111985581A (zh) * | 2020-09-09 | 2020-11-24 | 福州大学 | 一种基于样本级注意力网络的少样本学习方法 |
Non-Patent Citations (2)
| Title |
|---|
| 王博威;潘宗序;胡玉新;马闻;: "少量样本下基于孪生CNN的SAR目标识别", 雷达科学与技术, no. 06, 15 December 2019 (2019-12-15) * |
| 韩栋;王春华;肖敏;: "结合半监督学习和LDA模型的文本分类方法", 计算机工程与设计, no. 10, 16 October 2018 (2018-10-16) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022199214A1 (zh) * | 2021-03-26 | 2022-09-29 | 北京沃东天骏信息技术有限公司 | 样本扩展方法、训练方法和系统、及样本学习系统 |
| CN116051926B (zh) * | 2023-01-12 | 2024-04-16 | 北京百度网讯科技有限公司 | 图像识别模型的训练方法、图像识别方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022199214A1 (zh) | 2022-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113033665A (zh) | 样本扩展方法、训练方法和系统、及样本学习系统 | |
| CN108090470B (zh) | 一种人脸对齐方法及装置 | |
| WO2018005413A1 (en) | Method and system for cell annotation with adaptive incremental learning | |
| CN112507901B (zh) | 一种基于伪标签自纠正的无监督行人重识别方法 | |
| CN105095863B (zh) | 基于相似性权值的半监督字典学习的人体行为识别方法 | |
| KR20120014911A (ko) | 연령 추정 장치, 연령 추정 방법 및 기록 매체 | |
| CN111008643B (zh) | 基于半监督学习的图片分类方法、装置和计算机设备 | |
| CN112800876A (zh) | 一种用于重识别的超球面特征嵌入方法及系统 | |
| CN109284668B (zh) | 一种基于距离正则化投影和字典学习的行人重识别方法 | |
| CN111611877A (zh) | 基于多时空信息融合的抗年龄干扰的人脸识别方法 | |
| CN116432655B (zh) | 基于语用知识学习的少样本命名实体识别方法和装置 | |
| CN113111716A (zh) | 一种基于深度学习的遥感影像半自动标注方法和装置 | |
| CN113838524B (zh) | S-亚硝基化位点预测方法、模型训练方法及存储介质 | |
| CN108549899B (zh) | 一种图像识别方法及装置 | |
| CN112115996B (zh) | 图像数据的处理方法、装置、设备及存储介质 | |
| CN112613474B (zh) | 一种行人重识别的方法和装置 | |
| CN113743455A (zh) | 目标检索方法、装置、电子设备及存储介质 | |
| CN117765432A (zh) | 一种基于动作边界预测的中学理化生实验动作检测方法 | |
| CN109886151B (zh) | 一种虚假身份属性检测方法 | |
| CN110675382A (zh) | 基于CNN-LapsELM的铝电解过热度识别方法 | |
| CN114708307B (zh) | 基于相关滤波器的目标跟踪方法、系统、存储介质及设备 | |
| CN116958724A (zh) | 一种产品分类模型的训练方法和相关装置 | |
| CN115588230A (zh) | 基于高精度边界预测的时序动作检测方法及计算机设备 | |
| CN116258938A (zh) | 基于自主进化损失的图像检索与识别方法 | |
| CN113435329B (zh) | 一种基于视频轨迹特征关联学习的无监督行人重识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |