CN113822374A - 基于半监督学习的模型训练方法、系统、终端及存储介质 - Google Patents

基于半监督学习的模型训练方法、系统、终端及存储介质 Download PDF

Info

Publication number
CN113822374A
CN113822374A CN202111276553.6A CN202111276553A CN113822374A CN 113822374 A CN113822374 A CN 113822374A CN 202111276553 A CN202111276553 A CN 202111276553A CN 113822374 A CN113822374 A CN 113822374A
Authority
CN
China
Prior art keywords
sample data
data set
pseudo
information
classification model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111276553.6A
Other languages
English (en)
Other versions
CN113822374B (zh
Inventor
徐啸
李晓宇
孙瑜尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202111276553.6A priority Critical patent/CN113822374B/zh
Publication of CN113822374A publication Critical patent/CN113822374A/zh
Application granted granted Critical
Publication of CN113822374B publication Critical patent/CN113822374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于半监督学习的模型训练方法、系统、终端及存储介质。方法包括获取带有潜在噪音标签的样本数据集；根据第一分类模型对样本数据集进行认知判断，以得到样本数据集的第一伪标签信息；根据第二分类模型对样本数据集进行认知判断，以得到样本数据集第二伪标签信息；将具有第一伪标签信息的样本数据集和具有第二伪标签信息样本数据集进行融合，以得加权样本数据集；通过加权样本数据集对第一分类模型的模型参数进行调整，得到调整后的第一分类模型；通过加权样本数据集对第二分类模型的模型参数进行调整，得到调整后的第二分类模型。该方法在带有噪声标签的数据上的总体性能优于其它单个噪音标签学习方法，具有更好的稳定性和鲁棒性。

Description

基于半监督学习的模型训练方法、系统、终端及存储介质
技术领域
本发明涉及机器学习技术领域，特别是涉及一种基于半监督学习的模型训练方法、系统、终端及存储介质。
背景技术
随着海量数据的出现，人工智能技术迅速发展，而机器学习是人工智能发展到一定阶段的必然产物，其致力于通过计算的手段，从大量数据中挖掘有价值的潜在信息。
在机器学习领域，往往通过将经验数据提供给机器学习算法来训练机器学习模型以确定构成机器学习模型的理想参数，而训练好的机器学习模型可被应用于在面对新的预测数据时提供相应的预测结果。而这些海量数据如果透过人工标注的话，将会耗费较多的人力物力和财力。因此，如何有效利用未标注数据来解决标注量少的问题时研究的重点，为了解决这一问题，半监督学习近年来被广泛研究。
对于半监督学习技术而言，数据集中只有少量数据是有标签的，其主要目标是利用隐藏在大量无标签样本中的数据分布信息来提升仅使用少量有标签样本时的学习性能。现有噪声标签学习方法中，利用元数据的方法表现最好，这里的元数据指一个小型的标注保证正确的样本子集，该场景与半监督学习类似。而在标签噪声比例较大时，半监督学习的方法会优于噪声标签学习；标签噪声比例较小时，过去认为半监督学习方法往往不及标签噪声学习方法，在标签噪声未知时，如何选择这些方法是一个两难的问题。
因此，如何提供一种合适的噪音标签学习方法来解决噪音标签未知情况下的学习处理是亟需解决的问题。
发明内容
基于此，有必要针对上述问题，提供一种基于半监督学习的模型训练方法、系统、终端及存储介质。
一种基于半监督学习的模型训练方法，包括：
获取带有潜在噪音标签的样本数据集；
根据第一分类模型对所述样本数据集进行认知判断，以得到所述样本数据集的第一伪标签信息；
根据第二分类模型对所述样本数据集进行认知判断，以得到所述样本数据集第二伪标签信息；
将具有所述第一伪标签信息的样本数据集和具有所述第二伪标签信息样本数据集进行融合，以得加权样本数据集；
通过所述加权样本数据集对所述第一分类模型的模型参数进行调整，得到调整后的第一分类模型；
通过所述加权样本数据集对所述第二分类模型的模型参数进行调整，得到调整后的第二分类模型。
在一个可能的实施例中，所述将具有所述第一伪标签信息的样本数据集和具有所述第二伪标签信息样本数据集进行融合，以得加权样本数据集，包括：
根据所述第一伪标签信息和所述第二伪标签信息，确定具有所述第一伪标签信息的样本数据集中的样本数据的权值；
根据具有所述第一伪标签信息的样本数据集和具有所述第一伪标签信息的样本数据集中的样本数据的权值，确定所述加权样本数据集。
在一个可能的实施例中，所述根据所述第一伪标签信息和所述第二伪标签信息，确定具有所述第一伪标签信息的样本数据集中的样本数据的权值，包括：
所述样本数据集中的对应的样本数据的所述第一伪标签信息指示的判别信息与所述第二伪标签信息指示的判别信息相同，则确定所述样本数据集中的对应的样本数据的权值为第一权值；
所述样本数据集中的对应的样本数据的所述第一伪标签信息指示的判别信息与所述第二伪标签信息指示的判别信息不同，则确定所述样本数据集中的对应的样本数据的权值为第二权值，所述第一权值大于所述第二权值。
在一个可能的实施例中，所述根据所述第一伪标签信息和所述第二伪标签信息，确定具有所述第一伪标签信息的样本数据集中的样本数据的权值，包括：
根据所述第一伪标签信息，确定所述样本数据集中的样本数据的第一类别信息；
根据所述第二伪标签信息中包含的第一类别信息，确定根据所述第一伪标签信息确定的第一类别信息的准确率；
若根据所述第一伪标签信息确定的第一类别信息与所述样本数据集中的样本数据对应的噪音标签对应的类别相同，且所述准确率高于预设阈值，则确定所述样本数据集中的样本数据的权值为第一权值；
若根据所述第一伪标签信息确定的第一类别信息与所述样本数据集中的样本数据对应的噪音标签对应的类别不相同和/或所述准确率低于预设阈值，则确定所述样本数据集中的样本数据的权值为第二权值，所述第一权值大于所述第二权值。
在一个可能的实施例中，所述根据第一分类模型对所述样本数据集进行认知判断，以得到所述样本数据集的第一伪标签信息，包括：
根据所述第一分类模型，确定所述样本数据集中的样本数据为预设类别的第一概率；
若所述第一概率大于第一预设阈值，则为所述样本数据生成第一伪标签信息。
在一个可能的实施例中，所述通过所述加权样本数据集对所述第一分类模型进行调整，得到调整后的第一分类模型，包括：
通过所述加权样本数据集对所述第一分类模型的权值参数进行调整，得到调整后的第一分类模型。
在一个可能的实施例中，若所述加权样本数据集中的样本为图像样本，所述方法还包括：
获取所述加权样本数据集中目标样本的目标权值，所述目标样本为加权样本数据集中预设类型的样本；
若所述目标权值低于第一预设权值，则获取所述目标样本的特征数据；
根据所述特征数据，确定类目标样本。
上述基于半监督学习的模型训练方法，分别将同一批样本数据集输入第一分类模型和第二分类模型，再分别利用半监督学习方法中的自训练对样本数据集进行认知判断以为样本数据集生成两种伪标签信息。由于两种分类模型生成的两种伪标签信息本质上都是对同一个样本标签所进行的评价，因此两个分类任务可以相互补充，彼此获益，最终在多种噪声类别和比例上都表现得更好。同时，该方法在带有噪声标签的数据上的总体性能优于其它单个噪音标签学习方法，在不同类别的不同比例的噪声场景下标签优异，具有更好的稳定性和鲁棒性。因此，从业人员面对噪声标签问题时，相对于其它方法，更适合优先尝试本方法。
基于同样的发明构思，本申请还提供一种基于半监督学习的模型训练系统，包括：
获取单元，用于获取带有潜在噪音标签的样本数据集；
第一判断单元，根据第一分类模型对所述样本数据集进行认知判断，以得到所述样本数据集的第一伪标签信息；
第二判断单元，根据第二分类模型对所述样本数据集进行认知判断，以得到所述样本数据集的第二伪标签信息；
融合单元，用于将具有所述第一伪标签信息的样本数据集和具有所述第二伪标签信息样本数据集进行融合，以得加权样本数据集；
第一调整单元，用于通过所述加权样本数据集对所述第一分类模型的模型参数进行调整，得到调整后的第一分类模型；
第二调整单元，用于通过所述加权样本数据集对所述第二分类模型的模型参数进行调整，得到调整后的第二分类模型。
基于同样的发明构思，本申请还提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行前述任一项所述的方法。
上述终端，由于包括有被配置为执行前述任一项所述方法的处理器，而上述基于半监督学习的模型训练方法，分别将同一批样本数据集输入第一分类模型和第二分类模型，再分别利用半监督学习方法中的自训练对样本数据集进行认知判断以为样本数据集生成两种伪标签信息。由于两种分类模型生成的两种伪标签信息本质上都是对同一个样本标签所进行的评价，因此两个分类任务可以相互补充，彼此获益，最终在多种噪声类别和比例上都表现得更好。同时，该方法在带有噪声标签的数据上的总体性能优于其它单个噪音标签学习方法，在不同类别的不同比例的噪声场景下标签优异，具有更好的稳定性和鲁棒性。因此，从业人员面对噪声标签问题时，相对于其它方法，更适合优先尝试本方法。
基于同样的发明构思，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行前述所述的方法。
附图说明
图1为一实施例中的基于半监督学习的模型训练方法的流程示意图；
图2为图1中步骤S200的一具体步骤流程示意图；
图3为一实施例中的基于半监督学习的模型训练系统的流程示意图；
图4为一实施例中的基于半监督学习的模型训练系统的工作示意图。
具体实施方式
为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的较佳实施方式。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施方式。相反地，提供这些实施方式的目的是使对本申请的公开内容理解的更加透彻全面。
需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本申请。
如本申请背景技术中所提到的，现有噪声标签学习方法中，利用元数据的方法表现最好，这里的元数据指一个小型的标注保证正确的样本子集，该场景与半监督学习类似。而在标签噪声比例较大时，半监督学习的方法会优于噪声标签学习；标签噪声比例较小时，过去认为半监督学习方法往往不及标签噪声学习方法，在标签噪声未知时，如何选择这些方法是一个两难的问题。
因此，如何提供一种合适的噪音标签学习方法来解决噪音标签未知情况下的学习处理是亟需解决的问题。
基于此，本申请希望提供一种能够解决上述技术问题的方案，其详细内容将在后续实施例中得以阐述。
可参照图1，为根据本申请的第一个方面，提供的一实施例中的基于半监督学习的模型训练方法流程示意图。该训练方法可以包括步骤S100-S500。其中：
步骤S100，获取带有潜在噪音标签的样本数据集。
其中，本具体实施例中带有潜在噪音标签的样本数据集中的样本数据可以是包括少量已人工标注的样本数据和大量未标注的样本数据。同时，该些样本数据可以是多个图像数据或视频数据，也可以是多个音频数据或多个文本数据中的任意一种，也可以是其他机器可以学习、处理的数据。在此不作赘述。
本申请的带有潜在噪音标签的样本数据包括样本信息和标签信息，标签信息是用于描述目标对象的信息。
例如，设定目标对象是猫咪，则样本数据是包含有猫咪图像的多个图片或多个视频，标签信息则是对目标对象进行描述的信息，例如可以就是“猫”“橘猫”等文本数据，也可以是其他描述信息。
又例如，设定目标对象为小明的语音，所述样本数据则为多个包含小明语音的音频数据，所述标签信息则可以是“男声”、“女声”等。
在具体实现中，可以通过数据采集装置对样本数据进行采集，然后对采集到的样本数据进行整理标记生成样本数据集和对应的标签信息，并将样本数据集转换为预设格式的数据，例如CSV文件的格式，从而得到上述样本数据。
在具体实现中，对于上述标签信息而言，使用者可经由人机界面(如触控屏幕、键盘、按键组、显示器、其他输入/输出装置或上述装置任意组合)，来输入用以描述当前目标对象的标签信息(如商品名称、颜色、规格、型号、识别码等等)。
其中，通过数据采集装置对样本数据进行采集，可以是通过外接设备例如摄像设备或录音设备或可以联网的电子设备，去对样本数据进行采集。例如通过具有拍摄功能的电子设备对目标对象(如小轿车、猫咪、篮球、冰箱等各种实体)进行拍摄得到目标对象的图像或视频数据；又例如通过录音笔对小明进行多次录音得到小明的语音数据，还可以是直接通过联网设备在网络上获取包含目标对象的数据作为样本数据。
对样本数据集加入潜在噪音标签，可方便后续依照该些样本数据集对分类学习模型进行迭代训练，同时还可辅助提高模型迭代训练的准确度。
可以理解的是在本申请实施例中，上述举例只作为示意性的实现方式，不对具体实现方式做限定。
步骤S200，根据第一分类模型对所述样本数据集进行认知判断，以得到样本数据集的第一伪标签信息；
具体地，本申请的第一分类模型和第二分类模型可以是两种近似的分类模型，该些分类模型可以是基于统计的学习模型，例如TFIDF、HMN、MEMM、CRF；也可以是基于机器学习的模型，例如，KNN、SVM、Naive Bayes、决策树、k-means等；还可以是基于深度学习的模型，例如，LSTM、Seq2seq，FastText、TextRNN、TextCNN、TextRCNN等。近似的分类模型可以理解为两个分类模型的主干网络相近，但两个分类模型的输入和输出不同。
其中，第一分类模型的输出为伪类标签，第二分类模型的输出为伪干净标签。相应的，第一分类模型的输入就为具有多个类别的样本数据，第二分类模型的输入就为样本数据和与其对应的标签信息。第一分类模型和第二分类模型均用于判断概率。
具体地，第一分类模型用于判断样本数据为某一类别的概率，并在该概率大于阈值时，为该样本数据生成伪类标签。示例性地，以样本数据为动物类的多个图像数据或视频数据为例，第一分类模型的任务就是判断该些图像数据或视频数据为“猫”、“狗”、“狐狸”的概率，并在该概率大于阈值时，为该样本数据生成一个伪类标签，自此，第一分类模型完成认知判断任务。
具体地，第二分类模型用于判断样本数据和其带有的标签信息之间匹配的概率，并在该概率大于阈值时，为该样本数据生成伪干净标签，相应地，当该概率小于阈值时，则为该样本数据生成伪噪音标签。同样，以样本数据为动物类多个图像数据或视频数据为例，设三个样本数据分别为第一样本数据、第二样本数据和第三样本数据，其对应携带的三个标签信息分别是“猫”、“狗”、“狐狸”，那么，第二分类模型的任务就是判断第一样本数据是“猫”的概率、第二样本数据是“狗”的概率、第三样本数据是“狐狸”的概率，并在该概率大于阈值时，为该样本数据生成一个伪干净标签，否则生成伪噪音标签。自此，第二分类模型完成认知判断任务。
本申请对于不同的样本数据类型可以选择不同的分类模型。例如对于图像分类可以选择Inception、ResNet或者其他。而对于每一个模型，可选的超参数包含批量大小、迭代数量和卷积核大小等。在确定模型架构，并配置完超参数后，每一个单独的模型都会并行的训练，并按一定策略选择效果最好的两个分类模型。
在一个实施例中，该步骤S200可以包括以下子步骤S202-S206。步骤S202-S204也即是前述第一分类模型所需要执行的判断步骤。请参阅图2：
步骤S202，根据第一分类模型，确定样本数据集中的样本数据为预设类别的第一概率。
可以获取输入的样本数据集，具体地，本申请的样本数据集中的样本数据可以至少是二分类样本数据，二分类样本数据即是包括样本信息和标签信息的样本数据。也可以是多分类样本数据，多分类样本数据即是包括多个类别的样本数据。可以理解地，类别和标签信息应当是样本数据本身所具有的信息，该些信息足以用于后续分类模型的训练学习。本具体实施例中，样本数据为多分类样本数据。
具体地，以样本数据为动物类的多个图像数据或视频数据为例，此步骤就是判断该些图像数据或视频数据为“猫”、“狗”、“狐狸”的概率。可以理解，本申请的预设类别不作特殊限制，在不同领域中，其可以分别代表不同类别。例如，植物类下的不同类别，水果类下的不同类别等等。
步骤S204，若第一概率大于第一预设阈值，则为样本数据生成第一伪标签信息。
如前述步骤描述的那样，当判断该些样本数据为预设类别(“猫”、“狗”、“狐狸”)的概率大于阈值时，则为该样本数据生成一个伪类标签。第一预设概率值通过经验值或历史数据设定。
步骤S300，根据第二分类模型对样本数据集进行认知判断，以得到样本数据集第二伪标签信息。
步骤S302，获取输入的样本数据及样本数据带有的标签信息。
具体地，本申请的样本数据可以至少是二分类样本数据，二分类样本数据即是包括样本信息和标签信息的样本数据。也可以是多分类样本数据，多分类样本数据即是包括多个类别的样本数据。可以理解地，类别和标签信息应当是样本数据本身所具有的信息，该些信息足以用于后续分类模型的训练学习。本具体实施例中，样本数据为二分类样本数据。
步骤S304，判断样本数据与标签信息匹配的第二概率。
具体地，以样本数据为动物类多个图像数据或视频数据为例，设三个样本数据分别为第一样本数据、第二样本数据和第三样本数据，其对应携带的三个标签信息分别是“猫”、“狗”、“狐狸”，那么，该步骤的任务就是判断第一样本数据是“猫”的概率、第二样本数据是“狗”的概率、第三样本数据是“狐狸”的概率。
步骤S306，响应于第二概率大于第二预设阈值，则为所述样本数据生成伪干净标签。
如前述步骤所述，当判断该些样本数据与所述标签信息匹配的第二概率大于第二预设阈值时，则为该样本数据生成一个伪干净标签，否则生成伪噪音标签。第二预设概率值通过经验值或历史数据设定。
步骤S400，将具有第一伪标签信息的样本数据集和具有第二伪标签信息样本数据集进行融合，以得加权样本数据集。
其中，将具有所述第一伪标签信息的样本数据集和具有所述第二伪标签信息样本数据集进行融合，以得加权样本数据集的具体方法可以包括：
A1、根据第一伪标签信息和第二伪标签信息，确定具有第一伪标签信息的样本数据集中的样本数据的权值；
A2、根据具有第一伪标签信息的样本数据集和具有第一伪标签信息的样本数据集中的样本数据的权值，确定加权样本数据集。
其中，可以根据第一伪标签信息和第二伪标签信息所指示的信息是否相同，来确定样本数据的权值。也可以是根据第一伪标签信息指示的类别信息和第二伪标签信息指示的准确率，来确定样本数据的权值。
可以根据具有第一伪标签信息的样本数据集和具有第一伪标签信息的样本数据集中的样本数据的权值，对具有第一伪标签信息的样本数据的权值，确定第一伪标签信息的样本数据在样本数据集中的数量，从而调整样本数据集的结构，以得到加权样本数据集。
在一个可能的实现方式中，根据第一伪标签信息和第二伪标签信息，确定具有第一伪标签信息的样本数据集中的样本数据的权值的方法包括：
A11、样本数据集中的对应的样本数据的第一伪标签信息指示的判别信息与第二伪标签信息指示的判别信息相同，则确定样本数据集中的对应的样本数据的权值为第一权值；
A12、样本数据集中的对应的样本数据的第一伪标签信息指示的判别信息与第二伪标签信息指示的判别信息不同，则确定样本数据集中的对应的样本数据的权值为第二权值，第一权值大于所述第二权值。
判别信息相同可以理解为：例如，对于样本1，第一伪标签信息指示的判别信息为认为样本1是红色，该红色与样本1的噪音标签相同(噪音标签为红色)，其中，红色可以理解为分类的类别，具体为样本1的标签正确，第二伪标签信息指示的判别信息为，样本1的标注是正确的，则可以理解为第一伪标签信息指示的判别信息与第二伪标签信息指示的判别信息相同。第一权值可以是通过经验值设定。
其中，第二权值可以为0，具体可以理解为，由于第一伪标签信息与第二伪标签信息不同，则可以去除具有争议的矛盾样本，从而提升样本的可靠性。
一个具体的示例中，例如针对前述步骤中提及的第一样本数据，若第一分类模型判断该第一样本数据不属于“猫”，则该第一分类模型将不会为该第一样本数据生成伪类标签，也即是说，机器对第一样本数据的判断结果为错误；而第二分类模型判断该第一样本数据与其对应的标签信息匹配，例如，该第一样本数据表示的是“猫”，而该第一样本数据所带有的标签信息也是“猫”，那么，第二分类模型将会为该第一样本数据生成了伪干净标签，也即是说，机器对第一样本数据的判断结果为正确。也即是针对第一样本数据，第一分类模型的判断结果为错误，第二分类模型的判断结果为正确，那么在此情况下，就直接将该第一样本数据去除。反之亦然。
又例如，同样继续以前述步骤中提及的第一样本数据为例，若第一分类模型判断该第一样本数据属于“猫”，则该第一分类模型将会为该第一样本数据生成伪类标签，也即是说，机器对第一样本数据的判断结果为正确；而第二分类模型判断该第一样本数据与其对应的标签信息匹配，例如，该第一样本数据表示的是“猫”，而该第一样本数据所带有的标签信息也是“猫”，那么，第二分类模型将会为该第一样本数据生成了伪干净标签，也即是说，机器对第一样本数据的判断结果为正确。也即是针对第一样本数据，第一分类模型和第二分类模型的判断结果均为正确，那么在此情况下，就直接将该第一样本数据的权值加重，以获得一个带有伪标签的加权样本数据。
在一个可能的实现方式中，另一种可能的根据第一伪标签信息和第二伪标签信息，确定具有第一伪标签信息的样本数据集中的样本数据的权值的方法包括：
A13、根据第一伪标签信息，确定样本数据集中的样本数据的第一类别信息；
A14、根据第二伪标签信息包含的第一类别信息，判断根据第一伪标签信息确定的第一类别信息的准确率；
A15、若根据第一伪标签信息确定的第一类别信息与样本数据集中的样本数据对应的噪音标签对应的类别相同，且准确率高于预设阈值，则确定样本数据集中的样本数据的权值为第一权值；
A16、若根据第一伪标签信息确定的第一类别信息与所述样本数据集中的样本数据对应的噪音标签对应的类别不相同和/或准确率低于预设阈值，则确定样本数据集中的样本数据的权值为第二权值，第一权值大于第二权值。
其中，第一类别信息可以理解为通过第一分类模型进行分类后，得到的类别信息。
通过第二分类模型获取的第二伪标签信息中包括有第一类别信息的准确性，对第一类别信息是否正确标注进行判别。
步骤S500，通过加权样本数据集对第一分类模型的模型参数进行调整，得到调整后的第一分类模型。
步骤S600，通过所述加权样本数据集对第二分类模型的模型参数进行调整，得到调整后的第二分类模型。
具体地，本申请参照加权样本数据集调整两种分类模型(第一分类模型、第二分类模型)的模型参数主要是参照加权样本数据集中具有第一伪标签信息和/或第二伪标签信息的样本数据的数量，来相应分别调整两种分类模型的权值参数。
可以理解，针对具体的调整方法可参照现有技术进行了解，本申请在此不作赘述。另外，在采用不同分类模型的情况下，还可以调整模型的其他重要参数。
当然，还可以对调整后的第一、第二分类模型进行再次调整，其执行的方法与前述步骤S100-S600相同。从而可以不断优化调整两种分类模型的性能。
可选地，在一些实施例中，除了利用调整后的模型参数和所述带有潜在噪音标签的样本数据继续迭代优化所述两种分类模型外，还可以将少量的已标注的样本数据加入到所述两种分类模型中，继续迭代优化。也即是说，用于继续迭代优化两种分类模型的数据可以包括原始带有潜在噪音标签的样本数据和少量的已标注的正确数据。
综上所述，本申请基于半监督学习的模型训练方法，分别将同一批样本数据集输入第一分类模型和第二分类模型，再分别利用半监督学习方法中的自训练对样本数据集进行认知判断以为样本数据集生成两种伪标签信息。由于两种分类模型生成的两种伪标签信息本质上都是对同一个样本标签所进行的评价，因此两个分类任务可以相互补充，彼此获益，最终在多种噪声类别和比例上都表现得更好。同时，该方法在带有噪声标签的数据上的总体性能优于其它单个噪音标签学习方法，在不同类别的不同比例的噪声场景下标签优异，具有更好的稳定性和鲁棒性。因此，从业人员面对噪声标签问题时，相对于其它方法，更适合优先尝试本方法。换句话说，本申请分别将样本数据输入两种分类模型，再分别利用半监督学习方法中的自训练对样本数据进行认知判断以为样本数据生成两种伪标签。由于两种分类模型生成的两种伪标签本质上都是对同一个样本标签所进行的评价，因此两个分类任务可以相互补充，彼此获益，最终在多种噪声类别和比例上都表现得更好。同时，该方法在带有噪声标签的数据上的总体性能优于其它单个噪音标签学习方法，在不同类别的不同比例的噪声场景下标签优异，具有更好的稳定性和鲁棒性。因此，从业人员面对噪声标签问题时，相对于其它方法，更适合优先尝试本方法。
相对其它工作，此方法在训练得到一个样本类别的分类器的基础上，也获得了一个样本标签检测器，该检测器可以进行单独应用。
在方法中，也允许使用者针对不同的数据来改表调整的策略，只要按照本方法的训练流程，最终的效果都会得到不同程度的提升。
可参照图3，本申请还提供了一种基于半监督学习的模型训练系统，包括：
获取单元10，用于获取带有潜在噪音标签的样本数据集；
第一判断单元20，根据第一分类模型对所述样本数据集进行认知判断，以得到所述样本数据集的第一伪标签信息；
第二判断单元30，根据第二分类模型对所述样本数据集进行认知判断，以得到所述样本数据集的第二伪标签信息；
融合单元40，用于将具有所述第一伪标签信息的样本数据集和具有所述第二伪标签信息样本数据集进行融合，以得加权样本数据集；
第一调整单元50，用于通过加权样本数据集对所述第一分类模型的模型参数进行调整，得到调整后的第一分类模型；
第二调整单元60，用于通过加权样本数据集对所述第二分类模型的模型参数进行调整，得到调整后的第二分类模型。
可以理解，对于各模块的功能描述，还可以参照前述方法实施例的进行理解，本实施例在此不作赘述。
该基于半监督学习的模型训练系统可以包括集成式单体设备或者多设备，为方便描述，本申请将基于半监督学习的模型训练系统统称为电子设备。显然该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(MobileStation，MS)，终端设备(Terminal Device)等等。
综上，本申请的基于半监督学习的模型训练系统，通过采用获取单元，第一判断单元，第二判断单元，融合单元，第一调整单元，第二调整单元；而获取单元被配置为获取带有潜在噪音标签的样本数据；第一判断单元被配置为根据第一分类模型对样本数据集进行认知判断，以得到样本数据集的第一伪标签信息；第二判断单元被配置为根据第二分类模型对样本数据集进行认知判断，以得到样本数据集的第二伪标签信息；融合单元被配置为将具有第一伪标签信息的样本数据集和具有第二伪标签信息样本数据集进行融合，以得加权样本数据集；第一调整单元被配置为通过加权样本数据集对所述第一分类模型的模型参数进行调整，得到调整后的第一分类模型；第二调整单元被配置为通过加权样本数据集对第二分类模型的模型参数进行调整，得到调整后的第二分类模型。换句话说，本申请分别将同一批样本数据输入两种分类模型，再分别利用半监督学习方法中的自训练对样本数据进行认知判断以为样本数据生成两种伪标签。由于两种分类模型生成的两种伪标签本质上都是对同一个样本标签所进行的评价，因此两个分类任务可以相互补充，彼此获益，最终在多种噪声类别和比例上都表现得更好。同时，该系统所使用的方法在带有噪声标签的数据上的总体性能优于其它单个噪音标签学习方法，在不同类别的不同比例的噪声场景下标签优异，具有更好的稳定性和鲁棒性。
在一些实施例中，为了便于描述和了解本申请基于半监督学习的模型训练系统的工作原理。现参照图4对本申请训练系统的实际工作原理进行说明。
可参照图4，0-9分别表示原始输入样本数据，较浅的颜色表示可能错误的标签信息，f和g分别表示两种分类模型。可以理解为前述的第一分类模型和第二分类模型。模型f用于预测样本0-9的类别，模型g用于预测样本0-9的干净/噪音，也即是，模型g用于判断这些样本0-9所带有的标签信息正确与否(1/0)。在图中的示例中，在模型f的输出里，不同颜色的样本数据表述不同类别的样本数据；在模型g的输出里，黑实线圆环表示模型g认为该样本数据的标签信息是正确的，黑虚线表示模型g认为该样本数据的标签信息是错误的，由于模型f和模型g生成的伪标签都是对当前样本标签的判断，因此可以相互补充受益，在共同过滤策略中，本申请首先找出两个模型有争议有矛盾的样本，比如图4中的样本5，模型f认为样本5浅色，相当于标注正确，而模型g认为浅色的样本5标注不正确(虚线)，那么，在执行下一步前，就需要把样本5剔除；在相互确认策略中，如果两个模型f和g对某个样本的标签认知达成共识，则增大该样本的权重，比如图中的样本1，模型f认为样本1是深色，相当于样本1的标签正确，而模型g也认为样本1的标注是正确的(实线)，那么在本步骤之后，就可以把样本1的权重增大。最后，再将同时带有干净和噪音标签的样本数据重新训练模型f和g，以不断迭代优化模型f和g。
根据本发明的第三个方面，提供了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时可用于执行本发明上述实施例中任一所述方法。
可选地，存储器，用于存储程序；存储器，可以包括易失性存储器(英文：VolatileMemory)，例如随机存取存储器(英文：Random-Access Memory，缩写：RAM)，如静态随机存取存储器(英文：Static Random-Access Memory，缩写：SRAM)，双倍数据率同步动态随机存取存储器(英文：Double Data Rate Synchronous Dynamic Random Access Memory，缩写：DDR SDRAM)等；存储器也可以包括非易失性存储器(英文：Non-Volatile Memory)，例如快闪存储器(英文：Flash Memory)。存储器用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
处理器，用于执行存储器存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。
处理器和存储器可以是独立结构，也可以是集成在一起的集成结构。当处理器和存储器是独立结构时，存储器、处理器可以通过总线耦合连接。
上述终端，由于包括有被配置为执行前述任一实施例所述方法的处理器，而该基于半监督学习的模型训练方法，分别将同一批样本数据集输入第一分类模型和第二分类模型，再分别利用半监督学习方法中的自训练对样本数据集进行认知判断以为样本数据集生成两种伪标签信息。由于两种分类模型生成的两种伪标签信息本质上都是对同一个样本标签所进行的评价，因此两个分类任务可以相互补充，彼此获益，最终在多种噪声类别和比例上都表现得更好。同时，该方法在带有噪声标签的数据上的总体性能优于其它单个噪音标签学习方法，在不同类别的不同比例的噪声场景下标签优异，具有更好的稳定性和鲁棒性。因此，从业人员面对噪声标签问题时，相对于其它方法，更适合优先尝试本方法。
根据本发明的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行本发明上述实施例中任一实施例所描述的方法。
上述计算机可读存储介质，由于其上存储的计算机程序被处理器执行时可用于执行前述任一实施例所描述的基于半监督学习的模型训练方法，而该方法分别将同一批样本数据集输入第一分类模型和第二分类模型，再分别利用半监督学习方法中的自训练对样本数据集进行认知判断以为样本数据集生成两种伪标签信息。由于两种分类模型生成的两种伪标签信息本质上都是对同一个样本标签所进行的评价，因此两个分类任务可以相互补充，彼此获益，最终在多种噪声类别和比例上都表现得更好。同时，该方法在带有噪声标签的数据上的总体性能优于其它单个噪音标签学习方法，在不同类别的不同比例的噪声场景下标签优异，具有更好的稳定性和鲁棒性。因此，从业人员面对噪声标签问题时，相对于其它方法，更适合优先尝试本方法。
本发明上述实施例提供的基于半监督学习的模型方法和系统，其中系统包括与方法各步骤相对应的模块，通过对带有潜在噪音标签的样本数据实施两种有效的半监督学习，再将两种半监督学习结果进行融合(共同过滤、相互确认)，从而解决在噪音标签未知情况下，如何选择学习方法的问题，实现了良好的性能。
本发明上述实施例提供的基于半监督学习的模型训练方法和系统，通过对带有潜在噪音标签的样本数据实施两种有效的半监督学习，再将两种半监督学习结果进行融合(共同过滤、相互确认)，获得带有伪标签的加权样本数据，再参照该加权样本数据来反向调整两种分类模型的权值参数，再藉由调整后的权值参数和原始的带有潜在噪音标签的样本数据继续迭代优化两种分类模型。在此基础上可以极大地优化分类模型，提升模型训练学习的准确率。
需要说明的是，本发明提供的方法中的步骤，可以利用系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照方法的技术方案实现系统的组成，即，方法中的实施例可理解为构建系统的优选例，在此不予赘述。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于半监督学习的模型训练方法，其特征在于，包括：
获取带有潜在噪音标签的样本数据集；
根据第一分类模型对所述样本数据集进行认知判断，以得到所述样本数据集的第一伪标签信息；
根据第二分类模型对所述样本数据集进行认知判断，以得到所述样本数据集的第二伪标签信息；
将具有所述第一伪标签信息的样本数据集和具有所述第二伪标签信息样本数据集进行融合，以得到加权样本数据集；
通过所述加权样本数据集对所述第一分类模型的模型参数进行调整，得到调整后的第一分类模型；
通过所述加权样本数据集对所述第二分类模型的模型参数进行调整，得到调整后的第二分类模型。
2.根据权利要求1所述的方法，其特征在于，所述将具有所述第一伪标签信息的样本数据集和具有所述第二伪标签信息样本数据集进行融合，以得加权样本数据集，包括：
根据所述第一伪标签信息和所述第二伪标签信息，确定具有所述第一伪标签信息的样本数据集中的样本数据的权值；
根据具有所述第一伪标签信息的样本数据集和具有所述第一伪标签信息的样本数据集中的样本数据的权值，确定所述加权样本数据集。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一伪标签信息和所述第二伪标签信息，确定具有所述第一伪标签信息的样本数据集中的样本数据的权值，包括：
所述样本数据集中的对应的样本数据的所述第一伪标签信息指示的判别信息与所述第二伪标签信息指示的判别信息相同，则确定所述样本数据集中的对应的样本数据的权值为第一权值；
所述样本数据集中的对应的样本数据的所述第一伪标签信息指示的判别信息与所述第二伪标签信息指示的判别信息不同，则确定所述样本数据集中的对应的样本数据的权值为第二权值，所述第一权值大于所述第二权值。
4.根据权利要求2所述的方法，其特征在于，所述根据所述第一伪标签信息和所述第二伪标签信息，确定具有所述第一伪标签信息的样本数据集中的样本数据的权值，包括：
根据所述第一伪标签信息，确定所述样本数据集中的样本数据的第一类别信息；
根据所述第二伪标签信息中包含的第一类别信息，判断根据所述第一伪标签信息确定的第一类别信息的准确率；
若根据所述第一伪标签信息确定的第一类别信息与所述样本数据集中的样本数据对应的噪音标签对应的类别相同，且所述准确率高于预设阈值，则确定所述样本数据集中的样本数据的权值为第一权值；
若根据所述第一伪标签信息确定的第一类别信息与所述样本数据集中的样本数据对应的噪音标签对应的类别不相同和/或所述准确率低于预设阈值，则确定所述样本数据集中的样本数据的权值为第二权值，所述第一权值大于所述第二权值。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据第一分类模型对所述样本数据集进行认知判断，以得到所述样本数据集的第一伪标签信息，包括：
根据所述第一分类模型，确定所述样本数据集中的样本数据为预设类别的第一概率；
若所述第一概率大于第一预设阈值，则为所述样本数据生成第一伪标签信息。
6.根据权利要求5所述的方法，其特征在于，所述通过所述加权样本数据集对所述第一分类模型的模型参数进行调整，得到调整后的第一分类模型，包括：
通过所述加权样本数据集对所述第一分类模型的权值参数进行调整，得到调整后的第一分类模型。
7.根据权利要求1-4任一项所述的方法，其特征在于，若所述加权样本数据集中的样本为图像样本，所述方法还包括：
获取所述加权样本数据集中目标样本的目标权值，所述目标样本为加权样本数据集中预设类型的样本；
若所述目标权值低于第一预设权值，则获取所述目标样本的特征数据；
根据所述特征数据，确定类目标样本。
8.一种基于半监督学习的模型训练系统，其特征在于，包括：
获取单元，用于获取带有潜在噪音标签的样本数据集；
第一判断单元，根据第一分类模型对所述样本数据集进行认知判断，以得到所述样本数据集的第一伪标签信息；
第二判断单元，根据第二分类模型对所述样本数据集进行认知判断，以得到所述样本数据集的第二伪标签信息；
融合单元，用于将具有所述第一伪标签信息的样本数据集和具有所述第二伪标签信息样本数据集进行融合，以得加权样本数据集；
第一调整单元，用于通过所述加权样本数据集对所述第一分类模型的模型参数进行调整，得到调整后的第一分类模型；
第二调整单元，用于通过所述加权样本数据集对所述第二分类模型的模型参数进行调整，得到调整后的第二分类模型。
9.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可用于执行权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时可用于执行权利要求1-7中任一项所述的方法。
CN202111276553.6A 2021-10-29 2021-10-29 基于半监督学习的模型训练方法、系统、终端及存储介质 Active CN113822374B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111276553.6A CN113822374B (zh) 2021-10-29 2021-10-29 基于半监督学习的模型训练方法、系统、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111276553.6A CN113822374B (zh) 2021-10-29 2021-10-29 基于半监督学习的模型训练方法、系统、终端及存储介质

Publications (2)

Publication Number Publication Date
CN113822374A true CN113822374A (zh) 2021-12-21
CN113822374B CN113822374B (zh) 2023-07-18

Family

ID=78917634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111276553.6A Active CN113822374B (zh) 2021-10-29 2021-10-29 基于半监督学习的模型训练方法、系统、终端及存储介质

Country Status (1)

Country Link
CN (1) CN113822374B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114330618A (zh) * 2021-12-30 2022-04-12 神思电子技术股份有限公司 一种基于伪标签的二分类标签数据优化方法、设备及介质
CN117009883A (zh) * 2023-09-28 2023-11-07 腾讯科技（深圳）有限公司 对象分类模型构建方法、对象分类方法、装置和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222171A (zh) * 2019-05-08 2019-09-10 新华三大数据技术有限公司 一种分类模型应用、分类模型训练方法及装置
CN110414622A (zh) * 2019-08-06 2019-11-05 广东工业大学 基于半监督学习的分类器训练方法及装置
CN112884872A (zh) * 2020-10-17 2021-06-01 蔡娟 基于云计算的游戏渲染优化模型训练方法及云端计算中心

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222171A (zh) * 2019-05-08 2019-09-10 新华三大数据技术有限公司 一种分类模型应用、分类模型训练方法及装置
CN110414622A (zh) * 2019-08-06 2019-11-05 广东工业大学 基于半监督学习的分类器训练方法及装置
CN112884872A (zh) * 2020-10-17 2021-06-01 蔡娟 基于云计算的游戏渲染优化模型训练方法及云端计算中心

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114330618A (zh) * 2021-12-30 2022-04-12 神思电子技术股份有限公司 一种基于伪标签的二分类标签数据优化方法、设备及介质
CN117009883A (zh) * 2023-09-28 2023-11-07 腾讯科技（深圳）有限公司 对象分类模型构建方法、对象分类方法、装置和设备
CN117009883B (zh) * 2023-09-28 2024-04-02 腾讯科技（深圳）有限公司 对象分类模型构建方法、对象分类方法、装置和设备

Also Published As

Publication number Publication date
CN113822374B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN111368893B (zh) 图像识别方法、装置、电子设备及存储介质
JP6994588B2 (ja) 顔特徴抽出モデル訓練方法、顔特徴抽出方法、装置、機器および記憶媒体
CN113822374B (zh) 基于半监督学习的模型训练方法、系统、终端及存储介质
EP3843004A1 (en) Portrait segmentation method, model training method and electronic device
CN101937513A (zh) 信息处理设备、信息处理方法和程序
US20210390370A1 (en) Data processing method and apparatus, storage medium and electronic device
CN110096938B (zh) 一种视频中的动作行为的处理方法和装置
CN108960314B (zh) 基于难样本的训练方法、装置及电子设备
CN104246656A (zh) 建议的视频编辑的自动检测
CN110909224B (zh) 一种基于人工智能的敏感数据自动分类识别方法及系统
CN108154191B (zh) 文档图像的识别方法和系统
CN112446441B (zh) 模型训练数据筛选方法、装置、设备及存储介质
WO2023206944A1 (zh) 一种语义分割方法、装置、计算机设备和存储介质
EP4343616A1 (en) Image classification method, model training method, device, storage medium, and computer program
CN112884147A (zh) 神经网络训练方法、图像处理方法、装置及电子设备
CN111753929A (zh) 基于人工智能的分类方法、装置、终端和存储介质
CN112200772A (zh) 痘痘检测设备
CN113344079B (zh) 一种图像标签半自动标注方法、系统、终端及介质
CN105488529A (zh) 图片的源相机型号的识别方法和装置
CN117275086A (zh) 手势识别方法、装置、计算机设备、存储介质
CN108345943B (zh) 一种基于嵌入编码与对比学习的机器学习识别方法
CN117523218A (zh) 标签生成、图像分类模型的训练、图像分类方法及装置
CN113344086B (zh) 人机回圈方法、装置、系统、电子设备和存储介质
CN115620083A (zh) 模型训练方法、人脸图像质量评价方法、设备及介质
CN114116456A (zh) 测试用例生成方法、系统及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant