CN112149733B - 模型训练、质量确定方法、装置、电子设备及存储介质 - Google Patents

模型训练、质量确定方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112149733B
CN112149733B CN202011008060.XA CN202011008060A CN112149733B CN 112149733 B CN112149733 B CN 112149733B CN 202011008060 A CN202011008060 A CN 202011008060A CN 112149733 B CN112149733 B CN 112149733B
Authority
CN
China
Prior art keywords
preset
models
model
data set
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011008060.XA
Other languages
English (en)
Other versions
CN112149733A (zh
Inventor
鲁方波
汪贤
成超
樊鸿飞
蔡媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202011008060.XA priority Critical patent/CN112149733B/zh
Publication of CN112149733A publication Critical patent/CN112149733A/zh
Application granted granted Critical
Publication of CN112149733B publication Critical patent/CN112149733B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种模型训练、质量确定方法、装置、电子设备及存储介质,所述方法包括:获取第一数据集及多个不同的预设模型;利用多个预设模型分别预测第一数据集中每个第一数据对应的第一标签;针对每个预设模型,基于多个预设模型中除自身外的其它预设模型预测的第一标签及与第一标签对应的第一数据,构建预设模型对应的伪标签数据集;构建预设模型对应的第二数据集;利用第二数据集对预设模型进行训练,直至预设模型训练结束,得到多个质量确定模型,以用于确定图像数据的质量。本发明实施例通过多个预设模型之间协同学习,相互学习其它预设模型的优势,通过其它预设模型对应的伪标签数据集进行模型训练和自我提升,显著提升模型的泛化性和精度。

Description

模型训练、质量确定方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机领域,尤其涉及一种模型训练、质量确定方法、装 置、电子设备及存储介质。
背景技术
随着多媒体技术的发展,网络数据呈现爆炸式增长,比如图片、视频、 文字等。图像或视频作为信息传播的主要载体,在图像或视频采集、编码、 传输等环节通常面临着很多质量损失。低质量图像或视频会严重降低人眼 视觉观感,因此,如何有效评估图像或视频质量具有非常重要的意义。
目前,一般使用无参考视频质量评估方法评估图像或视频质量,现有 无参考视频质量评估方法需要构建一个大规模数据集及对应主观评分标注 即可,现有基于深度学习的无参考质量评估方法主要是基于开源的已标注 的数据进行模型训练,然后将训练的模型运用到各种场景的视频或图像数 据中。
然而,为了对基于深度学习的无参考质量评估方法进行训练,需要构 建一个大规模数据集,由于视频或图像数据的多样性,现有开源已标注数 据集最大也仅为几千的规模,相比数据本身的多样性相差甚远,在该标注 数据集上训练的模型通常泛化性较差。因此,如何在有限的标注数据集下 提升模型泛化性成为当前亟需解决的问题。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本申请提 供了一种模型训练、质量确定方法、装置、电子设备及存储介质。
第一方面,本申请提供了一种模型训练方法,包括:
获取第一数据集及多个不同的预设模型,所述第一数据集包括多个第 一数据;
将所述第一数据集分别输入多个预设模型,利用多个所述预设模型分 别预测所述第一数据集中每个第一数据对应的第一标签;
针对每个所述预设模型,基于多个预设模型中除自身外的其它预设模 型预测的第一标签及与所述第一标签对应的第一数据,构建所述预设模型 对应的伪标签数据集;
根据所述伪标签数据集及用于预先训练所述预设模型的训练集构建所 述预设模型对应的第二数据集;
利用所述第二数据集对所述预设模型进行训练,直至所述预设模型训 练结束,得到多个质量确定模型,以用于确定图像数据的质量。
可选的,所述针对每个所述预设模型,基于多个预设模型中除自身外 的其它预设模型预测的第一标签及与所述第一标签对应的第一数据,构建 所述预设模型对应的伪标签数据集,包括:
针对每个所述预设模型,获取多个预设模型中除所述预设模型自身之 外的其它预设模型预测的第一标签;
将获取到的第一标签中满足预设条件的第一标签确定为伪标签;
将第一数据集中与所述伪标签对应的第一数据确定为伪标签数据;
基于所述伪标签及所述伪标签数据构建所述预设模型对应的伪标签数 据集。
可选的,所述将获取到的第一标签中满足预设条件的第一标签确定为 伪标签,包括:
按照预设算法及每个预设模型预测的第一标签计算每个预设模型对应 的参考标签;
针对每个所述预设模型,将多个预设模型中除所述预设模型之外的预 设模型分别确定为参考模型;
针对每个所述预设模型对应的参考标签,计算任意两个所述参考模型 所对应的参考标签之间的差值的绝对值,得到与所述参考标签对应的第一 差异数据;
计算所述预设模型所对应的参考标签与任一参考模型所对应的参考标 签之间的差值的绝对值,得到与所述参考标签对应的第二差异数据;
若任一参考标签对应的第一差异数据小于第一预设阈值,且该参考标 签对应的第二差异数据大于或者等于第二预设阈值,将所述参考标签确定 为伪标签。
可选的,所述按照预设算法及每个预设模型预测的第一标签计算每个 预设模型对应的参考标签,包括:
计算每个预设模型预测的第一标签的平均值,得到所述预设模型对应 的参考标签。
可选的,所述方法还包括:
判断任一所述预设模型对应的伪标签数据集与其它预设模型对应的伪 标签数据集的重合度是否超过预设阈值;
若任一所述重合度超过预设阈值,确定所述预设模型训练结束;
或者,判断任一所述预设模型重新训练的迭代次数是否达到预设次数;
若任一所述预设模型重新训练的迭代次数达到预设次数,确定所述预 设模型训练结束。
可选的,所述方法还包括:
获取第二数据集,所述第二数据集包括:第二数据及第二标签;
利用所述第二数据集分别对多个预设初始模型进行训练,得到多个预 设模型。
第二方面,本申请提供了一种质量确定方法,包括:
在多个质量确定模型中选择一个或多个质量确定模型,所述质量确定 模型是通过以下方式训练得到的:获取第一数据集及多个不同的预设模型, 所述第一数据集包括多个第一数据,将所述第一数据集分别输入多个预设 模型,利用多个所述预设模型分别预测所述第一数据集中每个第一数据对 应的第一标签,针对每个所述预设模型,基于多个预设模型中除自身外的 其它预设模型预测的第一标签及与所述第一标签对应的第一数据,构建所述预设模型对应的伪标签数据集,根据所述伪标签数据集及用于预先训练 所述预设模型的训练集构建所述预设模型对应的第二数据集,利用所述第 二数据集对所述预设模型进行训练,直至所述预设模型训练结束;
将待确定质量的图像数据输入一个或多个质量确定模型中,得到所述 图像数据的质量确定结果。
第三方面,本申请提供了一种模型训练装置,包括:
获取模块,用于获取第一数据集及多个不同的预设模型,所述第一数 据集包括多个第一数据;
第一输入模块,用于将所述第一数据集分别输入多个预设模型,利用 多个所述预设模型分别预测所述第一数据集中每个第一数据对应的第一标 签;
第一构建模块,用于针对每个所述预设模型,基于多个预设模型中除 自身外的其它预设模型预测的第一标签及与所述第一标签对应的第一数据,构建所述预设模型对应的伪标签数据集;
第二构建模块,用于根据所述伪标签数据集及用于预先训练所述预设 模型的训练集构建所述预设模型对应的第二数据集;
第一训练模块,用于利用所述第二数据集重新对所述预设模型进行训 练,直至所述预设模型训练结束,得到多个质量确定模型,以用于确定图 像数据的质量。
可选的,所述第一构建模块,包括:
获取单元,用于针对每个所述预设模型,获取多个预设模型中除所述 预设模型自身之外的其它预设模型预测的第一标签;
第一确定单元,用于将获取到的第一标签中满足预设条件的第一标签 确定为伪标签;
第二确定单元,用于将第一数据集中与所述伪标签对应的第一数据确 定为伪标签数据
构建单元,用于基于所述伪标签及所述伪标签数据构建所述预设模型 对应的伪标签数据集。
可选的,所述选择单元,包括:
预测子单元,用于按照预设算法及每个预设模型预测的第一标签计算 每个预设模型对应的参考标签;
第三确定单元,用于针对每个所述预设模型,将多个预设模型中除所 述预设模型之外的预设模型分别确定为参考模型;
第一计算子单元,用于针对每个所述预设模型对应的参考标签,计算 任意两个所述参考模型所对应的参考标签之间的差值的绝对值,得到与所 述参考标签对应的第一差异数据;
第二计算子单元,用于计算所述预设模型所对应的参考标签与任一参 考模型所对应的参考标签之间的差值的绝对值,得到与所述参考标签对应 的第二差异数据;
确定子单元,用于若任一参考标签对应的第一差异数据小于第一预设 阈值,且该参考标签对应的第二差异数据大于或者等于第二预设阈值,将 所述参考标签确定为伪标签。
可选的,所述预测子单元还用于:
计算每个预设模型预测的第一标签的平均值,得到所述预设模型对应 的参考标签。
可选的,所述装置还包括:
第一判断模块,用于判断任一所述预设模型对应的伪标签数据集与其 它预设模型对应的伪标签数据集的重合度是否超过预设阈值;
第一确定模块,用于若所述预设模型对应的伪标签数据集与其它预设 模型对应的伪标签数据集的重合度超过预设阈值,确定所述预设模型训练 结束;
或者,第二判断模块,用于判断任一所述预设模型重新训练的迭代次 数是否达到预设次数;
第二确定模块,用于若任一所述预设模型重新训练的迭代次数达到预 设次数,确定所述预设模型训练结束。
可选的,所述装置还包括:
数据集获取模块,用于获取第二数据集,所述第二数据集包括:第二 数据及第二标签;
模型训练模块,用于利用所述第二数据集分别对多个预设初始模型进 行训练,得到多个预设模型。
第四方面,本申请提供了一种质量确定装置,包括:
模型选择模块,用于在多个质量确定模型中选择一个或多个质量确定 模型,所述质量确定模型是通过以下方式训练得到的:获取第一数据集及 多个不同的预设模型,所述第一数据集包括多个第一数据,将所述第一数 据集分别输入多个预设模型,利用多个所述预设模型分别预测所述第一数 据集中每个第一数据对应的第一标签,针对每个所述预设模型,基于多个预设模型中除自身外的其它预设模型预测的第一标签及与所述第一标签对应的第一数据,构建所述预设模型对应的伪标签数据集,根据所述伪标签 数据集及用于预先训练所述预设模型的训练集构建所述预设模型对应的第 二数据集,利用所述第二数据集对所述预设模型进行训练,直至所述预设 模型训练结束;
第二输入模块,用于将待确定质量的图像数据输入一个或多个质量确 定模型中,得到所述图像数据的质量确定结果。
第五方面,本申请提供了一种电子设备,包括处理器、通信接口、存 储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相 互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现第一方面任一所述 的模型训练方法及第二方面所述的质量确定方法。
第六方面,本申请提供了一种计算机可读存储介质,所述计算机可读 存储介质上存储有模型训练方法或者质量确定方法的程序,所述模型训练 方法程序被处理器执行时实现第一方面任一所述的模型训练方法或者第二 方面所述的质量确定方法的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点:
本发明实施例通过获取第一数据集及多个不同的预设模型,所述第一 数据集包括多个第一数据,然后将所述第一数据集分别输入多个预设模型, 利用多个所述预设模型分别预测所述第一数据集中每个第一数据对应的第 一标签,再针对每个所述预设模型,基于多个预设模型中除自身外的其它 预设模型预测的第一标签及与所述第一标签对应的第一数据,构建所述预设模型对应的伪标签数据集,根据所述伪标签数据集及用于预先训练所述 预设模型的训练集构建所述预设模型对应的第二数据集,最后可以利用所 述第二数据集对所述预设模型进行训练,直至所述预设模型训练结束,得 到多个质量确定模型,以用于确定图像数据的质量。
本发明实施例能够基于多个预设模型中除自身外的其它预设模型预测 的第一标签及与所述第一标签对应的第一数据,构建伪标签数据集,根据 所述伪标签数据集及用于预先训练所述预设模型的训练集构建第二数据 集,利用所述第二数据集重新对所述预设模型进行训练,也即:通过多个 预设模型之间协同学习,相互学习其它预设模型的优势,然后通过其它预设模型对应的伪标签数据集进行模型训练和自我提升,可以显著提升模型的泛化性和精度。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本 发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对 实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地, 对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以 根据这些附图获得其他的附图。
图1为本申请实施例提供的一种模型训练方法的流程图;
图2为图1中步骤S103的流程图;
图3为图2中步骤S202的流程图;
图4为本申请实施例提供的一种质量确定方法的流程图;
图5为本申请实施例提供的一种模型训练装置的结构图;
图6为本申请实施例提供的一种质量确定装置的结构图;
图7为本申请实施例提供的一种电子设备的结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本 申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描 述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施 例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动 的前提下所获得的所有其他实施例,都属于本申请保护的范围。
现有技术中,为了对基于深度学习的无参考质量评估方法进行训练, 需要构建一个大规模数据集,由于视频或图像数据的多样性,现有开源已 标注数据集最大也仅为几千的规模,相比数据本身的多样性相差甚远,在 该标注数据集上训练的模型通常泛化性较差。为此,本发明实施例提供了 一种模型训练、质量确定方法、装置、电子设备及存储介质,其中,模型训练方法可以应用于终端中,如服务器或者PC机中等,如图1所示,所述 模型训练方法可以包括以下步骤:
步骤S101,获取第一数据集及多个不同的预设模型;
在本发明实施例中,所述第一数据集包括多个第一数据,第一数据集 是大规模的无标签数据集,即:第一数据集中的第一数据不存在对应的数 据标签。
预设模型可以指预先利用小规模的有标签数据集训练后得到的深度神 经网络模型,多个预设模型可以为模型结构不同的深度神经网络模型;也 可以为同一个模型,但是应当预先利用不同的有标签数据集进行训练,得 到不同的模型参数,也就是说,多个预设模型可以是模型结构不同,也可以是模型参数不同,不同的预设模型之间存在一定差异。
在该步骤中,可以获取预先准备好的第一数据集及多个预设模型,获 取的预设模型的数量大于或者等于三个。
步骤S102,将所述第一数据集分别输入多个预设模型,利用多个所述 预设模型分别预测所述第一数据集中每个第一数据对应的第一标签;
在该步骤中,可以将第一数据集中分别输入多个预设模型中的每个预 设模型,每个预设模型均预测第一数据集中每个第一数据对应的第一标签, 也即:每个预设模型对应一组第一标签。
例如,预设模型01对应的一组第一标签包括{70、80、84…49};预设 模型02对应的一组第一标签包括{84、65、25…74};预设模型03对应的 一组第一标签包括{64、83、36…88}等等。
步骤S103,针对每个所述预设模型,基于多个预设模型中除自身外的 其它预设模型预测的第一标签及与所述第一标签对应的第一数据,构建所 述预设模型对应的伪标签数据集;
由于每个预设模型对应一组第一标签,所以可以针对每个预设模型, 获取除该预设模型自身外的其它预设模型对应的各组第一标签及每个第一 标签对应的第一数据,构建该预设模型对应的伪标签数据集;
例如,假设存在3个预设模型分别为预设模型01、预设模型02和预设 模型03,则针对预设模型01,可以获取预设模型02对应的一组第一标签 及各第一标签对应的第一数据,并获取预设模型03对应的一组第一标签及 各第一标签对应的第一数据,构建预设模型01对应的伪标签数据集;
针对预设模型02,可以获取预设模型01对应的一组第一标签及各第一 标签对应的第一数据,并获取预设模型03对应的一组第一标签及各第一标 签对应的第一数据,构建预设模型02对应的伪标签数据集;
针对预设模型03,可以获取预设模型01对应的一组第一标签及各第一 标签对应的第一数据,并获取预设模型02对应的一组第一标签及各第一标 签对应的第一数据,构建预设模型03对应的伪标签数据集。
步骤S104,根据所述伪标签数据集及用于预先训练所述预设模型的训 练集构建所述预设模型对应的第二数据集;
由于预设模型经过预先训练,所以可以获取预先训练预设模型使用的 训练集(即:小规模的有标签数据集),在训练集中选择随机部分训练数据 及数据标签,为保证模型较好收敛,随机选择训练数据及数据标签的对数 小于或者等于训练集中的训练数据与数据标签的对数总数,将选择出来的 训练数据及数据标签及伪标签数据及中的第一数据及对应标签进行组合, 得到该预设模型对应的第二数据集。
步骤S105,利用所述第二数据集对所述预设模型进行训练,直至所述 预设模型训练结束,得到多个质量确定模型,以用于确定图像数据的质量。
由于针对每个预设模型均构建了一个对应的第二数据集,所以可以将 第二数据集输入对应的预设模型中,利用第二数据集重新对该预设模型进 行训练,直至预设模型训练结束,得到多个质量确定模型,质量确定模型 用于确定图像数据的质量。
本发明实施例通过获取第一数据集及多个不同的预设模型,所述第一 数据集包括多个第一数据,然后将所述第一数据集分别输入多个预设模型, 利用多个所述预设模型分别预测所述第一数据集中每个第一数据对应的第 一标签,再针对每个所述预设模型,基于多个预设模型中除自身外的其它 预设模型预测的第一标签及与所述第一标签对应的第一数据,构建所述预设模型对应的伪标签数据集,根据所述伪标签数据集及用于预先训练所述 预设模型的训练集构建所述预设模型对应的第二数据集,最后可以利用所 述第二数据集对所述预设模型进行训练,直至所述预设模型训练结束,得 到多个质量确定模型,以用于确定图像数据的质量。
本发明实施例能够基于多个预设模型中除自身外的其它预设模型预测 的第一标签及与所述第一标签对应的第一数据,构建伪标签数据集,根据 所述伪标签数据集及用于预先训练所述预设模型的训练集构建第二数据 集,利用所述第二数据集重新对所述预设模型进行训练,也即:通过多个 预设模型之间协同学习,相互学习其它预设模型的优势,然后通过其它预 设模型对应的伪标签数据集进行模型训练和自我提升,可以显著提升模型的泛化性和精度。
在本发明的又一实施例中,所述步骤S103,如图2所示,包括:
步骤S201,针对每个所述预设模型,获取多个预设模型中除所述预设模型自身之外的其它预设模型预测的第一标签;
步骤S202,将获取到的第一标签中满足预设条件的第一标签确定为伪 标签;
在本发明实施例中,预设条件可以用于过滤掉可能会影响训练完的模 型精度的第一标签。
在该步骤中,可以在获取到的第一标签中选择满足预设条件的第一标 签,将选择出来的满足预设条件的第一标签确定为伪标签。
步骤S203,将第一数据集中与所述伪标签对应的第一数据确定为伪标 签数据;
在该步骤中,可以在第一数据集中查找与伪标签对应的第一数据,将 查找到的第一数据确定为伪标签数据。
步骤S204,基于所述伪标签及所述伪标签数据构建所述预设模型对应 的伪标签数据集。
本发明实施例通过在第一标签中选择满足预设条件的第一标签,可以 过滤掉可能会引起误差的第一标签,避免不满足预设条件的第一标签影响 模型训练结果,进而提高模型精度。
在本发明的又一实施例中,所述步骤S202,如图3所示,包括:
步骤S301,按照预设算法及每个预设模型预测的第一标签计算每个预 设模型对应的参考标签;
在本发明实施例中,预设算法可以指能够体现每个预设模型对应的第 一标签的整体情况的算法,如:平均值计算公式等。
在该步骤中,可以将每个预设模型预测的第一标签的数值带入预设算 法中,得到每个预设模型对应的参考标签。
示例性的,可以计算每个预设模型预测的第一标签的平均值,得到所 述预设模型对应的参考标签。
步骤S302,针对每个所述预设模型,将多个预设模型中除所述预设模 型之外的预设模型分别确定为参考模型;
步骤S303,针对每个所述预设模型对应的参考标签,计算任意两个所 述参考模型所对应的参考标签之间的差值的绝对值,得到与所述参考标签 对应的第一差异数据;
在该步骤中,可以针对任一预设模型对应的参考标签,获取任意两个 参考模型所对应的参考标签,计算这两个参考标签之间的差值,在对差值 取绝对值,得到该参考标签对应的第一差异数据。
示例性的,假设存在3个预设模型分别为预设模型01、预设模型02和 预设模型03,预设模型01对应的参考标签为60,预设模型02对应的参考 标签为70,预设模型03对应的参考标签为80,则针对预设模型01对应的 参考标签60,获取预设模型02对应的参考标签为70和预设模型03对应的参考标签为80,计算|70-80|=10,10即为预设模型01对应的参考标签60 对应的第一差异数据;
同理,针对预设模型02对应的参考标签70,获取预设模型01对应的 参考标签为60和预设模型03对应的参考标签为80,计算|60-80|=20,20 即为预设模型02对应的参考标签70对应的第一差异数据;
同理,针对预设模型03对应的参考标签80,获取预设模型01对应的 参考标签为60和预设模型02对应的参考标签为70,计算|60-70|=10,10 即为预设模型03对应的参考标签80对应的第一差异数据。
步骤S304,计算所述预设模型所对应的参考标签与任一参考模型所对 应的参考标签之间的差值的绝对值,得到与所述参考标签对应的第二差异 数据;
在该步骤中,可以针对任一预设模型对应的参考标签,获取任一参考 模型所对应的参考标签,计算这两个参考标签之间的差值的绝对值,得到 与所述参考标签对应的第二差异数据。
示例性的,假设存在3个预设模型分别为预设模型01、预设模型02和 预设模型03,预设模型01对应的参考标签为60,预设模型02对应的参考 标签为70,预设模型03对应的参考标签为80,则针对预设模型01对应的 参考标签60,获取预设模型02对应的参考标签为70,计算|60-70|=10,获 取预设模型03对应的参考标签为80,计算|60-80|=20,10和20即为预设模 型01对应的参考标签60对应的第二差异数据;
同理,针对预设模型02对应的参考标签70,获取预设模型01对应的 参考标签为60,计算|70-60|=10,获取预设模型03对应的参考标签为80, 计算|60-80|=20,10和20即为预设模型02对应的参考标签70对应的第二 差异数据;
同理,针对预设模型03对应的参考标签80,获取预设模型01对应的 参考标签为60,计算|80-60|=20,获取预设模型02对应的参考标签为70, 计算|80-70|=10,20和10即为预设模型03对应的参考标签80对应的第二 差异数据。
步骤S305,若任一参考标签对应的第一差异数据小于第一预设阈值, 且该参考标签对应的第二差异数据大于或者等于第二预设阈值,将所述参 考标签确定为伪标签。
在本发明实施例中,第二预设阈值大于第一预设阈值。
在该步骤中,可以针对每个参考标签,将步骤S302得到的第一差异数 据与第一预设阈值比较,将步骤S303得到的第二差异数据与第二预设阈值 比较,若第一差异数据小于第一预设阈值,且第二差异数据大于或者等于 第二预设阈值,则确定该参考标签为满足预设条件的第一标签。
也就是说,假设N个算法的预测结果为p1至pN,则对于第i个算法, N个算法预测结果中除第i个外,其他所有算法两两之间的预测结果的差的 绝对值小于第一预设阈值thres1,且第i个算法的预测结果与其他算法的预 测结果的差的绝对值不小于第二预设阈值thres2,其中第二预设阈值thres2>第一预设阈值thres1,在实际应用中,比如thres1=0.2,thres2=0.5, 具体可以根据实际需要进行设置。
本发明实施例通过选择第一差异数据小于第一预设阈值且第二差异数 据大于或者等于第二预设阈值的参考标签,可以保证每个参考标签对应的 第一差异数据尽可能小,第二差异数据尽可能大,也就是不同参考标签之 间的距离尽可能的大,保证伪标签数据集中第一标签之间的差异性足够大, 进而提高模型精度。
在本发明的又一实施例中,所述方法还包括:
判断任一所述预设模型对应的伪标签数据集与其它预设模型对应的伪 标签数据集的重合度是否超过预设阈值;
为了保证训练完毕的质量确定模型的精度,需要不同预设模型对应伪 标签数据集之间的差异越大越好,若任一预设模型对应的伪标签数据集对 于其它预设模型对应的伪标签数据集之间的重合度超过预设阈值(如:0.8),则认为两个伪标签数据集之间的差异较小,继续进行迭代将对得到的质量 确定模型的精度无较大影响,所以可以在伪标签数据集之间的重合度超过 预设阈值时,确定预设模型训练结束。
若任一重合度超过预设阈值,确定所述预设模型训练结束;
或者,判断任一所述预设模型重新训练的迭代次数是否达到预设次数;
若任一所述预设模型重新训练的迭代次数达到预设次数,确定所述预 设模型训练结束。
在实际应用中,为了在一定期限内完成模型的训练,可以将重新训练 的迭代次数可以设置为100000,迭代次数可根据实际需要设置,在到达迭 代次数的时候,即确定预设墨子那个训练结束。
在本发明的又一实施例中,所述方法还包括:
获取第二数据集。
在本发明实施例中,第二数据集为小规模的有标签数据集,所述第二 数据集包括:第二数据及第二标签;
利用所述第二数据集分别对多个预设初始模型进行训练,得到多个预 设模型。
本发明实施例通过利用小规模的有标签数据集对多个预设初始模型进 行训练,可以得到多个预设模型,进而便于使用多个预设模型对大规模的 无标签数据集中的第一数据预测对应的第一标签。
在本发明的又一实施例中,还提供一种质量确定方法,如图4所示, 所述方法包括:
步骤S401,在多个质量确定模型中选择一个或多个质量确定模型;
在本发明实施例中,所述质量确定模型是通过前述任一方法实施例训 练得到的,示例性的,可以是通过以下方式训练得到的:获取第一数据集 及多个不同的预设模型,所述第一数据集包括多个第一数据,将所述第一 数据集分别输入多个预设模型,利用多个所述预设模型分别预测所述第一 数据集中每个第一数据对应的第一标签,针对每个所述预设模型,基于多个预设模型中除自身外的其它预设模型预测的第一标签及与所述第一标签对应的第一数据,构建所述预设模型对应的伪标签数据集,根据所述伪标 签数据集及用于预先训练所述预设模型的训练集构建所述预设模型对应的 第二数据集,利用所述第二数据集对所述预设模型进行训练,直至所述预 设模型训练结束。
可以选择精度最高或者泛化性最高的一个质量确定模型,或者随机选 择若干个质量确定模型。
步骤S402,将待确定质量的图像数据输入一个或多个质量确定模型中, 得到所述图像数据的质量确定结果。
在本发明实施例中,图像数据可以指图像或者视频流中的图像帧等。
在仅选择出一个质量确定模型时,可以将该质量确定模型输出的结果 确定为图像数据的质量确定结果;
在选择出多个质量确定模型时,可将多个质量确定模型输出的结果计 算平均值,将平均值作为图像数据的质量确定结果。
本发明实施例能够利用质量确定模型确定图像数据的质量,保证对图 像数据的质量确定的准确性。
在本发明的又一实施例中,还提供一种模型训练装置,如图5所示, 包括:
获取模块11,用于获取第一数据集及多个不同的预设模型,所述第一 数据集包括多个第一数据;
第一输入模块12,用于将所述第一数据集分别输入多个预设模型,利 用多个所述预设模型分别预测所述第一数据集中每个第一数据对应的第一 标签;
第一构建模块13,用于针对每个所述预设模型,基于多个预设模型中 除自身外的其它预设模型预测的第一标签及与所述第一标签对应的第一数 据,构建所述预设模型对应的伪标签数据集;
第二构建模块14,用于根据所述伪标签数据集及用于预先训练所述预 设模型的训练集构建第二数据集;
第一训练模块,用于利用所述第二数据集重新对所述预设模型进行训 练,直至所述预设模型训练结束,得到多个质量确定模型,以用于确定图 像数据的质量。
可选的,所述第一构建模块,包括:
获取单元,用于针对每个所述预设模型,获取多个预设模型中除所述 预设模型自身之外的其它预设模型预测的第一标签;
第一确定单元,用于将获取到的第一标签中满足预设条件的第一标签 确定为伪标签;
第二确定单元,用于将第一数据集中与所述伪标签对应的第一数据确 定为伪标签数据
构建单元,用于基于所述伪标签及所述伪标签数据构建所述预设模型 对应的伪标签数据集。
可选的,所述选择单元,包括:
预测子单元,用于按照预设算法及每个预设模型预测的第一标签计算 每个预设模型对应的参考标签;
第三确定单元,用于针对每个所述预设模型,将多个预设模型中除所 述预设模型之外的预设模型分别确定为参考模型;
第一计算子单元,用于针对每个所述预设模型对应的参考标签,计算 任意两个所述参考模型所对应的参考标签之间的差值的绝对值,得到与所 述参考标签对应的第一差异数据;
第二计算子单元,用于计算所述预设模型所对应的参考标签与任一参 考模型所对应的参考标签之间的差值的绝对值,得到与所述参考标签对应 的第二差异数据;
确定子单元,用于若任一参考标签对应的第一差异数据小于第一预设 阈值,且该参考标签对应的第二差异数据大于或者等于第二预设阈值,将 所述参考标签确定为伪标签。
可选的,所述预测子单元还用于:
计算每个预设模型预测的第一标签的平均值,得到所述预设模型对应 的参考标签。
可选的,所述装置还包括:
第一判断模块,用于判断任一所述预设模型对应的伪标签数据集与其 它预设模型对应的伪标签数据集的重合度是否超过预设阈值;
第一确定模块,用于若所述预设模型对应的伪标签数据集与其它预设 模型对应的伪标签数据集的重合度超过预设阈值,确定所述预设模型训练 结束;
或者,第二判断模块,用于判断任一所述预设模型重新训练的迭代次 数是否达到预设次数;
第二确定模块,用于若任一所述预设模型重新训练的迭代次数达到预 设次数,确定所述预设模型训练结束。
可选的,所述装置还包括:
数据集获取模块,用于获取第二数据集,所述第二数据集包括:第二 数据及第二标签;
模型训练模块,用于利用所述第二数据集分别对多个预设初始模型进 行训练,得到多个预设模型。
在本发明的又一实施例中,还提供一种质量确定装置,如图6所示, 包括:
模型选择模块21,用于在多个质量确定模型中选择一个或多个质量确 定模型,所述质量确定模型是通过以下方式训练得到的:获取第一数据集 及多个不同的预设模型,所述第一数据集包括多个第一数据,将所述第一 数据集分别输入多个预设模型,利用多个所述预设模型分别预测所述第一数据集中每个第一数据对应的第一标签,针对每个所述预设模型,基于多 个预设模型中除自身外的其它预设模型预测的第一标签及与所述第一标签对应的第一数据,构建所述预设模型对应的伪标签数据集,根据所述伪标 签数据集及用于预先训练所述预设模型的训练集构建所述预设模型对应的 第二数据集,利用所述第二数据集对所述预设模型进行训练,直至所述预 设模型训练结束;
第二输入模块22,用于将待确定质量的图像数据输入一个或多个质量 确定模型中,得到所述图像数据的质量确定结果。
在本发明的又一实施例中,还提供一种电子设备,包括处理器、通信 接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总 线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现前述方法实施例所 述的模型训练方法及前述方法实施例所述的质量确定方法。
本发明实施例提供的电子设备,处理器通过执行存储器上所存放的程 序实现了本发明实施例通过获取第一数据集及多个预设模型,将所述第一 数据集输入多个预设模型,利用多个所述预设模型预测每个第一数据对应 的第一标签,针对每个所述预设模型,基于多个预设模型中除自身外的其 它预设模型预测的第一标签及与所述第一标签对应的第一数据,构建伪标签数据集,根据所述伪标签数据集及用于预先训练所述预设模型的训练集 构建第二数据集,利用所述第二数据集重新对所述预设模型进行训练,直 至所述预设模型训练结束,可以得到多个质量确定模型。本发明实施例能 够基于多个预设模型中除自身外的其它预设模型预测的第一标签及与所述 第一标签对应的第一数据,构建伪标签数据集,根据所述伪标签数据集及 用于预先训练所述预设模型的训练集构建第二数据集,利用所述第二数据集重新对所述预设模型进行训练,也即:通过多个预设模型之间协同学习, 相互学习其它预设模型的优势,然后通过其它预设模型对应的伪标签数据 集进行模型训练和自我提升,可以显著提升模型的泛化性和精度。
上述电子设备提到的通信总线1140可以是外设部件互连标准(PeripheralComponentInterconnect,简称PCI)总线或扩展工业标准结构 (ExtendedIndustryStandardArchitecture,简称EISA)总线等。该通信总线1140可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口1120用于上述电子设备与其他设备之间的通信。
存储器1130可以包括随机存取存储器(RandomAccessMemory,简称 RAM),也可以包括非易失性存储器(non-volatilememory),例如至少一个磁 盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储 装置。
上述的处理器1110可以是通用处理器,包括中央处理器(CentralProcessingUnit,简称CPU)、网络处理器(NetworkProcessor,简称 NP)等;还可以是数字信号处理器(DigitalSignalProcessing,简称DSP)、专 用集成电路(ApplicationSpecificIntegratedCircuit,简称ASIC)、现场可编程 门阵列(Field-ProgrammableGateArray,简称FPGA)或者其他可编程逻辑器 件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明的又一实施例中,还提供一种计算机可读存储介质,所述计 算机可读存储介质上存储有模型训练方法或者质量确定方法的程序,所述 模型训练方法程序被处理器执行时实现前述方法实施例所述的模型训练方 法或者前述方法实施例所述的质量确定方法的步骤。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅 用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或 者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术 语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得 包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或 者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……” 限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还 存在另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或 实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而 易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情 况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这 些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种模型训练方法,其特征在于,包括:
获取第一数据集及多个不同的预设模型,所述第一数据集包括多个第一数据;
将所述第一数据集分别输入多个预设模型,利用多个所述预设模型分别预测所述第一数据集中每个第一数据对应的第一标签;
针对每个所述预设模型,基于多个预设模型中除自身外的其它预设模型预测的第一标签及与所述第一标签对应的第一数据,构建所述预设模型对应的伪标签数据集;
所述针对每个所述预设模型,基于多个预设模型中除自身外的其它预设模型预测的第一标签及与所述第一标签对应的第一数据,构建所述预设模型对应的伪标签数据集,包括:
针对每个所述预设模型,获取多个预设模型中除所述预设模型自身之外的其它预设模型预测的第一标签;
将获取到的第一标签中满足预设条件的第一标签确定为伪标签;所述将获取到的第一标签中满足预设条件的第一标签确定为伪标签,包括:按照预设算法及每个预设模型预测的第一标签计算每个预设模型对应的参考标签;针对每个所述预设模型,将多个预设模型中除所述预设模型之外的预设模型分别确定为参考模型;针对每个所述预设模型对应的参考标签,计算任意两个所述参考模型所对应的参考标签之间的差值的绝对值,得到与所述参考标签对应的第一差异数据;计算所述预设模型所对应的参考标签与任一参考模型所对应的参考标签之间的差值的绝对值,得到与所述参考标签对应的第二差异数据;若任一参考标签对应的第一差异数据小于第一预设阈值,且该参考标签对应的第二差异数据大于或者等于第二预设阈值,将所述参考标签确定为伪标签;
将第一数据集中与所述伪标签对应的第一数据确定为伪标签数据;
基于所述伪标签及所述伪标签数据构建所述预设模型对应的伪标签数据集;
根据所述伪标签数据集及用于预先训练所述预设模型的训练集构建所述预设模型对应的第二数据集;
利用所述第二数据集对所述预设模型进行训练,直至所述预设模型训练结束,得到多个质量确定模型,以用于确定图像数据的质量。
2.根据权利要求1所述的模型训练方法,其特征在于,所述按照预设算法及每个预设模型预测的第一标签计算每个预设模型对应的参考标签,包括:
计算每个预设模型预测的第一标签的平均值,得到所述预设模型对应的参考标签。
3.根据权利要求1所述的模型训练方法,其特征在于,所述方法还包括:
判断任一所述预设模型对应的伪标签数据集与其它预设模型对应的伪标签数据集的重合度是否超过预设阈值;
若任一所述重合度超过预设阈值,确定所述预设模型训练结束;
或者,判断任一所述预设模型重新训练的迭代次数是否达到预设次数;
若任一所述预设模型重新训练的迭代次数达到预设次数,确定所述预设模型训练结束。
4.根据权利要求1所述的模型训练方法,其特征在于,所述方法还包括:
获取第二数据集,所述第二数据集包括:第二数据及第二标签;
利用所述第二数据集分别对多个预设初始模型进行训练,得到多个预设模型。
5.一种质量确定方法,其特征在于,包括:
在多个质量确定模型中选择一个或多个质量确定模型,所述质量确定模型是通过以下方式训练得到的:获取第一数据集及多个不同的预设模型,所述第一数据集包括多个第一数据,将所述第一数据集分别输入多个预设模型,利用多个所述预设模型分别预测所述第一数据集中每个第一数据对应的第一标签,针对每个所述预设模型,基于多个预设模型中除自身外的其它预设模型预测的第一标签及与所述第一标签对应的第一数据,构建所述预设模型对应的伪标签数据集,所述针对每个所述预设模型,基于多个预设模型中除自身外的其它预设模型预测的第一标签及与所述第一标签对应的第一数据,构建所述预设模型对应的伪标签数据集,包括:针对每个所述预设模型,获取多个预设模型中除所述预设模型自身之外的其它预设模型预测的第一标签;将获取到的第一标签中满足预设条件的第一标签确定为伪标签;所述将获取到的第一标签中满足预设条件的第一标签确定为伪标签,包括:按照预设算法及每个预设模型预测的第一标签计算每个预设模型对应的参考标签;针对每个所述预设模型,将多个预设模型中除所述预设模型之外的预设模型分别确定为参考模型;针对每个所述预设模型对应的参考标签,计算任意两个所述参考模型所对应的参考标签之间的差值的绝对值,得到与所述参考标签对应的第一差异数据;计算所述预设模型所对应的参考标签与任一参考模型所对应的参考标签之间的差值的绝对值,得到与所述参考标签对应的第二差异数据;若任一参考标签对应的第一差异数据小于第一预设阈值,且该参考标签对应的第二差异数据大于或者等于第二预设阈值,将所述参考标签确定为伪标签;将第一数据集中与所述伪标签对应的第一数据确定为伪标签数据;基于所述伪标签及所述伪标签数据构建所述预设模型对应的伪标签数据集;根据所述伪标签数据集及用于预先训练所述预设模型的训练集构建所述预设模型对应的第二数据集,利用所述第二数据集对所述预设模型进行训练,直至所述预设模型训练结束;
将待确定质量的图像数据输入一个或多个质量确定模型中,得到所述图像数据的质量确定结果。
6.一种模型训练装置,其特征在于,包括:
获取模块,用于获取第一数据集及多个不同的预设模型,所述第一数据集包括多个第一数据;
第一输入模块,用于将所述第一数据集分别输入多个预设模型,利用多个所述预设模型分别预测所述第一数据集中每个第一数据对应的第一标签;
第一构建模块,用于针对每个所述预设模型,基于多个预设模型中除自身外的其它预设模型预测的第一标签及与所述第一标签对应的第一数据,构建所述预设模型对应的伪标签数据集;所述针对每个所述预设模型,基于多个预设模型中除自身外的其它预设模型预测的第一标签及与所述第一标签对应的第一数据,构建所述预设模型对应的伪标签数据集,包括:针对每个所述预设模型,获取多个预设模型中除所述预设模型自身之外的其它预设模型预测的第一标签;将获取到的第一标签中满足预设条件的第一标签确定为伪标签;所述将获取到的第一标签中满足预设条件的第一标签确定为伪标签,包括:按照预设算法及每个预设模型预测的第一标签计算每个预设模型对应的参考标签;针对每个所述预设模型,将多个预设模型中除所述预设模型之外的预设模型分别确定为参考模型;针对每个所述预设模型对应的参考标签,计算任意两个所述参考模型所对应的参考标签之间的差值的绝对值,得到与所述参考标签对应的第一差异数据;计算所述预设模型所对应的参考标签与任一参考模型所对应的参考标签之间的差值的绝对值,得到与所述参考标签对应的第二差异数据;若任一参考标签对应的第一差异数据小于第一预设阈值,且该参考标签对应的第二差异数据大于或者等于第二预设阈值,将所述参考标签确定为伪标签;将第一数据集中与所述伪标签对应的第一数据确定为伪标签数据;基于所述伪标签及所述伪标签数据构建所述预设模型对应的伪标签数据集;
第二构建模块,用于根据所述伪标签数据集及用于预先训练所述预设模型的训练集构建所述预设模型对应的第二数据集;
第一训练模块,用于利用所述第二数据集重新对所述预设模型进行训练,直至所述预设模型训练结束,得到多个质量确定模型,以用于确定图像数据的质量。
7.一种质量确定装置,其特征在于,包括:
模型选择模块,用于在多个质量确定模型中选择一个或多个质量确定模型,所述质量确定模型是通过以下方式训练得到的:获取第一数据集及多个不同的预设模型,所述第一数据集包括多个第一数据,将所述第一数据集分别输入多个预设模型,利用多个所述预设模型分别预测所述第一数据集中每个第一数据对应的第一标签,针对每个所述预设模型,基于多个预设模型中除自身外的其它预设模型预测的第一标签及与所述第一标签对应的第一数据,构建所述预设模型对应的伪标签数据集,所述针对每个所述预设模型,基于多个预设模型中除自身外的其它预设模型预测的第一标签及与所述第一标签对应的第一数据,构建所述预设模型对应的伪标签数据集,包括:针对每个所述预设模型,获取多个预设模型中除所述预设模型自身之外的其它预设模型预测的第一标签;将获取到的第一标签中满足预设条件的第一标签确定为伪标签;所述将获取到的第一标签中满足预设条件的第一标签确定为伪标签,包括:按照预设算法及每个预设模型预测的第一标签计算每个预设模型对应的参考标签;针对每个所述预设模型,将多个预设模型中除所述预设模型之外的预设模型分别确定为参考模型;针对每个所述预设模型对应的参考标签,计算任意两个所述参考模型所对应的参考标签之间的差值的绝对值,得到与所述参考标签对应的第一差异数据;计算所述预设模型所对应的参考标签与任一参考模型所对应的参考标签之间的差值的绝对值,得到与所述参考标签对应的第二差异数据;若任一参考标签对应的第一差异数据小于第一预设阈值,且该参考标签对应的第二差异数据大于或者等于第二预设阈值,将所述参考标签确定为伪标签;将第一数据集中与所述伪标签对应的第一数据确定为伪标签数据;基于所述伪标签及所述伪标签数据构建所述预设模型对应的伪标签数据集;根据所述伪标签数据集及用于预先训练所述预设模型的训练集构建所述预设模型对应的第二数据集,利用所述第二数据集对所述预设模型进行训练,直至所述预设模型训练结束;
第二输入模块,用于将待确定质量的图像数据输入一个或多个质量确定模型中,得到所述图像数据的质量确定结果。
8.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1~4任一所述的模型训练方法及权利要求5所述的质量确定方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有模型训练方法或者质量确定方法的程序,所述模型训练方法程序被处理器执行时实现权利要求1-4任一所述的模型训练方法或者权利要求5所述的质量确定方法的步骤。
CN202011008060.XA 2020-09-23 2020-09-23 模型训练、质量确定方法、装置、电子设备及存储介质 Active CN112149733B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011008060.XA CN112149733B (zh) 2020-09-23 2020-09-23 模型训练、质量确定方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011008060.XA CN112149733B (zh) 2020-09-23 2020-09-23 模型训练、质量确定方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112149733A CN112149733A (zh) 2020-12-29
CN112149733B true CN112149733B (zh) 2024-04-05

Family

ID=73897885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011008060.XA Active CN112149733B (zh) 2020-09-23 2020-09-23 模型训练、质量确定方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112149733B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906561A (zh) * 2021-02-18 2021-06-04 上海明略人工智能(集团)有限公司 用于获取动作识别模型的方法、装置及设备
CN113554627B (zh) * 2021-07-27 2022-04-29 广西师范大学 一种基于计算机视觉半监督伪标签学习的小麦头检测方法
CN117456219A (zh) * 2022-07-19 2024-01-26 马上消费金融股份有限公司 图像分类模型的训练方法、图像分类方法及相关设备
CN115661615A (zh) * 2022-12-13 2023-01-31 浙江莲荷科技有限公司 一种图像识别模型的训练方法、装置及电子设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699685A (zh) * 2013-12-04 2015-06-10 富士通株式会社 模型更新装置及方法、数据处理装置及方法、程序
CN108734207A (zh) * 2018-05-14 2018-11-02 江南大学 一种基于双优选半监督回归算法的模型预测方法
CN109389220A (zh) * 2018-09-28 2019-02-26 北京达佳互联信息技术有限公司 神经网络模型的处理方法、装置、电子设备以及存储介质
CN109840588A (zh) * 2019-01-04 2019-06-04 平安科技(深圳)有限公司 神经网络模型训练方法、装置、计算机设备及存储介质
CN110263824A (zh) * 2019-05-29 2019-09-20 阿里巴巴集团控股有限公司 模型的训练方法、装置、计算设备及计算机可读存储介质
CN110956615A (zh) * 2019-11-15 2020-04-03 北京金山云网络技术有限公司 图像质量评估模型训练方法、装置、电子设备及存储介质
WO2020081867A1 (en) * 2018-10-18 2020-04-23 Deepnorth Inc. Semi-supervised person re-identification using multi-view clustering
CN111104514A (zh) * 2019-12-23 2020-05-05 北京百度网讯科技有限公司 文档标签模型的训练方法及装置
KR20200046173A (ko) * 2018-10-18 2020-05-07 부산대학교 산학협력단 언레이블 데이터를 사용한 나이브 반지도 심층 학습의 제공 방법 및 그 시스템
CN111126576A (zh) * 2020-03-26 2020-05-08 北京精诊医疗科技有限公司 一种深度学习的新型训练策略
KR20200054121A (ko) * 2019-11-29 2020-05-19 주식회사 루닛 기계 학습 방법 및 장치
CN111274958A (zh) * 2020-01-20 2020-06-12 福州大学 一种网络参数自纠正的行人重识别方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180096261A1 (en) * 2016-10-01 2018-04-05 Intel Corporation Unsupervised machine learning ensemble for anomaly detection

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699685A (zh) * 2013-12-04 2015-06-10 富士通株式会社 模型更新装置及方法、数据处理装置及方法、程序
CN108734207A (zh) * 2018-05-14 2018-11-02 江南大学 一种基于双优选半监督回归算法的模型预测方法
CN109389220A (zh) * 2018-09-28 2019-02-26 北京达佳互联信息技术有限公司 神经网络模型的处理方法、装置、电子设备以及存储介质
WO2020081867A1 (en) * 2018-10-18 2020-04-23 Deepnorth Inc. Semi-supervised person re-identification using multi-view clustering
KR20200046173A (ko) * 2018-10-18 2020-05-07 부산대학교 산학협력단 언레이블 데이터를 사용한 나이브 반지도 심층 학습의 제공 방법 및 그 시스템
CN109840588A (zh) * 2019-01-04 2019-06-04 平安科技(深圳)有限公司 神经网络模型训练方法、装置、计算机设备及存储介质
CN110263824A (zh) * 2019-05-29 2019-09-20 阿里巴巴集团控股有限公司 模型的训练方法、装置、计算设备及计算机可读存储介质
CN110956615A (zh) * 2019-11-15 2020-04-03 北京金山云网络技术有限公司 图像质量评估模型训练方法、装置、电子设备及存储介质
KR20200054121A (ko) * 2019-11-29 2020-05-19 주식회사 루닛 기계 학습 방법 및 장치
CN111104514A (zh) * 2019-12-23 2020-05-05 北京百度网讯科技有限公司 文档标签模型的训练方法及装置
CN111274958A (zh) * 2020-01-20 2020-06-12 福州大学 一种网络参数自纠正的行人重识别方法及系统
CN111126576A (zh) * 2020-03-26 2020-05-08 北京精诊医疗科技有限公司 一种深度学习的新型训练策略

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Naive semi-supervised deep learning using pseudo-label;Zhun Li 等;《Peer-to-Peer Networking and Applications》;第1358–1368页 *
一种基于主动学习和多种监督学习的情感分析模型;刘振宇;李钦富;杨硕;邓应强;刘芬;赖新明;白雪珂;;《中国电子科学研究院学报》(02);全文 *
半监督单样本深度行人重识别方法;单纯;王敏;;《计算机系统应用》(01);全文 *
基于深度网络的少样本学习算法研究;余游;《中国优秀硕士学位论文全文数据库 信息科技辑》;I138-675 *

Also Published As

Publication number Publication date
CN112149733A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN112149733B (zh) 模型训练、质量确定方法、装置、电子设备及存储介质
US20230196117A1 (en) Training method for semi-supervised learning model, image processing method, and device
CN110210513B (zh) 数据分类方法、装置及终端设备
CN111163338B (zh) 视频清晰度评估模型训练方法、视频推荐方法及相关装置
CN111079570A (zh) 一种人体关键点识别方法、装置及电子设备
TWI670628B (zh) 動作評量模型生成裝置及其動作評量模型生成方法
CN114510939A (zh) 实体关系抽取方法、装置、电子设备及存储介质
CN111985469B (zh) 一种图像中文字的识别方法、装置及电子设备
CN113255763A (zh) 基于知识蒸馏的模型训练方法、装置、终端及存储介质
CN110795558B (zh) 标签获取方法和装置、存储介质及电子装置
CN112672143A (zh) 视频质量的评估方法、装置及服务器
CN112434746B (zh) 基于层次化迁移学习的预标注方法及其相关设备
CN112017777A (zh) 相似对问题预测的方法、装置及电子设备
CN111753729A (zh) 一种假脸检测方法、装置、电子设备及存储介质
CN111966889B (zh) 一种图嵌入向量的生成方法以及推荐网络模型的生成方法
CN114493674A (zh) 一种广告点击率预测模型及方法
CN114722279A (zh) 内容推荐方法、装置、电子设备及存储介质
CN113886547A (zh) 基于人工智能的客户实时对话转接方法、装置和电子设备
CN112084371A (zh) 一种电影多标签分类方法、装置、电子设备以及存储介质
CN112669270A (zh) 视频质量的预测方法、装置及服务器
CN115394295A (zh) 分段处理方法、装置、设备及存储介质
CN114510592A (zh) 图像分类方法、装置、电子设备及存储介质
CN112348161A (zh) 神经网络的训练方法、神经网络的训练装置和电子设备
CN112348045A (zh) 神经网络的训练方法、训练装置和电子设备
CN112085040A (zh) 对象标签确定方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant