CN111191590A - 模型训练方法、装置、存储介质及电子设备 - Google Patents

模型训练方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN111191590A
CN111191590A CN201911396245.XA CN201911396245A CN111191590A CN 111191590 A CN111191590 A CN 111191590A CN 201911396245 A CN201911396245 A CN 201911396245A CN 111191590 A CN111191590 A CN 111191590A
Authority
CN
China
Prior art keywords
model
verification
target
samples
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911396245.XA
Other languages
English (en)
Inventor
刘园林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oppo Chongqing Intelligent Technology Co Ltd
Original Assignee
Oppo Chongqing Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo Chongqing Intelligent Technology Co Ltd filed Critical Oppo Chongqing Intelligent Technology Co Ltd
Priority to CN201911396245.XA priority Critical patent/CN111191590A/zh
Publication of CN111191590A publication Critical patent/CN111191590A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种模型训练方法,包括:获取初始样本库以及待训练的模型;利用初始样本库中的样本对待训练的模型进行训练,得到初始模型,并将初始模型确定为验证模型;获取验证样本集;利用验证样本集对验证模型进行验证,得到验证模型的分类准确率,并统计验证模型对验证样本集中各类别样本的分类准确率;若验证模型的分类准确率小于预设第一阈值或者验证模型对验证样本集中的各类别样本的分类准确率并没有均大于或等于预设第二阈值,则确定出目标模型以及目标类别;获取目标样本库;从目标样本库中抽取目标类别的样本,并从初始样本库中抽取非目标类别的样本,形成新的训练样本集;利用新的训练样本集对目标模型进行迁移学习训练。

Description

模型训练方法、装置、存储介质及电子设备
技术领域
本申请属于人工智能技术领域,尤其涉及一种模型训练方法、装置、存储介质及电子设备。
背景技术
随着技术的发展,很多领域都开始应用人工智能(Artificial Intelligence,AI)技术。人工智能技术可以用于诸如图像识别、场景识别以及信息预测等工作。机器学习是用于实现人工智能的重要技术手段,模型训练又是机器学习的重点。然而,相关技术中,模型训练的结果往往较差。
发明内容
本申请实施例提供一种模型训练方法、装置、存储介质及电子设备,可以在模型训练过程中对模型进行迭代优化,从而提高模型训练效果。
第一方面,本申请实施例提供一种模型训练方法,包括:
获取初始样本库以及待训练的模型,所述初始样本库中包含多个不同类别的样本,所述待训练的模型为分类模型;
利用所述初始样本库中的样本对所述待训练的模型进行训练,得到初始模型,并将所述初始模型确定为验证模型;
获取验证样本集,所述验证样本集包含多个不同类别的样本;
利用所述验证样本集对所述验证模型进行验证,得到所述验证模型的分类准确率,并统计所述验证模型对所述验证样本集中各类别样本的分类准确率;
若所述验证模型的分类准确率小于预设第一阈值或者所述验证模型对所述验证样本集中的各类别样本的分类准确率并没有均大于或等于预设第二阈值,则确定出目标模型以及目标类别,所述目标模型为当前训练得到的模型中分类准确率最高的模型,所述目标类别所述验证样本集中分类准确率小于所述预设第二阈值的样本所对应的类别;
获取目标样本库,所述目标样本库中包含多个不同类别的样本,且所述目标样本库中的样本具有准确的类别标签;
从所述目标样本库中抽取所述目标类别的样本,并从所述初始样本库中抽取非目标类别的样本,形成新的训练样本集;
利用新的训练样本集对所述目标模型进行迁移学习训练,并将训练得到的模型确定为验证模型,触发执行所述获取验证样本集的流程,以实现模型的迭代优化,直至满足预设的迭代停止条件。
第二方面,本申请实施例提供一种模型训练装置,包括:
第一获取模块,用于获取初始样本库以及待训练的模型,所述初始样本库中包含多个不同类别的样本,所述待训练的模型为分类模型;
第一训练模块,用于利用所述初始样本库中的样本对所述待训练的模型进行训练,得到初始模型,并将所述初始模型确定为验证模型;
第二获取模块,用于获取验证样本集,所述验证样本集包含多个不同类别的样本;
验证模块,用于利用所述验证样本集对所述验证模型进行验证,得到所述验证模型的分类准确率,并统计所述验证模型对所述验证样本集中各类别样本的分类准确率;
确定模块,用于若所述验证模型的分类准确率小于预设第一阈值或者所述验证模型对所述验证样本集中的各类别样本的分类准确率并没有均大于或等于预设第二阈值,则确定出目标模型以及目标类别,所述目标模型为当前训练得到的模型中分类准确率最高的模型,所述目标类别所述验证样本集中分类准确率小于所述预设第二阈值的样本所对应的类别;
第三获取模块,用于获取目标样本库,所述目标样本库中包含多个不同类别的样本,且所述目标样本库中的样本具有准确的类别标签;
第四获取模块,用于从所述目标样本库中抽取所述目标类别的样本,并从所述初始样本库中抽取非目标类别的样本,形成新的训练样本集;
第二训练模块,用于利用新的训练样本集对所述目标模型进行迁移学习训练,并将训练得到的模型确定为验证模型,触发执行所述获取验证样本集的流程,以实现模型的迭代优化,直至满足预设的迭代停止条件。
第三方面,本申请实施例提供一种存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行本申请实施例提供的模型训练方法中的流程。
第四方面,本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本申请实施例提供的模型训练方法中的流程。
本申请实施例中,电子设备可以利用迁移学习的方式来不断地对模型进行迭代优化,其中,在迭代优化过程中,首先,对于验证样本集中验证模型的分类准确率小于预设第二阈值的样本所对应的目标类别,电子设备可以从目标样本库中抽取干净样本,再从初始样本库中抽取非目标类别的样本,从而形成新的训练样本。其次,每次迭代优化的起点为当前已训练得到的模型中分类准确率最高的目标模型。因此,本申请实施例中,电子设备可以利用干净样本和目标模型来进行基于迁移学习的迭代优化,从而提高模型训练效果。
附图说明
下面结合附图,通过对本申请的具体实施方式详细描述,将使本申请的技术方案及其有益效果显而易见。
图1是本申请实施例提供的模型训练方法的流程示意图。
图2是本申请实施例提供的模型训练方法的另一流程示意图。
图3是本申请实施例提供的可视化的机器学习训练平台的结构示意图。
图4是本申请实施例提供的可视化的机器学习训练平台的操作界面示意图。
图5是本申请实施例提供的模型训练装置的结构示意图。
图6是本申请实施例提供的电子设备的结构示意图。
图7是本申请实施例提供的电子设备的另一结构示意图。
具体实施方式
请参照图示,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
可以理解的是,本申请实施例的执行主体可以是诸如智能手机或平板电脑或者服务器等的电子设备。
请参阅图1,图1是本申请实施例提供的模型训练方法的流程示意图,流程可以包括:
101、获取初始样本库以及待训练的模型,该初始样本库中包含多个不同类别的样本,该待训练的模型为分类模型。
随着技术的发展,很多领域都开始应用人工智能(Artificial Intelligence,AI)技术。人工智能技术可以用于诸如图像识别、场景识别以及信息预测等工作。机器学习是用于实现人工智能的重要技术手段,模型训练又是机器学习的重点。然而,相关技术中,模型训练的结果往往较差。
在本申请实施例中,比如,电子设备可以先获取初始样本库以及待训练的模型,其中,该初始样本库中可以包含多个不同类别的样本,该待训练的模型可以为分类模型。
例如,该初始样本库可以为图片库,该图片库中可以包含不同类别的动物图片,如狗的图片、鸡的图片、鸭的图片、猪的图片、鸟的图片,等等。那么,当模型训练完成后,利用该模型可以对图片进行分类。例如,将某张图片作为输入图片,输入至训练完成的模型,那么该模型可以输出该图片的类别,如该模型识别出该图片为狗的图片,等等。
102、利用初始样本库中的样本对待训练的模型进行训练,得到初始模型,并将该初始模型确定为验证模型。
比如,在获取到初始样本库以及待训练的模型后,电子设备可以利用该初始样本库中的样本对该待训练的模型进行训练,从而得到一个初始模型,并将该初始模型确定为验证模型。
103、获取验证样本集,该验证样本集包含多个不同类别的样本。
比如,在确定出验证模型后,电子设备可以获取验证样本集,其中该验证样本集中也可以包含多个不同类别的样本。例如,该验证样本集中也可以包含不同类别的动物图片,如狗的图片、鸡的图片、鸭的图片、猪的图片、鸟的图片,等等。
104、利用验证样本集对验证模型进行验证,得到该验证模型的分类准确率,并统计该验证模型对该验证样本集中各类别样本的分类准确率。
比如,在获取到验证样本集后,电子设备可以利用该验证样本集中的样本对验证模型进行验证,从而得到该验证模型的分类准确率,并统计该验证模型对该验证样本集中的各类别样本的分类准确率。
需要说明的是,验证模型的分类准确率是指利用验证样本集中的样本对该验证模型进行验证时的总体分类准确率。例如,验证样本集中一共包含1000个样本,这1000个样本中包含200张狗的图片、200张鸡的图片、200张鸭的图片、200张猪的图片、200张鸟的图片。在利用验证样本集中的1000张图片对验证模型进行验证时,该验证模型一共准确识别出865张图片,识别错误的图片为135张。那么,该验证模型的总体分类准确率为86.5%。
其中,对于200张狗的图片,该验证模型一共准确识别出180张狗的图片,那么对于狗这一类别的图片,该验证模型的分类准确率为90%。又如,对于200张鸡的图片,该验证模型一共准确识别出190张鸡的图片,那么对于鸡这一类别的图片,该验证模型的分类准确率为95%。再如,对于200张鸭的图片,该验证模型一共准确识别出160张鸭的图片,那么对于鸭这一类别的图片,该验证模型的分类准确率为80%。再如,对于200张猪的图片,该验证模型一共准确识别出185张猪的图片,那么对于猪这一类别的图片,该验证模型的分类准确率为92.5%。再如,对于200张鸟的图片,该验证模型一共准确识别出150张鸟的图片,那么对于鸟这一类别的图片,该验证模型的分类准确率为75%。
在统计得到验证模型的分类准确率以及该验证模型对验证样本集中各类别样本的分类准确率后,电子设备可以检测该验证模型的分类准确率是否小于预设第一阈值,并检测该验证模型对验证样本集中各类别样本的分类准确率是否均大于或等于预设第二阈值。
如果检测到该验证模型的分类准确率大于或等于预设第一阈值,并且检测到该验证模型对验证样本集中各类别样本的分类准确率均大于或等于预设第二阈值,那么可以认为该验证模型的训练效果较好,训练完成,此时电子设备可以输出并保存该验证模型。
如果检测到该验证模型的分类准确率小于预设第一阈值,或者检测到该验证模型对验证样本集中各类别样本的分类准确率并没有均大于或等于预设第二阈值,那么可以认为该验证模型的训练效果还不达标,训练未完成。此时,可以进入105。
105、若验证模型的分类准确率小于预设第一阈值或者该验证模型对验证样本集中的各类别样本的分类准确率并没有均大于或等于预设第二阈值,则确定出目标模型以及目标类别,该目标模型为当前训练得到的模型中分类准确率最高的模型,该目标类别为验证样本集中所述验证模型的分类准确率小于该预设第二阈值的样本所对应的类别。
比如,电子设备检测到验证模型的分类准确率小于预设第一阈值或者该验证模型对验证样本集中的各类别样本的分类准确率并没有均大于或等于预设第二阈值,那么可以认为模型训练未完成,此时电子设备可以确定出目标模型以及目标类别。其中,该目标模型可以为当前训练得到的模型中分类准确率最高的模型,该目标类别可以为验证样本集中分类准确率小于该预设第二阈值的样本所对应的类别。
例如,预设第一阈值为85%,预设第二阈值也为85%。当然,在其它实施方式中,预设第一阈值和预设第二阈值的数值也可以为其它数值,并且它们可以不相等。
例如,由于验证模型的总体分类准确率达到了86.5%大于预设第一阈值85%,该验证模型对狗的图片的分类准确率90%大于预设第二阈值85%,该验证模型对鸡的图片的分类准确率95%大于预设第二阈值85%,该验证模型对鸭的图片的分类准确率80%小于预设第二阈值85%,该验证模型对猪的图片的分类准确率92.5%大于预设第二阈值85%,该验证模型对鸟的图片的分类准确率75%小于预设第二阈值85%,即该验证模型的分类准确率大于预设第一阈值,但该验证模型对验证样本集中鸭类别样本以及鸟类别样本的分类准确率均小于预设第二阈值。因此,可以触发电子设备确定出目标模型以及目标类别。其中,该目标模型可以为当前已训练得到的模型中分类准确率最高的模型,该目标类别为验证样本集中分类准确率小于该预设第二阈值的样本所对应的类别。即,该目标模型可以为当前已完成的各次训练得到的模型中总体分类准确率最高的模型。例如,当前已进行了5次模型训练,其中第一次训练得到的模型的(总体)分类准确率为80%,第二次训练得到的模型的(总体)分类准确率为80.5%,第三次训练得到的模型的(总体)分类准确率为83%,第四次训练得到的模型的(总体)分类准确率为86.5%,第五次训练得到的模型的(总体)分类准确率为85%,那么电子设备可以将第四次训练得到的模型确定为目标模型。即,目标模型为当前已训练得到的模型中分类准确率最高的模型,即当前已得到的最优模型。目标类别例如为鸭类别和鸟类别(验证模型对它们类别的图片的分类准确率均低于预设第二阈值)。
106、获取目标样本库,该目标样本库中包含多个不同类别的样本,且该目标样本库中的样本具有准确的类别标签。
比如,在确定出目标模型以及目标类别后,电子设备可以获取目标样本库,该目标样本库中也可以包含多个不同类别的样本,并且该目标样本库中的样本都具有准确的类别标签。即,该目标样本库中的样本都是经过准确分类的样本,属于干净样本。或者,换句话说,该目标样本库中的样本的真实类别和其类别标签是一致的。
例如,目标样本库中也可以包含不同类别的动物图片,如狗的图片、鸡的图片、鸭的图片、猪的图片、鸟的图片,等等。
107、从目标样本库中抽取目标类别的样本,并从初始样本库中抽取非目标类别的样本,形成新的训练样本集。
比如,在获取到目标样本库后,电子设备可以从该目标样本库中抽取目标类别的样本,并从初始样本库中抽取非目标类别的样本,从而形成新的训练样本集。
例如,电子设备可以从目标样本库中抽取鸭类别的图片以及鸟类别的图片,并从初始样本库中抽取狗类别的图片、鸡类别的图片以及猪类别的图片,这些新抽取的样本形成新的训练样本集。
108、利用新的训练样本集对目标模型进行迁移学习训练,并将训练得到的模型确定为验证模型,触发执行获取验证样本集的流程,以实现模型的迭代优化,直至满足预设的迭代停止条件。
比如,在得到新的训练样本集后,电子设备可以利用该新的训练样本集对目标模型进行迁移学习训练,并将训练得到的模型确定为验证模型,并触发执行103中的获取验证样本集的流程,即电子设备可以执行一个循环,以实现模型的迭代优化,直到满足预设的迭代停止条件时结束该循环。
需要说明的是,迁移学习是一种机器学习方法,就是把为任务A开发的模型作为初始点,重新使用在为任务B开发模型的过程中。换句话说,迁移学习指的是将一个之前预训练得到的模型作为新模型的训练起点。通常这些预训练的模型在训练的时候已经消耗了巨大的时间资源和计算资源,迁移学习可以将已习得的强大技能迁移到相关的问题上。
可以理解的是,本申请实施例中,电子设备可以利用迁移学习的方式来不断地对模型进行迭代优化,其中,在迭代优化过程中,首先,对于验证样本集中验证模型的分类准确率小于预设第二阈值的样本所对应的目标类别,电子设备可以从目标样本库中抽取干净样本,再从初始样本库中抽取非目标类别的样本,从而形成新的训练样本。其次,每次迭代优化的起点为当前已训练得到的模型中分类准确率最高的目标模型。因此,本申请实施例中,电子设备可以利用干净样本和目标模型来进行基于迁移学习的迭代优化,从而提高模型训练效果。
请参阅图2,图2为本申请实施例提供的模型训练方法的另一流程示意图,流程可以包括:
201、电子设备获取初始样本库以及待训练的模型,该初始样本库中包含多个不同类别的样本,该待训练的模型为分类模型。
比如,电子设备可以先获取初始样本库以及待训练的模型,其中,该初始样本库中可以包含多个不同类别的样本,该待训练的模型可以为分类模型。
例如,该初始样本库可以为图片库,该图片库中可以包含不同类别的动物图片,如狗的图片、鸡的图片、鸭的图片、猪的图片、鸟的图片,等等。那么,当模型训练完成后,电子设备利用该模型可以对图片进行分类。例如,电子设备将某张图片作为输入图片,输入至训练完成的模型,那么该模型可以输出该图片的类别,如该模型识别出该图片为狗的图片,等等。
202、电子设备利用初始样本库中的样本对待训练的模型进行训练,得到初始模型,并将该初始模型确定为验证模型。
比如,在获取到初始样本库以及待训练的模型后,电子设备可以利用该初始样本库中的样本对该待训练的模型进行训练,从而得到一个初始模型,并将该初始模型确定为验证模型。
203、电子设备获取验证样本集,该验证样本集包含多个不同类别的样本。
比如,在确定出验证模型后,电子设备可以获取验证样本集,其中该验证样本集中也可以包含多个不同类别的样本。例如,该验证样本集中也可以包含不同类别的动物图片,如狗的图片、鸡的图片、鸭的图片、猪的图片、鸟的图片,等等。
204、电子设备利用验证样本集对验证模型进行验证,得到该验证模型的分类准确率,并统计该验证模型对该验证样本集中各类别样本的分类准确率。
比如,在获取到验证样本集后,电子设备可以利用该验证样本集中的样本对验证模型进行验证,从而得到该验证模型的分类准确率,并统计该验证模型对该验证样本集中的各类别样本的分类准确率。
需要说明的是,验证模型的分类准确率是指利用验证样本集中的样本对该验证模型进行验证时的总体分类准确率。例如,验证样本集中一共包含1000个样本,这1000个样本中包含200张狗的图片、200张鸡的图片、200张鸭的图片、200张猪的图片、200张鸟的图片。在利用验证样本集中的1000张图片对验证模型进行验证时,该验证模型一共准确识别出865张图片,识别错误的图片为135张。那么,该验证模型的总体分类准确率为86.5%。其中,对于200张狗的图片,该验证模型一共准确识别出180张狗的图片,那么对于狗这一类别的图片,该验证模型的分类准确率为90%。又如,对于200张鸡的图片,该验证模型一共准确识别出190张鸡的图片,那么对于鸡这一类别的图片,该验证模型的分类准确率为95%。再如,对于200张鸭的图片,该验证模型一共准确识别出160张鸭的图片,那么对于鸭这一类别的图片,该验证模型的分类准确率为80%。再如,对于200张猪的图片,该验证模型一共准确识别出185张猪的图片,那么对于猪这一类别的图片,该验证模型的分类准确率为92.5%。再如,对于200张鸟的图片,该验证模型一共准确识别出150张鸟的图片,那么对于鸟这一类别的图片,该验证模型的分类准确率为75%。
在统计得到验证模型的分类准确率以及该验证模型对验证样本集中各类别样本的分类准确率后,电子设备可以检测该验证模型的分类准确率是否小于预设第一阈值,并检测该验证模型对验证样本集中各类别样本的分类准确率是否均大于或等于预设第二阈值。
如果检测到该验证模型的分类准确率大于或等于预设第一阈值,并且检测到该验证模型对验证样本集中各类别样本的分类准确率均大于或等于预设第二阈值,那么可以认为该验证模型的训练效果较好,训练完成,此时电子设备可以输出并保存该验证模型。
如果检测到该验证模型的分类准确率小于预设第一阈值,或者检测到该验证模型对验证样本集中各类别样本的分类准确率并没有均大于或等于预设第二阈值,那么可以认为该验证模型的训练效果还不达标,训练未完成。此时,可以进入205。
205、若验证模型的分类准确率小于预设第一阈值或者该验证模型对验证样本集中的各类别样本的分类准确率并没有均大于或等于预设第二阈值,则电子设备确定出目标模型以及目标类别,该目标模型为当前训练得到的模型中分类准确率最高的模型,该目标类别该验证样本集中分类准确率小于预设第二阈值的样本所对应的类别。
比如,电子设备检测到验证模型的分类准确率小于预设第一阈值或者该验证模型对验证样本集中的各类别样本的分类准确率并没有均大于或等于预设第二阈值,那么可以认为模型训练未完成,此时电子设备可以确定出目标模型以及目标类别。其中,该目标模型可以为当前训练得到的模型中分类准确率最高的模型,该目标类别可以为验证样本集中分类准确率小于该预设第二阈值的样本所对应的类别。
例如,预设第一阈值为85%,预设第二阈值也为85%。当然,在其它实施方式中,预设第一阈值和预设第二阈值的数值也可以为其它数值,并且它们可以不相等。
例如,由于验证模型的总体分类准确率达到了86.5%大于预设第一阈值85%,该验证模型对狗的图片的分类准确率90%大于预设第二阈值85%,该验证模型对鸡的图片的分类准确率95%大于预设第二阈值85%,该验证模型对鸭的图片的分类准确率80%小于预设第二阈值85%,该验证模型对猪的图片的分类准确率92.5%大于预设第二阈值85%,该验证模型对鸟的图片的分类准确率75%小于预设第二阈值85%,即该验证模型的分类准确率大于预设第一阈值,但该验证模型对验证样本集中鸭类别样本以及鸟类别样本的分类准确率均小于预设第二阈值。因此,可以触发电子设备确定出目标模型以及目标类别。其中,该目标模型可以为当前已训练得到的模型中分类准确率最高的模型,该目标类别为验证样本集中分类准确率小于该预设第二阈值的样本所对应的类别。即,该目标模型可以为当前已完成的各次训练得到的模型中总体分类准确率最高的模型。例如,当前已进行了5次模型训练,其中第一次训练得到的模型的(总体)分类准确率为80%,第二次训练得到的模型的(总体)分类准确率为80.5%,第三次训练得到的模型的(总体)分类准确率为83%,第四次训练得到的模型的(总体)分类准确率为86.5%,第五次训练得到的模型的(总体)分类准确率为85%,那么电子设备可以将第四次训练得到的模型确定为目标模型。即,目标模型为当前已训练得到的模型中分类准确率最高的模型,即最优模型。目标类别例如为鸭类别和鸟类别(验证模型对它们类别的图片的分类准确率均低于预设第二阈值)。
206、电子设备获取目标样本库,该目标样本库中包含多个不同类别的样本,且该目标样本库中的样本具有准确的类别标签。
比如,在确定出目标模型以及目标类别后,电子设备可以获取目标样本库,该目标样本库中也可以包含多个不同类别的样本,并且该目标样本库中的样本都具有准确的类别标签。即,该目标样本库中的样本都是经过准确分类的样本,属于干净样本。或者,换句话说,该目标样本库中的样本的真实类别和其类别标签是一致的。
例如,目标样本库中也可以包含不同类别的动物图片,如狗的图片、鸡的图片、鸭的图片、猪的图片、鸟的图片,等等。
207、对每一目标类别,电子设备在目标样本库中抽取预设数量的样本,对每一非目标类别,该电子设备在初始样本库中抽取预设数量的样本;并利用抽取的目标类别的样本以及非目标类别的样本,形成新的训练样本集。
比如,在获取到目标样本库后,对于每一个目标类别,电子设备可以从该目标样本库中抽取预设数量的该目标类别的样本。对于每一个非目标类别,该电子设备可以从初始样本库中抽取预设数量的该非目标类别的样本。然后,电子设备可以将抽取到的目标类别的样本和非目标类别的样本组成新的训练样本集。
例如,电子设备可以从目标样本库中抽取预设数量的鸭类别的图片以及预设数量的鸟类别的图片,并从初始样本库中抽取预设数量的狗类别的图片、预设数量的鸡类别的图片以及预设数量的猪类别的图片,这些新抽取的样本组成新的训练样本集。
208、电子设备利用新的训练样本集对目标模型进行迁移学习训练,并将训练得到的模型确定为验证模型,触发执行所述获取验证样本集的流程,以实现模型的迭代优化,直至满足预设的迭代停止条件,其中,该预设的迭代停止条件为该验证模型的分类准确率大于或等于预设第一阈值,且验证样本集中的各类别样本的分类准确率均大于或等于预设第二阈值。
比如,在得到新的训练样本集后,电子设备可以利用该新的训练样本集对目标模型进行迁移学习训练,并将训练得到的模型确定为验证模型,并触发执行203中的获取验证样本集的流程,即电子设备可以执行一个循环,以实现模型的迭代优化,直到满足预设的迭代停止条件时结束该循环。其中,该预设的迭代停止条件可以为验证模型的分类准确率大于或等于预设第一阈值,且验证模型对验证样本集中的各类别样本的分类准确率均大于或等于预设第二阈值。
209、当满足预设的迭代停止条件时,电子设备将最新得到的验证模型确定为训练完成模型并保存输出。
比如,当最新训练得到的用于验证的验证模型的分类准确率大于或等于预设第一阈值,且该验证模型对验证样本集中的各类别样本的分类准确率均大于或等于预设第二阈值时,电子设备可以将最新得到的验证模型确定为训练完成模型并保存输出。
在其它实施方式中,预设的迭代停止条件还可以是电子设备接收到用于停止模型训练的指令。比如,电子设备接收到用户输入的用于指示停止模型训练的指令,那么该电子设备可以停止迭代训练。
在又一种实施方式中,预设的迭代停止条件还可以是多次无法获取到干净样本从而形成新的训练样本集时停止迭代,或者电子设备前后多次训练得到的模型的分类准确率持续未提升时停止迭代。
请同时参阅图3至图4,本申请实施例还提供一种可视化的机器学习训练平台。该可视化的机器学习训练平台可以在底层封装各种模型,并在平台的可视化界面上设置与各模型对应的控件,通过画布式拖拽各类控件可以构建机器学习训练流程,并可以对各类控件设置对应的运行参数。该可视化机器学习平台还可以输出训练结果。
本申请实施例提供的可视化的机器学习训练平台可以包括文本预处理模块、深度学习模块、迭代优化模块、文本语义向量模块、输出及展示模块等。
其中,文本预处理模块主要用于对作为模型输入的文本预先进行处理,如提取中文或者中文分词等。其中,提取中文处理只获取文本中的中文、中英文符号、数字等内容。中文分词处理则可以是诸如jieba等分词器对文本中的中文进行分词处理。
深度学习模块主要是基于深度学习模型对选定的模型进行单次训练。其中,深度学习模块可以包括常用的几种模型,如textCNN,LSTM(Long Short-Term Memory,长短期记忆网络),Attention-based textCNN(注意力机制的textCNN模型)等。在深度学习模块进行的训练,模型训练结束后不予迭代优化。深度学习模块可以自动展示模型训练效果(如模型的分类准确率等),以及显示经过训练后的模型能够较为准确地识别出的文本类别,以及还无法较为准确地识别出的文本类别。同时,该深度学习模块可以输出经过训练的模型文件。
文本语义向量模块可以用于输出文本的语义向量,并将输出的语义向量提供给所需的模块。
输出及展示模块可以用于输出经过训练的模型文件,并展示使用验证集样本对经过训练的模型进行验证的结果,如模型的分类准确率等。输出及展示模块可以用表格或图形的方式来展示模型的验证结果。
迭代优化模块可以用于对选定的模型进行迭代优化训练,从而得到具有较好的训练效果的模型。
请参阅图3,图3为本申请实施例提供的可视化的机器学习训练平台的结构示意图。
请一并参阅图4,图4为本申请实施例提供的可视化的机器学习训练平台的操作界面示意图。
在本申请实施例中,比如,用户通过迭代优化模块选定了需要进行迭代优化训练的模型。那么,基于该可视化的机器学习训练平台,电子设备可以通过如下方式来实现对该模型的迭代优化:
首先,电子设备可以通过迭代优化模块获取一初始样本库,例如该初始样本库可以包含多种类别的文本样本,例如包含C类别的文本、D类别的文本、E类别的文本、F类别的文本、G类别的文本。每一类别的文本都具有对应的类别标签。
电子设备还可以通过迭代优化模块获取例如用户选定的待训练的模型,如待训练的模型为M0。该模型M0可以为一个多分类的模型。
之后,电子设备可以利用初始样本库中的各类别的文本样本对待训练的模型M0进行训练,从而得到一个初始模型M1,并将该初始模型M1确定为验证模型。
之后,电子设备可以获取一验证样本集,其中该验证样本集中也可以包含多个不同类别的文本样本。例如,该验证样本集中也可以包含C类别的文本、D类别的文本、E类别的文本、F类别的文本、G类别的文本,等等。
在获取到验证样本集后,电子设备可以利用该验证样本集中的样本对待验证的模型M1进行验证,从而得到该模型M1的分类准确率,并统计该模型M1对该验证样本集中的各类别样本的分类准确率。
例如,验证样本集中一共包含1000个文本样本,这1000个样本中包含200个C类别的文本、200个D类别的文本、200个E类别的文本、200个F类别的文本、200个G类别的文本。在利用验证样本集中的1000各文本对模型M1进行验证时,该模型M1一共准确识别出865个文本对应的类别,类别识别错误的文本有135个。那么,该模型M1的总体分类准确率为86.5%。
例如这其中,对于200个C类别的文本,该模型M1一共准确识别出180个C类别的文本,那么对于C类别的文本,该模型M1的分类准确率为90%。
又如,对于200个D类别的文本,该模型M1一共准确识别出190个D类别的文本,那么对于D类别的文本,该模型M1的分类准确率为95%。
再如,对于200个E类别的文本,该模型M1一共准确识别出160个E类别的文本,那么对于E类别的文本,该模型M1的分类准确率为80%。
再如,对于200个F类别的文本,该模型M1一共准确识别出185个F类别的文本,那么对于F类别的文本,该模型M1的分类准确率为92.5%。
再如,对于200个G类别的文本,该模型M1一共准确识别出150个G类别的文本,那么对于G类别的文本,该模型M1的分类准确率为75%。
在统计得到模型M1的分类准确率以及该模型M1对验证样本集中各类别样本的分类准确率后,电子设备可以检测该模型M1的分类准确率是否小于预设第一阈值,并检测该模型M1对验证样本集中各类别样本的分类准确率是否均大于或等于预设第二阈值。例如,预设第一阈值和预设第二阈值均为85%。那么,电子设备可以检测到模型M1的分类准确率大于预设第一阈值,而模型M1对验证样本集中各类别样本的分类准确率并没有均大于或等于预设第二阈值(因模型M1对E类别文本样本和G类别文本样本的分类准确率均小于85%)。
在这种情况下,电子设备可以通过迭代优化模型确定出目标模型以及目标类别。其中,该目标模型可以为当前训练得到的模型中分类准确率最高的模型,该目标类别可以为验证样本集中分类准确率小于预设第二阈值的样本所对应的类别。例如,当前已训练得到的模型中分类准确率最高的模型为M1,那么电子设备可以将模型M1确定为目标模型,并将E类别的文本和G类别的文本确定为目标类别。
之后,电子设备可以获取一目标样本库,该目标样本库中也可以包含多个不同类别的文本样本,并且该目标样本库中的文本样本都具有准确的类别标签。即,目标样本库中的文本样本为干净样本。然后,电子设备可以从目标样本库中抽取预设数量的E类别和G类别的文本样本,并从初始样本库中抽取预设数量的C类别、D类别、F类别的文本样本,再将这些新抽取的样本组成新的训练样本集。
在得到新的训练样本集后,电子设备可以利用该新的训练样本集基于模型M1进行迁移学习训练,并将训练得到的模型M2确定为验证模型(即此时验证模型为M2,或者说需要对模型M2进行验证),并触发执行获取验证样本集的流程,即电子设备可以执行一个循环,以实现模型的迭代优化,直到满足预设的迭代停止条件时结束该循环。其中,该预设的迭代停止条件可以为验证模型的分类准确率大于或等于预设第一阈值,且验证模型对验证样本集中的各类别样本的分类准确率均大于或等于预设第二阈值。
例如,在得到模型M2后,电子设备可以获取一验证样本集,其中该验证样本集中包含C类别的文本、D类别的文本、E类别的文本、F类别的文本、G类别的文本。
在获取到验证样本集后,电子设备可以利用该验证样本集中的样本对待验证的模型M2进行验证,从而得到该模型M2的分类准确率,并统计该模型M2对该验证样本集中的各类别样本的分类准确率。例如,该模型M2的总体分类准确率提升到了87.5%,其中,该模型M2对C类别的文本的分类准确率为90%,该模型M2对D类别的文本的分类准确率为95.2%,该模型M2对E类别的文本的分类准确率为82%,该模型M2对F类别的文本的分类准确率为92%,该模型M2对G类别的文本的分类准确率为80%。
由于模型M2的分类准确率87.5%大于预设第一阈值85%,而模型M2对验证样本集中各类别样本的分类准确率并没有均大于或等于预设第二阈值(因模型M2对E类别文本样本和G类别文本样本的分类准确率均小于85%)。
在这种情况下,电子设备可以确定出目标模型和目标类别。由于模型M2的分类准确率是目前已训练得到的模型中分类准确率最高的模型,因此模型M2被确定为目标模型,同时E类别的文本和G类别的文本再次被确定为目标类别。
之后,电子设备可以再从目标样本库中抽取一批新的预设数量的E类别和G类别的文本样本,并从初始样本库中抽取一批新的预设数量的C类别、D类别、F类别的文本样本,再将这些新抽取的样本组成新的训练样本集。
在得到新的训练样本集后,电子设备可以利用该新的训练样本集基于模型M2进行迁移学习训练,并将训练得到的模型M3确定为验证模型(即此时验证模型为M3,或者说需要对模型M3进行验证),并触发执行获取验证样本集的流程,即电子设备可以对模型M3进行验证,以实现模型的迭代优化,直到满足预设的迭代停止条件时结束该循环。
例如,通过重复上述循环,经过18次的迭代优化,电子设备训练得到的模型M19的分类准确率大于预设第一阈值85%,且模型M19对验证样本集中的各类别样本的分类准确率也均大于或等于预设第二阈值85%。在这种情况下,电子设备可以停止迭代,并将模型M19输出并保存,并提示用户模型训练完成,模型训练结果符合要求。
在训练得到模型M19后,智能终端可以利用模型M19来对用户阅读的文本信息进行分类,并根据分类结果向该用户推送同类别的文本。例如,智能终端利用模型M19判断出用户正在阅读唐诗,那么该智能终端可以向该用户推送一些唐诗的信息,如著名的唐诗及其解析等信息。
在一种实施方式中,在可视化的机器学习训练平台上,可以为模型设置运行状态。比如,在将模型对应的控件拖拽到可视化界面上时,可以将该模型设置为未激活状态,此时表示该模型上无法运行。当在可视化界面上为模型设置好对应的运行参数后,可以将该模型设置由未激活状态切换到激活空闲状态,其中激活空闲状态表示该模型可以开始运行。当开始运行该模型时(即开始训练时),可以将该模型由激活空闲状态切换到激活运行状态,其中激活运行状态表示模型正在训练。当一次训练完成或者用户暂停时,可以将该模型由激活运行状态切换到激活空闲状态。当用户将模型从可视化界面上删除时,可以将该模型由激活空闲状态切换到未激活状态。
请参阅图5,图5为本申请实施例提供的模型训练装置的结构示意图。模型训练装置300可以包括:第一获取模块301,第一训练模块302,第二获取模块303,验证模块304,确定模块305,第三获取模块306,第四获取模块307,第二训练模块308。
第一获取模块301,用于获取初始样本库以及待训练的模型,所述初始样本库中包含多个不同类别的样本,所述待训练的模型为分类模型;
第一训练模块302,用于利用所述初始样本库中的样本对所述待训练的模型进行训练,得到初始模型,并将所述初始模型确定为验证模型;
第二获取模块303,用于获取验证样本集,所述验证样本集包含多个不同类别的样本;
验证模块304,用于利用所述验证样本集对所述验证模型进行验证,得到所述验证模型的分类准确率,并统计所述验证模型对所述验证样本集中各类别样本的分类准确率;
确定模块305,用于若所述验证模型的分类准确率小于预设第一阈值或者所述验证模型对所述验证样本集中的各类别样本的分类准确率并没有均大于或等于预设第二阈值,则确定出目标模型以及目标类别,所述目标模型为当前训练得到的模型中分类准确率最高的模型,所述目标类别所述验证样本集中分类准确率小于所述预设第二阈值的样本所对应的类别;
第三获取模块306,用于获取目标样本库,所述目标样本库中包含多个不同类别的样本,且所述目标样本库中的样本具有准确的类别标签;
第四获取模块307,用于从所述目标样本库中抽取所述目标类别的样本,并从所述初始样本库中抽取非目标类别的样本,形成新的训练样本集;
第二训练模块308,用于利用新的训练样本集对所述目标模型进行迁移学习训练,并将训练得到的模型确定为验证模型,触发执行所述获取验证样本集的流程,以实现模型的迭代优化,直至满足预设的迭代停止条件。
在一种实施方式中,所述第四获取模块307可以用于:
对每一所述目标类别,在所述目标样本库中抽取预设数量的样本;
对每一非目标类别,在所述初始样本库中抽取所述预设数量的样本;
利用抽取的所述目标类别的样本以及所述非目标类别的样本,形成新的训练样本集。
在一种实施方式中,所述预设的迭代停止条件为所述验证模型的分类准确率大于或等于预设第一阈值,且所述验证模型对所述验证样本集中的各类别样本的分类准确率均大于或等于预设第二阈值。
在一种实施方式中,所述预设的迭代停止条件为接收到用于停止模型训练的指令。
在一种实施方式中,所述第二训练模块308还可以用于:
当满足所述预设的迭代停止条件时,将最新得到的验证模型确定为训练完成模型并保存输出。
本申请实施例提供一种计算机可读的存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行如本实施例提供的模型训练方法中的流程。
本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本实施例提供的模型训练方法中的流程。
例如,上述电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图6,图6为本申请实施例提供的电子设备的结构示意图。
该电子设备400可以包括显示单元401、存储器402、处理器403等部件。本领域技术人员可以理解,图6中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
显示单元401可以为显示屏等,可以用于显示诸如文字、图像等信息。
存储器402可用于存储应用程序和数据。存储器402存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器403通过运行存储在存储器402的应用程序,从而执行各种功能应用以及数据处理。
处理器403是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的应用程序,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
在本实施例中,电子设备中的处理器403会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器402中,并由处理器403来运行存储在存储器402中的应用程序,从而执行:
获取初始样本库以及待训练的模型,所述初始样本库中包含多个不同类别的样本,所述待训练的模型为分类模型;
利用所述初始样本库中的样本对所述待训练的模型进行训练,得到初始模型,并将所述初始模型确定为验证模型;
获取验证样本集,所述验证样本集包含多个不同类别的样本;
利用所述验证样本集对所述验证模型进行验证,得到所述验证模型的分类准确率,并统计所述验证模型对所述验证样本集中各类别样本的分类准确率;
若所述验证模型的分类准确率小于预设第一阈值或者所述验证模型对所述验证样本集中的各类别样本的分类准确率并没有均大于或等于预设第二阈值,则确定出目标模型以及目标类别,所述目标模型为当前训练得到的模型中分类准确率最高的模型,所述目标类别所述验证样本集中分类准确率小于所述预设第二阈值的样本所对应的类别;
获取目标样本库,所述目标样本库中包含多个不同类别的样本,且所述目标样本库中的样本具有准确的类别标签;
从所述目标样本库中抽取所述目标类别的样本,并从所述初始样本库中抽取非目标类别的样本,形成新的训练样本集;
利用新的训练样本集对所述目标模型进行迁移学习训练,并将训练得到的模型确定为验证模型,触发执行所述获取验证样本集的流程,以实现模型的迭代优化,直至满足预设的迭代停止条件。
请参阅图7,电子设备400可以包括显示单元401、存储器402、处理器403、扬声器404、麦克风405、电池406等部件。
显示单元401可以为显示屏等,可以用于显示诸如文字、图像等信息。
存储器402可用于存储应用程序和数据。存储器402存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器403通过运行存储在存储器402的应用程序,从而执行各种功能应用以及数据处理。
处理器403是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的应用程序,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
麦克风405可以用于拾取周围环境中的声音信号。
电池406可以用于为电子设备的各部件提供电力。
在本实施例中,电子设备中的处理器403会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器402中,并由处理器403来运行存储在存储器402中的应用程序,从而执行:
获取初始样本库以及待训练的模型,所述初始样本库中包含多个不同类别的样本,所述待训练的模型为分类模型;
利用所述初始样本库中的样本对所述待训练的模型进行训练,得到初始模型,并将所述初始模型确定为验证模型;
获取验证样本集,所述验证样本集包含多个不同类别的样本;
利用所述验证样本集对所述验证模型进行验证,得到所述验证模型的分类准确率,并统计所述验证模型对所述验证样本集中各类别样本的分类准确率;
若所述验证模型的分类准确率小于预设第一阈值或者所述验证模型对所述验证样本集中的各类别样本的分类准确率并没有均大于或等于预设第二阈值,则确定出目标模型以及目标类别,所述目标模型为当前训练得到的模型中分类准确率最高的模型,所述目标类别所述验证样本集中分类准确率小于所述预设第二阈值的样本所对应的类别;
获取目标样本库,所述目标样本库中包含多个不同类别的样本,且所述目标样本库中的样本具有准确的类别标签;
从所述目标样本库中抽取所述目标类别的样本,并从所述初始样本库中抽取非目标类别的样本,形成新的训练样本集;
利用新的训练样本集对所述目标模型进行迁移学习训练,并将训练得到的模型确定为验证模型,触发执行所述获取验证样本集的流程,以实现模型的迭代优化,直至满足预设的迭代停止条件。
在一种实施方式中,处理器403执行所述从所述目标样本库中抽取所述目标类别的样本,并从所述初始样本库中抽取非目标类别的样本,形成新的训练样本集时,可以执行:对每一所述目标类别,在所述目标样本库中抽取预设数量的样本;对每一非目标类别,在所述初始样本库中抽取所述预设数量的样本;利用抽取的所述目标类别的样本以及所述非目标类别的样本,形成新的训练样本集。
在一种实施方式中,所述预设的迭代停止条件为所述验证模型的分类准确率大于或等于预设第一阈值,且所述验证模型对所述验证样本集中的各类别样本的分类准确率均大于或等于预设第二阈值。
在一种实施方式中,所述预设的迭代停止条件为接收到用于停止模型训练的指令。
在一种实施方式中,处理器403还可以执行:当满足所述预设的迭代停止条件时,将最新得到的验证模型确定为训练完成模型并保存输出。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对模型训练方法的详细描述,此处不再赘述。
本申请实施例提供的所述模型训练装置与上文实施例中的模型训练方法属于同一构思,在所述模型训练装置上可以运行所述模型训练方法实施例中提供的任一方法,其具体实现过程详见所述模型训练方法实施例,此处不再赘述。
需要说明的是,对本申请实施例所述模型训练方法而言,本领域普通技术人员可以理解实现本申请实施例所述模型训练方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,所述计算机程序可存储于一计算机可读取存储介质中,如存储在存储器中,并被至少一个处理器执行,在执行过程中可包括如所述模型训练方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)等。
对本申请实施例的所述模型训练装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,所述存储介质譬如为只读存储器,磁盘或光盘等。
以上对本申请实施例所提供的一种模型训练方法、装置、存储介质以及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种模型训练方法,其特征在于,包括:
获取初始样本库以及待训练的模型,所述初始样本库中包含多个不同类别的样本,所述待训练的模型为分类模型;
利用所述初始样本库中的样本对所述待训练的模型进行训练,得到初始模型,并将所述初始模型确定为验证模型;
获取验证样本集,所述验证样本集包含多个不同类别的样本;
利用所述验证样本集对所述验证模型进行验证,得到所述验证模型的分类准确率,并统计所述验证模型对所述验证样本集中各类别样本的分类准确率;
若所述验证模型的分类准确率小于预设第一阈值或者所述验证模型对所述验证样本集中的各类别样本的分类准确率并没有均大于或等于预设第二阈值,则确定出目标模型以及目标类别,所述目标模型为当前训练得到的模型中分类准确率最高的模型,所述目标类别所述验证样本集中分类准确率小于所述预设第二阈值的样本所对应的类别;
获取目标样本库,所述目标样本库中包含多个不同类别的样本,且所述目标样本库中的样本具有准确的类别标签;
从所述目标样本库中抽取所述目标类别的样本,并从所述初始样本库中抽取非目标类别的样本,形成新的训练样本集;
利用新的训练样本集对所述目标模型进行迁移学习训练,并将训练得到的模型确定为验证模型,触发执行所述获取验证样本集的流程,以实现模型的迭代优化,直至满足预设的迭代停止条件。
2.根据权利要求1所述的模型训练方法,其特征在于,所述从所述目标样本库中抽取所述目标类别的样本,并从所述初始样本库中抽取非目标类别的样本,形成新的训练样本集,包括:
对每一所述目标类别,在所述目标样本库中抽取预设数量的样本;
对每一非目标类别,在所述初始样本库中抽取所述预设数量的样本;
利用抽取的所述目标类别的样本以及所述非目标类别的样本,形成新的训练样本集。
3.根据权利要求1所述的模型训练方法,其特征在于,所述预设的迭代停止条件为所述验证模型的分类准确率大于或等于预设第一阈值,且所述验证模型对所述验证样本集中的各类别样本的分类准确率均大于或等于预设第二阈值。
4.根据权利要求1所述的模型训练方法,其特征在于,所述预设的迭代停止条件为接收到用于停止模型训练的指令。
5.根据权利要求4所述的模型训练方法,其特征在于,所述方法还包括:
当满足所述预设的迭代停止条件时,将最新得到的验证模型确定为训练完成模型并保存输出。
6.一种模型训练装置,其特征在于,包括:
第一获取模块,用于获取初始样本库以及待训练的模型,所述初始样本库中包含多个不同类别的样本,所述待训练的模型为分类模型;
第一训练模块,用于利用所述初始样本库中的样本对所述待训练的模型进行训练,得到初始模型,并将所述初始模型确定为验证模型;
第二获取模块,用于获取验证样本集,所述验证样本集包含多个不同类别的样本;
验证模块,用于利用所述验证样本集对所述验证模型进行验证,得到所述验证模型的分类准确率,并统计所述验证模型对所述验证样本集中各类别样本的分类准确率;
确定模块,用于若所述验证模型的分类准确率小于预设第一阈值或者所述验证模型对所述验证样本集中的各类别样本的分类准确率并没有均大于或等于预设第二阈值,则确定出目标模型以及目标类别,所述目标模型为当前训练得到的模型中分类准确率最高的模型,所述目标类别所述验证样本集中分类准确率小于所述预设第二阈值的样本所对应的类别;
第三获取模块,用于获取目标样本库,所述目标样本库中包含多个不同类别的样本,且所述目标样本库中的样本具有准确的类别标签;
第四获取模块,用于从所述目标样本库中抽取所述目标类别的样本,并从所述初始样本库中抽取非目标类别的样本,形成新的训练样本集;
第二训练模块,用于利用新的训练样本集对所述目标模型进行迁移学习训练,并将训练得到的模型确定为验证模型,触发执行所述获取验证样本集的流程,以实现模型的迭代优化,直至满足预设的迭代停止条件。
7.根据权利要求6所述的模型训练装置,其特征在于,所述第四获取模块:
对每一所述目标类别,在所述目标样本库中抽取预设数量的样本;
对每一非目标类别,在所述初始样本库中抽取所述预设数量的样本;
利用抽取的所述目标类别的样本以及所述非目标类别的样本,形成新的训练样本集。
8.根据权利要求6所述的模型训练装置,其特征在于,所述第二训练模块还用于:
当满足预设的迭代停止条件时,将最新得到的验证模型确定为训练完成模型并保存输出。
9.一种计算机可读的存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机上执行时,使得所述计算机执行如权利要求1至5中任一项所述的方法。
10.一种电子设备,包括存储器,处理器,其特征在于,所述处理器通过调用所述存储器中存储的计算机程序,用于执行如权利要求1至5中任一项所述的方法。
CN201911396245.XA 2019-12-30 2019-12-30 模型训练方法、装置、存储介质及电子设备 Pending CN111191590A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911396245.XA CN111191590A (zh) 2019-12-30 2019-12-30 模型训练方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911396245.XA CN111191590A (zh) 2019-12-30 2019-12-30 模型训练方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN111191590A true CN111191590A (zh) 2020-05-22

Family

ID=70709485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911396245.XA Pending CN111191590A (zh) 2019-12-30 2019-12-30 模型训练方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN111191590A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111708810A (zh) * 2020-06-17 2020-09-25 北京世纪好未来教育科技有限公司 模型优化推荐方法、装置和计算机存储介质
CN112017634A (zh) * 2020-08-06 2020-12-01 Oppo(重庆)智能科技有限公司 数据的处理方法、装置、设备以及存储介质
CN112132239A (zh) * 2020-11-24 2020-12-25 北京远鉴信息技术有限公司 一种训练方法、装置、设备和存储介质
CN113034503A (zh) * 2021-05-28 2021-06-25 博奥生物集团有限公司 一种高通量自动分杯方法、装置及系统
CN113239804A (zh) * 2021-05-13 2021-08-10 杭州睿胜软件有限公司 图像识别方法、可读存储介质及图像识别系统
CN114115511A (zh) * 2020-08-25 2022-03-01 深圳市万普拉斯科技有限公司 触发电子设备预载功能的方法、电子装置及存储介质

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111708810A (zh) * 2020-06-17 2020-09-25 北京世纪好未来教育科技有限公司 模型优化推荐方法、装置和计算机存储介质
CN111708810B (zh) * 2020-06-17 2022-05-27 北京世纪好未来教育科技有限公司 模型优化推荐方法、装置和计算机存储介质
CN112017634A (zh) * 2020-08-06 2020-12-01 Oppo(重庆)智能科技有限公司 数据的处理方法、装置、设备以及存储介质
CN114115511A (zh) * 2020-08-25 2022-03-01 深圳市万普拉斯科技有限公司 触发电子设备预载功能的方法、电子装置及存储介质
CN114115511B (zh) * 2020-08-25 2023-05-02 深圳市万普拉斯科技有限公司 触发电子设备预载功能的方法、电子装置及存储介质
WO2022042526A1 (zh) * 2020-08-25 2022-03-03 深圳市万普拉斯科技有限公司 触发电子设备预载功能的方法、电子装置及存储介质
CN112132239B (zh) * 2020-11-24 2021-03-16 北京远鉴信息技术有限公司 一种训练方法、装置、设备和存储介质
CN112132239A (zh) * 2020-11-24 2020-12-25 北京远鉴信息技术有限公司 一种训练方法、装置、设备和存储介质
CN113239804A (zh) * 2021-05-13 2021-08-10 杭州睿胜软件有限公司 图像识别方法、可读存储介质及图像识别系统
WO2022237726A1 (zh) * 2021-05-13 2022-11-17 杭州睿胜软件有限公司 图像识别方法、可读存储介质及图像识别系统
CN113239804B (zh) * 2021-05-13 2023-06-02 杭州睿胜软件有限公司 图像识别方法、可读存储介质及图像识别系统
CN113034503B (zh) * 2021-05-28 2021-08-24 博奥生物集团有限公司 一种高通量自动分杯方法、装置及系统
CN113034503A (zh) * 2021-05-28 2021-06-25 博奥生物集团有限公司 一种高通量自动分杯方法、装置及系统

Similar Documents

Publication Publication Date Title
CN111191590A (zh) 模型训练方法、装置、存储介质及电子设备
US20200285449A1 (en) Visual programming environment
CN110046706B (zh) 模型生成方法、装置及服务器
CN107330471B (zh) 反馈内容的问题定位方法和装置、计算机设备、存储介质
US20140247978A1 (en) Pre-screening training data for classifiers
US20240046159A1 (en) Continual learning for multi modal systems using crowd sourcing
CN111686450B (zh) 游戏的剧本生成及运行方法、装置、电子设备和存储介质
US20200101383A1 (en) Method and apparatus for recognizing game command
CN111737479B (zh) 数据获取方法、装置、电子设备及存储介质
CN111627423A (zh) Vad尾点检测方法、装置、服务器和计算机可读介质
CN114330588A (zh) 一种图片分类方法、图片分类模型训练方法及相关装置
CN115658523A (zh) 一种人机交互界面的自动控制及测试方法和计算机设备
CN109408175B (zh) 通用高性能深度学习计算引擎中的实时交互方法及系统
CN113609028A (zh) 一种页面测试方法、计算设备及可读存储介质
CN115269359A (zh) 终端界面测试方法及装置
CN112416301A (zh) 深度学习模型开发方法及装置、计算机可读存储介质
CN113378826B (zh) 一种数据处理方法、装置、设备及存储介质
CN110765872A (zh) 一种基于视觉特征的在线数学教育资源分类方法
KR102413588B1 (ko) 학습 데이터에 따른 객체 인식 모델 추천 방법, 시스템 및 컴퓨터 프로그램
CN114943877A (zh) 模型的训练方法、装置、电子设备以及存储介质
CN115018783A (zh) 一种视频水印检测方法和装置、电子设备和存储介质
CN113298185A (zh) 模型训练方法、异常文件检测方法、装置、设备及介质
CN112766387A (zh) 一种训练数据的纠错方法、装置、设备及存储介质
CN117149339B (zh) 基于人工智能的用户界面关系识别方法及相关装置
US11354935B2 (en) Object recognizer emulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination