CN113516251A - 一种机器学习系统及模型训练方法 - Google Patents

一种机器学习系统及模型训练方法 Download PDF

Info

Publication number
CN113516251A
CN113516251A CN202110898727.6A CN202110898727A CN113516251A CN 113516251 A CN113516251 A CN 113516251A CN 202110898727 A CN202110898727 A CN 202110898727A CN 113516251 A CN113516251 A CN 113516251A
Authority
CN
China
Prior art keywords
module
training
model
original data
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110898727.6A
Other languages
English (en)
Other versions
CN113516251B (zh
Inventor
程战战
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Goldway Intelligent Transportation System Co Ltd
Original Assignee
Shanghai Goldway Intelligent Transportation System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Goldway Intelligent Transportation System Co Ltd filed Critical Shanghai Goldway Intelligent Transportation System Co Ltd
Priority to CN202110898727.6A priority Critical patent/CN113516251B/zh
Publication of CN113516251A publication Critical patent/CN113516251A/zh
Priority to PCT/CN2022/109701 priority patent/WO2023011470A1/zh
Application granted granted Critical
Publication of CN113516251B publication Critical patent/CN113516251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种机器学习系统及模型训练方法，该系统包括主控模块、原始数据获取模块、数据筛选模块、样本标注模块和学习模块，主控模块按照目标调用顺序调用用户选择的目标模块，对模型进行训练，数据筛选模块从原始数据获取模块获得的当前原始数据中筛选出有价值的目标原始数据，样本标注模块将待标注的数据输出给用户进行标注，学习模块在被调用时，按照其对应的学习方式，对待训练模型进行训练，得到相应模型。本发明实施例提供的机器学习系统，可以获取当前场景的数据，并按照用户选择的学习方式对模型进行训练，并不需要在模型应用于不同的应用场景时，由开发人员对模型重新设计，实现了对真实应用场景的自适应学习。

Description

一种机器学习系统及模型训练方法
技术领域
本发明涉及机器学习技术领域，特别是涉及一种机器学习系统及模型训练方法。
背景技术
目前，机器学习技术被广泛应用到各个技术领域中，例如：视频监控、行为分析、图像处理等等技术领域。
相关技术中，机器学习模型都是在应用软件的研发阶段，根据用户提供的目标场景的训练数据进行训练，并在训练好后集成到具体的应用软件中提供给用户进行使用。
因此，为了使得应用软件中集成的机器学习模型能够适应不同的应用场景，相关技术中，每更换一次目标场景，都需要根据用户提供的目标场景的训练数据进行重新训练。例如：对于集成了一个或多个机器学习模型的视频监控软件，如要应用到火车站，需要在研发阶段用火车站的视频样本进行训练；如要应用到飞机场，则需要在研发阶段用飞机场的视频样本进行训练。在训练完成后，才能将应用软件提供给用户。
可见，相关技术的机器学习模型都是在应用软件的研发阶段进行训练，无法实现对真实应用场景的自适应学习。
发明内容
本发明实施例的目的在于提供一种机器学习系统及模型训练方法，以实现对真实应用场景的自适应学习。具体技术方案如下：
在本发明实施的第一方面，提供了一种机器学习系统，所述系统包括：主控模块、原始数据获取模块、数据筛选模块、至少一种学习方式对应的学习模块和样本标注模块；
所述主控模块，用于基于用户确定的待训练机器学习模型及选择的至少一个目标学习方式，确定需要调用的目标模块；所述需要调用的目标模块中至少包含原始数据获取模块和各个目标学习方式对应的各个目标学习模块；基于预设的系统中各个模块的前后执行顺序，确定各个目标模块的目标调用顺序；按所述目标调用顺序，调用各个目标模块，对所述待训练机器学习模型进行训练；
所述原始数据获取模块，用于获得数据采集设备捕获的当前应用场景的当前原始数据；
所述数据筛选模块，用于在被调用时，基于主动学习技术，从所述当前原始数据中，筛选出有价值的目标原始数据；
所述样本标注模块，用于在被调用时，将待标注数据输出给用户进行标注，得到当前新增样本；其中，待标注数据是用户从所述当前原始数据中选择的数据，或用户从所述数据筛选模块输出的目标原始数据中选择的数据；
每个学习模块，用于在被调用时，按其对应的学习方式，基于预存的基线训练集中的训练样本和/或所述当前新增样本，对所述待训练模型进行训练，得到训练后的机器学习模型。
在本发明的一种实施例中，所述至少一种学习方式对应的学习模块中，包括：增量学习模块和/或半监督训练模块；
所述增量学习模块，用于在被调用时，基于预存的基线训练集中的训练样本和所述当前新增样本，对所述待训练模型进行增量训练，得到增量训练后的机器学习模型；
所述半监督训练模块，用于在被调用时，基于所述原始数据或目标原始数据中未被标注的数据，和预存的基线训练集中的训练样本，对待训练模型进行半监督训练，得到半监督训练后的机器学习模型。
在本发明的一种实施例中，所述目标调用顺序包括以下顺序之一：
先调用原始数据获取模块，再调用数据筛选模块，再调用样本标注模块，再调用增量学习模块；
先调用原始数据获取模块，再调用样本标注模块，再调用增量学习模块；
先调用原始数据获取模块，再调用数据筛选模块，再调用样本标注模块，再调用增量学习模块，将增量学习模块输出的增量训练后的机器学习模型，作为待训练模型，再调用半监督训练模块；
先调用原始数据获取模块，再调用样本标注模块，再调用增量学习模块，将增量学习模块输出的增量训练后的机器学习模型，作为待训练模型，再调用半监督训练模块；
先调用原始数据获取模块，再调用数据筛选模块，再调用半监督训练模块。
在本发明的一种实施例中，所述机器学习系统，还包括：离线编码模块；
所述离线编码模块，用于预先用所述基线训练集中的训练样本对基础模型进行训练，并在基础模型训练完成后，将基线训练集中的训练样本输入到基础模型中，得到基础特征并保存；所述基础特征，用于在增量学习模块进行增量训练或所述半监督训练模块进行半监督训练中代表基础训练集的样本。
在本发明的一种实施例中，所述机器学习系统，还包括：核验模块；
所述核验模块，用于在被调用时，基于预存的基线测试集和从所述原始数据或目标原始数据中选择的测试数据，对所述增量学习模块和/或所述半监督训练模块输出的训练后机器学习模型进行测试，将测试结果输出给用户进行核验。
在本发明的一种实施例中，所述目标调用顺序包括以下顺序之一：
先调用原始数据获取模块，再调用数据筛选模块，再调用样本标注模块，再调用增量学习模块，将增量学习模块输出的增量训练后的机器学习模型，作为待训练模型，再调用核验模块，再调用半监督训练模块；
先调用原始数据获取模块，再调用样本标注模块，再调用增量学习模块，将增量学习模块输出的增量训练后的机器学习模型，作为待训练模型，再调用核验模块，再调用半监督训练模块；
先调用原始数据获取模块，再调用数据筛选模块，再调用半监督训练模块，再调用核验模块。
在本发明的一种实施例中，所述机器学习系统，还包括：发布模块；
所述发布模块，用于在被调用时，将最后一个学习模块输出的训练后机器学习模型，作为升级后的模型进行发布。
在本发明实施的第二方面，提供了一种模型训练方法，所述方法包括如下步骤：
获得用户确定的待训练机器学习模型及选择的至少一个目标学习方式；
获得数据采集设备捕获的当前应用场景的当前原始数据；
基于主动学习技术，从所述当前原始数据中，筛选出有价值的目标原始数据；
按照所述目标学习方式，基于所述目标原始数据，对所述待训练机器学习模型进行训练，得到训练后的机器学习模型。
在本发明的一种实施例中，所述基于主动学习技术，从所述当前原始数据中，筛选出有价值的目标原始数据的步骤，包括：
基于公共数据集对所述待训练机器学习模型进行N次基础训练，得到N个初始机器学习模型；其中，N大于或等于2；
针对每个当前原始数据，将该当前原始数据分别输入N个初始机器学习模型，得到该当前原始数据的N个初始输出结果；
将N个初始输出结果不同的当前原始数据，作为筛选出的有价值的目标原始数据。
在本发明的一种实施例中，所述目标学习方式，包括：增量学习；
所述按照所述目标学习方式，基于所述目标原始数据，对所述待训练机器学习模型进行训练，得到训练后的机器学习模型的步骤，包括：
按照增量学习方式，对所述目标原始数据进行标注，得到当前新增样本；基于预存的基线训练集中的训练样本和所述当前新增样本，对所述待训练模型进行增量训练，得到增量训练后的机器学习模型。
在本发明的一种实施例中，所述目标学习方式，包括：半监督学习；
所述按照所述目标学习方式，基于所述目标原始数据，对所述待训练机器学习模型进行训练，得到训练后的机器学习模型的步骤，包括：
按照半监督学习方式，基于所述目标原始数据中未被标注的数据，和预存的基线训练集中的训练样本，对待训练模型进行半监督训练，得到半监督训练后的机器学习模型。
在本发明的一种实施例中，所述目标学习方式，包括：增量学习和半监督学习；
所述按照所述目标学习方式，基于所述目标原始数据，对所述待训练机器学习模型进行训练，得到训练后的机器学习模型的步骤，包括：
按照增量学习方式，对所述目标原始数据进行标注，得到当前新增样本；基于预存的基线训练集中的训练样本和所述当前新增样本，对所述待训练模型进行增量训练，得到增量训练后的机器学习模型；
将所述增量训练后的机器学习模型，作为更新后的待训练模型，按照半监督学习方式，基于所述目标原始数据中未被标注的数据，和预存的基线训练集中的训练样本，对更新后的待训练模型进行半监督训练，得到半监督训练后的机器学习模型。
在本发明的一种实施例中，在所述将所述增量训练后的机器学习模型，作为更新后的待训练模型，按照半监督学习方式，基于所述目标原始数据中未被标注的数据，和预存的基线训练集中的训练样本，对更新后的待训练模型进行半监督训练，得到半监督训练后的机器学习模型的步骤之前，该方法还包括：
基于预存的基线测试集和从所述原始数据或目标原始数据中选择的测试数据，对所述增量训练后的机器学习模型进行测试，将测试结果输出给用户进行核验；
在核验结果为符合要求的情况下，执行所述将所述增量训练后的机器学习模型，作为更新后的待训练模型，按照半监督学习方式，基于所述目标原始数据中未被标注的数据，和预存的基线训练集中的训练样本，对更新后的待训练模型进行半监督训练，得到半监督训练后的机器学习模型的步骤。
在本发明的一种实施例中，所述方法还包括：
将训练后机器学习模型，作为升级后的模型进行发布。
在本发明实施的又一方面，还提供了一种模型训练装置，所述装置包括：
学习方式获得模块，用于获得用户确定的待训练机器学习模型及选择的至少一个目标学习方式；
当前原始数据获得模块，用于获得数据采集设备捕获的当前应用场景的当前原始数据；
原始数据筛选模块，用于基于主动学习技术，从所述当前原始数据中，筛选出有价值的目标原始数据；
模型训练模块，用于按照所述目标学习方式，基于所述目标原始数据，对所述待训练机器学习模型进行训练，得到训练后的机器学习模型。
在本发明实施的又一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现任一所述的模型训练方法步骤。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现任一所述的模型训练方法步骤。
本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的模型训练方法。
本发明实施例有益效果：
本发明实施例提供的机器学习系统，包括主控模块、原始数据获取模块、数据筛选模块、样本标注模块以及至少一种学习方式对应的学习模块，主控模块基于用户的选择确定需要调用的目标模块，并基于预设的各模块的前后执行顺序确定目标调用顺序，以按照目标调用顺序调用目标模块对待训练的机器学习模型进行训练，目标模块中至少需要包含原始数据获取模块以及各目标学习方式对应的目标学习模块，原始数据获取模块获得数据采集设备捕获的当前应用场景的当前原始数据，数据筛选模块从当前原始数据中筛选出有价值的目标原始数据，样本标注模块将待标注的数据输出给用户进行标注，来得到新增样本，各学习模块在被调用时，按照其对应的学习方式，基于预存的基线训练集中的样本和/或新增样本，对待训练模型进行训练，得到训练后的机器学习模型。本发明实施例提供的机器学习系统，可以获取当前场景的数据，并且可以按照用户选择的不同学习方式对模型进行训练，来得到训练后的模型，也就是说，并不需要在模型应用于不同的应用场景时，由开发人员对模型重新设计，实现了对真实应用场景的自适应学习。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1为本发明实施例提供的机器学习系统的一种结构示意图；
图2a为本发明实施例提供的机器学习系统的第二种结构示意图；
图2b为基于图2a所示的机器学习系统的功能模块关系图；
图3a为图2a所示机器学习系统中的模块调用顺序的一种流程示意图；
图3b为图2a所示机器学习系统中的模块调用顺序的第二种流程示意图；
图3c为图2a所示机器学习系统中的模块调用顺序的第三种流程示意图；
图3d为图2a所示机器学习系统中的模块调用顺序的第四种流程示意图；
图3e为图2a所示机器学习系统中的模块调用顺序的第五种流程示意图；
图3f为图2a所示机器学习系统中的模块调用顺序的第六种流程示意图；
图4为本发明实施例提供的机器学习系统的第三种结构示意图；
图5a为图4所示机器学习系统中的模块调用顺序的一种流程示意图；
图5b为图4所示机器学习系统中的模块调用顺序的第二种流程示意图；
图5c为图4所示机器学习系统中的模块调用顺序的第三种流程示意图；
图6为本发明实施例提供的机器学习系统的第四种结构示意图；
图7为图6所示机器学习系统中的模块调用顺序的一种流程示意图；
图8为本发明实施例提供的模型训练方法的一种流程图；
图9为本发明实施例中筛选出有价值的目标原始数据的一种流程图；
图10为本发明实施例提供的模型训练方法的第二种流程图；
图11为本发明实施例提供的模型训练方法的第三种流程图；
图12为本发明实施例提供的一种模型训练装置的结构示意图；
图13为本发明实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本发明保护的范围。
为了实现对真实应用场景的自适应学习，本发明实施例提供了一种机器学习系统及模型训练方法，下面首先对本发明实施例提供的机器学习系统进行介绍。
本发明实施例提供的机器学习系统是一种面向用户的系统，可以由用户根据自己的需求基于该系统对模型进行训练，从而得到可以实现用户所需功能的机器学习模型。
如图1所示，图1为本发明实施例提供的机器学习系统的一种结构示意图，上述系统可以包括主控模块100、原始数据获取模块110、数据筛选模块120、样本标注模块130以及至少一种学习方式对应的学习模块140；
上述主控模块100，用于基于用户确定的待训练机器学习模型及选择的至少一个目标学习方式，确定需要调用的目标模块；所述需要调用的目标模块中至少包含原始数据获取模块和各个目标学习方式对应的各个目标学习模块；基于预设的系统中各个模块的前后执行顺序，确定各个目标模块的目标调用顺序；按所述目标调用顺序，调用各个目标模块，对所述待训练机器学习模型进行训练；
所述原始数据获取模块110，用于获得数据采集设备捕获的当前应用场景的当前原始数据；
所述数据筛选模块120，用于在被调用时，基于主动学习技术，从所述当前原始数据中，筛选出有价值的目标原始数据；
所述样本标注模块130，用于在被调用时，将待标注数据输出给用户进行标注，得到当前新增样本；其中，待标注数据是用户从所述当前原始数据中选择的数据，或用户从所述数据筛选模块输出的目标原始数据中选择的数据；
每个学习模块140，用于在被调用时，按其对应的学习方式，基于预存的基线训练集中的训练样本和/或所述当前新增样本，对所述待训练模型进行训练，得到训练后的机器学习模型。
本发明实施例提供的机器学习系统，包括主控模块、原始数据获取模块、数据筛选模块、样本标注模块以及至少一种学习方式对应的学习模块，主控模块基于用户的选择确定需要调用的目标模块，并基于预设的各模块的前后执行顺序确定目标调用顺序，以按照目标调用顺序调用目标模块对待训练的机器学习模型进行训练，目标模块中至少需要包含原始数据获取模块以及各目标学习方式对应的目标学习模块，原始数据获取模块获得数据采集设备捕获的当前应用场景的当前原始数据，数据筛选模块从当前原始数据中筛选出有价值的目标原始数据，样本标注模块将待标注的数据输出给用户进行标注，来得到新增样本，各学习模块在被调用时，按照其对应的学习方式，基于预存的基线训练集中的样本和/或新增样本，对待训练模型进行训练，得到训练后的机器学习模型。本发明实施例提供的机器学习系统，可以获取当前场景的数据，并且可以按照用户选择的不同学习方式对模型进行训练，来得到训练后的模型，也就是说，并不需要在模型应用于不同的应用场景时，由开发人员对模型重新设计，实现了对真实应用场景的自适应学习。
作为本发明实施例的一种具体实施方式，上述用户可选的机器学习模型结构可以是AlexNet网络或ResNet50网络等，此处不作具体限定。
对于不同的具体应用场景来说，上述数据采集设备也是不同的。例如，当需要对车辆的类别进行识别时，即在识别道路上的车辆是机动车还是非机动车时，上述数据采集设备可以是路边架设的摄像头设备。
上述数据筛选模块是基于主动学习技术对上述原始数据进行筛选的，本发明实施例中，上述主动学习技术可以是基于不确定度方法实现，也可以是基于特征分布方法实现，此处不作具体限定。在数据筛选模块获取的有价值的数据数量达到预设的数量时，即可停止挑选。关于上述数据筛选模块如何获取有价值的数据，可以参见下面方法实施例部分的说明，此处暂不详述。
作为本发明实施例的一种具体实施方式，上述用户可以选择的学习方式可以包括增量学习，半监督学习等，相应的，基于图1，如图2a所示，上述学习模块140可以包括增量学习模块240和/或半监督训练模块250；
上述增量学习模块240，用于在被调用时，基于预存的基线训练集中的训练样本和所述当前新增样本，对所述待训练模型进行增量训练，得到增量训练后的机器学习模型；
上述基线训练集是在上述机器学习系统开放给用户进行使用之前的开发阶段中，开发人员对机器模型进行训练时构建的训练数据集，上述机器学习系统中包含的原始的机器模型，在基线训练集中可以表现出较好的性能，上述性能可以是准确度、运行速度等。
基于上述识别车辆为机动车还是非机动车的应用场景，原始的训练集(基线训练集)中的数据标签只包含“机动车”和“非机动车”，若用户需要机器学习模型在识别机动车与非机动车之外，还要实现对行人的识别，则需要使用上述增量学习模块240对上述用户选择的待训练的模型进行训练。
具体的，上述样本标注模块将待标注的数据输出给用户进行标注，用户则可以将上述待标注数据标注为“机动车”、“非机动车”或“人”，标注后的上述待标注数据即为新增样本，增量学习模块240就可以基于上述原始的训练集和/或新增样本对上述待训练的模型进行训练，来得到增量学习训练后的机器学习模型，使得模型可以对机动车、非机动车、人进行识别。
上述进行增量学习的方式可以是蒸馏方式，也可以是采用动态网络的方式实现，本发明实施例中不作具体限定。
上述半监督训练模块250，用于在被调用时，基于所述原始数据或目标原始数据中未被标注的数据，和预存的基线训练集中的训练样本，对待训练模型进行半监督训练，得到半监督训练后的机器学习模型。
基于上述识别机动车与非机动车的应用场景，基线训练集中的数据带有“机动车”或“非机动车”标签。通常，用户标注的数据(新增样本)不是所有的原始数据或目标原始数据，因此，原始数据或目标原始数据中还有无标签数据，上述半监督训练模块就可以基于上述基线训练集以及上述原始数据或目标原始数据中的无标签数据，对待训练的模型进行训练，得到训练后的模型，以使得训练后的模型可以对当前应用场景中的车辆进行识别。
作为本发明实施例的一种具体实施方式，上述半监督学习可以是采用一致性约束方式实现。
上述增量学习模块240以及半监督训练模块250均可基于上述基线训练集进行训练，保证了基础数据上的模型性能。
在实际应用中，图2a所示的机器学习系统，还可以包括离线编码模块(图2a中未示出)；所述离线编码模块，用于预先用所述基线训练集中的训练样本对基础模型进行训练，并在基础模型训练完成后，将基线训练集中的训练样本输入到基础模型中，得到基础特征并保存；所述基础特征，用于在增量学习模块进行增量训练或所述半监督训练模块进行半监督训练中代表基础训练集的样本。一般情况下，基础模型与待训练模型的模型结构是相同的，例如：如果是基于蒸馏的增量训练，基础模型与待训练模型结构是相同的。而某些情况下，基础模型与待训练模型结构可以不同，例如：如果是基于动态网络的待训练模型，该模型的模型结构在训练过程中是会变化的，变化后就会与基础模型的结构有所不同。
这种情况下，基于图2a所述的机器学习系统的功能模块关系，参见图2b。如图2b所示：
上述离线编码模块基于上述基线训练集(基础数据)对基础模型进行训练，训练结束后即可得到上述训练后的基础模型的参数，将该参数进行特征压缩/加密，之后再对压缩/加密后的模型参数进行复原/解密，从而得到基础特征。
在运行上述机器学习系统(在线学习)时，上述原始数据获取模块获取到批数据(即大量数据)，并由数据筛选模块对上述批数据，基于主动学习技术进行数据筛选，得到目标原始数据(有价值挑选)，由用户对上述目标原始数据中的待标记数据进行标记，从而得到少量有标签的数据(新增样本)以及其余大量的无标签数据。上述增量学习模块240可以基于上述新增样本以及上述基础特征，对上述待训练的模型进行训练；上述半监督训练模块250可以基于上述无标签数据以及上述基础特征，对上述待训练的模型进行训练。当然，上述增量训练后得到的模型可以作为半监督训练时的待训练模型，上述半监督训练得到的模型也可以作为增量训练的待训练模型，具体的模块调用情况可以参见下面图3a～图3f的实施例。
使用离线编码模块，在增量训练或半监督训练过程中，通过输入基础数据特征，能够保持该机器学习系统输出的模型性能不低于原有模型性能。且通过使用离线编码模块，对于半监督训练模块，在适应新场景的同时，也能保持基础数据上的性能；对于增量学习模块，在能识别新增数据的同时，对基础数据也具备识别能力。
如上所述，上述主控模块100可以按照目标调用顺序依次调用各目标模块，作为本发明实施例的一种具体实施方式，如图3a所示，上述调用顺序可以是：
首先调用上述原始数据获取模块110，之后调用数据筛选模块120，再调用上述样本标注模块130，最后调用增量学习模块240；
基于上述举例中的场景，上述原始数据获取模块获取摄像头采集的原始图像数据，数据筛选模块从上述各原始图像数据中筛选出有价值的目标原始数据，之后由样本标注模块将用户选择的目标原始数据中的数据输出给用户进行标注，得到新增样本，新增样本中的各数据被标记为“机动车”、“非机动车”或“人”，之后上述增量学习模块基于上述基线训练集与新增样本对待训练的模型进行训练，得到目标模型，该目标模型可以识别出原始数据中的机动车、非机动车以及人。
作为本发明实施例的又一种具体实施方式，如图3b所示，上述调用顺序可以是：首先调用原始数据获取模块110，之后调用样本标注模块130，最后调用上述增量学习模块240。
与图3a中的目标调用顺序相比，图3b中所示的调用顺序中不调用上述数据筛选模块120，而是在获取到原始图像数据后，由用户选择原始图像数据中需要标注的数据，并由样本标注模块将上述待标注的数据输出给用户进行标注。其它模块执行内容与图3a中相同，此处不再赘述。
作为本发明实施例的又一种具体实施方式，如图3c所示，上述目标调用顺序可以是：首先调用原始数据获取模块110，之后调用数据筛选模块120，再调用上述样本标注模块130，再调用增量学习模块240，将增量学习模块输出的增量训练后的机器学习模型，作为待训练模型，之后再调用半监督训练模块250。
基于上述图3a的举例，在使用增量学习模块240对待训练的模型进行训练之后，得到了相应的增量训练后的机器学习模型，由于上述原始数据中还有很多无标签数据，因此，可以基于上述基线训练集与上述无标签数据对上述增量训练后的模型进行训练，使得最后得到的模型具有更好的性能，如鲁棒性。
作为本发明实施例的一种具体实施方式，如图3d所示，上述目标调用顺序可以是：首先调用原始数据获取模块110，之后调用上述样本标注模块130，之后调用增量学习模块240，将增量学习模块输出的增量训练后的机器学习模型，作为待训练模型，再调用半监督训练模块250。
与图3c所示实施例类似，此处不再赘述。
作为本发明实施例的又一种具体实施方式，如图3e所示，上述目标调用顺序可以是：首先调用原始数据获取模块110，之后调用数据筛选模块120，再调用半监督训练模块250。
基于上述举例中识别机动车与非机动车的场景，数据筛选模块对当前原始数据进行筛选后，可以获取有价值的数据，上述有价值的数据是无标签数据，因此，可以基于上述基线训练集与上述数据筛选模块筛选出的无标签数据对上述待训练的机器模型进行半监督训练。
作为本发明实施例的又一种具体实施方式，如图3f所示，上述目标调用顺序可以是：首先调用原始数据获取模块110，再调用半监督训练模块250。
与图3e所示实施例类似，此处不再赘述。
当然，作为本发明实施例的一种具体实施方式，也可以在获取到上述数据筛选模块输出的无标签数据后，由用户自己为上述无标签数据打上标签，并计算数据对应的输出的结果与上述用户设置的标签之间的损失函数值，并基于该损失函数值对待训练的机器学习模型进行参数调整，从而得到最终的模型，此处不作具体限定。
作为本发明实施例的一种具体实施方式，基于图2a，如图4所示，上述机器学习系统还可以包括核验模块460；
上述核验模块460，用于在被调用时，基于预存的基线测试集和从所述原始数据或目标原始数据中选择的测试数据，对所述增量学习模块和/或所述半监督训练模块的训练后机器学习模型进行测试，将测试结果输出给用户进行核验。
实际应用中，核验模块的数量可以是一个也可以是多个，可以在每个学习模块后设置一个核验模块，例如：可以在所述增量学习模块后设置一个核验模块，也可以在所述半监督训练模块后设置一个核验模块。
与上述基线训练集类似，上述基线测试集可以是在开发阶段由开发人员设置的，上述测试集可以由用户选择。用户进行核验的标准可以是，训练后的机器学习模型在上述基线测试集中的性能良好，且在上述原始数据或目标原始数据中的测试数据中性能良好，作为一种具体实施方式，上述性能良好的标准可以是在各数据集上的准确率大于预设的阈值，此处不作具体限定。
相应的，上述调用顺序可以包含以下顺序：
如图5a所示，先调用原始数据获取模块110，再调用数据筛选模块120，再调用样本标注模块130，再调用增量学习模块240，将增量学习模块输出的增量训练后的机器学习模型，作为待训练模型，再调用核验模块460，再调用半监督训练模块250；
基于上述图3c中的实施例，在得到增量训练后的模型后，可以使用核验模块基于上述基线测试集以及从原始数据中选择的测试集对上述增量训练后的模型进行测试，若上述模型符合要求(如，准确率高于88％)，则调用半监督训练模型对上述增量训练后的模型进行训练；若上述模型不符合要求，则可以重新选择待标记数据进行标记，并对待训练的模型基于上述新的新增样本以及基线训练集进行训练。
如图5b所示，先调用原始数据获取模块110，再调用样本标注模块130，再调用增量学习模块240，将增量学习模块输出的增量训练后的机器学习模型，作为待训练模型，再调用核验模块460，再调用半监督训练模块250；
与上述5a中的实施例类似，此处不再赘述。
如图5c所示，先调用原始数据获取模块110，再调用数据筛选模块120，再调用半监督训练模块250，再调用核验模块460。
基于上述3e中的实施例，在使用半监督训练模块对待训练的模型进行训练后即可得到半监督训练后的模型，则可以调用核验模块对该模型进行核验，核验过程与上述图5a中的过程类似，此处不再赘述。
作为本发明实施例的一种具体实施方式，基于图4，如图6所示，上述机器学习系统还可以包括发布模块670；
上述发布模块670，用于在被调用时，将最后一个学习模块输出的训练后机器学习模型，作为升级后的模型进行发布。
本发明实施例中，可以将最终得到的机器学习模型作为目标模型，该模型可以实现用户所需的功能，如进行车辆识别等。得到目标模型后，即可将目标模型发布至相应的平台中，如车辆识别平台、人脸识别平台等，以供相关人员使用。
相应的，如图7所示，上述目标调用顺序可以包括：先调用原始数据获取模块110，再调用数据筛选模块120，再调用样本标注模块130，再调用增量学习模块240，将增量学习模块输出的增量训练后的机器学习模型，作为待训练模型，再调用核验模块460，再调用半监督训练模块250，最后用半监督训练模块输出的半监督训练后的机器学习模型替换原始的机器学习模型，由发布模块670发布。
图7所示的实施例与上述图5a中的实施例类似，此处不再赘述。
由上述的实施例可见，本发明实施例提供的这种机器学习系统，可以由用户灵活地选择学习方式，进而进行相应的模型训练，能够适应不同的应用场景，具有很好的鲁棒性。
基于与上述机器学习系统相同的发明构思，本发明实施例还提供了一种模型训练方法，如图8所示，图8为本发明实施例提供的模型训练方法的流程图，上述方法具体可以包括以下步骤：
步骤800，获得用户确定的待训练机器学习模型及选择的至少一个目标学习方式；
步骤810，获得数据采集设备捕获的当前应用场景的当前原始数据；
步骤820，基于主动学习技术，从所述当前原始数据中，筛选出有价值的目标原始数据；
如图9所示，上述步骤820具体可以包括以下步骤：
步骤901，基于公共数据集对所述待训练机器学习模型进行N次基础训练，得到N个初始机器学习模型；其中，N大于或等于2；
步骤902，针对每个当前原始数据，将该当前原始数据分别输入N个初始机器学习模型，得到该当前原始数据的N个初始输出结果；
步骤903，将N个初始输出结果不同的当前原始数据，作为筛选出的有价值的目标原始数据。
作为本发明的一种具体实施例，上述待训练的机器学习模型可以是ResNet50分类网络，上述公共数据集可以是ImageNet数据集，得到有价值的目标原始数据的过程可以是：随机初始化上述ResNet50分类网络，并基于上述ImageNet数据集对上述模型进行训练；以上过程重复执行N次(N≥2)，即可得到N个分类模型。对于一输入图像数据，用上述N个分类模型进行测试，如果输出结果不同，则认为不一致，即该图像数据就是有价值的目标原始数据。
当然，本发明实施例中还可以采用其他基于主动学习技术的方式来进行数据筛选，例如，可以采用置信度最低(Least Confident)方法从原始数据中，筛选出目标原始数据，即选择最大概率最小的数据为有价值的目标原始数据。以使用一个训练好的二分类模型为例，若输入两个图像数据，第一个图像数据的类别预测概率为(0.9,0.1)，第二个图像数据的类别预测结果为(0.51,0.49)，也就是说，第一个图像被判定为第一类的概率为0.9，而第二个图像被判定为第一类的概率是0.51，即第二个图像数据对于该模型来说是更难区分的，那么第二个图像数据就是有价值的目标原始数据。本发明实施例中，从原始数据中筛选出目标数据还可以采用熵方法(Entropy)、期望模型变化方法(Expected Model Change)等，此处不做具体限定。
如图8所示，步骤830，按照所述目标学习方式，基于所述目标原始数据，对所述待训练机器学习模型进行训练，得到训练后的机器学习模型。
由上述的实施例可见，本发明实施例提供的这种模型训练方法，可以由用户灵活地选择学习方式，进而进行相应的模型训练，能够适应不同的应用场景，具有很好的鲁棒性。
作为本发明实施例的一种具体实施方式，上述目标学习方式可以是增量学习方式，即可以按照增量学习方式，对所述目标原始数据进行标注，得到当前新增样本；基于预存的基线训练集中的训练样本和所述当前新增样本，对所述待训练模型进行增量训练，得到增量训练后的机器学习模型。
作为本发明实施例的另一种具体实施方式，上述目标学习方式可以是半监督学习，即可以按照半监督学习方式，基于所述目标原始数据中未被标注的数据，和预存的基线训练集中的训练样本，对待训练模型进行半监督训练，得到半监督训练后的机器学习模型。
当然，在进行机器训练时，可以同时使用上述增量学习方式以及半监督学习方式。基于图8，如图10所示，图10为本发明实施例中提供的机器训练方法的第二种流程图，上述步骤830具体可以包括以下步骤：
步骤1010，按照增量学习方式，对所述目标原始数据进行标注，得到当前新增样本；基于预存的基线训练集中的训练样本和所述当前新增样本，对所述待训练模型进行增量训练，得到增量训练后的机器学习模型；
步骤1011，将所述增量训练后的机器学习模型，作为更新后的待训练模型，按照半监督学习方式，基于所述目标原始数据中未被标注的数据，和预存的基线训练集中的训练样本，对更新后的待训练模型进行半监督训练，得到半监督训练后的机器学习模型。
作为本发明实施例的一种具体实施方式，基于图10，如图11所示，在上述步骤1011之前，还可以包括：
步骤1110，基于预存的基线测试集和从所述原始数据或目标原始数据中选择的测试数据，对所述增量训练后的机器学习模型进行测试，将测试结果输出给用户进行核验；若符合要求，则执行步骤1011；
相应的，在步骤1011之后还可以包括：
步骤1111，将训练后机器学习模型，作为升级后的模型进行发布。
本发明实施例提供的模型训练方法中，首先获取用户确定的待训练机器学习模型以及至少一个目标学习方式，之后获取数据采集设备捕获的当前应用场景的当前原始数据，并基于主动学习技术，从当前原始数据中筛选出有价值的目标原始数据，之后按照用户选择目标学习方法，对待训练机器学习模型进行训练，来得到训练后的机器学习模型。本发明实施例提供的模型训练方法，可以获取当前场景的原始数据，并按照用户选择的学习方式，基于筛选后的当前场景的原始数据，对待训练的机器学习模型进行训练，也就是说，当将机器学习模型应用于不同的应用场景时，并不需要开发人员对其进行重新设计，实现了对真实场景的自适应学习。
上述模型训练方法已在上述机器学习系统实施例中进行详细叙述，此处不再赘述。
基于与上述模型训练方法相同的技术构思，本发明实施例还提供了一种模型训练装置，如图12所示，上述装置可以包括：
学习方式获得模块1200，用于获得用户确定的待训练机器学习模型及选择的至少一个目标学习方式；
当前原始数据获得模块1201，用于获得数据采集设备捕获的当前应用场景的当前原始数据；
原始数据筛选模块1202，用于基于主动学习技术，从所述当前原始数据中，筛选出有价值的目标原始数据；
模型训练模块1203，用于按照所述目标学习方式，基于所述目标原始数据，对所述待训练机器学习模型进行训练，得到训练后的机器学习模型。
本发明实施例提供的模型训练方法中，首先获取用户确定的待训练机器学习模型以及至少一个目标学习方式，之后获取数据采集设备捕获的当前应用场景的当前原始数据，并基于主动学习技术，从当前原始数据中筛选出有价值的目标原始数据，之后按照用户选择目标学习方法，对待训练机器学习模型进行训练，来得到训练后的机器学习模型。本发明实施例提供的模型训练方法，可以获取当前场景的原始数据，并按照用户选择的学习方式，基于筛选后的当前场景的原始数据，对待训练的机器学习模型进行训练，也就是说，当将机器学习模型应用于不同的应用场景时，并不需要开发人员对其进行重新设计，实现了对真实场景的自适应学习。
本发明实施例还提供了一种电子设备，如图13所示，包括处理器1301、通信接口1302、存储器1303和通信总线1304，其中，处理器1301，通信接口1302，存储器1303通过通信总线1304完成相互间的通信，
存储器1303，用于存放计算机程序；
处理器1301，用于执行存储器1303上所存放的程序时，实现如下步骤：
获得用户确定的待训练机器学习模型及选择的至少一个目标学习方式；
获得数据采集设备捕获的当前应用场景的当前原始数据；
基于主动学习技术，从所述当前原始数据中，筛选出有价值的目标原始数据；
按照所述目标学习方式，基于所述目标原始数据，对所述待训练机器学习模型进行训练，得到训练后的机器学习模型。
本发明实施例提供的模型训练方法中，首先获取用户确定的待训练机器学习模型以及至少一个目标学习方式，之后获取数据采集设备捕获的当前应用场景的当前原始数据，并基于主动学习技术，从当前原始数据中筛选出有价值的目标原始数据，之后按照用户选择目标学习方法，对待训练机器学习模型进行训练，来得到训练后的机器学习模型。本发明实施例提供的模型训练方法，可以获取当前场景的原始数据，并按照用户选择的学习方式，基于筛选后的当前场景的原始数据，对待训练的机器学习模型进行训练，也就是说，当将机器学习模型应用于不同的应用场景时，并不需要开发人员对其进行重新设计，实现了对真实场景的自适应学习。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一模型训练方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一模型训练方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法、装置、电子设备实施例而言，由于其基本相似于系统实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (17)

1.一种机器学习系统，其特征在于，所述系统包括：主控模块、原始数据获取模块、数据筛选模块、至少一种学习方式对应的学习模块和样本标注模块；
所述主控模块，用于基于用户确定的待训练机器学习模型及选择的至少一个目标学习方式，确定需要调用的目标模块；所述需要调用的目标模块中至少包含原始数据获取模块和各个目标学习方式对应的各个目标学习模块；基于预设的系统中各个模块的前后执行顺序，确定各个目标模块的目标调用顺序；按所述目标调用顺序，调用各个目标模块，对所述待训练机器学习模型进行训练；
所述原始数据获取模块，用于获得数据采集设备捕获的当前应用场景的当前原始数据；
所述数据筛选模块，用于在被调用时，基于主动学习技术，从所述当前原始数据中，筛选出有价值的目标原始数据；
所述样本标注模块，用于在被调用时，将待标注数据输出给用户进行标注，得到当前新增样本；其中，待标注数据是用户从所述当前原始数据中选择的数据，或用户从所述数据筛选模块输出的目标原始数据中选择的数据；
每个学习模块，用于在被调用时，按其对应的学习方式，基于预存的基线训练集中的训练样本和/或所述当前新增样本，对所述待训练模型进行训练，得到训练后的机器学习模型。
2.根据权利要求1所述的机器学习系统，其特征在于，
所述至少一种学习方式对应的学习模块中，包括：增量学习模块和/或半监督训练模块；
所述增量学习模块，用于在被调用时，基于预存的基线训练集中的训练样本和所述当前新增样本，对所述待训练模型进行增量训练，得到增量训练后的机器学习模型；
所述半监督训练模块，用于在被调用时，基于所述原始数据或目标原始数据中未被标注的数据，和预存的基线训练集中的训练样本，对待训练模型进行半监督训练，得到半监督训练后的机器学习模型。
3.根据权利要求2所述的机器学习系统，其特征在于，
所述目标调用顺序包括以下顺序之一：
先调用原始数据获取模块，再调用数据筛选模块，再调用样本标注模块，再调用增量学习模块；
先调用原始数据获取模块，再调用样本标注模块，再调用增量学习模块；
先调用原始数据获取模块，再调用数据筛选模块，再调用样本标注模块，再调用增量学习模块，将增量学习模块输出的增量训练后的机器学习模型，作为待训练模型，再调用半监督训练模块；
先调用原始数据获取模块，再调用样本标注模块，再调用增量学习模块，将增量学习模块输出的增量训练后的机器学习模型，作为待训练模型，再调用半监督训练模块；
先调用原始数据获取模块，再调用数据筛选模块，再调用半监督训练模块。
4.根据权利要求2所述的学习系统，其特征在于，所述机器学习系统，还包括：离线编码模块；
所述离线编码模块，用于预先用所述基线训练集中的训练样本对基础模型进行训练，并在基础模型训练完成后，将基线训练集中的训练样本输入到基础模型中，得到基础特征并保存；所述基础特征，用于在增量学习模块进行增量训练或所述半监督训练模块进行半监督训练中代表基础训练集的样本。
5.根据权利要求2所述的机器学习系统，其特征在于，所述机器学习系统，还包括：核验模块；
所述核验模块，用于在被调用时，基于预存的基线测试集和从所述原始数据或目标原始数据中选择的测试数据，对所述增量学习模块和/或所述半监督训练模块输出的训练后机器学习模型进行测试，将测试结果输出给用户进行核验。
6.根据权利要求5所述的机器学习系统，其特征在于，
所述目标调用顺序包括以下顺序之一：
先调用原始数据获取模块，再调用数据筛选模块，再调用样本标注模块，再调用增量学习模块，将增量学习模块输出的增量训练后的机器学习模型，作为待训练模型，再调用核验模块，再调用半监督训练模块；
先调用原始数据获取模块，再调用样本标注模块，再调用增量学习模块，将增量学习模块输出的增量训练后的机器学习模型，作为待训练模型，再调用核验模块，再调用半监督训练模块；
先调用原始数据获取模块，再调用数据筛选模块，再调用半监督训练模块，再调用核验模块。
7.根据权利要求1所述的机器学习系统，其特征在于，所述机器学习系统，还包括：发布模块；
所述发布模块，用于在被调用时，将最后一个学习模块输出的训练后机器学习模型，作为升级后的模型进行发布。
8.一种模型训练方法，其特征在于，所述方法包括如下步骤：
获得用户确定的待训练机器学习模型及选择的至少一个目标学习方式；
获得数据采集设备捕获的当前应用场景的当前原始数据；
基于主动学习技术，从所述当前原始数据中，筛选出有价值的目标原始数据；
按照所述目标学习方式，基于所述目标原始数据，对所述待训练机器学习模型进行训练，得到训练后的机器学习模型。
9.根据权利要求8所述的方法，其特征在于，
所述基于主动学习技术，从所述当前原始数据中，筛选出有价值的目标原始数据的步骤，包括：
基于公共数据集对所述待训练机器学习模型进行N次基础训练，得到N个初始机器学习模型；其中，N大于或等于2；
针对每个当前原始数据，将该当前原始数据分别输入N个初始机器学习模型，得到该当前原始数据的N个初始输出结果；
将N个初始输出结果不同的当前原始数据，作为筛选出的有价值的目标原始数据。
10.根据权利要求8所述的方法，其特征在于，
所述目标学习方式，包括：增量学习；
所述按照所述目标学习方式，基于所述目标原始数据，对所述待训练机器学习模型进行训练，得到训练后的机器学习模型的步骤，包括：
按照增量学习方式，对所述目标原始数据进行标注，得到当前新增样本；基于预存的基线训练集中的训练样本和所述当前新增样本，对所述待训练模型进行增量训练，得到增量训练后的机器学习模型。
11.根据权利要求8所述的方法，其特征在于，
所述目标学习方式，包括：半监督学习；
所述按照所述目标学习方式，基于所述目标原始数据，对所述待训练机器学习模型进行训练，得到训练后的机器学习模型的步骤，包括：
按照半监督学习方式，基于所述目标原始数据中未被标注的数据，和预存的基线训练集中的训练样本，对待训练模型进行半监督训练，得到半监督训练后的机器学习模型。
12.根据权利要求8所述的方法，其特征在于，
所述目标学习方式，包括：增量学习和半监督学习；
所述按照所述目标学习方式，基于所述目标原始数据，对所述待训练机器学习模型进行训练，得到训练后的机器学习模型的步骤，包括：
按照增量学习方式，对所述目标原始数据进行标注，得到当前新增样本；基于预存的基线训练集中的训练样本和所述当前新增样本，对所述待训练模型进行增量训练，得到增量训练后的机器学习模型；
将所述增量训练后的机器学习模型，作为更新后的待训练模型，按照半监督学习方式，基于所述目标原始数据中未被标注的数据，和预存的基线训练集中的训练样本，对更新后的待训练模型进行半监督训练，得到半监督训练后的机器学习模型。
13.根据权利要求12所述的方法，其特征在于，
在所述将所述增量训练后的机器学习模型，作为更新后的待训练模型，按照半监督学习方式，基于所述目标原始数据中未被标注的数据，和预存的基线训练集中的训练样本，对更新后的待训练模型进行半监督训练，得到半监督训练后的机器学习模型的步骤之前，该方法还包括：
基于预存的基线测试集和从所述原始数据或目标原始数据中选择的测试数据，对所述增量训练后的机器学习模型进行测试，将测试结果输出给用户进行核验；
在核验结果为符合要求的情况下，执行所述将所述增量训练后的机器学习模型，作为更新后的待训练模型，按照半监督学习方式，基于所述目标原始数据中未被标注的数据，和预存的基线训练集中的训练样本，对更新后的待训练模型进行半监督训练，得到半监督训练后的机器学习模型的步骤。
14.根据权利要求8所述的方法，其特征在于，所述方法还包括：
将训练后机器学习模型，作为升级后的模型进行发布。
15.一种模型训练装置，其特征在于，所述装置包括：
学习方式获得模块，用于获得用户确定的待训练机器学习模型及选择的至少一个目标学习方式；
当前原始数据获得模块，用于获得数据采集设备捕获的当前应用场景的当前原始数据；
原始数据筛选模块，用于基于主动学习技术，从所述当前原始数据中，筛选出有价值的目标原始数据；
模型训练模块，用于按照所述目标学习方式，基于所述目标原始数据，对所述待训练机器学习模型进行训练，得到训练后的机器学习模型。
16.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求8-14任一所述的方法步骤。
17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求8-14任一所述的方法步骤。
CN202110898727.6A 2021-08-05 2021-08-05 一种机器学习系统及模型训练方法 Active CN113516251B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110898727.6A CN113516251B (zh) 2021-08-05 2021-08-05 一种机器学习系统及模型训练方法
PCT/CN2022/109701 WO2023011470A1 (zh) 2021-08-05 2022-08-02 一种机器学习系统及模型训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110898727.6A CN113516251B (zh) 2021-08-05 2021-08-05 一种机器学习系统及模型训练方法

Publications (2)

Publication Number Publication Date
CN113516251A true CN113516251A (zh) 2021-10-19
CN113516251B CN113516251B (zh) 2023-06-06

Family

ID=78066916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110898727.6A Active CN113516251B (zh) 2021-08-05 2021-08-05 一种机器学习系统及模型训练方法

Country Status (2)

Country Link
CN (1) CN113516251B (zh)
WO (1) WO2023011470A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023011470A1 (zh) * 2021-08-05 2023-02-09 上海高德威智能交通系统有限公司 一种机器学习系统及模型训练方法
CN115796272A (zh) * 2022-11-24 2023-03-14 北京百度网讯科技有限公司 基于深度学习平台的模型训练方法、数据处理方法和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034188A (zh) * 2018-06-15 2018-12-18 北京金山云网络技术有限公司 机器学习模型的获取方法、获取装置、设备及存储介质
CN109325541A (zh) * 2018-09-30 2019-02-12 北京字节跳动网络技术有限公司 用于训练模型的方法和装置
CN109409528A (zh) * 2018-09-10 2019-03-01 平安科技（深圳）有限公司 模型生成方法、装置、计算机设备及存储介质
US20190087383A1 (en) * 2017-09-19 2019-03-21 Beijing Baidu Netcom Science And Technology Co., Ltd. Intelligent big data system, and method and apparatus for providing intelligent big data service
CN110705717A (zh) * 2019-09-30 2020-01-17 支付宝(杭州)信息技术有限公司 计算机执行的机器学习模型的训练方法、装置及设备
CN110968695A (zh) * 2019-11-18 2020-04-07 罗彤 基于弱监督技术主动学习的智能标注方法、装置及平台
US20200143248A1 (en) * 2017-07-12 2020-05-07 Tencent Technology (Shenzhen) Company Limited Machine learning model training method and device, and expression image classification method and device
CN111222648A (zh) * 2020-01-15 2020-06-02 深圳前海微众银行股份有限公司 半监督机器学习优化方法、装置、设备及存储介质
CN111783867A (zh) * 2020-06-28 2020-10-16 京东数字科技控股有限公司 机器学习算法选择方法及装置
CN112183577A (zh) * 2020-08-31 2021-01-05 华为技术有限公司 一种半监督学习模型的训练方法、图像处理方法及设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318242A (zh) * 2014-10-08 2015-01-28 中国人民解放军空军工程大学 一种高效的svm主动半监督学习算法
CN108833409B (zh) * 2018-06-15 2021-03-16 北京网思科平科技有限公司 基于深度学习和半监督学习的webshell检测方法及装置
US11537817B2 (en) * 2018-10-18 2022-12-27 Deepnorth Inc. Semi-supervised person re-identification using multi-view clustering
CN110610197B (zh) * 2019-08-19 2022-09-27 北京迈格威科技有限公司 一种困难样本挖掘和模型训练方法、装置和电子设备
US11043208B1 (en) * 2020-02-20 2021-06-22 Clinc, Inc. Systems and methods for mixed setting training for slot filling machine learning tasks in a machine learning task-oriented dialogue system
CN112559784B (zh) * 2020-11-02 2023-07-04 浙江智慧视频安防创新中心有限公司 基于增量学习的图像分类方法及系统
CN112347261A (zh) * 2020-12-07 2021-02-09 携程计算机技术（上海）有限公司 分类模型训练方法、系统、设备及存储介质
CN112784095A (zh) * 2021-01-18 2021-05-11 北京洛塔信息技术有限公司 困难样本数据挖掘方法、装置、设备和存储介质
CN113516251B (zh) * 2021-08-05 2023-06-06 上海高德威智能交通系统有限公司 一种机器学习系统及模型训练方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200143248A1 (en) * 2017-07-12 2020-05-07 Tencent Technology (Shenzhen) Company Limited Machine learning model training method and device, and expression image classification method and device
US20190087383A1 (en) * 2017-09-19 2019-03-21 Beijing Baidu Netcom Science And Technology Co., Ltd. Intelligent big data system, and method and apparatus for providing intelligent big data service
CN109034188A (zh) * 2018-06-15 2018-12-18 北京金山云网络技术有限公司 机器学习模型的获取方法、获取装置、设备及存储介质
CN109409528A (zh) * 2018-09-10 2019-03-01 平安科技（深圳）有限公司 模型生成方法、装置、计算机设备及存储介质
CN109325541A (zh) * 2018-09-30 2019-02-12 北京字节跳动网络技术有限公司 用于训练模型的方法和装置
CN110705717A (zh) * 2019-09-30 2020-01-17 支付宝(杭州)信息技术有限公司 计算机执行的机器学习模型的训练方法、装置及设备
CN110968695A (zh) * 2019-11-18 2020-04-07 罗彤 基于弱监督技术主动学习的智能标注方法、装置及平台
CN111222648A (zh) * 2020-01-15 2020-06-02 深圳前海微众银行股份有限公司 半监督机器学习优化方法、装置、设备及存储介质
CN111783867A (zh) * 2020-06-28 2020-10-16 京东数字科技控股有限公司 机器学习算法选择方法及装置
CN112183577A (zh) * 2020-08-31 2021-01-05 华为技术有限公司 一种半监督学习模型的训练方法、图像处理方法及设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023011470A1 (zh) * 2021-08-05 2023-02-09 上海高德威智能交通系统有限公司 一种机器学习系统及模型训练方法
CN115796272A (zh) * 2022-11-24 2023-03-14 北京百度网讯科技有限公司 基于深度学习平台的模型训练方法、数据处理方法和装置
CN115796272B (zh) * 2022-11-24 2024-03-12 北京百度网讯科技有限公司 基于深度学习平台的模型训练方法、数据处理方法和装置

Also Published As

Publication number Publication date
CN113516251B (zh) 2023-06-06
WO2023011470A1 (zh) 2023-02-09

Similar Documents

Publication Publication Date Title
CN109062780B (zh) 自动化测试用例的开发方法及终端设备
CN110554958B (zh) 图数据库测试方法、系统、设备和存储介质
CN110210513B (zh) 数据分类方法、装置及终端设备
WO2023011470A1 (zh) 一种机器学习系统及模型训练方法
CN110727580A (zh) 响应数据生成、全流程接口数据处理方法及相关设备
CN113723288A (zh) 基于多模态混合模型的业务数据处理方法及装置
CN113407327A (zh) 一种建模任务和数据分析的方法、装置、电子设备及系统
CN112527676A (zh) 模型自动化测试方法、装置及存储介质
CN113778864A (zh) 一种测试用例的生成方法和装置、电子设备和存储介质
CN113505895B (zh) 一种机器学习引擎服务系统及模型训练方法和配置方法
CN114461869A (zh) 业务特征数据处理方法、装置、电子设备及存储介质
CN113408254A (zh) 一种页面表单信息填写方法、装置、设备和可读介质
CN111858236B (zh) 知识图谱监控方法、装置、计算机设备及存储介质
CN117216393A (zh) 信息推荐方法、信息推荐模型的训练方法及装置、设备
CN115345600B (zh) 一种rpa流程的生成方法和装置
CN115242684B (zh) 全链路压测方法、装置、计算机设备及存储介质
CN115576834A (zh) 支撑故障还原的软件测试复用方法、系统、终端及介质
CN114638304A (zh) 图像识别模型的训练方法、图像识别方法及装置
CN110177006B (zh) 基于接口预测模型的节点测试方法及装置
CN114510592A (zh) 图像分类方法、装置、电子设备及存储介质
CN112434717A (zh) 一种模型训练方法及装置
CN116204424A (zh) 一种算法评估方法、系统、装置、客户端及服务器
CN114048392A (zh) 多媒体资源推送方法、装置、电子设备及存储介质
CN117808816A (zh) 图像异常检测方法、装置及电子设备
CN117873878A (zh) 一种测试方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant