CN109815991B

CN109815991B - 机器学习模型的训练方法、装置、电子设备及存储介质

Info

Publication number: CN109815991B
Application number: CN201811643490.1A
Authority: CN
Inventors: 李加利; 杨晓晨; 崔婷婷
Original assignee: Beijing Urban Network Neighbor Information Technology Co Ltd
Current assignee: Beijing Urban Network Neighbor Information Technology Co Ltd
Priority date: 2018-12-29
Filing date: 2018-12-29
Publication date: 2021-02-19
Anticipated expiration: 2038-12-29
Also published as: CN109815991A

Abstract

本发明提供了一种机器学习模型的训练方法、装置、电子设备及存储介质，该方法包括：在检测到设定网站上出现设定数据类型且属于设定分类的数据时，获取该数据并保存到分类样本库中；获取机器学习模型及对应的数据类型和待训练的类别；创建机器学习模型的训练集和验证集；根据训练集，对所述机器学习模型进行并行训练；根据验证集，对训练后的机器学习模型进行并行验证，并统计验证结果，得到统计结果；在统计结果不符合迭代停止条件时，继续对机器学习模型进行迭代训练和验证，直至统计结果符合迭代停止条件，得到训练完成的机器学习模型。本发明可以实时获取数据作为样本，避免了人工处理数据导致的遗漏和失误，提高了机器学习模型的训练效率。

Description

机器学习模型的训练方法、装置、电子设备及存储介质

技术领域

本发明涉及机器学习技术领域，特别是涉及一种机器学习模型的训练方法、装置、电子设备及存储介质。

背景技术

目前，分类信息领域在对机器学习模型进行训练时，需要机器学习算法工程师自己在大数据平台搜索需要的数据并将搜索到的数据拉到线下进行人工分类，从而得到需要的样本数据集。依据人工获取到的样本数据集来对机器学习模型进行训练。

仅在需要对机器学习模型进行训练时再去搜索获取对应的样本数据集，容易造成一些数据的遗漏，获得的样本不全面，从而对机器学习模型的训练结果不理想，而且需要算法工程师人工获取样本数据集，浪费了大量的机器学习算法工程师的时间和精力成本，不能将精力集中于算法模型本身的产出，导致机器学习模型的训练效率较低。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种机器学习模型的训练方法、装置、电子设备及存储介质。

依据本发明的第一方面，提供了一种机器学习模型的训练方法，包括：

在检测到设定网站上出现设定数据类型且属于设定分类的数据时，获取该数据并根据所述设定数据类型和设定分类将该数据保存到分类样本库中；

获取需要进行训练的机器学习模型及对应的数据类型和待训练的类别；

根据所述数据类型和待训练的类别，从所述分类样本库中获取对应的数据，以创建所述机器学习模型的训练集和验证集；

根据所述训练集，对所述机器学习模型进行并行训练；

根据所述验证集，对训练后的机器学习模型进行并行验证，并统计验证结果，得到统计结果；

在所述统计结果不符合迭代停止条件时，继续对所述训练后的机器学习模型进行迭代训练和验证，直至统计结果符合所述迭代停止条件，得到训练完成的机器学习模型。

可选的，所述获取该数据并根据所述设定数据类型和设定分类将该数据保存到分类样本库中，包括：

获取该数据，并在用户确定该数据为所述设定分类的数据时，根据所述设定数据类型和设定分类将该数据保存到分类样本库中。

可选的，根据所述训练集，对所述机器学习模型进行并行训练，包括：

使用与所述数据类型对应的调用方式调用所述机器学习模型，并根据所述训练集，对所述机器学习模型进行并行训练。

可选的，所述调用方式通过Grovvy动态编辑的调用代码实现。

可选的，还包括：

确定所述训练完成的机器学习模型的版本信息，并保存所述训练完成的机器学习模型和对应的版本信息。

可选的，根据所述验证集，对训练后的机器学习模型进行并行验证，并统计验证结果得到统计结果，包括：

将所述验证集并行输入所述训练后的机器学习模型，得到所述验证集中的验证样本的分类结果，以作为所述验证结果；

根据所述验证结果与所述验证集中的验证样本的分类信息，统计验证结果的准确率、精确率和召回率，以作为所述统计结果。

可选的，所述设定数据类型包括图片、文本或语音。

依据本发明的第二方面，提供了一种机器学习模型的训练装置，包括：

数据获取模块，用于在检测到设定网站上出现设定数据类型且属于设定分类的数据时，获取该数据并根据所述设定数据类型和设定分类将该数据保存到分类样本库中；

模型获取模块，用于获取需要进行训练的机器学习模型及对应的数据类型和待训练的类别；

样本集创建模块，用于根据所述数据类型和待训练的类别，从所述分类样本库中获取对应的数据，以创建所述机器学习模型的训练集和验证集；

训练模块，用于根据所述训练集，对所述机器学习模型进行并行训练；

验证模块，用于根据所述验证集，对训练后的机器学习模型进行并行验证，并统计验证结果，得到统计结果；

迭代模块，用于在所述统计结果不符合迭代停止条件时，继续对所述训练后的机器学习模型进行迭代训练和验证，直至统计结果符合所述迭代停止条件，得到训练完成的机器学习模型。

可选的，所述数据获取包括：

数据校正单元，用于获取该数据，并在用户确定该数据为所述设定分类的数据时，根据所述设定数据类型和设定分类将该数据保存到分类样本库中。

可选的，所述训练模块具体用于：

可选的，所述调用方式通过Grovvy动态编辑的调用代码实现。

可选的，还包括：

模型管理模块，用于确定所述训练完成的机器学习模型的版本信息，并保存所述训练完成的机器学习模型和对应的版本信息。

可选的，所述验证模块包括：

验证单元，用于将所述验证集并行输入所述训练后的机器学习模型，得到所述验证集中的验证样本的分类结果，以作为所述验证结果；

结果统计单元，用于根据所述验证结果与所述验证集中的验证样本的分类信息，统计验证结果的准确率、精确率和召回率，以作为所述统计结果。

可选的，所述设定数据类型包括图片、文本或语音。

依据本发明的第三方面，提供了一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面中所述的机器学习模型的训练方法。

依据本发明的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面中所述的机器学习模型的训练方法。

本发明实施例提供的机器学习模型的训练方法、装置、电子设备及存储介质，通过在检测到设定网站上出现设定数据类型且属于设定分类的数据时，获取该事件并根据所述设定数据类型和设定分类将该数据保存到分类样本库中，从而可以实时获取设定网站上出现的数据作为样本，避免了人工处理数据导致的遗漏和失误，而且提高了样本收集的效率，提高了机器学习模型的训练效率，节省了机器学习算法工程师的时间。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。

图1是本发明实施例提供的一种机器学习模型的训练方法的步骤流程图；

图2是本发明实施例提供的一种机器学习模型的训练方法的步骤流程图；

图3是本发明实施例提供的一种机器学习模型的训练方法的步骤流程图；

图4是本发明实施例提供的一种机器学习模型的训练装置的结构框图；

图5为本发明实施例提供的一种电子设备的结构框图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

图1是本发明实施例提供的一种机器学习模型的训练方法的步骤流程图，该方法可以应用于对机器学习模型的版本迭代的情况下，如图1所示，该方法可以包括：

步骤101，在检测到设定网站上出现设定数据类型且属于设定分类的数据时，获取该数据并根据所述设定数据类型和设定分类将该数据保存到分类样本库中。

其中，所述设定数据类型是用户预先设置的需要获取的样本的数据类型，可选包括图片、文本或语音，还可以包括其他的数据类型，如视频等。所述设定分类是用户预先设置的需要实时在设定网站上爬取的数据所属的分类，如涉黄或涉暴类等，还可以是特定的类别，如人脸等。分类样本库中可以保存多个数据类型及对应的分类的数据样本。

设定网站需要过滤掉一些包含敏感信息的数据时，可以根据用户给出的设定数据类型和设定分类，在检测到设定网站上出现设定数据类型且属于设定分类的数据时，实时获取这些数据，并根据设定数据类型和设定分类将获取到的数据保存到分类样本库中，便于后续获取对应的数据对机器学习模型进行训练。

步骤102，获取需要进行训练的机器学习模型及对应的数据类型和待训练的类别。

其中，机器学习模型是基于机器学习的算法模型，在训练完成后可以对特定数据类型的数据进行分类。机器学习模型可以是基于神经网络的模型，也可以是基于决策树的模型。数据类型是机器学习模型需要训练的数据所属的类型，待训练的类型是机器学习模型训练后需要输出的各个类别。

可以通过用户上传机器学习模型的方式获取到所述机器学习模型，或者是根据用户指定的机器学习模型的模型信息获取到所述机器学习模型，例如，根据用户指定的机器学习模型的模型标识及版本信息从机器学习模型的存储位置获取到对应的机器学习模型。其中，用户可以是机器学习算法工程师，也可以是其他用户。

针对某个需要进行训练的机器学习模型，可以是新建立的机器学习模型，也可以是需要进行版本更新的机器学习模型。新建立的机器学习模型中的模型参数需要经过训练调整确定。针对已有的机器学习模型，在用户有新的需求时，需要对该已有的机器学习模型进行版本更新，比如需要添加新的类别或者是准确率不满足需求时，需要对机器学习模型进行训练，从而对机器学习模型中的模型参数进行调整，以使其满足新的需求，得到新版本的机器学习模型。

步骤103，根据所述数据类型和待训练的类别，从所述分类样本库中获取对应的数据，以创建所述机器学习模型的训练集和验证集。

根据用户给出的数据类型和待训练的类别，可以在分类样本库中获取对应的样本数据，并根据训练集需要的样本数量和验证集需要的样本数量，从获取到的样本数据中获取所述训练集需要的样本数量的样本数据，作为训练集，再从获取到的样本数据中获取所述验证集需要的样本数量的样本数据，作为验证集。例如，对于需要增加新的分类时，获取属于该新的分类的样本及其他已有分类的样本，组成样本集合，从该样本集合中抽取符合训练集需要的样本数量的样本数据作为训练集，从样本集合中剩余的样本中抽取符合验证集需要的样本数量的样本数据作为验证集。

其中，训练集是用来对机器学习模型进行训练的，通过学习匹配一些模型参数来建立一个或多个分类。验证集是用来对根据训练集训练后的机器学习模型进行验证的，以确定训练后的机器学习模型的准确率、精确率和召回率。

步骤104，根据所述训练集，对所述机器学习模型进行并行训练。

可以预先设置对机器学习模型进行并行训练的训练线程的数量，预先设置的并行训练的训练线程的数量可以为第一设定数量。

在对机器学习模型进行训练时，根据第一设定数量，将训练集平均分为第一设定数量的子训练集，每个训练线程使用一个子训练集对机器学习模型进行训练，从而第一设定数量的训练线程可以对机器学习模型进行并行训练，每个训练线程将对应的子训练集输入机器学习模型，所述机器学习模型根据子训练集进行学习并调整模型参数，从而对机器学习模型进行训练，在机器学习模型的训练过程中，统计机器学习模型的分类结果的准确率、精确率和召回率，在准确率、精确率和召回率符合预期时，训练结束，得到训练后的机器学习模型。

步骤105，根据所述验证集，对训练后的机器学习模型进行并行验证，并统计验证结果，得到统计结果。

可以预先设置对机器学习模型进行并行验证的验证线程的数量，预先设置的并行训练的验证线程的数量可以为第二设定数量。第二设定数量可以和第一设定数量相同，也可以不同。

在对训练完成的机器学习模型进行验证时，根据第二设定数量，将验证集平均分为第二设定数量的子验证集，每个验证线程使用一个子验证集对机器学习模型进行验证，从而第二设定数量的验证线程可以对机器学习模型进行并行验证。所述验证集中的验证样本的分类是已知的，每个验证线程将对应的子验证集输入训练后的机器学习模型，使用训练后的机器学习模型对子验证集中的验证样本进行分类，得到子验证集中的各个验证样本的验证结果，综合各个验证线程的验证结果，得到验证集的验证结果，对验证结果与验证样本的分类进行对比，从而对验证结果的正确与否进行统计，得到统计结果。

其中，样本可以包括正样本和负样本，正样本是满足模型识别期许的样本数据，负样本是不满足模型识别期许的样本数据。“真正”可以用TP表示，指被模型预测为正的正样本，即判断为真的正确率；“假正”可以用FP表示，指被模型预测为正的负样本，即误报率；“真负”可以用TN表示，指被模型预测为负的负样本，即判断为假的正确率；“假负”可以用FN表示，指被模型预测为负的正样本，即漏报率。准确率可以表示为(TP+TN)/(TP+TN+FP+FN)，反映了被模型判定的正例中真正的正例样本和被模型判定的负例中真正的负例样本之和的比重；召回率表示的是样本中的正例有多少被预测正确了，可以表示为TP/(TP+FN)，反映了被模型判定的正例中真正的正例样本的比重；精确率表示的是预测为正的样本中有多少是真正的正样本，可以表示为TP/(TP+FP)，反映了被正确判定的正例占总的正例的比重。

可以使用第二设定数量的验证线程将验证集中的验证样本分别并行输入训练后的机器学习模型，输出为验证样本属于各个分类的概率，将该概率与阈值进行对比，确定概率大于或等于阈值的分类为验证样本的分类，将该分类作为该验证样本的分类结果，通过此方法得到验证集中的各个验证样本的验证结果。根据各个验证样本的验证结果和验证样本的已知的分类信息，统计真正、假正、真负和假负的验证样本的数量，计算验证结果的准确率、精确率和召回率，计算得到的准确率、精确率和召回率作为统计结果。

步骤106，在所述统计结果不符合迭代停止条件时，继续对所述训练后的机器学习模型进行迭代训练和验证，直至统计结果符合所述迭代停止条件，得到训练完成的机器学习模型。

其中，迭代停止条件是停止机器学习模型迭代训练和验证的条件。

确定统计结果是否符合迭代停止条件，如果统计结果符合迭代停止条件，则不再对机器学习模型进行迭代训练和验证，如果统计结果不符合迭代停止条件，则继续执行步骤104-步骤106，即继续对机器学习模型进行迭代训练和验证，直至统计结果符合迭代停止条件，停止迭代训练和验证，得到训练完成的机器学习模型。

例如，在统计结果为准确率、精确率和召回率时，迭代停止条件可以是准确率大于或等于准确率阈值，精确率大于或等于精确率阈值，召回率大于或等于召回率阈值。当然，迭代停止条件还可以由用户根据准确率、精确率和召回率确定是否满足需求，来确定是否停止迭代。

本实施例提供的方法，通过在检测到设定网站上出现设定数据类型且属于设定分类的数据时，获取该事件并根据所述设定数据类型和设定分类将该数据保存到分类样本库中，获取需要进行训练的机器学习模型及对应的数据类型和待训练的类别，根据所述数据类型和待训练的类别，从所述分类样本库中获取对应的数据，以创建与机器学习模型对应的训练集和验证集，根据训练集对机器学习模型进行并行训练，根据验证集对训练后的机器学习模型进行并行验证，统计验证结果得到统计结果，在统计结果不符合迭代停止条件时，继续对训练后的机器学习模型进行迭代训练和验证，直至统计结果符合迭代停止条件，得到训练完成的机器学习模型，从而可以实时获取设定网站上出现的数据作为样本，避免了人工处理数据导致的遗漏和失误，而且提高了样本收集的效率，提高了机器学习模型的训练效率，节省了机器学习算法工程师的时间。

在上述技术方案的基础上，所述获取该数据并根据所述设定数据类型和设定分类将该数据保存到分类样本库中，可选包括：

在检测到设定网站上出现设定数据类型且属于设定分类的数据时，获取该数据，并接收用户对该数据的类别进行校正，在用户确定该数据确实为所属设定分类的数据时，根据所述设定数据类型和设定分类将该数据保存到分类样本库中。避免了用户人工获取数据并进行人工管理，只需用户对实时获取到的数据进行分类的校正，提高了数据样本的获取效率及准确度。

图2是本发明实施例提供的一种机器学习模型的训练方法的步骤流程图，本实施例在上述实施例的基础上，集成了多种数据类型的机器学习模型的调用方式，如图2所示，该方法可以包括：

步骤201，在检测到设定网站上出现设定数据类型且属于设定分类的数据时，获取该数据并根据所述设定数据类型和设定分类将该数据保存到分类样本库中。

本步骤的具体内容与上述实施例中的步骤101的具体内容相同，这里不再赘述。

步骤202，获取需要进行训练的机器学习模型及对应的数据类型和待训练的类别。

本步骤的具体内容与上述实施例中的步骤102的具体内容相同，这里不再赘述。

步骤203，根据所述数据类型和待训练的类别，从所述分类样本库中获取对应的数据，以创建所述机器学习模型的训练集和验证集。

本步骤的具体内容与上述实施例中的步骤103的具体内容相同，这里不再赘述。

步骤204，使用与所述数据类型对应的调用方式调用所述机器学习模型，并根据所述训练集，对所述机器学习模型进行并行训练。

其中，调用方式是调用机器学习模型的方式。

不同数据类型的机器学习模型，调用方式也不相同，本发明实施例可以集成多种数据类型的机器学习模型的调用方式，从而根据数据类型，来确定对应的调用方式，并使用该调用方式来调用机器学习模型，从而对调用的机器学习模型进行训练和后续的验证。

其中，所述调用方式通过Grovvy动态编辑的调用代码实现。Groovy是一种基于JVM(Java虚拟机)的敏捷开发语言，它结合了Python、Ruby和Smalltalk的许多强大的特性，Groovy代码能够与Java代码很好地结合，也能用于扩展现有代码。使用Grovvy动态编辑的调用代码实现设定数据类型的机器学习模型的调用方式，可以动态添加新的数据类型的机器学习模型的调用方式，方便扩展调用。

步骤205，根据所述验证集，对训练后的机器学习模型进行并行验证，并统计验证结果，得到统计结果。

本步骤的具体内容与上述实施例中的步骤105的具体内容相同，这里不再赘述。

步骤206，在所述统计结果不符合迭代停止条件时，继续对所述训练后的机器学习模型进行迭代训练和验证，直至统计结果符合所述迭代停止条件，得到训练完成的机器学习模型。

本步骤的具体内容与上述实施例中的步骤106的具体内容相同，这里不再赘述。

本实施例提供的方法，通过使用与数据类型对应的调用方式调用机器学习模型，从而可以集成多种数据类型的调用方式，便于对不同数据类型的机器学习模型进行调用。

图3是本发明实施例提供的一种机器学习模型的训练方法的步骤流程图，如图3所示，该方法可以包括：

步骤301，在检测到设定网站上出现设定数据类型且属于设定分类的数据时，获取该数据并根据所述设定数据类型和设定分类将该数据保存到分类样本库中。

步骤302，获取需要进行训练的机器学习模型及对应的数据类型和待训练的类别。

步骤303，根据所述数据类型和待训练的类别，从所述分类样本库中获取对应的数据，以创建所述机器学习模型的训练集和验证集。

步骤304，根据所述训练集，对所述机器学习模型进行并行训练。

本步骤的具体内容与上述实施例中的步骤104的具体内容相同，这里不再赘述。

步骤305，根据所述验证集，对训练后的机器学习模型进行并行验证，并统计验证结果，得到统计结果。

步骤306，在所述统计结果不符合迭代停止条件时，继续对所述训练后的机器学习模型进行迭代训练和验证，直至统计结果符合所述迭代停止条件，得到训练完成的机器学习模型。

步骤307，确定所述训练完成的机器学习模型的版本信息，并保存所述训练完成的机器学习模型和对应的版本信息。

针对新建立的机器学习模型，训练完成的机器学习模型的版本信息可以是1.0版；针对进行版本更新的机器学习模型，训练完成的机器学习模型的版本信息可以是在更新前的版本的基础上增加设定数值，如更新前的版本信息为1.0版，更新后的版本信息为2.0版。训练完成的机器学习模型的版本信息还可以由用户输入。保存训练完成的机器学习模型和对应的版本信息，从而便于对机器学习模型的管理及调用。

本实施例提供的方法，通过确定训练完成的机器学习模型的版本信息，并保存训练完成的机器学习模型和对应的版本信息，实现了对机器学习模型的管理，并且便于根据用户的需求调用相应版本的机器学习模型。

表1是使用人工的方式对分类样本集管理和训练验证过程进行数据统计大致耗时与使用本发明实施例提供的方法的对比情况。

表1人工处理与采用本发明实施例的方法处理对比

如表1所示，采用本发明实施例的方法大大减少了训练集和验证集的创建时间以及训练集的计算时间和统计结果的计算时间。算法工程师在工作当中可以节省大量的时间，不再为繁复的数据统计工作处理各种表格与文本纪录。通过本发明实施例的方法即可以管理样本又可以处理数据统计信息，使算法工程师更能专注于算法工作。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

图4是本发明实施例提供的一种机器学习模型的训练装置的结构框图，该机器学习模型的训练装置可以应用于电子设备中，如图4所示，该机器学习模型的训练装置可以包括：

数据获取模块401，用于在检测到设定网站上出现设定数据类型且属于设定分类的数据时，获取该数据并根据所述设定数据类型和设定分类将该数据保存到分类样本库中；

模型获取模块402，用于获取需要进行训练的机器学习模型及对应的数据类型和待训练的类别；

样本集创建模块403，用于根据所述数据类型和待训练的类别，从所述分类样本库中获取对应的数据，以创建所述机器学习模型的训练集和验证集；

训练模块404，用于根据所述训练集，对所述机器学习模型进行并行训练；

验证模块405，用于根据所述验证集，对训练后的机器学习模型进行并行验证，并统计验证结果，得到统计结果；

迭代模块406，用于在所述统计结果不符合迭代停止条件时，继续对所述训练后的机器学习模型进行迭代训练和验证，直至统计结果符合所述迭代停止条件，得到训练完成的机器学习模型。

可选的，所述数据获取包括：

可选的，所述训练模块具体用于：

可选的，所述调用方式通过Grovvy动态编辑的调用代码实现。

可选的，还包括：

可选的，所述验证模块包括：

可选的，所述设定数据类型包括图片、文本或语音。

本实施例提供的装置，通过数据获取模块在检测到设定网站上出现设定数据类型且属于设定分类的数据时，获取该数据并根据所述设定数据类型和设定分类将该数据保存到分类样本库中，模型获取模块获取需要进行训练的机器学习模型及对应的数据类型和待训练的类别，样本集创建模块根据所述数据类型和待训练的类别，从所述分类样本库中获取对应的数据，以创建所述机器学习模型的训练集和验证集，训练模块根据训练集程对机器学习模型进行并行训练，验证模块根据验证集对训练后的机器学习模型进行并行验证，统计验证结果得到统计结果，迭代模块在统计结果不符合迭代停止条件时，继续对训练后的机器学习模型进行迭代训练和验证，直至统计结果符合迭代停止条件，得到训练完成的机器学习模型，从而可以实时获取设定网站上出现的数据作为样本，避免了人工处理数据导致的遗漏和失误，而且提高了样本收集的效率，提高了机器学习模型的训练效率，节省了机器学习算法工程师的时间。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

图5为本发明实施例提供的一种电子设备的结构框图。如图5所示，该电子设备500可以包括一个或多个处理器501以及与处理器501连接的一个或多个存储器502。电子设备500还可以包括输入接口503和输出接口504，用于与另一装置或系统进行通信。被处理器501的CPU执行的程序代码可存储在存储器502中。

电子设备500中的处理器501调用存储在存储器502的程序代码，以执行上述实施例中的机器学习模型的训练方法。

处理器为上述电子设备的控制中心，并提供处理装置，用于执行指令，进行中断操作，提供计时功能以及多种其他功能。处理器可为单核(单CPU)处理器或多核(多CPU)处理器。除非另有声明，描述为用于执行任务的例如处理器或存储器的部件可实现为通用部件，其暂时用于在给定时间执行任务，或实现为专门制造用于执行该任务的特定部件。此处所用的术语“处理器”指一个或多个装置，电路和/或处理核，用于处理数据，例如计算机程序指令。

上述电子设备中的上述元件可通过总线彼此连接，总线例如数据总线、地址总线、控制总线、扩展总线和局部总线之一或其任意组合。

根据本发明的一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，存储介质可以是只读存储器(Read-Only Memory，ROM)，或是可读写的，例如硬盘、闪存。所述计算机程序被处理器执行时实现前述实施例的机器学习模型的训练方法。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种机器学习模型的训练方法、装置、电子设备及存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种机器学习模型的训练方法，其特征在于，包括：

获取需要进行训练的机器学习模型及对应的数据类型和待训练的类别；所述数据类型是所述机器学习模型需要训练的数据所属的类型，所述待训练的类别是所述机器学习模型训练后需要输出的类别；

根据所述训练集，对所述机器学习模型进行并行训练；

在所述统计结果不符合迭代停止条件时，继续对所述训练后的机器学习模型进行迭代训练和验证，直至统计结果符合所述迭代停止条件，得到训练完成的机器学习模型；

其中，所述根据所述训练集，对所述机器学习模型进行并行训练，包括：

根据第一设定数量，将所述训练集平均分为所述第一设定数量的子训练集，每个训练线程使用一个所述子训练集对所述机器学习模型进行训练；

所述根据所述验证集，对训练后的机器学习模型进行并行验证，并统计验证结果，得到统计结果，包括：

根据第二设定数量，将所述验证集平均分为所述第二设定数量的子验证集，每个验证线程使用一个所述子验证集对所述训练后的机器学习模型进行验证。

2.根据权利要求1所述的方法，其特征在于，所述获取该数据并根据所述设定数据类型和设定分类将该数据保存到分类样本库中，包括：

3.根据权利要求1所述的方法，其特征在于，根据所述训练集，对所述机器学习模型进行并行训练，包括：

4.根据权利要求3所述的方法，其特征在于，所述调用方式通过Grovvy动态编辑的调用代码实现。

5.根据权利要求1所述的方法，其特征在于，还包括：

6.根据权利要求1所述的方法，其特征在于，根据所述验证集，对训练后的机器学习模型进行并行验证，并统计验证结果得到统计结果，包括：

7.根据权利要求1所述的方法，其特征在于，所述设定数据类型包括图片、文本或语音。

8.一种机器学习模型的训练装置，其特征在于，包括：

模型获取模块，用于获取需要进行训练的机器学习模型及对应的数据类型和待训练的类别；所述数据类型是所述机器学习模型需要训练的数据所属的类型，所述待训练的类别是所述机器学习模型训练后需要输出的类别；

迭代模块，用于在所述统计结果不符合迭代停止条件时，继续对所述训练后的机器学习模型进行迭代训练和验证，直至统计结果符合所述迭代停止条件，得到训练完成的机器学习模型；

其中，所述训练模块，具体用于：

所述验证模块，具体用于：

9.根据权利要求8所述的装置，其特征在于，所述数据获取包括：

10.根据权利要求8所述的装置，其特征在于，所述训练模块具体用于：

11.根据权利要求10所述的装置，其特征在于，所述调用方式通过Grovvy动态编辑的调用代码实现。

12.根据权利要求8所述的装置，其特征在于，还包括：

13.根据权利要求8所述的装置，其特征在于，所述验证模块包括：

14.根据权利要求8所述的装置，其特征在于，所述设定数据类型包括图片、文本或语音。

15.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-7任一项所述的机器学习模型的训练方法。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的机器学习模型的训练方法。