CN111723939A - 机器学习模型的调参方法、装置、设备及系统 - Google Patents

Abstract

本公开提出了一种机器学习模型的方法、装置、设备及系统，该方法包括：提供第一图形配置界面，接收通过所述第一图形配置界面输入的被确定用于所述机器学习模型的机器学习算法、评估指标及所述机器学习算法对应参数优化的调参算法；提供第二图形配置界面，接收通过所述第二图形配置界面输入的所述调参算法对应的调参配置项；在调参任务使用所述调参算法对应的调参配置项对所述机器学习算法进行参数优化的过程中，实时获取所述调参算法的调参结果信息；以图表形式展示所述调参算法的调参结果信息。

Description

机器学习模型的调参方法、装置、设备及系统

技术领域

本发明涉及人工智能领域，更具体地，涉及一种机器学习模型的调参方法、一种机器学习模型的调参装置、一种包括至少一个计算装置和至少一个存储装置的设备、一种计算机可读存储介质、及一种运行机器学习过程的系统。

背景技术

在现有机器学习平台上，可采用基于图形界面的交互方式来完成机器学习算法的自动参数调优流程，而不需要用户亲自编写程序代码。然而现有自动调参装置在运行过程中未提供实时反馈中间结果的功能，从而，用户需要等待整个运行过程结束才可以查看调参结果，以制定下一步的模型训练或调参计划。然而，算法参数调优往往是个耗时很长的迭代过程，因此，上述缺陷极大地影响了用户的使用效率和体验。

发明内容

本公开实施例的一个目的是提供一种机器学习模型的调参的新的技术方案。

根据本公开的第一方面，提供了一种机器学习模型的调参方法，其包括：

提供第一图形配置界面，接收通过所述第一图形配置界面输入的被确定用于所述机器学习模型的机器学习算法、评估指标及所述机器学习算法对应参数优化的调参算法；

提供第二图形配置界面，接收通过所述第二图形配置界面输入的所述调参算法对应的调参配置项；

在调参任务使用所述调参算法对应的调参配置项对所述机器学习算法进行参数优化的过程中，实时获取所述调参算法的调参结果信息；

以图表形式展示所述调参算法的调参结果信息。

可选地，所述方法还包括：

在进行所述参数优化的过程中，实时输出所述调参任务对应的调参结果信息并保存到日志中。

可选地，所述实时获取所述调参算法的调参结果信息包括：

在进行所述参数优化的过程中，从所述日志中获取历史调参任务对应的调参配置项及调参结果。

可选地，所述方法还包括：

接收在所述第一图形配置界面对所述调参算法的调参配置项进行更改的请求；

基于所述请求更改所述调参算法的调参配置项。

可选地，在当前调参任务结束并开始下一次的调参任务之前，所述方法还包括：

查询所述调参算法的调参配置项是否被更改；

在所述调参算法的调参配置项被更改的情况下，基于更改的所述调参配置项启动下一次的调参任务，以使所述调参任务使用更改的所述调参配置项对所述机器学习算法进行参数优化。

可选地，在所述以图表形式展示所述调参算法的调参结果信息之前，所述方法还包括：

轮询获取所述日志的特定标志行，以获取所述调参算法的调参结果信息；

对获取的所述调参结果信息进行解析及图形化处理。

可选地，所述方法还包括：

在进行所述参数优化的过程中，基于第一请求结束当前调参任务；

将所述历史调参任务对应的运行状态设置为成功。

可选地，所述方法还包括：

基于运行状态为成功的历史调参任务确定最优调参结果；

将所述最优调参结果对应的调参任务的调参配置项确定为所述机器学习算法的优化参数。

可选地，在对所述机器学习算法进行参数优化的过程完成后，所述方法还包括：

根据实时获取的所述调参算法的调参结果信息确定最优调参配置项；

将所述最优调参配置项确定为所述机器学习算法的优化参数。

可选地，在对所述机器学习算法进行参数优化的过程完成后，所述方法还包括：

根据实时获取的所述调参算法的调参结果信息生成调参分析报告。

可选地，所述方法还包括：

基于第二请求将所述优化参数自动传递给模型训练装置，以使所述模型训练装置根据具有所述优化参数的机器学习算法对所述机器学习模型进行训练。

可选地，在对所述机器学习算法进行参数优化的过程完成后，所述方法还包括：

根据实时获取的所述调参算法的调参结果信息确定每个调参任务对应的调参配置项；

基于第二请求提供每个调参任务对应的调参配置项及对应的调参结果；

基于第三请求选择一组调参配置项，并将选择的调参配置项自动传递给模型训练装置，以使所述模型训练装置根据具有所述调参配置项的机器学习算法对所述机器学习模型进行训练。

根据本公开的第二方面，还提供一种机器学习模型的调参装置，其包括：

第一交互模块，用于提供第一图形配置界面，接收通过所述第一图形配置界面输入的被确定用于所述机器学习模型的机器学习算法、评估指标及所述机器学习算法对应参数优化的调参算法；

第二交互模块，用于提供第二图形配置界面，接收通过所述第二图形配置界面输入的所述调参算法对应的调参配置项；

获取模块，用于在调参任务使用所述调参算法对应的调参配置项对所述机器学习算法进行参数优化的过程中，实时获取所述调参算法的调参结果信息；

展示模块，用于以图表形式展示所述调参算法的调参结果信息。

可选地，所述获取模块，还用于在进行所述参数优化的过程中，实时输出所述调参任务对应的调参结果信息并保存到日志中。

可选地，所述获取模块，还用于在进行所述参数优化的过程中，从所述日志中获取所述历史调参任务对应的调参配置项及调参结果。

可选地，所述装置还包括更改模块，所述更改模块用于：

接收在所述第一图形配置界面对所述调参算法的调参配置项进行更改的请求；

所述更改模块，用于基于所述请求更改所述调参算法的调参配置项。

可选地，所述装置还包括启动模块，所述启动模块用于：

在所述当前调参任务结束并开始下一次的调参任务之前，查询所述调参算法的调参配置项是否被更改。

在所述调参算法的调参配置项被更改的情况下，基于更改的所述调参配置项启动下一次的调参任务，以使所述调参任务使用更改的所述调参配置项对所述机器学习算法进行参数优化。

可选地，所述装置还包括第一处理模块。

所述获取模块，还用于轮询获取所述日志的特定标志行，以获取所述调参算法的调参结果信息。

所述第一处理模块，还用于对获取的所述调参结果信息进行解析及图形化处理。

可选地，所述装置还包括设置模块，所述设置模块用于：

在进行所述参数优化的过程中，基于第一请求结束所述当前调参任务。

将所述历史调参任务对应的运行状态设置为成功。

可选地，所述装置还包括比对模块，所述比对模块用于：

基于运行状态为成功的历史调参任务确定最优调参结果。

将所述最优调参结果对应的调参任务的调参配置项确定为所述机器学习算法的优化参数。

可选地，所述装置还包括第二处理模块，所述第二处理模块用于：

在对所述机器学习算法进行参数优化的过程完成后根据实时获取的所述调参算法的调参结果信息确定最优调参配置项。

将所述最优调参配置项确定为所述机器学习算法的优化参数。

可选地，所述获取模块，还用于在对所述机器学习算法进行参数优化的过程完成后，根据实时获取的所述调参算法的调参结果信息生成调参分析报告。

可选地，所述获取模块，还用于基于第二请求将所述优化参数自动传递给模型训练装置，以使所述模型训练装置根据具有所述优化参数的机器学习算法对所述机器学习模型进行训练。

可选地，所述装置还包括第三处理模块，所述第三处理模块用于：

在对所述机器学习算法进行参数优化的过程完成后，根据实时获取的所述调参算法的调参结果信息确定每个调参任务对应的调参配置项。

基于第二请求提供每个调参任务对应的调参配置项及对应的调参结果。

基于第三请求选择一组调参配置项，并将选择的调参配置项自动传递给模型训练装置，以使所述模型训练装置根据具有所述调参配置项的机器学习算法对所述机器学习模型进行训练。

根据本公开的第三方面，还提供一种包括至少一个计算装置和至少一个存储装置的设备，其中，所述至少一个存储装置用于存储指令，所述指令用于控制所述至少一个计算装置执行根据以上第一方面所述的方法。

根据本公开的第四方面，还提供一种计算机可读存储介质，其中，其上存储有计算机程序，所述计算机程序在被处理器执行时实现如以上第一方面所述的方法。

根据本公开的第五方面，还提供一种运行机器学习模型的系统，其包括模型训练装置和第二方面所述的机器学习模型的调参装置，其中，

所述机器学习模型的调参装置用于生成机器学习算法的优化参数；

所述模型训练装置用于根据具有所述优化参数的机器学习算法对所述机器学习模型进行训练。

根据本公开实施例的方法，一方面，其在调参任务运行过程中，自动实时反馈调参算法的调参结果信息，并以图表形式将调参算法的调参结果信息展示给用户，实现了调参结果信息的可视化展示；另一方面，由于其能够将调参任务在运行过程中的调参结果信息可视化展示给用户，以使得用户无需等待整个调参任务结束后在制定下一步的调参计划，而在调参任务运行过程中可以随时更改调参算法的调参配置项，以使得下一个调参任务使用更改后的调参算法对应的调参配置项对机器学习算法进行参数优化，实现了调参任务的无缝连接，提高用户的使用效率和体验。

附图说明

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

图1是显示可用于实现本公开实施例的电子设备的硬件配置的例子的框图；

图2示出了本公开实施例的机器学习模型的调参方法的流程图；

图3至图6示出了根据本公开实施例的机器学习模型的调参方法的界面显示示意图；

图7示出了本公开实施例的机器学习模型的调参装置的原理框图；

图8示出了本公开实施例的运行机器学习过程的系统的组成结构示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

下面，参照附图描述根据本发明实施例的各个实施例和例子。

<硬件配置>

本公开实施例的方法可以由至少一台电子设备实施。图1示出了任意电子设备的硬件结构。图1所示的电子设备可以是便携式电脑、台式计算机、工作站、服务器等，也可以是任意的具有处理器等计算装置和存储器等存储装置的其他设备，在此不做限定。

如图1所示，该电子设备1000可以包括处理器1100、存储器1200、接口装置1300、通信装置1400、显示装置1500、输入装置1600、扬声器1700、麦克风1800等等。其中，处理器1100用于执行计算机程序。该计算机程序可以采用比如x86、Arm、RISC、MIPS、SSE等架构的指令集编写。存储器1200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括USB接口、耳机接口等。通信装置1400例如能够进行有线或无线通信，具体地可以包括Wifi通信、蓝牙通信、2G/3G/4G/5G通信等。显示装置1500例如是液晶显示屏、触摸显示屏等。输入装置1600例如可以包括触摸屏、键盘、体感输入等。电子设备1000可以通过扬声器1700输出语音信息，及可以通过麦克风1800采集语音信息等。

图1所示的电子设备仅仅是说明性的并且决不意味着对本发明、其应用或使用的任何限制。应用于本公开的实施例中，电子设备1000的所述存储器1200用于存储指令，所述指令用于控制所述处理器1100进行操作以执行本公开实施例的机器学习模型的调参方法。技术人员可以根据本发明所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。

在另外的实施例中，该电子设备1000也可以包括根据本发明任意实施例的机器学习模型的调参装置，其中，该装置被设置为执行根据本发明任意实施例的机器学习模型的调参方法。

在一个实施例中，提供了一种包括至少一个计算装置和至少一个存储装置的设备，该至少一个存储装置用于存储指令，该指令用于控制该至少一个计算装置执行根据本公开任意实施例的方法。

该设备可以包括至少一台图1所示的电子设备1000，以提供至少一个例如是处理器的计算装置和至少一个例如是存储器的存储装置，在此不做限定。

<方法实施例>

在本实施例中，提供一种机器学习模型的调参方法，该方法可以由如图1所示的电子设备1000实施，例如可以由电子设备1000的机器学习模型的调参装置实施。

根据图2所示，本实施例的机器学习模型的调参方法可以包括如下步骤S2100～S2400：

步骤S2100，提供第一图形配置界面，接收通过第一图形配置界面输入的被确定用于机器学习模型的机器学习算法、评估指标及机器学习算法对应参数优化的调参算法。

机器学习模型可以为神经网络模型，例如但不限于是BP(Back Propagation)神经网络模型、卷积神经网络模型等，也可以是例如逻辑回归(Logistic Regression，LR)模型、梯度提升回归树(Gradient BoostRegression Tree，GBRT)模型、支持向量机(SupportVector Machine，SVM)模型、HE-TreeNet(高维离散嵌入式的树网络)模型、梯度提升决策树(Gradient Boosting Decision Tree，GBDT)模型以及随机森林模型等，本实施例在此不作限制。

机器学习算法用于训练机器学习模型，机器学习算法的算法参数对训练出的机器学习模型的好坏具有显著影响。该机器学习算法可以是逻辑回归算法、GBRT算法、HE-TreeNet算法、GBDT算法、SVM算法、随机森林算法，人工神经网络算法，也可以是用于训练机器学习模型的其他机器学习算法，本实施例在此不做限定。

评估指标是用于衡量机器学习算法的好坏的指标。该评估指标可以是均方误差(Mean Squared Error，MSE)、平均绝对误差(Mean Absolute Error，MAE)、平均绝对百分比误差(Mean Absolute Percentage Error，MAPE)、R2、AUC(Area Under The Curve)、召回率Recall、准确率Precision、精确率Accuracy、f1、Logloss之中的至少一项。

在一个例子中，可以为每一类机器学习问题设置各自对应的评估指标，对应不同类型的机器学习问题的评估指标可以相同，也可以不同，同一类机器学习问题可以包括至少一个评估指标。

例如，对于不同机器学习问题提供不同的评估指标，机器学习问题例如但不限于包括二分类问题、回归问题以及多分类问题。例如对于回归问题，可选MSE、MAE、MAPE、R2等，对于二分类问题，可选AUC、Recall、Precision、Accuracy、f1、Logloss等。

在一个例子中，还可以是由用户根据实际应用场景和实际需要设置对应机器学习问题的评估指标。

调参算法是用于对机器学习算法对应的参数进行优化的算法。该调参算法可以是随机搜索、网格搜索、贝叶斯优化等，也可以是用户自定义的其他算法，本实施在此不做限定。

机器学习算法对应的参数可以称之为超参数，不同机器学习算法对应的参数可以不同，也可以相同。例如，当机器学习算法是FTRL(Follow The Regularized Leader)优化算法时，机器学习算法对应的参数可以包括：最大训练轮数、学习率、L1正则项系数、L2正则项系数。

在本实施例中，可以提供图形配置界面，并在图形配置界面中分别提供用于选择被确定用于机器学习模型的机器学习算法、评估指标及机器学习算法对应参数优化的调参算法的选择框，以使得用户通过对应选择框选择机器学习算法、评估指标及机器学习算法对应参数优化的调参算法。

参照图3所示的图形配置界面，该图形配置界面中，提供用于选择机器学习模型的机器学习算法的第一下拉菜单框，用于选择评估机器学习算法的评估指标的第二下拉菜单框，用于选择机器学习算法对应参数优化的调参算法的第三下拉菜单框，在图3所示的图形配置界面中，通过第一下拉菜单框选择的用于机器学习模型的机器学习算法为逻辑回归算法，通过第二下拉菜单框选择的评估机器学习算法的评估指标为AUC，以及，通过第三下拉菜单框选择的机器学习算法对应参数优化的调参算法为随机搜索算法。在图3所示的图形配置界面中，还提供对调参算法的调参配置项进行选择的“调参配置项”按钮，在用于点击该“调参配置项”按钮后，便可进入第二图形配置界面，以通过第二图形配置界面输入调参算法对应的调参配置项。

步骤S2200，提供第二图形配置界面，接收通过第二图形配置界面输入的调参算法对应的调参配置项。

调参配置项用于限定如何生成多组候选算法参数值，其中，每组候选算法参数值包括机器学习算法的每个待调算法参数的一个候选算法参数值。在本实施例中，用于参数优化的多组候选算法参数值可基于用户设置的调参配置项来生成。

在本实施例中，可以是响应于在第一图形配置界面中输入的设置调参配置项的操作，提供第二图形配置界面，以通过第二图形配置界面输入调参算法对应的调参配置项。该第二图形配置界面中可以提供每个调参配置项对应的输入控件以选择和/或编辑内容，从而可通过接收用户的选择操作和/或编辑操作来获取用户所设置的调参配置项。

调参配置项可以包括初始值配置项和取值范围配置项。应该理解的是，调参配置项也可以包括其他的用于限定如何生成多组候选算法参数值的配置项。

以上初始值配置项用于指定待调算法参数的初始值，使得在本步骤S2200中基于指定的待调算法参数的初始值来生成待调算法参数的至少一个候选算法参数值。

以上取值范围配置项用于指定待调算法参数的取值范围，使得在步本步骤S2200中基于指定的待调算法参数的取值范围来生成待调算法参数的至少一个候选算法参数值，该取值范围配置项可以包括指定范围配置项，也可以是参数枚举配置项。指定范围配置项可以包括采样范围配置项和采样次数配置项。具体地，采样范围配置项用于指定进行采样的数值范围，采样次数配置项用于指定进行采样的次数，使得在本步骤S2200中在指定的数值范围内采样指定的次数，并将采集到的数值作为待调算法参数的候选算法参数值。

可以理解的是，如果调参配置项包括初始值配置项和取值范围配置项，则在本步骤S2200中，可基于初始值配置项指定的待调算法参数的初始值和取值范围配置项指定的待调算法参数的取值范围来生成待调算法参数的至少一个候选算法参数值。

参照图4所示的图形配置界面，该图形配置界面中，提供的调参配置项包括取值范围配置项，在图4所示的图形配置界面中，待调算法参数包括最大训练轮数、学习率、L1正则项系数以及L2正则项系数，其中，最大训练轮数、L1正则项系数以及L2正则项系数选择指定范围，该指定范围中包括配置采样范围和配置采样次数，学习率选择参数枚举，配置完成后，点击“确定”按钮，则进入使用调参算法对应的调参配置项对机器学习算法进行参数优化。

步骤S2300，在调参任务使用调参算法对应的调参配置项对机器学习算法进行参数优化的过程中，实时获取调参算法的调参结果信息。

在本实施例中，可以是在进行参数优化的过程中，实时输出调参任务对应的调参结果信息并保存到日志中，并轮询获取日志的特定标志行，以获取调参算法的调参结果信息，进而实现调参结果信息获取的靶向性。

在一个实施例中，该步骤S2300中实时获取调参算法的调参结果信息可以进一步包括：

在进行参数优化的过程中，从日志中获取历史调参任务对应的调参配置项及调参结果。

步骤S2400，以图表形式展示调参算法的调参结果信息。

在本实施例中，可以是先轮询获取日志的特定标志行，以获取调参算法的调参结果信息，接续对获取的调参结果信息进行解析及图形化处理。

示例性地，可以是在用户点击一个正在运行的自动调参算子后，显示图5所示的图形用户界面，该调参算法为贝叶斯搜索算法，在图5中，显示每一历史调参任务的最大训练轮数、每一历史调参任务中待调算法参数的取值(学习率、L1正则项系数和L2正则项系数)。

在本实施例中，在对机器学习算法进行参数优化的过程完成后，还可以是根据实时获取的调参算法的调参结果信息生成调参分析报告。该调参分析报告可以是如图6所示的调参分析报告。

根据本实施例的方法，一方面，其在调参任务运行过程中，自动实时反馈调参算法的调参结果信息，并以图表形式将调参算法的调参结果信息展示给用户，实现了调参结果信息的可视化展示；另一方面，由于其能够将调参任务在运行过程中的调参结果信息可视化展示给用户，以使得用户无需等待整个调参任务结束后在制定下一步的调参计划，而在调参任务运行过程中可以随时更改调参算法的调参配置项，以使得下一个调参任务使用更改后的调参算法对应的调参配置项对机器学习算法进行参数优化，实现了调参任务的无缝连接，以及，提高用户的使用效率和体验。

在一个实施例中，可以在调参任务运行过程中更改调参配置项，以使得调参算法可以基于更改后的调参配置项继续执行后续调参任务，并且不会丢失已经得到的中间调参结果信息。该实施例中，该机器学习模型的调参方法还可以包括如下步骤S3100～S3200：

步骤S3100，接收在第一图形配置界面对调参算法的调参配置项进行更改的请求。

在本实施例中，用户可以随时更改调参算法的调参配置项，这例如可以是在图3所示的图形配置界面中点击“调参配置项”按钮，并点击“确定”(图中未示出)，调参算法将按照更改后的调参配置项执行后续的调参任务，并且不会丢失已经得到的中间调参结果信息。

步骤S3200，基于请求更改调参算法的调参配置项。

在一个实施例中，可以在每一次调参任务运行之前检测调参算法的调参配置项是否被更改，并在发生更改的情况下，基于更改后的调参配置项启动下一次的调参任务。该实施例中，该机器学习模型的调参方法还包括如下步骤S4100～S4200：

步骤S4100，查询调参算法的调参配置项是否被更改。

在本实施例中，电子设备1000可以设置有至少一个触发事件，该至少一个触发事件包括新的调参任务产生、当前次的调参任务结束以及设置的检测时间到时之中的至少一项。

在本实施例中，电子设备1000可以是在新的调参任务产生、当前次的调参任务结束以及设置的检测时间到时之中的任意一个触发事件发生时，查询调参算法的配置项是否被更改。

步骤S4200，在调参算法的调参配置项被更改的情况下，基于更改的调参配置项启动下一次的调参任务，以使调参任务使用更改的调参配置项对机器学习算法进行参数优化。

在本实施例中，例如可以是在每一次调参任务开始之前，先查询该调参任务的调参配置项是否被更改，如果发现该调参任务的调参配置项已经被更改，则使用最新的调参配置项来启动调参任务；如果发现该调参任务的调参配置项没有被更改，则使用当前的调参配置项来启动调参任务。可以理解的是，由于每一次的调参任务之间相互独立，只在当前次调参任务产生调参结果后，才与上一个调参结果按照比较规则决定哪一个调参任务的调参配置项更优，因此中间结果并不会因为调参配置项的更改而丢失。

在一个实施例中，其可以随时结束调参任务的运行，而不影响后续操作，使得调参任务进一步符合用户需求，提高用户体验。该实施例中，该机器学习模型的调参方法还包括如下步骤S5100～S5200：

步骤S5100，在进行参数优化的过程中，基于第一请求结束当前调参任务。

在本实施例中，在参数优化过程中，用户可以随时手动结束调参任务的运行，这例如可以是右键点击算子，选择“提前结束”(图中未示出)，历史调参任务的运行状态会显示成功，而不影响后续操作，当前调参任务会被终止而失败，不会有调参结果。可以理解的是，在模型调参过程中，把每一次的调参任务当做一个独立的任务运行，该独立任务的成功、失败以及是否被终止等不影响整体调参任务的最终结果，手动结束运算只决定了当前次调参任务的结果是否被纳入参数优化的比较范围内。

步骤S5200，将历史调参任务对应的运行状态设置为成功。

在一个实施例中，其可以基于历史调参任务的运行状态信息确定机器学习算法的优化参数，进而提高优化算法获取的效率和准确性。该实施例中，该机器学习模型的调参方法还包括如下步骤S6100～S6200：

步骤S6100，基于运行状态为成功的历史调参任务确定最优调参结果。

步骤S6200，将最优调参结果对应的调参任务的调参配置项确定为机器学习算法的优化参数。

在本实施例中，其可以将最优调参结果对应的调参任务的调参配置项确定为机器学习算法的优化参数，以使得机器模型训练装置可以基于该优化参数的机器学习算法对机器学习模型进行训练，提高机器学习模型训练的效率。

在一个实施例中，在对机器学习算法进行参数优化的过程完成后，直接将最优调参配置项确定为机器学习算法的优化参数，提高优化参数获取的效率和准确性。该实施例中，该机器学习模型的调参方法还包括如下步骤S7100～S7200：

步骤S7100，根据实时获取的调参算法的调参结果信息确定最优调参配置项。

步骤S7200，将所最优调参配置项确定为机器学习算法的优化参数。

在本实施例中，其可以将最优调参配置项确定为机器学习算法的优化参数，以使得模型训练装置可以基于该优化参数的机器学习算法对机器学习模型进行训练，提高机器学习模型训练的效率。

在一个实施例中，该调参装置和模型训练装置不再是相互孤立的两个装置，本实施例中，其能够将调参装置产生的参数自动传递至模型训练装置，以实现调参装置和模型训练装置的联动。

方式一：

基于第二请求将优化参数自动传递给模型训练装置，以使模型训练装置根据具有优化参数的机器学习算法对机器学习模型进行训练。

示例性地，例如可以是由用户选中一个运行完成的机器学习模型的调参装置，以及一个模型训练装置，点击参数传递(图中未示出)，则调参装置产生的优化参数会自动填写到模型训练装置配置栏的相应位置。

该方式能够将最优的参数自动传给模型训练装置，以使模型训练装置根据具有优化参数的机器学习算法对机器学习模型进行训练，进而提高模型训练的准确性和效率。

方式二：

在对机器学习算法进行参数优化的过程完成后，该方法还包括：

步骤S8100，根据实时获取的调参算法的调参结果信息确定每个调参任务对应的调参配置项。

步骤S8200，基于第二请求提供每个调参任务对应的调参配置项及对应的调参结果。

步骤S8300，基于第三请求选择一组调参配置项，并将选择的调参配置项自动传递给模型训练装置，以使模型训练装置根据具有调参配置项的机器学习算法对机器学习模型进行训练。

示例性地，例如可以是由用户选中一个运行完成的调参装置，以及一个模型训练装置，点击参数传递(图中未示出)，出现一个弹窗，给出若干组推荐参数及对应的模型效果，勾选某组参数并点击确定，参数自动填写到模型训练装置配置栏的相应位置。

该方式可以基于用户选择的参数训练机器学习模型，使得最终训练出的机器学习模型能够满足用户需求，进一步提高用户体验。

方式三：

将调参装置和模型训练装置组合，先运行调参装置以获得最优参数，并自动将最优参数传给模型训练装置，并开始运行模型训练装置。

本实施例的方法不同于现有技术中的在获得一组最佳参数后，需要用户从中把算法参数拷贝到模型训练装置进行训练，由于参数可能有多个，拷贝过程繁琐且容易出错。本实施例中，其可以实现机器学习模型的调参装置和模型训练装置的联动，在机器学习模型的调参装置获得优化参数后，自动将该优化参数传递给模型训练装置，以使得模型训练装置对机器学习模型进行训练。

<装置实施例>

在本实施例中，提供一种机器学习模型的调参装置7000，如图7所示，包括第一交互模块7100、第二交互模块7200、获取模块7300及展示模块7400。

该第一交互模块7100，用于提供第一图形配置界面，接收通过所述第一图形配置界面输入的被确定用于所述机器学习模型的机器学习算法、评估指标及所述机器学习算法对应参数优化的调参算法。

该第二交互模块7200，用于提供第二图形配置界面，接收通过所述第二图形配置界面输入的所述调参算法对应的调参配置项。

该获取模块7300，用于在调参任务使用所述调参算法对应的调参配置项对所述机器学习算法进行参数优化的过程中，实时获取所述调参算法的调参结果信息。

该展示模块7400，用于以图表形式展示所述调参算法的调参结果信息。

在一个实施例中，该获取模块5300具体用于：

在进行所述参数优化的过程中，实时输出所述调参任务对应的调参结果信息并保存到日志中。

在一个实施例中，该获取模块5300具体用于：

在进行所述参数优化的过程中，从所述日志中获取所述历史调参任务对应的调参配置项及调参结果。

在一个实施例中，该装置7000还包括更改模块(图中未示出)，该更改模块具体用于：

接收在所述第一图形配置界面对所述调参算法的调参配置项进行更改的请求。

基于所述请求更改所述调参算法的调参配置项。

在一个实施例中，该装置7000还包括启动模块(图中未示出)，该启动模块具体用于：

在当前调参任务结束并开始下一次的调参任务之前，查询所述调参算法的调参配置项是否被更改。

在所述调参算法的调参配置项被更改的情况下，基于更改的所述调参配置项启动下一次的调参任务，以使所述调参任务使用更改的所述调参配置项对所述机器学习算法进行参数优化。

在一个实施例中，该装置7000还包括第一处理模块。

该获取模块7300，还用于轮询获取所述日志的特定标志行，以获取所述调参算法的调参结果信息。

该第一处理模块，用于对获取的所述调参结果信息进行解析及图形化处理。

在一个实施例中，该装置7000还包括设置模块(图中未示出)，该设置模块具体用于：

在进行所述参数优化的过程中，基于第一请求结束当前调参任务。

将所述历史调参任务对应的运行状态设置为成功。

在一个实施例中，该装置7000还包括比对模块(图中未示出)，所述比对模块具体用于：

基于运行状态为成功的历史调参任务确定最优调参结果。

将所述最优调参结果对应的调参任务的调参配置项确定为所述机器学习算法的优化参数。

在一个实施例中，该装置7000还包括第二处理模块(图中未示出)，该第二处理模块具体用于：

在对所述机器学习算法进行参数优化的过程完成后根据实时获取的所述调参算法的调参结果信息确定最优调参配置项。

将所述最优调参配置项确定为所述机器学习算法的优化参数。

在一个实施例中，该获取模块7300具体用于：

在对所述机器学习算法进行参数优化的过程完成后，根据实时获取的所述调参算法的调参结果信息生成调参分析报告。

在一个实施例中，该获取模块5300具体用于：

基于第二请求将所述优化参数自动传递给模型训练装置，以使所述模型训练装置根据具有所述优化参数的机器学习算法对所述机器学习模型进行训练。

在一个实施例中，该装置7000还包括第三处理模块(图中未示出)，该第三处理模块具体用于：所述配置界面包括预测结果中字段选择的配置项和/或模拟实时预测服务的开关状态的配置项。

<系统实施例>

在一个实施例中，参照图8所示，还提供了一种运行机器学习模型的系统8000，该系统8000包括模型训练装置9000和以上任意实施例的机器学习模型的调参装置7000。

该实施例中，机器学习模型的调参装置5000用于生成机器学习算法的优化参数，并将该优化参数传递给模型训练装置7000，模型训练装置7000根据具有优化参数的机器学习算法对机器学习模型进行训练。

<存储介质实施例>

本实施例提供了一种计算机可读存储介质，其中，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据上述方法实施例中任一项所述的方法。

本发明可以是设备、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种机器学习模型的调参方法，其特征在于，所述方法包括：

提供第一图形配置界面，接收通过所述第一图形配置界面输入的被确定用于所述机器学习模型的机器学习算法、评估指标及所述机器学习算法对应参数优化的调参算法；

提供第二图形配置界面，接收通过所述第二图形配置界面输入的所述调参算法对应的调参配置项；

在调参任务使用所述调参算法对应的调参配置项对所述机器学习算法进行参数优化的过程中，实时获取所述调参算法的调参结果信息；

以图表形式展示所述调参算法的调参结果信息。

2.根据权利要求1所述的方法，其中，所述方法还包括：

在进行所述参数优化的过程中，实时输出所述调参任务对应的调参结果信息并保存到日志中。

3.根据权利要求2所述的方法，其中，所述实时获取所述调参算法的调参结果信息包括：

在进行所述参数优化的过程中，从所述日志中获取历史调参任务对应的调参配置项及调参结果。

4.根据权利要求3所述的方法，其中，所述方法还包括：

接收在所述第一图形配置界面对所述调参算法的调参配置项进行更改的请求；

基于所述请求更改所述调参算法的调参配置项。

5.根据权利要求4所述的方法，其中，在当前调参任务结束并开始下一次的调参任务之前，所述方法还包括：

查询所述调参算法的调参配置项是否被更改；

在所述调参算法的调参配置项被更改的情况下，基于更改的所述调参配置项启动下一次的调参任务，以使所述调参任务使用更改的所述调参配置项对所述机器学习算法进行参数优化。

6.根据权利要求3所述的方法，其中，在所述以图表形式展示所述调参算法的调参结果信息之前，所述方法还包括：

轮询获取所述日志的特定标志行，以获取所述调参算法的调参结果信息；

对获取的所述调参结果信息进行解析及图形化处理。

7.一种机器学习模型的调参装置，其特征在于，包括：

第一交互模块，用于提供第一图形配置界面，接收通过所述第一图形配置界面输入的被确定用于所述机器学习模型的机器学习算法、评估指标及所述机器学习算法对应参数优化的调参算法；

第二交互模块，用于提供第二图形配置界面，接收通过所述第二图形配置界面输入的所述调参算法对应的调参配置项；

获取模块，用于在调参任务使用所述调参算法对应的调参配置项对所述机器学习算法进行参数优化的过程中，实时获取所述调参算法的调参结果信息；

展示模块，用于以图表形式展示所述调参算法的调参结果信息。

8.一种包括至少一个计算装置和至少一个存储装置的设备，其中，所述至少一个存储装置用于存储指令，所述指令用于控制所述至少一个计算装置执行根据权利要求1至6中任一项所述的方法；或者，所述设备通过所述计算装置和所述存储装置实现根据权利要求7所述的装置。

9.一种计算机可读存储介质，其中，其上存储有计算机程序，所述计算机程序在被处理器执行时实现如权利要求1至6中任一项所述的方法。

10.一种运行机器学习过程的系统，包括模型训练装置和权利要求7所述的机器学习模型的调参装置，其中，

所述机器学习模型的调参装置用于生成机器学习算法的优化参数；

所述模型训练装置用于根据具有所述优化参数的机器学习算法对所述机器学习模型进行训练。

Images