CN109857804B - 一种分布式模型参数的搜索方法、装置和电子设备 - Google Patents

Abstract

本发明实施例提供了一种分布式模型参数的搜索方法、装置和电子设备，该方法和装置具体为针对每个网格化空间，利用预先获取的验证样本集进行验证计算，得到每个网格化空间对应的评估指标的交叉验证均值；从所得到的多个交叉验证均值中选取出当前最优交叉验证均值，并根据当前最优交叉验证均值选定最可能的局部搜索空间；根据预先选出的最佳采样点在局部搜索空间内进行贝叶斯调优计算，得到局部搜索空间内的最优参数组合。由于本方案先基于相应规则缩小搜索空间，然后在缩小后的搜索空间内进行参数搜索，从而在参数空间维度较高时，提高了参数的调优效率。

Description

一种分布式模型参数的搜索方法、装置和电子设备

技术领域

本发明涉及机器学习技术领域，特别是涉及一种分布式模型参数的搜索方法、装置和电子设备。

背景技术

在机器学习的应用中，通过训练会产生很多的参数，以便利用这些参数构建相应的模型。为了使最终得到的函数的具有最佳效果，需要从中找出最优的参数或者参数组合，并将其代入该相应函数以最终构造模型，即参数调优。当参数或参数组合较少时，通过随机搜索即可满足调优的目的；当参数或参数组合较多、即参数空间维度较高时，随机搜索需要在较大的参数空间内随机大量取点，从而造成时间成本很高，导致调优效率很低。

发明内容

有鉴于此，本发明提供了一种分布式模型参数的搜索方法、装置和电子设备，以解决参数空间维度较高时，参数的调优效率较低的问题。

为了解决上述问题，本发明公开了一种分布式模型参数的搜索方法，包括步骤：

针对每个网格化空间，利用预先获取的验证样本集进行验证计算，得到每个所述网格化空间对应的评估指标的交叉验证均值，所述网格化空间为模型训练所得到的分布式模型参数之间的随机组合；

从所得到的多个所述交叉验证均值中选取出当前最优交叉验证均值，并根据所述当前最优交叉验证均值选定最可能的局部搜索空间；

根据预先选出的最佳采样点在所述局部搜索空间内进行贝叶斯调优计算，得到所述局部搜索空间内的最优参数组合。

可选的，所述利用预先获取的验证样本集进行验证计算，包括：

针对每个所述网格化空间，利用所述验证样本集、并按预设的最大搜索次数进行验证计算，得到所述交叉验证均值。

可选的，所述根据预先选出的最佳采样点在所述局部搜索空间内进行贝叶斯调优计算，包括:

按预设的迭代次数进行贝叶斯调优计算。

可选的，还包括：

利用多个采集函数投票，选取出所述最佳采样点。

还提供了一种分布式模型参数的搜索装置，包括：

网格搜索模块，用于针对每个网格化空间，利用预先获取的验证样本集进行验证计算，得到每个所述网格化空间对应的评估指标的交叉验证均值，所述网格化空间为模型训练所得到的分布式模型参数之间的随机组合；

空间缩小模块，用于从所得到的多个所述交叉验证均值中选取出当前最优交叉验证均值，并根据所述当前最优交叉验证均值选定最可能的局部搜索空间；

参数调优模块，用于根据预先选出的最佳采样点在所述局部搜索空间内进行贝叶斯调优计算，得到所述局部搜索空间内的最优参数组合。

可选的，所述网格搜索模块具体用于针对每个所述网格化空间，利用所述验证样本集、并按预设的最大搜索次数进行验证计算，得到所述交叉验证均值。

可选的，所述参数调优模块具体用于按预设的迭代次数进行贝叶斯调优计算。

可选的，还包括：

采集函数自动化模块，用于利用多个采集函数投票，选取出所述最佳采样点。

还提供了一种电子设备，包括处理器以及与所述处理器相连接的存储器，其中：

所述存储器用于存储计算机程序或指令；

所述处理器用于执行所述计算机程序或指令，以使实现如上所述的搜索方法。

从上述技术方案可以看出，本发明提供了一种分布式模型参数的搜索方法、装置和电子设备，该方法和装置具体为针对每个网格化空间，利用预先获取的验证样本集进行验证计算，得到每个网格化空间对应的评估指标的交叉验证均值；从所得到的多个交叉验证均值中选取出当前最优交叉验证均值，并根据当前最优交叉验证均值选定最可能的局部搜索空间；根据预先选出的最佳采样点在局部搜索空间内进行贝叶斯调优计算，得到局部搜索空间内的最优参数组合。由于本方案先基于相应规则缩小搜索空间，然后在缩小后的搜索空间内进行参数搜索，从而在参数空间维度较高时，提高了参数的调优效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例的一种分布式模型参数的搜索方法的流程图；

图2为本申请实施例的另一种分布式模型参数的搜索方法的流程图；

图3为本申请实施例的一种分布式模型参数的搜索装置的框图；

图4为本申请实施例的另一种分布式模型参数的搜索装置的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

图1为本申请实施例的一种分布式模型参数的搜索方法的流程图。

参照图1所示，本实施例提供的搜索方法用于对分布式模型参数进行搜索，以便从中找出相应模型的最佳参数组合，该分布式模型参数为在进行模型训练中得到的参数或者超参数，该搜索方法具体包括如下步骤：

S1、针对每个网格化空间进行验证计算。

即针对每个具体的网格化空间，并利用预先获取的验证样本集进行验证计算，从而得到每个网格化空间对应的评估指标的交叉验证均值。

这里的网格化空间是指通过模型训练所得到分布式模型参数经过随机组合所得的参数组合或超参数组合；验证样本集本身属于在模型训练之前所获得的训练样本集中的一部分，另一部分已经作为训练样本对模型做了训练，其与训练样本没有本质的区别。

在具体进行验证计算时，针对每个网格化空间，即针对每个参数组合或者超参数组合，将其赋予到进行训练的函数中，如深度神经网络函数，然后利用赋予参数后的函数对验证样本中的每个样本分别进行计算，并利用相应的采集函数进行评估，得到预相应网格化空间对应的评估指标，然后在得出针对该评估指标的交叉验证均值。

在进行验证计算时，为了节省计算资源，可以设定最大搜索次数，在达到相应最大搜索次数后即停止搜索。

S2、输出当最优参数及最可能的局部搜索空间。

在得到每个网格化空间对应的评估指标的交叉验证均值后，从中选出当前最优参数，并根据相应的当前最优参数确定最可能的局部搜索空间。

S3、根据最优采样点从局部搜索空间内进行调优计算。

在确定最可能的局部搜索空间后，根据预先选出的最佳采样点在该局部搜索空间内进行贝叶斯调优计算，从而得到基于该局部搜索空间的最优参数组合，即满足所生成的模型对验证样本进行计算所得到结果与真实数据的拟合程度最高。

具体来说，在进行贝叶斯调优计算时，为了节省计算资源，可以按预设的迭代次数进行贝叶斯调优计算。

从上述技术方案可以看出，本实施例提供了一种分布式模型参数的搜索方法，具体为针对每个网格化空间，利用预先获取的验证样本集进行验证计算，得到每个网格化空间对应的评估指标的交叉验证均值；从所得到的多个交叉验证均值中选取出当前最优交叉验证均值，并根据当前最优交叉验证均值选定最可能的局部搜索空间；根据预先选出的最佳采样点在局部搜索空间内进行贝叶斯调优计算，得到局部搜索空间内的最优参数组合。由于本方案先基于相应规则缩小搜索空间，然后在缩小后的搜索空间内进行参数搜索，从而在参数空间维度较高时，提高了参数的调优效率。

另外，如图2所示，本实施例提供的搜索方法还包括如下步骤：

S4、通过多个采集函数投票选取最佳采样点。

即基于多个用于评价的采集函数进行投票操作，从而从中得到用于进行贝叶斯调优计算所需要的最佳采样点。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

实施例二

图3为本申请实施例的一种分布式模型参数的搜索装置的框图。

参照图3所示，本实施例提供的搜索装置用于对分布式模型参数进行搜索，以便从中找出相应模型的最佳参数组合，该分布式模型参数为在进行模型训练中得到的参数或者超参数，该搜索装置具体包括网格搜索模块10、空间缩小模块20和参数调优模块30。

网格搜索模块用于针对每个网格化空间进行验证计算。

即针对每个具体的网格化空间，并利用预先获取的验证样本集进行验证计算，从而得到每个网格化空间对应的评估指标的交叉验证均值。这里网格搜素模块为多个。

这里的网格化空间是指通过模型训练所得到分布式模型参数经过随机组合所得的参数组合或超参数组合；验证样本集本身属于在模型训练之前所获得的训练样本集中的一部分，另一部分已经作为训练样本对模型做了训练，其与训练样本没有本质的区别。

在具体进行验证计算时，针对每个网格化空间，即针对每个参数组合或者超参数组合，将其赋予到进行训练的函数中，如深度神经网络函数，然后利用赋予参数后的函数对验证样本中的每个样本分别进行计算，并利用相应的采集函数进行评估，得到预相应网格化空间对应的评估指标，然后在得出针对该评估指标的交叉验证均值。

在进行验证计算时，为了节省计算资源，可以设定最大搜索次数，在达到相应最大搜索次数后即停止搜索。

空间缩小模块用于输出当最优参数及最可能的局部搜索空间。

在得到每个网格化空间对应的评估指标的交叉验证均值后，从中选出当前最优参数，并根据相应的当前最优参数确定最可能的局部搜索空间。

参数调优模块用于根据最优采样点从局部搜索空间内进行调优计算。

在确定最可能的局部搜索空间后，根据预先选出的最佳采样点在该局部搜索空间内进行贝叶斯调优计算，从而得到基于该局部搜索空间的最优参数组合，即满足所生成的模型对验证样本进行计算所得到结果与真实数据的拟合程度最高。

具体来说，在进行贝叶斯调优计算时，为了节省计算资源，可以按预设的迭代次数进行贝叶斯调优计算。

从上述技术方案可以看出，本实施例提供了一种分布式模型参数的搜索装置，具体为针对每个网格化空间，利用预先获取的验证样本集进行验证计算，得到每个网格化空间对应的评估指标的交叉验证均值；从所得到的多个交叉验证均值中选取出当前最优交叉验证均值，并根据当前最优交叉验证均值选定最可能的局部搜索空间；根据预先选出的最佳采样点在局部搜索空间内进行贝叶斯调优计算，得到局部搜索空间内的最优参数组合。由于本方案先基于相应规则缩小搜索空间，然后在缩小后的搜索空间内进行参数搜索，从而在参数空间维度较高时，提高了参数的调优效率。

另外，如图4所示，本实施例提供的搜索装置还包括采集函数自动化模块40。

采集函数自动化模块用于通过多个采集函数投票选取最佳采样点。

即基于多个用于评价的采集函数进行投票操作，从而从中得到用于进行贝叶斯调优计算所需要的最佳采样点。

实施例三

本实施例提供了一种电子设备，该电子设备至少包括一个处理器和相应的存储器，处理器和存储器通过相应的数据总线相连接。存储器用于存储计算机程序或指令，处理器则用于执行计算机程序或指令，以便实现如下操作：

针对每个网格化空间，利用预先获取的验证样本集进行验证计算，得到每个所述网格化空间对应的评估指标的交叉验证均值，所述网格化空间为训练分布式模型中所得到的参数之间的随机组合；从所得到的多个所述交叉验证均值中选取出当前最优交叉验证均值，并根据所述当前最优交叉验证均值选定最可能的局部搜索空间；根据预先选出的最佳采样点在所述局部搜索空间内进行贝叶斯调优计算，得到所述局部搜索空间内的最优参数组合。

由于本方案先基于相应规则缩小搜索空间，然后在缩小后的搜索空间内进行参数搜索，从而在参数空间维度较高时，提高了参数的调优效率。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种分布式模型参数的搜索方法，其特征在于，包括步骤：

针对每个网格化空间，利用预先获取的验证样本集进行验证计算，得到每个所述网格化空间对应的评估指标的交叉验证均值，所述网格化空间为模型训练所得到的分布式模型参数之间的随机组合；

从所得到的多个所述交叉验证均值中选取出当前最优交叉验证均值，并根据所述当前最优交叉验证均值选定最可能的局部搜索空间；

根据预先选出的最佳采样点在所述局部搜索空间内进行贝叶斯调优计算，得到所述局部搜索空间内的最优参数组合；

其中，针对每个网格化空间，利用预先获取的验证样本集进行验证计算，得到每个所述网格化空间对应的评估指标的交叉验证均值，包括：

将所述参数随机组合得到参数组合或者超参数组合；

将所述参数组合或者所述超参数组合赋予到进行训练的函数中得到赋予所述参数后的函数；

根据所述赋予参数后的函数对所述验证样本进行计算，并利用采集函数进行对计算结果进行评估，得到与网格化空间对应的所述评估指标、所述评估指标的交叉验证均值。

2.如权利要求1所述的搜索方法，其特征在于，所述利用预先获取的验证样本集进行验证计算，包括：

针对每个所述网格化空间，利用所述验证样本集、并按预设的最大搜索次数进行验证计算，得到所述交叉验证均值。

3.如权利要求1所述的搜索方法，其特征在于，所述根据预先选出的最佳采样点在所述局部搜索空间内进行贝叶斯调优计算，包括:

按预设的迭代次数进行贝叶斯调优计算。

4.如权利要求1所述的搜索方法，其特征在于，还包括：

利用多个采集函数投票，选取出所述最佳采样点。

5.一种分布式模型参数的搜索装置，其特征在于，包括：

网格搜索模块，用于针对每个网格化空间，利用预先获取的验证样本集进行验证计算，得到每个所述网格化空间对应的评估指标的交叉验证均值，所述网格化空间为模型训练所得到的分布式模型参数之间的随机组合；

空间缩小模块，用于从所得到的多个所述交叉验证均值中选取出当前最优交叉验证均值，并根据所述当前最优交叉验证均值选定最可能的局部搜索空间；

参数调优模块，用于根据预先选出的最佳采样点在所述局部搜索空间内进行贝叶斯调优计算，得到所述局部搜索空间内的最优参数组合；

所述网格搜索模块，还用于将所述参数随机组合得到参数组合或者超参数组合；

将所述参数组合或者所述超参数组合赋予到进行训练的函数中得到赋予所述参数后的函数；

根据所述赋予参数后的函数对所述验证样本进行计算，并利用采集函数进行对计算结果进行评估，得到与网格化空间对应的所述评估指标、所述评估指标的交叉验证均值。

6.如权利要求5所述的搜索装置，其特征在于，所述网格搜索模块具体用于针对每个所述网格化空间，利用所述验证样本集、并按预设的最大搜索次数进行验证计算，得到所述交叉验证均值。

7.如权利要求5所述的搜索装置，其特征在于，所述参数调优模块具体用于按预设的迭代次数进行贝叶斯调优计算。

8.如权利要求5所述的搜索装置，其特征在于，还包括：

采集函数自动化模块，用于利用多个采集函数投票，选取出所述最佳采样点。

9.一种电子设备，其特征在于，包括处理器以及与所述处理器相连接的存储器，其中：

所述存储器用于存储计算机程序或指令；

所述处理器用于执行所述计算机程序或指令，以使实现如权利要求1～4任一项所述的搜索方法。

Images