CN115470910A - 基于贝叶斯优化及K-center采样的自动调参方法 - Google Patents

Abstract

本发明公开了一种基于贝叶斯优化及K‑center采样的自动调参方法。本方法为：1)调参器根据输入的待调参目标算法的可执行文件、优化目标、目标算法的参数信息及调参时间t，生成一组初始参数组集合Φ_init；2)调参器根据Φ_init中的参数组运行目标算法得到一训练集S；3)使用训练集S构建模型GP；4)调参器生成候选参数组集合Φ_candidate并将其中各候选参数组分别输入至模型GP中，预测得到参数组性能；5)调参器选取一候选参数组，运行目标算法得到对应的预测性能，将加入训练集S；然后利用更新后的训练集S训练模型GP；6)循环步骤4)～5)直至达到调参时间t，然后输出最优性能对应的参数组。

Description

基于贝叶斯优化及K-center采样的自动调参方法

技术领域

本发明属于计算机可信计算技术领域，具体涉及一种基于贝叶斯优化及K-center采样的自动调参方法。

背景技术

贝叶斯优化是一种黑盒优化算法，用于求解表达式未知的函数的极值问题。算法根据一组采样点处的函数值预测任意点处函数值的概率分布，此过程通过高斯过程回归实现。

K-center算法是指在n个点中选取k个点使其到其他点的距离之和最小。

专利申请公布号：CN113204450A的发明提出了一种基于遗传算法的数据重构自动调参方法、系统及存储介质，包括以下步骤：

S1：引入遗传算法，在数据恢复控制算法中，累加恢复对象的大小，以及记录恢复对象的总数和恢复的小对象的数目；

S2：判断数据恢复场景的类型，根据步骤S1中得到的恢复的不同方式下，恢复个数占总的恢复对象个数的比例，确定选择最佳参数处理方式；

S3：针对步骤S2确定不同的恢复场景，选用算法权衡权重，匹配不同的参数，从而进行优化不同场景下的恢复参数；

S4：在遗传算法训练器中最后清空步骤S1中计数，以便进行下一周期对恢复场景优化恢复参数；

S5：遗传算法下NVME硬盘的处理步骤；

S6：根据集群规模调整重构速度步骤。

现有调参方式分为两类，第一种是人工调参，算法开发人员根据经验，手动调整超参数，观察算法性能，然后再做调整，直至调整至满意的状态。第二种是使用调参工具自动调参，用户定义好参数类型，取值范围，性能指标(如要使求解时间最短、求解的结果最大或最小等)，然后将其输入给自动调参工具，调参工具在参数空间内搜索，直至找到使目标算法性能较好的参数配置。

传统人工手动调参存在以下几个局限：

一、高度依赖算法工程师经验，同时需要花费大量的时间及精力调整，效率不高。

二、对于目标算法参数数量多、取值范围大的情况，参数空间太大，人工手动调参将不可行。

现有自动调参工具存在以下几个问题：

一、调参算法收敛慢，找到较优参数配置花费时间长；

二、基于模型的调参工具，在调参开始时，为了训练模型，会随机采样几组参数尝试以得到初始训练数据，但训练得到的模型并不能很好地反映真实的分布，效果较差。

发明内容

针对现有技术中存在的问题，本发明的目的在于提供一种基于贝叶斯优化及K-center采样的自动调参方法，可以有效加快调参速度，用更少的时间找到更优的参数配置，从而大大提高调参效率和调参结果稳定性。

本发明的技术方案为：

一种自动调参方法，其步骤包括：

1)调参器根据输入的待调参目标算法的可执行文件、优化目标、目标算法的参数信息及调参时间t，生成一组初始参数组集合Φ_init；

2)调参器根据初始参数组集合Φ_init中的参数组运行所述目标算法的可执行文件得到一训练集S；

3)调参器使用所述训练集S构建代理模型GP；

4)调参器在所述目标算法的各参数取值范围内分别随机采样生成候选参数组集合Φ_candidate，调参器将Φ_candidate的各候选参数组分别输入至代理模型GP中，预测得到每一候选参数组的参数组性能；

5)调参器根据各候选参数组的性能选取一候选参数组Θ_selected，运行目标算法的可执行文件，得到对应的预测性能o_selected，将(Θ_selected,o_selected)加入训练集S；然后利用更新后的训练集S训练所述代理模型GP；

6)循环步骤4)～5)直至达到调参时间t，然后输出最优性能o_best对应的参数组θ_best作为所述目标算法的优化参数。

进一步的，步骤4)中，调参器选取ei值最大的候选参数组Θ_selected，运行目标算法的可执行文件，得到对应的预测性能o_selected，将(Θ_selected,o_selected)加入训练集S；然后利用更新后的训练集S训练所述代理模型GP；其中第c个候选参数组Θ_c对应的ei值为

o_c为候选参数组Θ_c的性能，std_c为候选参数组Θ_c的性能与当前候选参数组集合Φ_candidate中其他候选参数组Θ_c的性能的标准差，o_incumbent为已获取的最优性能。

进一步的，采用基于K-center的采样方法生成初始参数组集合Φ_init，其方法为：

11)在各参数的取值范围内随机采样获取一个参数组集合Φ_rand＝{Θ₁,…,Θ_r,…,Θ_R}；Θ_r为第r个参数组；12)在Φ_rand中选取k个参数组得到一参数组集合Φ_init使其到其他参数组构成的集合

{Φ_rand-Φ_init}的距离之和最小；其中任意两个参数组Θ_i和Θ_j之间的距离dis(Θ_i,Θ_j)计算方式为

dis(θ_i,d,θ_j,d)表示参数组Θ_i和Θ_j在第d维的距离，θ_i,d及θ_j,d分别表示Θ_i及Θ_j的第d维参数值。

进一步的，如果参数值类型为整数或实数，则

其中max(θ_i)和min(θ_i)分别表示目标算法第i个参数取值范围的最大值及最小值；如果参数值不为整数或实数类型，且θ_i,d和θ_j,d的值相同，则dis(θ_i,d,θ_j,d)＝0，否则dis(θ_i,d,θ_j,d)＝1。

进一步的，调参器使用高斯过程回归构建代理模型GP，特征为参数组中的参数值，label为目标算法的性能值。

进一步的，所述参数信息包含目标算法参数的名称、类型、取值范围。

进一步的，所述目标算法为为任意可接受超参输入的算法。

进一步的，所述目标算法为用于图像分类的机器学习算法或随机森林算法。

一种服务器，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行上述方法中各步骤的指令。

一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述方法的步骤。

本发明的优点如下：

1)相对于传统手动调参，本发明提出了一种基于贝叶斯优化的高效自动调参方法。

2)传统自动调参算法采样时常使用随机采样的方式，本发明提出了一种基于k-center的采样方法，更能保证采样的均匀性，用得到的训练集训练的代理模型效果更好，能有效加速调参过程。

附图说明

图1为本发明的方法流程图。

具体实施方式

下面结合附图对本发明进行进一步详细描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

本方案整体流程如图1所示，用户输入目标算法可执行文件、优化目标、参数信息、调参时间，调参算法进行调参直至调参时间用完，最后输出找到的最优参数组及其性能。目标算法可执行文件是指目标算法的源代码编译后的可执行文件。目标算法是指任意可接受参数输入，同时给出优化目标的程序；如随机森林算法，其输入参数为树的数量、最大树高等参数，调参的目标是最大化分类准确率。

分步骤详述具体方法如下：

一、输入

a)目标算法可执行文件

目标算法可执行文件接受参数组输入，运行后输出性能指标值。

b)优化目标

对目标算法的优化指标可以是最小化运行时间，最优化解质量等。

c)参数信息

参数信息包含了目标算法参数的名称、类型、取值范围。

二、调参器算法

调参器接受用户输入待调参的目标算法可执行文件、优化目标、目标算法的输入参数信息、调参时间t后，首先生成一组初始参数组集合Φ_init，然后使用此集合中的参数组运行目标算法的可执行文件得到训练集S，之后使用训练集构建代理模型GP，将生成的候选参数组输入至代理模型中可预测参数组性能，然后选择其中的一个参数组执行目标算法得到一条新的数据加入训练集，循环此过程直至调参时间t用完，最后输出找到的最优性能o_best及对应的参数组θ_best。

其中：

(1)参数组:Θ＝{θ₁,…,θ_i,…,θ_d}，d表示目标算法有d个参数，θ_i表示第i个参数值；

(2)初始参数组集合Φ_init＝{Θ₁,…,Θ_k,…,Θ_K}，Θ_n表示第n个参数组；

(3)训练集S＝{(Θ₁,o₁),…,(Θ_m,o_m),…,(Θ_M,o_M)}，(Θ_m,o_m)表示使用参数组Θ_m运行目标算法得到的性能指标值为o_m；

对每个步骤的详细介绍如下：

(1)初始参数组集合生成：

本方案采用基于K-center的采样方法生成初始参数组集合，步骤如下：

a.使用随机采样在参数取值范围内获取一个参数组集合Φ_rand＝{Θ₁,…,Θ_r,…,Θ_R}；

b.在Φ_rand中选取k(k≤R)个参数组得到一参数组集合Φ_init使其到其他参数组构成的集合{Φ_rand-Φ_init}的距离之和最小，其中任意两个参数组Θ_i和Θ_j之间的距离dis(Θ_i,Θ_j)计算方式如下：

其中dis(θ_i,d,θ_j,d)表示参数组Θ_i和Θ_j在第d维的距离，θ_i,d及θ_j,d分别表示Θ_i及Θ_j的第d维参数值，距离定义如下：

I.参数值类型为整数或实数：

其中max(θ_d)和min(θ_d)分别表示目标算法第i个参数取值范围的最大值及最小值。

II.参数值不为整数或实数类型(如枚举类型)，如果θ_i,d和θ_j,d的值相同，则dis(θ_i,d,θ_j,d)＝0，否则dis(θ_i,d,θ_j,d)＝1。

(2)构建代理模型：

调参器使用高斯过程回归构建代理模型GP，特征为参数组中的参数值，label为目标算法的性能值。使用历史运行数据组成的训练集S训练代理模型，当输入新的参数组Θ_new时，可预测使用该参数组运行目标算法的性能o_new。

(3)生成候选参数组集合Φ_candidate：

调参器在目标算法各参数取值范围内分别随机采样生成候选参数组集合Φ_candidate＝{Θ₁,…,Θ_c,…,Θ_C}，其中C为每次生成的参数组数量。

(4)性能预测及参数组选择：

首先使用代理模型GP预测候选参数组集合Φ_candidate中每个参数组的性能o_c及标准差std_c，然后使用如下公式计算ei_c，

ei_c＝(o_c-o_incumbent-0.1)*cdf(z_c)+std_c*pdf(z_c)

其中，

o_incumbent为当前找到最佳参数组的性能。

最后选取ei值最大的参数组Θ_selected,运行目标算法得到其性能o_selected，将(Θ_selected,o_selected)加入训练集S。

三、输出

当调参时间t用完时，调参流程结束，输出在此时间内找到的最佳参数组Θ_best及使用此参数组运行目标算法的性能o_best，如机器学习算法使用调参工具给出的超参数执行分类任务将获得更高的分类准确率。

本发明中代理模型除开使用高斯过程回归，也可以选择其他回归模型，如随机森林、XGBoost等。

初始参数组采样方法可以选择k-center采样以外的方法，如随机采样。

参数组选择方法除选择使用e_i作为排序指标外，也可以使用其他指标，如直接使用目标算法给出的性能指标值。

尽管为说明目的公开了本发明的具体实施例，其目的在于帮助理解本发明的内容并据以实施，本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是可能的。因此，本发明不应局限于最佳实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (10)

1.一种自动调参方法，其步骤包括：

1)调参器根据输入的待调参目标算法的可执行文件、优化目标、目标算法的参数信息及调参时间t，生成一组初始参数组集合Φ_init；

2)调参器根据初始参数组集合Φ_init中的参数组运行所述目标算法的可执行文件得到一训练集S；

3)调参器使用所述训练集S构建代理模型GP；

4)调参器在所述目标算法的各参数取值范围内分别随机采样生成候选参数组集合Φ_candidate，调参器将Φ_candidate的各候选参数组分别输入至代理模型GP中，预测得到每一候选参数组的参数组性能；

5)调参器根据各候选参数组的性能选取一候选参数组Θ_selected，运行目标算法的可执行文件，得到对应的预测性能o_selected，将(Θ_selected,o_selected)加入训练集S；然后利用更新后的训练集S训练所述代理模型GP；

6)循环步骤4)～5)直至达到调参时间t，然后输出最优性能o_best对应的参数组θ_best作为所述目标算法的优化参数。

2.根据权利要求1所述的方法，其特征在于，步骤4)中，调参器选取ei值最大的候选参数组Θ_selected，运行目标算法的可执行文件，得到对应的预测性能o_selected，将(Θ_selected,o_selected)加入训练集S；然后利用更新后的训练集S训练所述代理模型GP；其中第c个候选参数组Θ_c对应的ei值为ei_c＝(o_c-o_incumbent-0.1)*cdf(z_c)+std_c*pdf(z_c)，

o_c为候选参数组Θ_c的性能，std_c为候选参数组Θ_c的性能与当前候选参数组集合Φ_candidate中其他候选参数组Θ_c的性能的标准差，o_incumbent为已获取的最优性能。

3.根据权利要求1所述的方法，其特征在于，采用基于K-center的采样方法生成初始参数组集合Φ_init，其方法为：

11)在各参数的取值范围内随机采样获取一个参数组集合Φ_rand＝{Θ₁,…,Θ_r,…,Θ_R}；Θ_r为第r个参数组；

12)在Φ_rand中选取k个参数组得到一参数组集合Φ_init使其到其他参数组构成的集合{Φ_rand-Φ_init}的距离之和最小；其中任意两个参数组Θ_i和Θ_j之间的距离dis(Θ_i,Θ_j)计算方式为

dis(θ_i,d,θ_j,d)表示参数组Θ_i和Θ_j在第d维的距离，θ_i,d及θ_j,d分别表示Θ_i及Θ_j的第d维参数值。

4.根据权利要求3所述的方法，其特征在于，如果参数值类型为整数或实数，则

其中max(θ_i)和min(θ_i)分别表示目标算法第i个参数取值范围的最大值及最小值；如果参数值不为整数或实数类型，且θ_i,d和θ_j,d的值相同，则dis(θ_i,d,θ_j,d)＝0，否则dis(θ_i,d,θ_j,d)＝1。

5.根据权利要求1或2或3所述的方法，其特征在于，调参器使用高斯过程回归构建代理模型GP，特征为参数组中的参数值，label为目标算法的性能值。

6.根据权利要求1或2或3所述的方法，其特征在于，所述参数信息包含目标算法参数的名称、类型、取值范围。

7.根据权利要求1所述的方法，其特征在于，所述目标算法为任意可接受超参输入的算法。

8.根据权利要求1所述的方法，其特征在于，所述目标算法为用于图像分类的机器学习算法或随机森林算法。

9.一种服务器，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1至8任一所述方法中各步骤的指令。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一所述方法的步骤。

Images